WO2021261167A1 - 情報処理システム、情報処理装置および情報処理方法 - Google Patents

情報処理システム、情報処理装置および情報処理方法 Download PDF

Info

Publication number
WO2021261167A1
WO2021261167A1 PCT/JP2021/020325 JP2021020325W WO2021261167A1 WO 2021261167 A1 WO2021261167 A1 WO 2021261167A1 JP 2021020325 W JP2021020325 W JP 2021020325W WO 2021261167 A1 WO2021261167 A1 WO 2021261167A1
Authority
WO
WIPO (PCT)
Prior art keywords
calculation model
unit
mobile device
automatic operation
registration
Prior art date
Application number
PCT/JP2021/020325
Other languages
English (en)
French (fr)
Inventor
信一郎 津田
博允 内山
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to JP2022532451A priority Critical patent/JPWO2021261167A1/ja
Priority to US18/001,660 priority patent/US20230234599A1/en
Publication of WO2021261167A1 publication Critical patent/WO2021261167A1/ja

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/04Monitoring the functioning of the control system
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • B60W60/0015Planning or execution of driving tasks specially adapted for safety
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30Services specially adapted for particular environments, situations or purposes
    • H04W4/40Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001Details of the control system
    • B60W2050/0019Control system elements or transfer functions
    • B60W2050/0028Mathematical models, e.g. for simulation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062Adapting control system settings
    • B60W2050/0063Manual parameter input, manual setting means, manual initialising or calibrating means
    • B60W2050/0064Manual parameter input, manual setting means, manual initialising or calibrating means using a remote, e.g. cordless, transmitter or receiver unit, e.g. remote keypad or mobile phone
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/15Data age
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/45External transmission of data to or from the vehicle
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information

Definitions

  • This disclosure relates to an information processing system, an information processing device, and an information processing method.
  • ADAS Advanced Driver-Assistance Systems
  • the above-mentioned autonomous driving defines several levels according to the degree of human intervention, and all vehicles do not require a steering wheel or accelerator, which is defined as level 5 by SAE (Society of Automotive Engineers) International.
  • SAE Society of Automotive Engineers
  • vehicles that support various levels of autonomous driving will coexist.
  • MaaS Mobility as a Service
  • driving support according to different automatic driving levels is required.
  • the present disclosure provides an information processing system, an information processing device, and an information processing method capable of supporting driving according to different automatic driving levels.
  • the information processing system includes one or more mobile devices capable of setting an automatic operation level, and an external network device capable of communicating with the mobile device.
  • the external network device is A communication device that communicates with the mobile device, An arithmetic model determining device that determines an arithmetic model corresponding to the automatic operation level and provides the arithmetic model to the mobile device via the communication device. It has a registration determination device that determines whether or not the automatic operation level can be registered based on the information regarding possession of the calculation model, and notifies the mobile device of registration permission via the communication device.
  • the moving device is A calculation model requesting unit that requests the calculation model from the calculation model determination device and transmits the information to the registration determination device when the requested calculation model is provided. It has a movement control unit that starts movement control based on the automatic operation level for which registration is permitted upon receiving the notification from the registration determination device.
  • the communication device may be a base station device that wirelessly communicates with the mobile device.
  • calculation model determination device may be a server having a communication unit that communicates with the mobile device via the base station device.
  • the registration determination device may be an operation management device having a communication unit that communicates with the mobile device via the base station device.
  • the mobile device further has a calculation model determination unit for confirming the expiration date or the effective area of the first calculation model owned by the mobile device, and the calculation model request unit expires according to the confirmation result of the calculation model determination unit.
  • the mobile device further has a calculation model storage unit for storing the calculation model, and the first calculation model may be updated to the second calculation model in the calculation model storage unit.
  • the registration determination device determines the necessity of the conformity test according to the automatic operation level, and instructs the mobile device to execute the conformity test according to the determination result. May further have.
  • the registration determination device further has a registration permission determination unit for instructing the setting change of the automatic operation level based on the position of the mobile device, and the mobile device is based on the instruction of the registration permission determination unit. It may further have an automatic operation level setting unit for changing the setting of the automatic operation level.
  • the calculation model requesting unit requests the calculation model determination device for the calculation model corresponding to the automatic operation level whose setting has been changed, and the second calculation model acquired from the calculation model determination device for the first calculation model owned by the calculation model requesting unit. You may update to.
  • the conformity test execution instruction unit may instruct the mobile device to periodically execute the conformity test when the automatic operation level is equal to or higher than a predetermined level.
  • the information processing device is A calculation model request unit that requests and acquires a calculation model corresponding to the automatic operation level set in the mobile device, and It includes a movement control unit that starts the movement control of the mobile device based on the automatic operation level for which registration is permitted when the registration of the automatic operation level is permitted based on the information regarding possession of the calculation model.
  • the registration request processing unit for requesting the registration of the automatic operation level to the external network device capable of communicating with the mobile device is further provided, and the calculation model request unit uses the calculation model for the external network device. You may request and acquire the calculation model from the external network device.
  • the operation support processing unit that controls the movement control unit based on the result of calculating the detection data of the sensor provided in the movement device by the calculation model is further provided, and the calculation model includes the detection content of the sensor. It may be determined by the external network device based on at least one of the type of the mobile device and the performance of the operation support processing unit.
  • the operation model determination unit for confirming the expiration date or the effective area of the first arithmetic model owned is further provided, and the operation model request unit has an effective expiration date or area according to the confirmation result of the operation model determination unit.
  • a second calculation model may be requested.
  • calculation model storage unit for storing the calculation model may be further provided, and the first calculation model may be updated to the second calculation model in the calculation model storage unit.
  • the information processing method for one embodiment of the present disclosure is One or more mobile devices capable of setting the automatic driving level request the external network device for the calculation model corresponding to the automatic driving level.
  • the external network device determines the calculation model and provides it to the mobile device.
  • the mobile device transmits information about possession of the calculation model to the external network device.
  • the external network device determines whether or not the automatic operation level can be registered based on the information, and notifies the mobile device of the registration permission.
  • the mobile device starts movement control based on the automatic operation level for which registration is permitted.
  • FIG. 1 is a diagram showing an example of the configuration of the driving support system according to the embodiment.
  • the operation support system 100 includes an operation management device 110, a server 120, a base station device 130, and a mobile device 140. Although two mobile devices 140 are shown in FIG. 1, the number of mobile devices 140 may be one or three or more. That is, the driving support system 100 includes one or more mobile devices 140.
  • the driving support system 100 is an example of an information processing system.
  • the operation management device 110, the server 120, and the base station device 130 constitute an external network device.
  • the operation management device 110, the server 120, and the base station device 130 are examples of a registration determination device, an arithmetic model determination device, and a communication device, respectively.
  • the base station apparatus 130 includes base stations having different maximum transmission powers and operating frequency bands such as macrocells, picocells, microcells, small cells, femtocells, RRH (Remote Radio Head), and TRP (Transmission / Reception). It may include various forms of equipment such as Point).
  • the operation management device 110 collects data from the mobile device 140 via the base station device 130, and manages the movement of the mobile device 140, that is, the running.
  • the management related to traveling broadly includes the control and management of the driving support processing unit 142 provided in the mobile device 140.
  • the server 120 executes various arithmetic processes instructed by the operation management device 110. For example, the server 120 performs machine learning or deep learning using the data acquired from the mobile device 140 by the operation management device 110, and generates a neural network model as a result.
  • the server 120 may be provided (integrated) in the operation management device 110. Further, the data acquired from the mobile device 140 is, for example, the data acquired by the sensor 141 provided in the mobile device 140, the processed data, and the power system and the braking device provided in the mobile device 140. And may include control information and output information of the steering device.
  • the server 120 may generate and manage a neural network model for each level of automation of each mobile device 140.
  • the definition of the automated driving level formulated by SAE (Society of Automotive Engineers) International is as follows. ⁇ Level 0: Driver operates everything ⁇ Level 1: System supports either steering operation or acceleration / deceleration ⁇ Level 2: System supports both steering operation and acceleration / deceleration ⁇ Level 3: System supports either acceleration / deceleration at a specific location Operate everything, operated by the driver in an emergency ⁇ Level 4: The system operates everything in a specific place ⁇ Level 5: The system operates everything in any place, for example, in a specific place specified in Level 4.
  • SAE Society of Automotive Engineers
  • the automated driving level refers to, for example, one of these five levels. Further, the automatic operation level may be classified more finely than these five stages.
  • FIG. 2 is a block diagram showing a configuration example of the mobile device 140.
  • the mobile device 140 includes a sensor 141, an operation support processing unit 142, a movement control unit 143, a communication unit 144, a registration request processing unit 145, a calculation model request unit 146, an automatic operation level setting unit 147, and a calculation model determination unit. It has 148, an arithmetic model storage unit 149, and a conformity test execution unit 150.
  • Each part except the sensor 141 constitutes an information processing device.
  • the sensor 141 includes, for example, a position information sensor 141a, a camera module (including an image sensor) 141b, a LiDAR (Light Detection and Ringing or Laser Imaging Detection and Ringing) 141c, and a radar 141d.
  • the sensor 141 may have at least one of these sensors.
  • the sensor 141 may include an inertial measurement unit called an IMU (Inertial Measurement Unit), which is a unit that integrates an acceleration sensor, a rotation angle acceleration sensor / gyro sensor, a magnetic field sensor, a pressure sensor, a temperature sensor, and the like.
  • IMU Inertial Measurement Unit
  • the position information sensor 141a is compatible with not only GNSS (Global Navigation Satellite System) represented by GPS (Global Positioning System) but also odometer (mileage meter), LTE (LongTerm Evolution), 4G or 5G cellular system. It may broadly include positioning technology using signals transmitted and received via the communication unit 144.
  • the positioning technology linked with this 4G or 5G cellular system is that the position information sensor 141a acquires information from the LMF (Location Management Function) via the LPP (LTE Positioning Protocol) to assist the positioning, or the position information sensor.
  • the data detected by 141a may be provided to the LMF via LPP, broadly including the LMF calculating the position.
  • the position information sensor 141a is a positioning technology utilizing high-precision three-dimensional geospatial information called a dynamic map, which is held in advance by the driving support processing unit 142 or dynamically acquired and updated via the communication unit 144.
  • the camera module 141b is equipped with a plurality of image sensors, and acquires image information outside the vehicle and image information inside the vehicle including the movement and facial expression of the driver.
  • the driving support processing unit 142 controls the movement control unit 143 based on the calculation result of inputting the detection data of the sensor 141 into the neural network model generated by AI, for example, machine learning or deep learning, and controls ADAS / AD (Autonomous). Perform the process to realize Driving).
  • AI for example, machine learning or deep learning
  • ADAS / AD Autonomous
  • the neural network model may be implemented in the operation support processing unit 142 in advance, or may be acquired from the operation management device 110 or the server 120 via the base station device 130, and may be appropriately updated and stored. Further, the neural network model may be one neural network model or may be composed of a plurality of neural network models. The plurality of neural network models may be a neural network model prepared for each sensor 141 as a so-called edge AI, or a neural network model prepared for each control of the movement control unit 143.
  • the movement control unit 143 supplies control information such as acceleration and deceleration to the power system, supplies control information such as deceleration and deceleration to the braking device, and controls xx [cm] left, yy [cm] right and the like. Supply information to the steering system.
  • the communication unit 144 performs wireless communication with the server 120 and the operation management device 110 via the base station device 130. Further, the communication unit 144 inputs / outputs data or the like between the operation support processing unit 142, the registration request processing unit 145, the calculation model request unit 146, and the conformity test execution unit 150.
  • the base station device 130 may include a roadside machine that is a transportation infrastructure or an RSU (Road Side Unit).
  • the communication unit 144 is used for vehicle-to-vehicle (Vehicle to Vehicle) communication, road-to-vehicle (Vehicle to Infrastructure) communication, vehicle-to-house (Vehicle to Home) communication, and vehicle-base station device 130 (Vehicle).
  • V2X communication such as (to Network) and vehicle-to-vehicle (Vehicle to Pedestrian) communication is performed.
  • V2X communication can be realized by providing a V2X module in the communication unit 144.
  • the registration request processing unit 145 processes the registration request for the automatic operation level of the mobile device 140 with the operation management device 110.
  • the calculation model request unit 146 processes with the server 120 regarding the request for providing the calculation model corresponding to the automatic operation level for which registration is requested.
  • the automatic operation level setting unit 147 performs processing related to setting the automatic operation level of the mobile device 140.
  • the calculation model determination unit 148 performs processing related to determination of the validity of the calculation model.
  • the calculation model storage unit 149 stores the calculation model.
  • the conformity test execution unit 150 performs a process related to execution of the conformity test preset according to the automatic operation level or instructed by the operation management device 110. The processing contents of each part will be described in detail later.
  • FIG. 3 is a block diagram showing a configuration example of the operation management device 110.
  • the operation management device 110 is compatible with the communication unit 111, the calculation model confirmation unit 112, the calculation model acquisition instruction unit 113, the registration request receiving unit 114, the registration permission determination unit 115, and the automatic operation level management unit 116. It has a test execution instruction unit 117, a conformity test result acquisition unit 118, and a conformity test determination unit 119.
  • the communication unit 111 outputs the data or the like received from the server 120 or the data or the like received from the mobile device 140 via the base station device 130 to each part of the operation management device 110 according to the data content. Further, the communication unit 111 transmits data or the like input from each unit of the operation management device 110 to the mobile device 140 or the server 120.
  • the calculation model confirmation unit 112 performs confirmation processing of the calculation model corresponding to the automatic operation level registered and requested by the mobile device 140.
  • the calculation model acquisition instruction unit 113 performs processing related to the acquisition instruction of the calculation model confirmed by the calculation model confirmation unit 112 to the mobile device 140.
  • the registration request receiving unit 114 processes the reception of the registration request of the automatic operation level from the mobile device 140.
  • the registration permission determination unit 115 performs determination processing regarding whether or not the automatic operation level of the mobile device 140 can be registered.
  • the automatic operation level management unit 116 manages the automatic operation level of each mobile device 140.
  • the conformity test execution instruction unit 117 performs processing related to the conformity test execution instruction according to the automatic operation level of the mobile device 140.
  • the conformity test result acquisition unit 118 performs processing related to acquisition of test results from the mobile device 140 that has executed the conformity test.
  • the conformity test determination unit 119 performs a determination process regarding pass / fail of the conformity test based on the test results acquired by the conformity test result acquisition unit 118. The processing contents of each part will be described in detail later.
  • FIG. 4 is a block diagram showing a configuration example of the server 120.
  • the server 120 includes a communication unit 121, a calculation model request receiving unit 122, a calculation model management unit 123, a data acquisition unit 124, and a calculation model generation unit 125.
  • the communication unit 121 may receive data or the like received from the operation management device 110 or data or the like received from the mobile device 140 via the base station device 130 in the calculation model request receiving unit 122 or the data collecting unit 124 according to the data content. Output to. Further, the communication unit 121 transmits the data or the like input from the calculation model request reception unit 122 to the mobile device 140 or the operation management device 110.
  • the calculation model request receiving unit 122 performs reception processing related to a request for providing a calculation model from the mobile device 140.
  • the calculation model management unit 123 performs processing related to management of the calculation model provided to each mobile device 140.
  • the data collection unit 124 performs processing related to collection of data detected by the mobile device 140.
  • the calculation model generation unit 125 performs processing related to the generation of the calculation model using the data collected by the data collection unit 124. The processing contents of each part will be described in detail later.
  • FIG. 5 is a flowchart showing an example of the automatic operation level setting process.
  • the automatic operation level setting process by the mobile device 140 will be described.
  • the automatic operation level setting unit 147 of the mobile device 140 sets the automatic operation level prior to the operation and notifies the registration request processing unit 145 (step S201).
  • the automatic operation level setting unit 147 may set, for example, the automatic operation level related to the latest operation, or may dynamically change or update the automatic operation level.
  • the registration request processing unit 145 determines whether or not the automatic operation level is level 1 or higher (step S202). When the automatic operation level is level 1 or higher, the registration request processing unit 145 activates the registration process to the operation management device 110 (step S203). On the other hand, in step S202, when the automatic operation level is less than level 1, the registration request processing unit 145 does not perform the registration process and ends the automatic operation level setting process.
  • FIG. 5 shows an example of activating the registration process when the automatic operation level is level 1 or higher, but the present invention is not limited to this example.
  • the operation management device 110 may be set in the mobile device 140 so that the registration process is activated when the automatic operation level is level 3 or higher. Further, the operation management device 110 may change the automatic operation level for activating the registration process in an area or a time zone.
  • FIG. 6 is a sequence diagram showing an example of the automatic operation level registration process. Hereinafter, the process of registering the automatic operation level of the mobile device 140 in the operation management device 110 will be described.
  • the registration request processing unit 145 activates the registration process (step S302).
  • the communication unit 144 transmits a registration request including the automatic operation level to the operation management device 110 via the base station device 130 (step S303).
  • the registration request is, for example, the position information of the mobile device 140, the vehicle type, the performance of the driving support processing unit 142 (hardware configuration), or the ECU (Electronic Control Unit) to be mounted. It may include information about the hardware type, model number, year, OS (Operation System) version, and firmware version.
  • the registration request may include information about a particular mode of operation, eg, capabilities such as applicability to platooning called Platooning.
  • the automatic operation level management unit 116 notifies the calculation model confirmation unit 112 of the automatic operation level included in the registration request.
  • the calculation model confirmation unit 112 confirms the calculation model corresponding to the automatic operation level and notifies the calculation model acquisition instruction unit 113.
  • the calculation model acquisition instruction unit 113 instructs the requesting mobile device 140 to acquire the calculation model corresponding to the automatic operation level of the registration request target via the base station device 130 (step S304). In step S304, for example, when the automatic operation level included in the registration request is level 2 or lower, the calculation model acquisition instruction unit 113 instructs the use of the calculation model previously possessed by the mobile device 140, and the automatic operation level is set.
  • the acquisition of the calculation model may be instructed.
  • the calculation model instructed by the calculation model acquisition instruction unit 113 corresponds to the required automatic driving level, the configuration of the sensor 141, the vehicle type of the mobile device 140, and the performance of the driving support processing unit 142. It may be selected.
  • the calculation model request unit 146 transmits the calculation model request through the communication unit 111 (step S305).
  • the request of the calculation model is transmitted to the server 120 via the base station apparatus 130.
  • the calculation model request receiving unit 122 receives the calculation model request through the communication unit 121. Subsequently, the calculation model management unit 123 provides the calculation model shown in the request (step S306).
  • the provided arithmetic model is transmitted from the communication unit 121 to the requesting mobile device 140 via the base station device 130.
  • the arithmetic model is, for example, a neural network model obtained by machine learning or deep learning, and a different neural network model is provided for each level of automated driving. Further, the calculation model may be set with an expiration date and a valid geographical or spatial area.
  • This neural network model is composed of an input layer including a plurality of nodes, a hidden layer (or an intermediate layer), and each layer called an output layer, and each node is connected via an edge.
  • Each layer has a function called an activation function, and each edge is weighted.
  • a neural network model based on deep learning is composed of multiple hidden layers.
  • the neural network model is, for example, a model of a form called CNN (Convolution Neural Network), RNN (Recurrent Neural Network), LSTM (Long Short-Term Memory).
  • CNN Convolution Neural Network
  • RNN Recurrent Neural Network
  • LSTM Long Short-Term Memory
  • the hidden layer is composed of each layer called a convolution layer and a pooling layer.
  • the convolution layer filtering is performed by the convolution operation, and data called a feature map is extracted.
  • the pooling layer the feature map information output from the convolutional layer is compressed and downsampling is performed.
  • the CNN is used, for example, for image recognition, and information on each pixel, which is also called an image pixel, is input to the input layer, and information related to the image recognized as an output layer can be obtained. For example, the information of each pixel of the image detected by the camera module 141b is input to the CNN.
  • RNN has a network structure in which the value of the hidden layer is recursively input to the hidden layer, and for example, short-term time series data is processed.
  • the influence of the output in the distant past can be maintained by introducing a parameter called a memory cell for holding the state of the middle layer to the output of the middle layer of the RNN. That is, the LSTM processes time-series data for a longer period than the RNN.
  • time-series data of information related to the position detected by the position information sensor 141a, LiDAR 141c, and time-series data of information related to distance measurement detected by the radar 141d for example, time-series data of information related to the position detected by the position information sensor 141a, LiDAR 141c, and time-series data of information related to distance measurement detected by the radar 141d.
  • Time-series data of angular speed and acceleration detected by IMU time-series data of control information from movement control unit 143, information related to the position and speed of surrounding vehicles acquired via V2X communication of communication unit 144.
  • the time-series data of the information detected by the sensors of the surrounding vehicles, and the time-series data of the information related to the recognition image obtained as the output of the CNN constituting the calculation model are input. ..
  • time-series data of high-precision three-dimensional geospatial information included in the dynamic map is input to the input layer of the RNN or LSTM.
  • the calculation model is composed of one or more CNNs, RNNs, or / and LSTMs, and is processed subordinately or in parallel.
  • the output of the calculation model is used, for example, as control information of the movement control unit 143.
  • the detection process and the recognition process of the object around the mobile device 140 are output.
  • the object detection process is, for example, a process of detecting the presence / absence, size, shape, position, movement, etc. of an object.
  • the object recognition process is, for example, a process of recognizing an attribute such as an object type or identifying a specific object. However, the detection process and the recognition process are not always clearly separated and may overlap.
  • the arithmetic model detects an object around the vehicle 1 by performing clustering that classifies the point cloud based on the sensor data by the LiDAR 141c, the radar 141d, etc. into each block of the point cloud.
  • the arithmetic model may be the arithmetic model provided as the edge AI as described above.
  • the movement of an object around the vehicle 1 is detected by performing tracking that follows the movement of a mass of point clouds classified by clustering. As a result, the velocity and the traveling direction (movement vector) of the object around the moving device 140 are detected.
  • the arithmetic model detects or detects vehicles, people, bicycles, obstacles, structures, roads, traffic lights, traffic signs, road signs, etc. from the image data supplied from the camera module (including the image sensor) 141b. recognize. Further, the type of the object around the moving device 140 may be recognized by performing recognition processing such as semantic segmentation.
  • a sensor fusion process for obtaining new information is performed by combining a plurality of different types of sensor data (for example, data supplied from two or more of the camera module 141b, LiDAR 141c, or radar 141d).
  • sensor data for example, data supplied from two or more of the camera module 141b, LiDAR 141c, or radar 141d.
  • early fusion that integrates the data of each sensor without preprocessing
  • rate fusion that integrates after preprocessing
  • integration of only features integration of only recognition results
  • sensor There are other integration methods, such as integration at different processing levels for each.
  • the calculation model recognizes the traffic rules around the moving device 140 based on the held map information, the estimation result of the self-position by the position information sensor 141a, and the recognition result of the object around the moving device 140. It can be processed and output. By this processing, it is possible to recognize the position and state of the signal, the contents of traffic signs and road markings, the contents of traffic regulations, and the lanes in which the vehicle can travel.
  • the calculation model can perform recognition processing of the environment around the vehicle 1.
  • the surrounding environment to be recognized by the recognition unit 73 weather, temperature, humidity, brightness, road surface condition, and the like are assumed.
  • the calculation model creates an action plan for the mobile device 140.
  • An action plan is created by performing route planning and route tracking processing using the output of the above-mentioned calculation model.
  • route planning is a process of planning a rough route from the start to the goal. This route planning is called track planning, and it is possible to safely and smoothly proceed in the vicinity of the moving device 140 in consideration of the motion characteristics of the vehicle 1 on the route planned by the route planning (track generation).
  • Local path planning processing is also included.
  • the route plan may be distinguished from the long-term route plan and the activation generation from the short-term route plan or the local route plan.
  • the safety priority route represents a concept similar to activation generation, short-term route planning, or local route planning.
  • Route tracking is a process of planning an operation for safely and accurately traveling on a route planned by route planning within a planned time.
  • the arithmetic model can calculate, for example, the target speed and the target angular velocity of the mobile device based on the result of this path tracking process.
  • the movement control unit 143 controls the operation of the movement device 140 in order to realize the created action plan.
  • the movement control unit 143 performs a steering investigation, acceleration / deceleration, and the like, and controls the movement device 140 to advance on the trajectory calculated by the trajectory plan.
  • the movement control unit 143 performs coordinated control for the purpose of realizing ADAS functions such as collision avoidance or impact mitigation, follow-up running, vehicle speed maintenance running, collision warning of own vehicle, and lane deviation warning of own vehicle.
  • the movement control unit 143 performs coordinated control for the purpose of automatic driving or the like in which the vehicle travels autonomously without being operated by the driver.
  • the information in the vehicle may be recognized and detected, and the sensor data from the in-vehicle sensor, for example, the camera module (including the image sensor) 141b installed in the vehicle, the input input to the HM (Human Machine Interface).
  • the driver authentication process and the driver status recognition process are performed.
  • the state of the driver to be recognized for example, physical condition, arousal degree, concentration degree, fatigue degree, line-of-sight direction, drunkenness degree, driving operation, posture and the like are assumed.
  • the recognition processing of the passenger other than the driver and the recognition processing of the state of the passenger may be performed. Further, for example, the recognition process of the situation inside the vehicle may be performed based on the sensor data from the sensor inside the vehicle. As the situation inside the vehicle to be recognized, for example, temperature, humidity, brightness, odor, etc. are assumed.
  • the calculation model request unit 146 receives the calculation model through the communication unit 144 and stores it in the calculation model storage unit 149. Subsequently, the calculation model request unit 146 causes the communication unit 144 to transmit information regarding possession of a valid calculation model (step S307). This information is transmitted to the operation management device 110 via the base station device 130. Further, the information regarding possession of a valid calculation model includes, for example, information regarding a calculation model such as an ID (Identification) for identifying the calculation model, an expiration date, and a valid area.
  • ID Identity
  • the above information is input to the registration permission determination unit 115 via the communication unit 111 and the calculation model confirmation unit 112.
  • the registration permission determination unit 115 determines whether or not registration is possible based on the above information (step S308).
  • the registration permission determination unit 115 permits registration when, for example, the ID (Identification) for identifying the calculation model matches the authentic ID registered in advance, and rejects the registration otherwise.
  • the registration permission determination unit 115 When the information regarding possession of a valid calculation model satisfies the registration requirement, the registration permission determination unit 115 notifies the mobile device 140 of the registration permission via the base station device 130 (step S309).
  • the registration request processing unit 145 receives the registration permission notification through the communication unit 144 and confirms the registration permission (step S310). As a result, the movement control unit 143 is in an operable state (step S311). After that, the movement control unit 143 starts operation at the automatic operation level corresponding to the calculation model (step S312).
  • step S303 the operation management device 110 makes a registration request including information on possession of the above-mentioned valid calculation model in addition to the automatic operation level. You may send it to.
  • the operation management device 110 Upon receiving the information regarding possession of a valid calculation model in addition to the automatic operation level, the operation management device 110 omits the processes from step S304 to step S307 and executes the processes after step S308.
  • the mobile device 140 appropriately confirms the effectiveness of the calculation model it owns after the operation starts at the automatic operation level.
  • the processing related to the validity confirmation of the calculation model will be described.
  • FIG. 7 is a sequence diagram showing an example of processing related to the validity confirmation of the calculation model.
  • the calculation model determination unit 148 of the mobile device 140 confirms the expiration date of the calculation model owned by the mobile device 140 (step S313).
  • the calculation model requesting unit 146 updates the calculation model from the communication unit 144 via the base station device 130, so that the remaining period is valid for the server 120. (Step S314).
  • the calculation model request receiving unit 122 receives the request of the calculation model through the communication unit 121. Subsequently, the calculation model management unit 123 provides the mobile device 140 with a calculation model that matches the request via the base station device 130 (step S315).
  • the calculation model request unit 146 receives the calculation model through the communication unit 144 and stores it in the calculation model storage unit 149. As a result, the calculation model stored in the calculation model storage unit 149 is updated to a valid calculation model having a remaining period of a certain period or more (step S316).
  • the calculation model requesting unit 146 transmits information regarding possession of the updated calculation model from the communication unit 144 to the operation management device 110 via the base station device 130 (step S317).
  • the registration request receiving unit 114 receives the above information through the communication unit 111, and the automatic operation level management unit 116 updates the received information in association with the mobile device 140 of the transmission source (step S318). ).
  • the movement control unit 143 subsequently moves based on the updated calculation model. Control is started (step S319).
  • FIG. 8 is a sequence diagram of another example of the process related to the validity confirmation of the calculation model.
  • the calculation model determination unit 148 of the mobile device 140 confirms whether or not the calculation model owned is within the effective area (step S413).
  • the calculation model requesting unit 146 requests the server 120 from the communication unit 144 via the base station apparatus 130 (step S414).
  • the calculation model request receiving unit 122 receives the request of the calculation model through the communication unit 121. Subsequently, the calculation model management unit 123 provides the mobile device 140 with a calculation model that matches the request via the base station device 130 (step S415).
  • the calculation model request unit 146 receives the calculation model through the communication unit 144 and stores it in the calculation model storage unit 149. As a result, the calculation model stored in the calculation model storage unit 149 is updated to a calculation model in which the area is valid (step S416).
  • the calculation model requesting unit 146 transmits information regarding possession of the updated calculation model from the communication unit 144 to the operation management device 110 via the base station device 130 (step S417).
  • the registration request receiving unit 114 receives the above information through the communication unit 111, and the automatic operation level management unit 116 updates the received information in association with the mobile device 140 of the transmission source (step S418). ).
  • the movement control unit 143 subsequently moves based on the updated calculation model. Control is started (step S419).
  • FIG. 9 is a flowchart showing a series of processes of the mobile device 140 regarding the setting of the automatic operation level. Since the operation contents from step S201 to step S203 are the same as those in FIG. 5, the description thereof will be omitted.
  • the registration request processing unit 145 activates the automatic operation level registration process in the operation management device 110 (step S203)
  • the communication unit 144 transmits an automatic operation level registration request to the operation management device 110 (step S204).
  • the calculation model requesting unit 146 acquires the calculation model corresponding to the automatic operation level from the server 120 based on the instruction of the operation management device 110 (step S205). Subsequently, the calculation model requesting unit 146 transmits information regarding possession of a valid calculation model to the operation management device 110 (step S206).
  • step S207 when the registration request processing unit 145 receives the registration permission notification from the operation management device 110 (step S207), the movement control unit 143 starts the movement control (step S208).
  • step S202 the movement control unit 143 starts the movement control even when the automatic operation level is not 1 or more, that is, the automatic operation level is level 0.
  • FIG. 9 shows an example of activating the registration process when the automatic operation level is level 1 or higher, but the present invention is not limited to this example.
  • the operation management device 110 may be set in the mobile device 140 so that the registration process is activated when the automatic operation level is level 3 or higher. That is, in step S202, when the automatic operation level is level 0, level 1, or level 2, the movement control unit 143 starts the movement control.
  • FIG. 10 is a flowchart showing another example of the automatic operation level registration process. Since the operation contents from step S301 to step S303 shown in FIG. 10 are the same as those in FIG. 6, the description thereof will be omitted.
  • the registration request receiving unit 114 communicates.
  • the registration request is received through the unit 111.
  • the automatic operation level management unit 116 notifies the conformity test execution instruction unit 117 of the automatic operation level indicated in the registration request.
  • the conformity test execution instruction unit 117 determines the necessity of the conformity test according to the automatic operation level (step S503).
  • the conformity test execution instruction unit 117 determines, for example, that it is necessary to execute the conformity test for the mobile device 140 that requires registration of three or more automatic operation levels.
  • the conformity test verifies whether the driving support processing unit 142, the sensor 141, and the movement control unit 143 that assist the automatic driving have the performance required to realize the automatic driving level that requires registration, or ,
  • the operation support processing unit 142, the sensor 141, and the movement control unit 143 are performed to detect a failure or malfunction.
  • the conformity test execution instruction unit 117 determines that the conformity test needs to be executed, the conformity test execution instruction unit 117 instructs the execution of the conformity test corresponding to the automatic operation level requested to be registered in the mobile device 140 via the base station device 130. (Step S504).
  • the instruction to execute the conformity test is received by the operation support processing unit 142 through the communication unit 144.
  • the driving support processing unit 142 inputs the data acquired by the sensor 141 into an AI, for example, a neural network model generated by machine learning or deep learning, and calculates the output thereof (step S505).
  • This neural network model may be mounted in advance in the driving support processing unit 142, or may be acquired by the communication unit 144 from the driving management device 110 via the base station device 130.
  • the operation support processing unit 142 transmits information regarding the executed conformity test from the communication unit 144 to the operation management device 110 via the base station device 130 (step S506).
  • This information includes, for example, the data acquired by the sensor 141 and the output calculated using the neural network model.
  • the data acquired by the sensor 141 is transmitted in association with the identification ID of the position information sensor 141a, the camera module (including the image sensor) 141b, the LiDAR 141c, and the radar 141d.
  • the conformity test result acquisition unit 118 receives information regarding the conformity test executed by the mobile device 140. Subsequently, the conformity test determination unit 119 verifies the conformity test (step S507).
  • the detection accuracy of each sensor corresponding to the automatic operation level for which registration is requested is evaluated from the data acquired by the sensor 141. That is, the detection accuracy of the sensor 141 required for each automatic operation level may differ.
  • the conformity test determination unit 119 may verify the conformity test depending on whether or not a specific object on the dynamic map is detected with sufficient accuracy.
  • the camera module 141b of the sensor 141 detects image information.
  • the position information sensor 141a detects information about the position.
  • the LiDAR 141c and radar 141d detect information about the distance measurement of any object on the dynamic map.
  • the driving support processing unit 142 has information on the correspondence with any object on the dynamic map and information on the vector based on the image information, the information on the position, and the information on the distance measurement of any object on the dynamic map. Is calculated.
  • the driving support processing unit 142 reports the information regarding the position and the information regarding the vector of the specific object on the dynamic map instructed by the driving management device 110 to the conformity test determination unit 119.
  • the conformance test determination unit 119 verifies whether the information regarding the reported vector of the specific object is sufficiently accurate.
  • the conformity test determination unit 119 notifies the registration permission determination unit 115 of the verification result of the conformity test.
  • the registration permission determination unit 115 determines whether or not registration is possible based on the verification result of the conformity test (step S508). For example, when the conformity test determination unit 119 determines that the sensor 141 and the operation support processing unit 142 cannot secure the detection accuracy corresponding to the automatic operation level for which registration is requested, the registration permission determination unit 115 determines. Reject the registration request from the mobile device 140. On the other hand, when the conformity test determination unit 119 determines that the sensor 141 and the operation support processing unit 142 have secured the detection accuracy corresponding to the automatic operation level for which registration is requested, the registration permission determination unit 115 determines. Allow the registration request from the mobile device 140.
  • the registration permission determination unit 115 moves to the next lower automatic operation level. It may be determined whether the corresponding detection accuracy is ensured. For example, if the automatic operation level for which registration is first requested is level 3, the next lower automatic operation level is level 2. In this case, if it is determined that the sensor 141 and the operation support processing unit 142 have secured the detection accuracy corresponding to the automatic operation level one level lower, the registration permission determination unit 115 passes through the base station device 130. The mobile device 140 may be instructed to reset to the next lower automatic operation level.
  • FIG. 11 is a flowchart showing an example of the operation management process of the operation management device 110. Hereinafter, the operation management process of the operation management device 110 will be described.
  • the registration permission determination unit 115 of the operation management device 110 instructs the mobile device 140 that has escaped from or is about to escape from the specific area to change the setting of the automatic operation level via the base station device 130 (step). S601).
  • the setting change of the automatic operation level is, for example, to change the setting to an automatic operation level different from the currently registered automatic operation level.
  • the registration permission determination unit 115 changes the setting from level 0 to any of level 2 automatic operation levels. Instruct to do.
  • the registration permission determination unit 115 changes the setting from level 0 to any of level 3 automatic operation levels. Instruct to do. That is, the registration permission determination unit 115 instructs to change the setting of the automatic operation level based on the position of the mobile device 140.
  • the registration permission determination unit 115 may set the registration permission determination unit 115. Instruct to change the setting from the automatic operation level of level 2 or lower to level 3. Further, when the mobile device 140 corresponding to the level 4 is about to enter the specific area where the level 4 is permitted from the area other than the specific area where the level 4 is permitted, the registration permission determination unit 115 determines the level 3. Instruct to change the setting from the following automatic operation level to level 4.
  • the registration permission determination unit 115 instructs the mobile device 140 corresponding to level 3 to drive at a lower automatic driving level. be able to. That is, the registration permission determination unit 115 instructs the mobile device 140 corresponding to level 3 to change the setting from level 0 to any of level 2 automatic operation levels. This instruction to change the setting of the automatic operation level dynamically is important for optimizing the automatic operation system as a whole.
  • the automatic operation level setting unit 147 of the mobile device 140 receives an instruction to change the setting of the automatic operation level through the communication unit 144 and the registration request processing unit 145, the setting is changed to the instructed automatic operation level (step S602). Subsequently, the registration request processing unit 145 requests the operation management device 110 to change the registration of the automatic operation level from the communication unit 144 via the base station device 130 (step S603).
  • the automatic operation level management unit 116 notifies the calculation model confirmation unit 112 of the automatic operation level included in the registration request.
  • the calculation model confirmation unit 112 confirms the calculation model corresponding to the automatic operation level and notifies the calculation model acquisition instruction unit 113.
  • the calculation model acquisition instruction unit 113 instructs the mobile device 140 that has transmitted the registration request via the base station device 130 to acquire the calculation model corresponding to the automatic operation level included in the registration request (step). S604).
  • the calculation model request unit 146 transmits the calculation model request through the communication unit 111 (step S605).
  • the request of the calculation model is transmitted to the server 120 via the base station apparatus 130.
  • the calculation model request receiving unit 122 receives the calculation model request through the communication unit 121. Subsequently, the calculation model management unit 123 provides the calculation model shown in the request (step S606). The provided arithmetic model is transmitted from the communication unit 121 to the requesting mobile device 140 via the base station device 130.
  • the calculation model request unit 146 receives the calculation model through the communication unit 144 and stores it in the calculation model storage unit 149. As a result, the calculation model is updated (step S607). Subsequently, the calculation model request unit 146 causes the communication unit 144 to transmit information regarding possession of the updated calculation model (step S608).
  • the above information is input to the registration permission determination unit 115 via the communication unit 111 and the calculation model confirmation unit 112.
  • the registration permission determination unit 115 determines whether or not the registration can be changed based on the above information (step S609).
  • the registration permission determination unit 115 permits the registration change when, for example, the ID identifying the changed calculation model matches the genuine ID registered in advance, and rejects the registration change otherwise. do.
  • the registration permission determination unit 115 When the information regarding the possession of the changed calculation model satisfies the registration change requirement, the registration permission determination unit 115 notifies the mobile device 140 of the registration change permission via the base station device 130 (step S610).
  • the registration request processing unit 145 receives the registration change permission notification through the communication unit 144 and confirms the registration change permission (step S611).
  • the operation management device 110 instructs to change the setting of the automatic operation level.
  • the timing of is not limited to this case.
  • the sensitivity of a sensor can change due to changes in weather or a specific time zone. Therefore, the operation management device 110 may instruct the setting change of the automatic operation level triggered by the change of the weather and the time.
  • the automatic operation level setting unit 147 of the mobile device 140 may request the automatic operation level setting change by itself without receiving an instruction to change the automatic operation level setting from the operation management device 110. For example, in addition to the above-mentioned changes in weather and time zone, when the fuel or battery level is low, the sensitivity of a specific sensor is lowered, a specific function is disabled, or the communication unit 144 is a base station. A request to lower the automatic operation level (for example, change from level 3 to level 2) may be made due to the fact that the device 130 is out of the communication area.
  • step S602 when the operation management device 110 receives an instruction to change the setting to the lower automatic operation level, in S603, the automatic operation level setting unit 147 includes information regarding possession of the current calculation model.
  • the operation management device 110 may be requested to change the registration of the automatic operation level. For example, by determining that the current calculation model is valid even at a lower automatic operation level, the operation management device 110 can omit the processes from S604 to S608 and execute the processes after S609.
  • FIG. 12 is a flowchart showing an example of a part of the operation management process. Here, the processing flow regarding the necessity of executing the conformity test will be described.
  • the automatic operation level management unit 116 indicates that the automatic operation level included in the registration request is level 5. Whether or not it is determined (step S702).
  • step S703 the conformity test execution instruction unit 117 instructs the execution of the conformity test at the time of registration.
  • step S704 determines whether or not the automatic operation level set in the registered mobile device 140 is level 1 or higher (step S704). Even if it is determined in step S702 that the automatic operation level is not level 5, the process of step S704 is subsequently executed.
  • the conformity test execution instruction unit 117 sets the execution of the periodic conformity test for the mobile device 140 (step S705).
  • the execution of the periodic conformity test is set to detect a failure or malfunction of the driving support processing unit 142, the sensor 141, and the movement control unit 143 that assist the automatic driving. Therefore, the cycle is set based on the statistical information of the history of failures and malfunctions of the driving support processing unit 142, the sensor 141, and the movement control unit 143.
  • the conformity test cycle may be set based on the maintenance frequency required for the mobile device 140, the driving support processing unit 142, the sensor 141, or the mobile control unit 143 as stipulated by law.
  • the conformance test cycle may be variable depending on the area, time of day and weather. For example, from the accident history, it is set to execute a conformity test with a short cycle in an area where accidents occur frequently.
  • short-cycle conformity test execution may be set qualitatively in nighttime rather than daytime, and in rainy or snowy weather rather than sunny weather.
  • the registration permission determination unit 115 determines whether or not the mobile device 140 has entered the specific area (step S706). If the mobile device 140 has not entered the specific area, the process of step S706 is periodically executed. On the other hand, when the mobile device 140 has entered the specific area, the automatic operation level management unit 116 determines whether or not the automatic operation level set by the registered mobile device 140 is level 3 or higher (). Step S707).
  • step S706 the process of step S706 is periodically executed, and it is determined whether or not the mobile device 140 has entered the specific area.
  • the conformity test execution instruction unit 117 indicates the execution of the conformity test at the time of registration, but the present invention is not limited to this example. ..
  • the conformance test execution instruction unit 117 will have the level of automated driving. In the case of 4 or more, the conformity test may be instructed to be performed.
  • the conformity test execution instruction unit 117 has the automatic operation level level. In the case of 3 or more, the conformity test may be instructed to be executed.
  • FIG. 13 is a flowchart showing another example of some operation management processes. Here, the processing flow related to the determination of the conformity test result will be described.
  • the conformity test execution instruction unit 117 instructs the mobile device 140 to execute the conformity test (step S801)
  • the conformity test result acquisition unit 118 subsequently acquires the conformity test result from the mobile device 140 (step S802). ).
  • the conformity test determination unit 119 determines whether the mobile device 140 has passed or failed the conformity test (step S803). If the mobile device 140 has passed the conformity test, the registration permission determination unit 115 permits the mobile device 140 to operate at the registered automatic operation level (step S804).
  • the registration permission determination unit 115 determines whether or not the mobile device 140 can be operated at level 0 (step S805).
  • the mobile device 140 assuming automatic operation at level 5 may be designed not assuming that a person intervenes in driving.
  • the registration permission determination unit 115 instructs the mobile device 140 to operate at level 0 (step S806).
  • the registration permission determination unit 115 instructs the mobile device 140 to stop the operation (step S807).
  • Level 4 automated driving is not required to be operated by a driver in an emergency, so it is assumed that it does not have the ability to be driven by a person. That is, the mobile device 140 corresponding to the level 4 automatic operation may not be able to operate at the level 0. Therefore, the operation of the mobile device 140 is stopped.
  • the registration permission determination unit 115 moves forward. Depending on the distance between the vehicle and the vehicle traveling in the vehicle, the mobile device 140 may be instructed to travel by plateauning.
  • operation support may be provided to stop the operation at a place where the operation of other vehicles is not hindered.
  • this operation support is a remote operation operation by the operation management device 110.
  • the operation management process shown in FIG. 13 may be performed autonomously and decentrally by the operation support processing unit 142 mounted on the mobile device 140 instead of the operation management device 110.
  • the conformity test execution instruction unit 117 is one level lower (for example, from level 5 to level 4) before the process of step S805 is performed. May be instructed to perform a conformance test.
  • the compatibility test determination unit 119 it is possible to support automatic operation at a level higher than level 0 as much as possible.
  • the automatic operation level of each mobile device 140 is registered in the operation management device 110 in advance before traveling. Further, the calculation model is different for each automatic operation level, and each mobile device 140 cannot start traveling unless it possesses an appropriate calculation model. In this way, since the automatic operation level and the calculation model of each mobile device 140 are collectively managed by the operation management device 110, it is possible to support the operation according to different automatic operation levels.
  • the mobile device 140 is described as an example of a vehicle traveling on a road, but the scope of the technology disclosed in this specification is not limited to this.
  • the mobile device 140 can be applied to an aircraft floating or traveling on the ground or in the air, or an unmanned aerial vehicle (UAV: Unmanned Aerial Vehicle) represented by a drone (Drone).
  • UAV Unmanned Aerial Vehicle
  • Drone Unmanned Aerial Vehicle
  • the aircraft may include a small aircraft, also called a flying car.
  • a spatial area including information in the height direction is applied as the area.
  • the definition and classification of the automated driving level is an example, and for example, more detailed classification is possible.
  • the processes executed in the operation management device 110, the server 120, and the mobile device 140 described above can be realized by software (program) executed by a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), or the like.
  • a program that realizes at least a part of the functions of the operation management device 110, the server 120, and the mobile device 140 is stored in a recording medium such as a semiconductor memory, a hard disk, a flexible disk, or a CD-ROM. , You may load it on your computer and run it.
  • the program that realizes at least a part of the functions of the operation management device 110, the server 120, and the mobile device 140 may be dynamically downloaded from the base station device 130 or the RSU and stored in the recording medium. good.
  • the operation management device 110 may be executed by hardware such as a dedicated circuit.
  • the operation management device 110 or the server 120 may be distributedly mounted on a plurality of devices, for example, a cloud server.
  • the form of implementation may include dynamic implementation by virtualization.
  • cloud servers may include the concept of edge servers.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a device in which a plurality of modules are housed in one housing are both systems. ..
  • the present technology can have the following configurations.
  • the external network device is A communication device that communicates with the mobile device, An arithmetic model determining device that determines an arithmetic model corresponding to the automatic operation level and provides the arithmetic model to the mobile device via the communication device. It has a registration determination device that determines whether or not the automatic operation level can be registered based on the information regarding possession of the calculation model, and notifies the mobile device of registration permission via the communication device.
  • the moving device is A calculation model requesting unit that requests the calculation model from the calculation model determination device and transmits the information to the registration determination device when the requested calculation model is provided.
  • An information processing system including a movement control unit that starts movement control based on an automatic operation level for which registration is permitted upon receiving the notification from the registration determination device.
  • the communication device is a base station device that wirelessly communicates with the mobile device.
  • the arithmetic model determination device is a server having a communication unit that communicates with the mobile device via the base station device.
  • the registration determination device is an operation management device having a communication unit that communicates with the mobile device via the base station device.
  • the mobile device further has a calculation model determination unit for confirming the expiration date or effective area of the first calculation model owned by the mobile device, and the calculation model request unit responds to the confirmation result of the calculation model determination unit.
  • the information processing system according to any one of (1) to (4), which requires a second calculation model in which a deadline or an area is valid.
  • the mobile device further has a calculation model storage unit for storing the calculation model, and the first calculation model is updated to the second calculation model in the calculation model storage unit, according to (5).
  • the registration determination device determines the necessity of the conformity test according to the automatic operation level, and instructs the mobile device to execute the conformity test according to the determination result.
  • the information processing system according to any one of (1) to (4), further comprising a unit.
  • the registration determination device further has a registration permission determination unit for instructing the setting change of the automatic operation level based on the position of the mobile device.
  • the calculation model requesting unit requests the calculation model determination device for the calculation model corresponding to the automatic operation level whose setting has been changed, and the second calculation obtained from the calculation model determination device for the first calculation model owned by the calculation model requesting unit.
  • the information processing system according to (8), which is updated to a model.
  • the conformity test execution instruction unit when the automatic operation level is equal to or higher than a predetermined level, instructs the mobile device to periodically execute the conformity test, according to (7).
  • Information processing system (11) A calculation model request unit that requests and acquires a calculation model corresponding to the automatic operation level set in the mobile device, and Information processing including a movement control unit that starts movement control of the mobile device based on the automatic operation level for which registration is permitted based on the information regarding possession of the calculation model.
  • Device (12) Further provided with a registration request processing unit that requests registration of the automatic operation level from an external network device capable of communicating with the mobile device. The information processing device according to (11), wherein the calculation model requesting unit requests the calculation model from the external network device and acquires the calculation model from the external network device.
  • a driving support processing unit that controls the movement control unit based on the result of calculating the detection data of the sensor provided in the movement device by the calculation model is further provided.
  • Device. (14) Further has a calculation model determination unit for confirming the expiration date or the valid area of the first calculation model owned.
  • the information processing apparatus according to any one of (11) to (13), wherein the calculation model request unit requests a second calculation model having a valid deadline or area according to the confirmation result of the calculation model determination unit. ..
  • the information processing apparatus further comprising a calculation model storage unit for storing the calculation model, in which the first calculation model is updated to the second calculation model in the calculation model storage unit.
  • One or more mobile devices capable of setting the automatic operation level request the external network device for the calculation model corresponding to the automatic operation level.
  • the external network device determines the calculation model and provides it to the mobile device.
  • the mobile device transmits information about possession of the calculation model to the external network device.
  • the external network device determines whether or not the automatic operation level can be registered based on the information, and notifies the mobile device of the registration permission.
  • the information processing method starts the movement control based on the automatic operation level for which registration is permitted.
  • Operation support system 110 Operation management device 117: Conformity test execution instruction unit 115: Registration permission determination unit 120: Server 130: Base station equipment 140: Mobile device 141: Sensor 142: Operation support processing unit 143: Movement control unit 145: Registration request processing unit 146: Calculation model request unit 147: Automatic operation level setting unit 148: Calculation model judgment unit 149: Calculation model storage unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)

Abstract

[課題]異なる自動運転レベルに応じて運転支援することが可能な情報処理システムを提供する。 [解決手段]本開示の一実施形態に係る情報処理システムは、自動運転レベルを設定可能な1以上の移動装置と、移動装置と通信可能な外部ネットワーク機器とを備える。外部ネットワーク機器は、移動装置と通信する通信装置と、自動運転レベルに対応する演算モデルを決定し、通信装置を介して移動装置に演算モデルを提供する演算モデル決定装置と、演算モデルの所有に関する情報に基づいて、自動運転レベルの登録の可否を判定し、通信装置を介して移動装置へ登録許可を通知する登録判定装置とを有する。移動装置は、演算モデル決定装置に演算モデルを要求し、要求した演算モデルが提供されると情報を登録判定装置へ送信させる演算モデル要求部と、登録判定装置から通知を受けると、登録許可された自動運転レベルに基づく移動制御を開始する移動制御部とを有する。

Description

情報処理システム、情報処理装置および情報処理方法
 本開示は、情報処理システム、情報処理装置および情報処理方法に関する。
 近年、車には様々なセンサが搭載され、運転を支援する機能が導入されつつある。また、IEEEでは、802.11pをベースにしたDSRC(Dedicated Short Range Communication)と呼ばれる車車間通信向けの通信システム、さらには、3GPPでもRel-14にてLTE(Long Term Evolution)のD2D(Device to Device)通信をベースにしたC-V2Xの標準規格が策定された。この車車間通信と、車に搭載された様々なセンサを活用したセンサフュージョンによるADAS(Advanced Driver-Assistance Systems)と呼ばれる高度な安全運転システムの導入が始まりつつある。さらに、人工知能(AI:Artificial Intelligence)、機械学習(ML:Machine Learning)、または、深層学習(DL:Deep Learning)を活用した人間の操作を介在しない完全自動運転の実現が期待されている。
特開2017-174355号公報
 上記の自動運転には、人の介在の程度に応じたいくつかのレベルが規定されており、全ての車両が、SAE(Society of Automotive Engineers)Internationalがレベル5として規定するハンドルもアクセルも不要な完全自動運転に対応するまでには、様々なレベルの自動運転に対応した車両が共存することになる。このような状況で、MaaS(Mobility as a Service)を提供するには、異なる自動運転レベルに応じた運転支援が必要となる。
 本開示は、異なる自動運転レベルに応じて運転支援することが可能な情報処理システム、情報処理装置、および情報処理方法を提供する。
 本開示の一実施形態に関する情報処理システムは、自動運転レベルを設定可能な1以上の移動装置と、前記移動装置と通信可能な外部ネットワーク機器と、を備え、
 前記外部ネットワーク機器は、
 前記移動装置と通信する通信装置と、
 前記自動運転レベルに対応する演算モデルを決定し、前記通信装置を介して前記移動装置に前記演算モデルを提供する演算モデル決定装置と、
 前記演算モデルの所有に関する情報に基づいて、前記自動運転レベルの登録の可否を判定し、前記通信装置を介して前記移動装置へ登録許可を通知する登録判定装置と、を有し、
 前記移動装置は、
 前記演算モデル決定装置に前記演算モデルを要求し、要求した演算モデルが提供されると前記情報を前記登録判定装置へ送信させる演算モデル要求部と、
 前記登録判定装置から前記通知を受けると、登録許可された自動運転レベルに基づく移動制御を開始する移動制御部と、を有する。
 また、前記通信装置は、前記移動装置と無線通信する基地局装置であってもよい。
 また、前記演算モデル決定装置は、前記基地局装置を介して前記移動装置と通信する通信部を有するサーバであってもよい。
 また、前記登録判定装置は、前記基地局装置を介して前記移動装置と通信する通信部を有する運転管理装置であってもよい。
 また、前記移動装置は、所有する第1演算モデルの有効期限または有効エリアを確認する演算モデル判定部をさらに有し、前記演算モデル要求部は、前記演算モデル判定部の確認結果に応じて期限またはエリアが有効な第2演算モデルを要求してもよい。
 また、前記移動装置は、前記演算モデルを格納する演算モデル格納部をさらに有し、前記演算モデル格納部内で、前記第1演算モデルが前記第2演算モデルに更新されてもよい。
 また、前記登録判定装置は、前記自動運転レベルに応じて適合性試験の要否を判定し、判定結果に応じて前記移動装置に対して適合性試験の実行を指示する適合性試験実行指示部をさらに有していてもよい。
 また、前記登録判定装置は、前記移動装置の位置に基づいて前記自動運転レベルの設定変更を指示する登録許可判定部をさらに有し、前記移動装置は、前記登録許可判定部の指示に基づいて前記自動運転レベルの設定を変更する自動運転レベル設定部をさらに有していてもよい。
 また、前記演算モデル要求部は、設定変更された自動運転レベルに対応する演算モデルを前記演算モデル決定装置へ要求し、所有する第1演算モデルを前記演算モデル決定装置から取得した第2演算モデルに更新してもよい。
 また、前記適合性試験実行指示部は、前記自動運転レベルが所定レベル以上である場合、前記移動装置に対して、周期的な前記適合性試験の実行を指示してもよい。
 本開示の一実施形態に関する情報処理装置は、
 移動装置に設定された自動運転レベルに対応する演算モデルを要求および取得する演算モデル要求部と、
 前記演算モデルの所有に関する情報に基づいて前記自動運転レベルの登録が許可されると、登録許可された自動運転レベルに基づいて前記移動装置の移動制御を開始する移動制御部と、を備える。
 また、前記移動装置と通信可能な外部ネットワーク機器に対して前記自動運転レベルの登録を要求する登録要求処理部をさらに備え、前記演算モデル要求部は、前記外部ネットワーク機器に対して前記演算モデルを要求し、前記外部ネットワーク機器から前記演算モデルを取得してもよい。
 また、前記移動装置に設けられたセンサの検出データを前記演算モデルで演算した結果に基づいて前記移動制御部を制御する運転支援処理部をさらに備え、前記演算モデルは、前記センサの検出内容、前記移動装置の種類、および前記運転支援処理部の性能の少なくとも1つ以上に基づいて前記外部ネットワーク機器で決定されてもよい。
 また、所有する第1演算モデルの有効期限または有効エリアを確認する演算モデル判定部をさらに有し、前記演算モデル要求部は、前記演算モデル判定部の確認結果に応じて期限またはエリアが有効な第2演算モデルを要求してもよい。
 また、前記演算モデルを格納する演算モデル格納部をさらに備え、前記演算モデル格納部内で、前記第1演算モデルが前記第2演算モデルに更新されてもよい。
 本開示の一実施形態に関する情報処理方法は、
 自動運転レベルを設定可能な1以上の移動装置が、前記自動運転レベルに対応する演算モデルを外部ネットワーク機器に要求し、
 前記外部ネットワーク機器は、前記演算モデルを決定して前記移動装置に提供し、
 前記移動装置は、前記演算モデルの所有に関する情報を前記外部ネットワーク機器に送信し、
 前記外部ネットワーク機器は、前記情報に基づいて前記自動運転レベルの登録の可否を判定し、前記移動装置へ登録許可を通知し、
 前記移動装置は、前記通知を受けると、登録許可された自動運転レベルに基づく移動制御を開始する。
一実施形態に係る運転支援システムの構成の一例を示す図である。 移動装置の一構成例を示すブロック図である。 運転管理装置の一構成例を示すブロック図である。 サーバの一構成例を示すブロック図である。 自動運転レベルの設定処理の一例を示すフローチャートである。 自動運転レベルの登録処理の一例を示すシーケンス図である。 演算モデルの有効性確認に関する処理の一例を示すシーケンス図である。 演算モデルの有効性確認に関する処理の別例のシーケンス図である。 自動運転レベルの設定に関する移動装置の一連の処理を示すフローチャートである。 自動運転レベルの登録処理の別例を示すフローチャートである。 運転管理装置の運行管理処理の一例を示すフローチャートである。 一部の運行管理処理の一例を示すフローチャートである。 一部の運行管理処理の別例を示すフローチャートである。
 以下、図面を参照して、本開示の実施形態について説明する。以下では、本開示の主要な構成部分を中心に説明するが、本開示には、図示又は説明されていない構成部分や機能が存在し得る。以下の説明は、図示又は説明されていない構成部分や機能を除外するものではない。
 図1は、一実施形態に係る運転支援システムの構成の一例を示す図である。本実施形態に係る運転支援システム100は、運転管理装置110と、サーバ120と、基地局装置130と、移動装置140と、を備える。図1には、2台の移動装置140が図示されているが、移動装置140の台数は、1台であっても3台以上であってもよい。すなわち、運転支援システム100は、1台以上の移動装置140を備える。運転支援システム100は、情報処理システムの一例である。また、運転管理装置110、サーバ120、および基地局装置130は、外部ネットワーク機器を構成する。さらに、運転管理装置110、サーバ120、および基地局装置130は、それぞれ登録判定装置、演算モデル決定装置、通信装置の一例である。また、図1では、1つの基地局装置130が図示されているが、2つ以上の基地局装置130を配置して、全国レベルの通信エリアを提供する。ここで、基地局装置130は、マクロセル、ピコセル、マイクロセル、スモールセル、フェムトセル等、最大送信電力や動作周波数帯の異なる基地局、RRH(Remote Radio Head)、さらには、TRP(Transmission/Reception Point)等の様々な形態の装置を含み得る。
 運転管理装置110は、基地局装置130を介して、移動装置140からデータを収集し、移動装置140の移動、つまり走行に係る管理を行う。走行に係る管理は、移動装置140に設けられた運転支援処理部142の制御、管理を広く含む。
 サーバ120は、運転管理装置110から指示される様々な演算処理を実行する。サーバ120は、例えば、運転管理装置110が移動装置140から取得したデータを使って、機械学習または深層学習を行い、その結果としてニューラルネットワークモデルを生成する。
 サーバ120は、運転管理装置110に具備(一体化)されてもよい。また、移動装置140から取得するデータは、例えば、移動装置140に設けられたセンサ141が取得するデータ、または、加工されたデータ、さらには、移動装置140に設けられた動力システム、制動装置、および、舵取装置の制御情報及び出力情報を含み得る。
 サーバ120は、各移動装置140の自動運転レベル毎にニューラルネットワークモデルを生成、管理してもよい。なお、SAE(Society of Automotive Engineers)Internationalが策定した自動運転レベルの定義は、以下の通りである。
・レベル0:ドライバーがすべてを操作
・レベル1:システムがステアリング操作、加減速のどちらかをサポート
・レベル2:システムがステアリング操作、加減速のどちらもサポート
・レベル3:特定の場所でシステムが全てを操作、緊急時はドライバーが操作
・レベル4:特定の場所でシステムが全てを操作
・レベル5:場所の限定なくシステムが全てを操作
 レベル4で規定された特定の場所には、例えば、自家用車や物流サービスにおけるトラックに対する高速道路、または、移動サービスにおいて、過疎地などの比較的交通量が少なく、見通しの良いエリアや大学構内、空港施設内など比較的走行環境が単純なエリア等が想定される。以下の説明では、自動運転レベルは、例えば、この5段階のレベルのいずれかを指す。また、自動運転レベルは、この5段階よりも細かく分類されていてもよい。
 図2は、移動装置140の一構成例を示すブロック図である。移動装置140は、センサ141、運転支援処理部142、移動制御部143、通信部144と、登録要求処理部145と、演算モデル要求部146と、自動運転レベル設定部147と、演算モデル判定部148と、演算モデル格納部149と、適合性試験実行部150と、を有する。センサ141を除く各部は、情報処理装置を構成する。
 センサ141は、例えば、位置情報センサ141a、カメラモジュール(イメージセンサを含む)141b、LiDAR(Light Detection and Ranging又はLaser Imaging Detection and Ranging)141c、およびレーダ141dを有する。なお、センサ141は、これらのセンサのうちの少なくとも1つを有していてもよい。また、センサ141は、加速度センサ、回転角加速度センサ/ジャイロセンサ、磁界センサ、気圧センサ、温度センサ等を統合したユニットであるIMU(Inertial Measurement Unit)と呼ばれる慣性計測ユニットを含み得る。
 位置情報センサ141aは、GPS(Global Positioning System)を代表とするGNSS(Global Navigation Satellite System)だけでなく、オドメータ(走行距離計)、LTE(Long Term Evolution)、4Gまたは5Gのセルラーシステムに対応した通信部144を介して送受信される信号を使った測位技術を広く含み得る。この4Gまたは5Gのセルラーシステムと協調した測位技術は、位置情報センサ141aがLMF(Location Management Function)からLPP(LTE Positioning Protocol)を介して測位をアシストする情報を取得すること、或いは、位置情報センサ141aが検出したデータを、LPPを介してLMFに提供し、LMFが位置を計算することを広く含み得る。さらに、位置情報センサ141aは、運転支援処理部142が予め保持する、または、通信部144を介して動的に取得、更新されるダイナミックマップと呼ばれる高精度三次元地理空間情報を活用した測位技術を含む。カメラモジュール141bは、複数のイメージセンサを搭載し、車外の画像情報や、ドライバーの動きや表情を含めた車内の画像情報を取得する。
 運転支援処理部142は、AI、例えば機械学習または深層学習によって生成されるニューラルネットワークモデルにセンサ141の検出データを入力した演算結果に基づいて移動制御部143を制御して、ADAS/AD(Autonomous Driving)を実現する処理を行う。
 ニューラルネットワークモデルは、予め運転支援処理部142に実装されていてもよいし、運転管理装置110またはサーバ120から基地局装置130を介して取得されて、適宜、更新および記憶されてもよい。また、ニューラルネットワークモデルは、1つのニューラルネットワークモデルであってもよいし、複数のニューラルネットワークモデルから構成されていてもよい。複数のニューラルネットワークモデルは、いわゆるエッジAIとして、センサ141毎に用意されるニューラルネットワークモデルや、さらには、移動制御部143の各制御のために用意されるニューラルネットワークモデルであってもよい。
 移動制御部143は、例えば、加速、減速等の制御情報を動力システムに供給し、減速、停止等の制御情報を制動装置に供給し、xx[cm]左、yy[cm]右等の制御情報を舵取装置に供給する。
 通信部144は、基地局装置130を介してサーバ120および運転管理装置110と無線通信を行う。また、通信部144は、運転支援処理部142、登録要求処理部145、演算モデル要求部146、および適合性試験実行部150との間でデータ等を入出力する。ここで、基地局装置130には、交通インフラである路側機、或いは、RSU(Road Side Unit)を含み得る。
 さらに、通信部144は、車車間(Vehicle to Vehicle)通信、路車間(Vehicle to Infrastructure)通信、車両と家との間(Vehicle to Home)の通信、車両と基地局装置130との間(Vehicle to Network)、及び、歩車間(Vehicle to Pedestrian)通信等のV2X通信を行う。V2X通信は、通信部144にV2Xモジュールを設けることで実現可能である。
 登録要求処理部145は、運転管理装置110との間で、移動装置140の自動運転レベルの登録要求に関する処理を行う。演算モデル要求部146は、サーバ120との間で、登録を要求する自動運転レベルに対応する演算モデルの提供要求に関する処理を行う。自動運転レベル設定部147は、移動装置140の自動運転レベルの設定に関する処理を行う。演算モデル判定部148は、演算モデルの有効性の判定に関する処理を行う。演算モデル格納部149は、演算モデルを格納する。適合性試験実行部150は、自動運転レベルに応じて予め設定された、或いは、運転管理装置110から指示された適合性試験の実行に関する処理を行う。なお、各部の処理内容については、後で詳しく説明する。
 図3は、運転管理装置110の一構成例を示すブロック図である。運転管理装置110は、通信部111と、演算モデル確認部112と、演算モデル取得指示部113と、登録要求受信部114と、登録許可判定部115と、自動運転レベル管理部116と、適合性試験実行指示部117と、適合性試験結果取得部118と、適合性試験判定部119と、を有する。
 通信部111は、サーバ120から受信したデータ等や、または基地局装置130を介して移動装置140から受信したデータ等を、データ内容に応じて運転管理装置110の各部に出力する。また、通信部111は、運転管理装置110の各部から入力されたデータ等を移動装置140またはサーバ120へ送信する。
 演算モデル確認部112は、移動装置140から登録要求された自動運転レベルに対応する演算モデルの確認処理を行う。演算モデル取得指示部113は、移動装置140に対して、演算モデル確認部112で確認された演算モデルの取得指示に関する処理を行う。登録要求受信部114は、移動装置140からの自動運転レベルの登録要求の受信に関する処理を行う。登録許可判定部115は、移動装置140の自動運転レベルの登録の可否に関する判定処理を行う。自動運転レベル管理部116は、各移動装置140の自動運転レベルを管理する。適合性試験実行指示部117は、移動装置140の自動運転レベルに応じた適合性試験の実行指示に関する処理を行う。適合性試験結果取得部118は、適合性試験を実行した移動装置140からの試験結果の取得に関する処理を行う。適合性試験判定部119は、適合性試験結果取得部118で取得された試験結果に基づいて、適合性試験の合否に関する判定処理を行う。なお、各部の処理内容については、後で詳しく説明する。
 図4は、サーバ120の一構成例を示すブロック図である。サーバ120は、通信部121と、演算モデル要求受信部122と、演算モデル管理部123と、データ収集部124と、演算モデル生成部125と、を有する。
 通信部121は、運転管理装置110から受信したデータ等や、または基地局装置130を介して移動装置140から受信したデータ等を、データ内容に応じて演算モデル要求受信部122またはデータ収集部124に出力する。また、通信部121は、演算モデル要求受信部122から入力されたデータ等を移動装置140または運転管理装置110へ送信する。
 演算モデル要求受信部122は、移動装置140からの演算モデルの提供要求に関する受信処理を行う。演算モデル管理部123は、各移動装置140に提供する演算モデルの管理に関する処理を行う。データ収集部124は、移動装置140で検出されたデータの収集に関する処理を行う。演算モデル生成部125は、データ収集部124で収集されたデータを用いて演算モデルの生成に関する処理を行う。なお、各部の処理内容については、後で詳しく説明する。
 図5は、自動運転レベルの設定処理の一例を示すフローチャートである。以下、移動装置140による自動運転レベルの設定処理を説明する。
 まず、移動装置140の自動運転レベル設定部147は、運転に先立って自動運転レベルを設定して登録要求処理部145へ通知する(ステップS201)。ステップS201では、自動運転レベル設定部147は、例えば、直近の運行に係る自動運転レベルを設定してもよいし、動的に自動運転レベルを変更、更新してもよい。
 続いて、登録要求処理部145は、自動運転レベルがレベル1以上であるか否かを判定する(ステップS202)。自動運転レベルがレベル1以上である場合、登録要求処理部145は、運転管理装置110への登録処理を起動させる(ステップS203)。一方、ステップS202において、自動運転レベルがレベル1未満である場合、登録要求処理部145は、登録処理を行わず、自動運転レベルの設定処理を終了させる。
 なお、図5の例では、自動運転レベルがレベル1以上で登録処理を起動する例を示したが、この例に限定されない。例えば、運転管理装置110は、自動運転レベルがレベル3以上で登録処理を起動するように移動装置140に設定してもよい。さらに、運転管理装置110は、エリア、或いは、時間帯で登録処理を起動する自動運転レベルを可変にしてもよい。
 図6は、自動運転レベルの登録処理の一例を示すシーケンス図である。以下、運転管理装置110に移動装置140の自動運転レベルを登録する処理を説明する。
 移動装置140の電源が投入される(エンジンをスタートさせる)と(ステップS301)、登録要求処理部145が登録処理を起動させる(ステップS302)。
 続いて、通信部144が、基地局装置130を介して自動運転レベルを含む登録要求を運転管理装置110に送信する(ステップS303)。ステップS303では、登録要求は、自動運転レベルに加えて、例えば、移動装置140の位置情報、車種、運転支援処理部142の性能(ハードウェア構成)、または、搭載するECU(Electronic Control Unit)のハードウェアの種類、型番、年式、OS(Operation System)のバージョン、ファームウェアのバージョンに関する情報を含んでもよい。さらに、登録要求は、特定の運行形態、例えば、プラトゥーニング(Platooning)と呼ばれる隊列走行への適用性等のケイパビリティに関する情報を含んでもよい。
 運転管理装置110では、登録要求受信部114が、通信部111を通じて登録要求を受信すると、自動運転レベル管理部116が、登録要求に含まれた自動運転レベルを演算モデル確認部112へ通知する。演算モデル確認部112は、自動運転レベルに対応する演算モデルを確認して、演算モデル取得指示部113へ通知する。演算モデル取得指示部113は、基地局装置130を介して、要求元の移動装置140に対して、登録要求対象の自動運転レベルに対応する演算モデルの取得を指示する(ステップS304)。ステップS304では、例えば、演算モデル取得指示部113は、登録要求に含まれた自動運転レベルがレベル2以下の場合には移動装置140が予め保有する演算モデルの利用を指示し、自動運転レベルがレベル3以上の場合に演算モデルの取得を指示してもよい。また、演算モデル取得指示部113が指示する演算モデルは、要求された自動運転レベルへの対応に加え、センサ141の構成、移動装置140の車種、運転支援処理部142の性能の違いに応じて選択されてもよい。
 演算モデルの取得指示を受けた移動装置140では、演算モデル要求部146が、通信部111を通じて演算モデルの要求を送信する(ステップS305)。演算モデルの要求は、基地局装置130を介してサーバ120に送信される。
 サーバ120では、演算モデル要求受信部122が、通信部121を通じて演算モデルの要求を受信する。続いて、演算モデル管理部123が、その要求に示された演算モデルを提供する(ステップS306)。提供された演算モデルは、通信部121から基地局装置130を介して要求元の移動装置140へ送信される。演算モデルは、例えば、機械学習、または、深層学習によって得られるニューラルネットワークモデルであり、自動運転レベル毎に異なるニューラルネットワークモデルが提供される。さらに、演算モデルには、有効期限や有効な地理的、または、空間的なエリアが設定されていてもよい。
 このニューラルネットワークモデルは、複数のノードを含む入力層、隠れ層(又は、中間層)、出力層と呼ばれる各層から構成され、各ノードはエッジを介して接続されている。各層は、活性化関数と呼ばれる関数を持ち、各エッジは重み付けされる。深層学習によるニューラルネットワークモデルでは、複数の隠れ層から構成される。
 ニューラルネットワークモデルは、例えば、CNN(Convolution Neural Network)、RNN(Recurrent Neural Network)、LSTM(Long Short-Term Memory)と呼ばれる形態のモデルである。
 CNNでは、隠れ層は畳み込み層(Convolution Layer)とプーリング層(Pooling Layer)と呼ばれる各層から構成される。畳み込み層では、畳み込み演算によるフィルタリングを施し、特徴マップと呼ばれるデータを抽出する。プーリング層では、畳込み層から出力された特徴マップの情報を圧縮し、ダウンサンプリング(down sampling)を施す。CNNは、例えば、画像認識の用途に用いられ、入力層には画像のピクセルとも呼ばれる各画素の情報が入力され、出力層として認識した画像に係る情報を得ることができる。例えば、カメラモジュール141bで検出した画像の各画素の情報がCNNに入力される。
 RNNでは、隠れ層の値が再帰的に隠れ層に入力されるネットワーク構造を有し、例えば、短期間の時系列のデータが処理される。
 LSTMでは、RNNの中間層出力に対して、メモリセルと呼ばれる中間層の状態を保持するパラメータを導入することにより、遠い過去の出力の影響を保持することができる。つまり、LSTMは、RNNに比べてより長い期間の時系列のデータが処理される。
 RNN、或いは、LSTMの入力層には、例えば、位置情報センサ141aで検出した位置に係る情報の時系列のデータ、LiDAR141c、及び、レーダ141dで検出された測距に係る情報の時系列のデータ、IMUで検出された角速度や加速度の時系列のデータ、移動制御部143からの制御情報の時系列のデータ、通信部144のV2X通信を介して取得した周囲の車両の位置、速度に係る情報、或いは、周囲の車両が具備するセンサが検出した情報の時系列のデータ、さらには、演算モデルを構成するCNNの出力として得られた認識画像に係る情報の時系列のデータ等が入力される。また、RNN、或いは、LSTMの入力層には、例えば、ダイナミックマップに含まれる高精度三次元地理空間情報の時系列のデータが入力される。
 演算モデルは、1つ以上のCNN、RNN、或いは/及び、LSTMから構成され、従属、或いは、並列に処理される。演算モデルの出力は、例えば、移動制御部143の制御情報として用いられる。演算モデルによる演算結果として、例えば移動装置140の周囲の物体の検出処理及び認識処理等を出力する。物体の検出処理とは、例えば、物体の有無、大きさ、形、位置、動き等を検出する処理である。物体の認識処理とは、例えば、物体の種類等の属性を認識したり、特定の物体を識別したりする処理である。ただし、検出処理と認識処理とは、必ずしも明確に分かれるものではなく、重複する場合がある。
 また、演算モデルは出力結果として、LiDAR141c、又はレーダ141d等によるセンサデータに基づくポイントクラウドを点群の塊毎に分類するクラスタリングを行うことにより、車両1の周囲の物体を検出する。これにより、車両1の周囲の物体の有無、大きさ、形状、位置が検出される。この場合には演算モデルは前述のようなエッジAIとして提供される演算モデルであってもよい。クラスタリングにより分類された点群の塊の動きを追従するトラッキングを行うことにより、車両1の周囲の物体の動きを検出する。これにより、移動装置140の周囲の物体の速度及び進行方向(移動ベクトル)が検出される。
 また、演算モデルは、カメラモジュール(イメージセンサを含む)141bから供給される画像データに対して、車両、人、自転車、障害物、構造物、道路、信号機、交通標識、道路標示などを検出または認識する。また、セマンティックセグメンテーション等の認識処理を行うことにより、移動装置140の周囲の物体の種類を認識してもよい。
 また、複数の異なる種類のセンサデータ(例えば、カメラモジュール141b、LiDAR141c、又はレーダ141dの2以上から供給されるデータ)を組み合わせて、新たな情報を得るセンサフュージョン処理を行う。異なる種類のセンサデータを組合せる方法としては、各センサのデータを前処理することなく統合するアーリーフュージョン、前処理後に統合するレートフュージョン、特徴量のみを統合する、認識結果のみを統合する、センサ毎に異なる処理レベルで統合する等のその他の統合方法がある。
 また、演算モデルは、保持されている地図情報、位置情報センサ141aによる自己位置の推定結果、及び、移動装置140の周囲の物体の認識結果に基づいて、移動装置140の周囲の交通ルールの認識処理を行い出力することができる。この処理により、信号の位置及び状態、交通標識及び道路標示の内容、交通規制の内容、並びに、走行可能な車線などを認識することができる。
 また例えば、演算モデルは、車両1の周囲の環境の認識処理を行うことができる。認識部73が認識対象とする周囲の環境としては、天候、気温、湿度、明るさ、及び、路面の状態等が想定される。
 また例えば、演算モデルは、移動装置140の行動計画を作成する。前述したような演算モデルによる出力を用いて、経路計画、経路追従の処理を行うことにより、行動計画を作成する。
 なお、経路計画(Global path planning)とは、スタートからゴールまでの大まかな経路を計画する処理である。この経路計画には、軌道計画と言われ、経路計画で計画された経路において、車両1の運動特性を考慮して、移動装置140の近傍で安全かつ滑らかに進行することが可能な軌道生成(Local path planning)の処理も含まれる。経路計画を長期経路計画、および起動生成を短期経路計画、または局所経路計画と区別してもよい。安全優先経路は、起動生成、短期経路計画、または局所経路計画と同様の概念を表す。
 経路追従とは、経路計画により計画した経路を計画された時間内で安全かつ正確に走行するための動作を計画する処理である。演算モデルは、例えば、この経路追従の処理の結果に基づき、移動装置の目標速度と目標角速度を計算することができる。
 さらに演算モデルの出力として、作成された行動計画を実現するために、移動制御部143によって移動装置140の動作を制御する。
 例えば、移動制御部143は、ステアリング捜査、加減速などを行い、軌道計画により計算された軌道を移動装置140が進行するように制御を行う。例えば、移動制御部143は、衝突回避あるいは衝撃緩和、追従走行、車速維持走行、自車の衝突警告、自車のレーン逸脱警告等のADASの機能実現を目的とした協調制御を行う。例えば、移動制御部143は運転者の操作によらずに自律的に走行する自動運転等を目的とした協調制御を行う。
 さらに、車内の情報の認識、検出処理を行ってもよく、車内センサ、例えば車内に取り付けられたカメラモジュール(イメージセンサを含む)141bからのセンサデータ、HM(Human Machine Interface)に入力される入力データ等に基づいて、運転者の認証処理、及び、運転者の状態の認識処理等を行う。この場合に認識対象となる運転者の状態としては、例えば、体調、覚醒度、集中度、疲労度、視線方向、酩酊度、運転操作、姿勢等が想定される。
 なお車内の認識、検出処理の結果として、運転者以外の搭乗者の認証処理、及び、当該搭乗者の状態の認識処理を行うようにしてもよい。また、例えば、車内センサからのセンサデータに基づいて、車内の状況の認識処理を行うようにしてもよい。認識対象となる車内の状況としては、例えば、気温、湿度、明るさ、臭い等が想定される。
 移動装置140では、演算モデル要求部146が、通信部144を通じて演算モデルを受け取って、演算モデル格納部149へ格納する。続いて、演算モデル要求部146が、有効な演算モデルの所有に関する情報を、通信部144から送信させる(ステップS307)。この情報は、基地局装置130を介して運転管理装置110へ送信される。また、有効な演算モデルの所有に関する情報は、例えば、演算モデルを識別するID(Identification)、有効期限、および、有効なエリア等の演算モデルに関する情報を含んでいる。
 運転管理装置110では、上記情報が通信部111および演算モデル確認部112を介して登録許可判定部115に入力される。登録許可判定部115は、上記情報に基づいて、登録の可否を判定する(ステップS308)。ステップS308では、登録許可判定部115は、例えば演算モデルを識別するID(Identification)が、予め登録されている真正IDと一致する場合に登録を許可し、そうでない場合には登録を拒否する。
 有効な演算モデルの所有に関する情報が登録要件を満たす場合、登録許可判定部115は、基地局装置130を介して移動装置140へ登録許可を通知する(ステップS309)。
 移動装置140では、登録要求処理部145が、通信部144を通じて登録許可の通知を受信して、登録許可を確認する(ステップS310)。これにより、移動制御部143が動作可能な状態となる(ステップS311)。その後、移動制御部143が、演算モデルに対応する自動運転レベルで運行を開始する(ステップS312)。
 なお、移動装置140があらかじめ有効な演算モデルを所有している場合には、ステップS303において、自動運転レベルに加えて、上記の有効な演算モデルの所有に関する情報を含む登録要求を運転管理装置110に送信するようにしてもよい。自動運転レベルに加えて、有効な演算モデルの所有に関する情報を受信した運転管理装置110は、ステップS304からステップS307までの処理を省略して、ステップS308以降の処理を実行する。
 移動装置140は、自動運転レベルによる運行開始後、所有する演算モデルの有効性を適宜確認する。以下、演算モデルの有効性確認に関する処理について説明する。
 図7は、演算モデルの有効性確認に関する処理の一例を示すシーケンス図である。自動運転レベルによる運行開始後、移動装置140の演算モデル判定部148が、所有する演算モデルの有効期限を確認する(ステップS313)。確認の結果、残存期間が一定期間内になると、演算モデル要求部146が、通信部144から基地局装置130を介して、演算モデルを更新するために、サーバ120に残存期間が有効な演算モデルを要求する(ステップS314)。
 サーバ120では、演算モデル要求受信部122が通信部121を通じて上記演算モデルの要求を受信する。続いて、演算モデル管理部123が、基地局装置130を介して要求に合致する演算モデルを移動装置140に提供する(ステップS315)。
 移動装置140では、演算モデル要求部146が、通信部144を通じて演算モデルを受信して演算モデル格納部149へ格納する。これにより、演算モデル格納部149に格納される演算モデルは、残存期間が一定期間以上である有効な演算モデルに更新される(ステップS316)。
 続いて、演算モデル要求部146が、通信部144から基地局装置130を介して、更新された演算モデルの所有に関する情報を運転管理装置110に送信する(ステップS317)。
 運転管理装置110では、登録要求受信部114が通信部111を通じて上記情報を受信し、自動運転レベル管理部116が、受信した情報を、送信元の移動装置140と対応付けて更新する(ステップS318)。
 また、移動装置140では、演算モデル要求部146が、更新された演算モデルの所有に関する情報を運転管理装置110へ送信した後、続いて移動制御部143が、更新された演算モデルに基づいて移動制御を開始する(ステップS319)。
 図8は、演算モデルの有効性確認に関する処理の別例のシーケンス図である。
 本処理では、自動運転レベルによる運行開始後、移動装置140の演算モデル判定部148が、所有する演算モデルが有効エリア内であるか否かを確認する(ステップS413)。確認の結果、演算モデルが有効エリア外になると、演算モデル要求部146が、通信部144から基地局装置130を介して、サーバ120にエリアが有効な演算モデルを要求する(ステップS414)。
 サーバ120では、演算モデル要求受信部122が通信部121を通じて上記演算モデルの要求を受信する。続いて、演算モデル管理部123が、基地局装置130を介して要求に合致する演算モデルを移動装置140に提供する(ステップS415)。
 移動装置140では、演算モデル要求部146が、通信部144を通じて演算モデルを受信して演算モデル格納部149へ格納する。これにより、演算モデル格納部149に格納される演算モデルは、エリアが有効な演算モデルに更新される(ステップS416)。
 続いて、演算モデル要求部146が、通信部144から基地局装置130を介して、更新された演算モデルの所有に関する情報を運転管理装置110に送信する(ステップS417)。
 運転管理装置110では、登録要求受信部114が通信部111を通じて上記情報を受信し、自動運転レベル管理部116が、受信した情報を、送信元の移動装置140と対応付けて更新する(ステップS418)。
 また、移動装置140では、演算モデル要求部146が、更新された演算モデルの所有に関する情報を運転管理装置110へ送信した後、続いて移動制御部143が、更新された演算モデルに基づいて移動制御を開始する(ステップS419)。
 図9は、自動運転レベルの設定に関する移動装置140の一連の処理を示すフローチャートである。ステップS201からステップS203までの動作内容は、図5と同一であるため、説明を省略する。
 登録要求処理部145が、運転管理装置110への自動運転レベルの登録処理を起動させると(ステップS203)、通信部144が、運転管理装置110に自動運転レベルの登録要求を送信する(ステップS204)。
 その後、演算モデル要求部146は、運転管理装置110の指示に基づいて、サーバ120から自動運転レベルに対応する演算モデルを取得する(ステップS205)。続いて、演算モデル要求部146が、有効な演算モデルの所有に関する情報を運転管理装置110に送信する(ステップS206)。
 その後、登録要求処理部145が、運転管理装置110から登録許可の通知を受信すると(ステップS207)、移動制御部143が移動制御を開始する(ステップS208)。なお、ステップS202において、自動運転レベルは1以上でない、つまり、自動運転レベルがレベル0である場合にも、移動制御部143は移動制御を開始する。
 なお、図9の例では、自動運転レベルがレベル1以上で登録処理を起動する例を示したが、この例に限定されない。例えば、運転管理装置110は、自動運転レベルがレベル3以上で登録処理を起動するように移動装置140に設定してもよい。つまり、ステップS202において、自動運転レベルがレベル0、レベル1、若しくは、レベル2である場合は、移動制御部143は移動制御を開始する。
 図10は、自動運転レベルの登録処理の別例を示すフローチャートである。図10に示すステップS301からステップS303までの動作内容は、図6と同様であるため、説明を省略する。
 移動装置140の通信部144が、基地局装置130を介して自動運転レベルを含む登録要求を運転管理装置110に送信すると(ステップS303)、運転管理装置110では、登録要求受信部114が、通信部111を通じて登録要求を受信する。続いて、自動運転レベル管理部116が、登録要求に示された自動運転レベルを適合性試験実行指示部117へ通知する。
 適合性試験実行指示部117は、自動運転レベルに応じて適合性試験の要否を判定する(ステップS503)。適合性試験実行指示部117は、例えば、3以上の自動運転レベルを登録要求する移動装置140に対して、適合性試験の実行が必要であると判定する。適合性試験は、自動運転を補助する運転支援処理部142、センサ141、および、移動制御部143が登録を要求する自動運転レベルを実現するために必要な性能を有しているかの検証、または、運転支援処理部142、センサ141、および、移動制御部143の故障や不具合を検知するために行われる。
 適合性試験実行指示部117は、適合性試験の実行が必要であると判定すると、基地局装置130を介して移動装置140に登録を要求した自動運転レベルに対応する適合性試験の実行を指示する(ステップS504)。
 移動装置140では、適合性試験実行の指示が通信部144を通じて運転支援処理部142に受信される。運転支援処理部142は、適合性試験として、センサ141が取得したデータをAI、例えば、機械学習または深層学習によって生成されるニューラルネットワークモデルに入力して、その出力を算出する(ステップS505)。このニューラルネットワークモデルは、予め運転支援処理部142に実装されていてもよいし、通信部144によって運転管理装置110から基地局装置130を介して取得されてもよい。
 適合性試験が完了すると、運転支援処理部142は、通信部144から基地局装置130を介して運転管理装置110に、実行した適合性試験に関する情報を送信する(ステップS506)。この情報は、例えば、センサ141で取得されたデータとニューラルネットワークモデルを使って算出された出力とを含む。センサ141で取得されたデータは、位置情報センサ141a、カメラモジュール(イメージセンサを含む)141b、LiDAR141c、レーダ141dの識別IDと対応付けて送信される。
 運転管理装置110では、適合性試験結果取得部118が、移動装置140で実行された適合性試験に関する情報を受信する。続いて、適合性試験判定部119が適合性試験を検証する(ステップS507)。適合性試験の検証では、例えば、センサ141が取得したデータから、登録を要求した自動運転レベルに対応する各センサの検出精度が評価される。つまり、自動運転レベル毎に求められるセンサ141の検出精度は異なり得る。また、適合性試験の検証では、運転管理装置110が機械学習、または深層学習によって生成したニューラルネットワークモデルにセンサ141が取得したデータを入力して得られた出力と、移動装置140から取得した出力を比較することによって、登録を要求した自動運転レベルに対応する運転支援処理部142の精度が評価される。
 また、適合性試験判定部119は、ダイナミックマップ上の特定の対象物が十分な精度で検出されているか否かによって適合性試験を検証してもよい。センサ141のカメラモジュール141bは、画像情報を検出する。位置情報センサ141aは、位置に関する情報を検出する。LiDAR141cおよびレーダ141dは、ダイナミックマップ上の任意の対象物の測距に関する情報を検出する。運転支援処理部142は、当該画像情報、位置に関する情報、および、ダイナミックマップ上の任意の対象物の測距に関する情報に基づいて、ダイナミックマップ上の任意の対象物との対応関係やベクトルに関する情報を算出する。運転支援処理部142は、位置に関する情報と運転管理装置110から指示されたダイナミックマップ上の特定の対象物のベクトルに関する情報を適合性試験判定部119に報告する。適合性試験判定部119は、報告された特定の対象物のベクトルに関する情報が十分な精度であるか否かを検証する。
 適合性試験判定部119は、適合性試験の検証結果を登録許可判定部115へ通知する。登録許可判定部115は、適合性試験の検証結果に基づいて、登録の可否を判定する(ステップS508)。例えば、適合性試験判定部119によって、センサ141と運転支援処理部142が、登録を要求する自動運転レベルに対応する検出精度を確保できていないと判定された場合、登録許可判定部115は、移動装置140からの登録要求を拒否する。一方、適合性試験判定部119によって、センサ141と運転支援処理部142が、登録を要求する自動運転レベルに対応する検出精度を確保できていると判定された場合、登録許可判定部115は、移動装置140からの登録要求を許可する。
 また、センサ141と運転支援処理部142が、登録を要求する自動運転レベルに対応する検出精度を確保できていないと判定された場合、登録許可判定部115は、1つ下位の自動運転レベルに対応する検出精度を確保できているかを判定するようにしてもよい。例えば、最初に登録を要求した自動運転レベルがレベル3であれば、1つ下位の自動運転レベルはレベル2である。この場合、センサ141と運転支援処理部142が、1つ下位の自動運転レベルに対応する検出精度を確保できていると判定された場合、登録許可判定部115は、基地局装置130を介して移動装置140に、1つ下位の自動運転レベルに再設定することを指示してもよい。
 図11は、運転管理装置110の運行管理処理の一例を示すフローチャートである。以下、運転管理装置110の運行管理処理を説明する。
 運転管理装置110の登録許可判定部115は、特定領域内から脱出した、または脱出しようとしている移動装置140に対して、基地局装置130を介して、自動運転レベルの設定変更を指示する(ステップS601)。自動運転レベルの設定変更は、例えば、現在登録している自動運転レベルとは異なる自動運転レベルに設定変更することである。例えば、レベル3に対応した移動装置140が、レベル3が許可される特定領域から脱出しようとしている場合に、登録許可判定部115は、レベル0からレベル2のいずれかの自動運転レベルに設定変更するように指示する。また、レベル4に対応した移動装置140が、レベル4が許可される特定領域から脱出しようとしている場合に、登録許可判定部115は、レベル0からレベル3のいずれかの自動運転レベルに設定変更するように指示する。すなわち、登録許可判定部115は、移動装置140の位置に基づいて自動運転レベルの設定変更を指示する。
 一方、例えば、レベル3に対応した移動装置140が、レベル3が許可される特定領域以外の領域からレベル3が許可される特定領域内に進入しようとしている場合に、登録許可判定部115は、レベル2以下の自動運転レベルから、レベル3に設定変更するように指示する。また、レベル4に対応した移動装置140が、レベル4が許可される特定領域以外の領域からレベル4が許可される特定領域内に進入しようとしている場合に、登録許可判定部115は、レベル3以下の自動運転レベルから、レベル4に設定変更するように指示する。
 なお、例えば、レベル3が許可される特定領域内においても、レベル3に対応した移動装置140は、レベル3で運転する必要はなく、レベル3で運転することができる性能を持っているに過ぎない。よって、周囲の環境の状況や運転支援処理部142の精度によっては、登録許可判定部115は、レベル3に対応した移動装置140に対して、それより下位の自動運転レベルで走行するよう指示することができる。つまり、登録許可判定部115は、レベル3に対応した移動装置140に対して、レベル0からレベル2のいずれかの自動運転レベルに設定変更することを指示する。この自動運転レベルの動的な設定変更の指示は、自動運行システムを全体最適化する上で重要となる。
 移動装置140の自動運転レベル設定部147は、通信部144および登録要求処理部145を通じて自動運転レベルの設定変更の指示を受信すると、指示された自動運転レベルへ設定変更する(ステップS602)。続いて、登録要求処理部145は、通信部144から基地局装置130を介して、運転管理装置110に自動運転レベルの登録変更を要求する(ステップS603)。
 運転管理装置110では、登録要求受信部114が上記要求を受信すると、自動運転レベル管理部116が、登録要求に含まれた自動運転レベルを演算モデル確認部112へ通知する。演算モデル確認部112は、自動運転レベルに対応する演算モデルを確認して、演算モデル取得指示部113へ通知する。演算モデル取得指示部113は、基地局装置130を介して、登録要求を送信した移動装置140に対して、その登録要求に含まれた自動運転レベルに対応する演算モデルの取得を指示する(ステップS604)。
 移動装置140では、演算モデル要求部146が、通信部111を通じて演算モデルの要求を送信する(ステップS605)。演算モデルの要求は、基地局装置130を介してサーバ120に送信される。
 サーバ120では、演算モデル要求受信部122が、通信部121を通じて演算モデルの要求を受信する。続いて、演算モデル管理部123が、その要求に示された演算モデルを提供する(ステップS606)。提供された演算モデルは、通信部121から基地局装置130を介して要求元の移動装置140へ送信される。
 移動装置140では、演算モデル要求部146が、通信部144を通じて演算モデルを受け取って、演算モデル格納部149へ格納する。これにより、演算モデルが更新される(ステップS607)。続いて、演算モデル要求部146が、更新された演算モデルの所有に関する情報を、通信部144から送信させる(ステップS608)。
 運転管理装置110では、上記情報が通信部111および演算モデル確認部112を介して登録許可判定部115に入力される。登録許可判定部115は、上記情報に基づいて、登録変更の可否を判定する(ステップS609)。ステップS609では、登録許可判定部115は、例えば変更された演算モデルを識別するIDが、予め登録されている真正IDと一致する場合に登録変更を許可し、そうでない場合には登録変更を拒否する。
 変更された演算モデルの所有に関する情報が登録変更要件を満たす場合、登録許可判定部115は、基地局装置130を介して移動装置140へ登録変更許可を通知する(ステップS610)。
 移動装置140では、登録要求処理部145が、通信部144を通じて登録変更の許可通知を受信して、登録変更の許可を確認する(ステップS611)。
 なお、上述した運行管理処理では、移動装置140がある特定領域内から脱出、または、ある特定領域内に進入した場合に運転管理装置110が自動運転レベルの設定変更を指示しているが、指示のタイミングは、この場合に限られない。例えば、天候の変化、特定の時間帯において、センサの感度は変わり得る。そのため、運転管理装置110は、天候の変化、時間をトリガに自動運転レベルの設定変更を指示してもよい。
 また、移動装置140の自動運転レベル設定部147は、運転管理装置110から自動運転レベルの設定変更の指示を受けることなく自ら自動運転レベルの設定変更を要求するようにしてもよい。例えば、上記天候の変化や時間帯に加え、燃料やバッテリー残量が少なくなってきた場合に、特定のセンサの感度を下げる、特定の機能を無効にすること、または、通信部144が基地局装置130の通信エリア圏外になることに起因して、自動運転レベルを下げる(例えば、レベル3からレベル2に変える)要求を行ってもよい。
 また、ステップS602において、運転管理装置110から下位の自動運転レベルへの設定変更の指示を受信した場合に、S603において、自動運転レベル設定部147は、現在の演算モデルの所有に関する情報を含めて運転管理装置110に自動運転レベルの登録変更を要求してもよい。例えば、運転管理装置110が現在の演算モデルが下位の自動運転レベルでも有効であると判定することで、S604からS608までの処理を省略して、S609以降の処理を実行することができる。
 図12は、一部の運行管理処理の一例を示すフローチャートである。ここでは、適合性試験の実行の要否に関する処理フローを説明する。
 登録要求受信部114が、移動装置140から更新された自動運転レベルを含む登録要求を受信すると(ステップS701)、自動運転レベル管理部116が、登録要求に含まれる自動運転レベルがレベル5であるか否かを判定する(ステップS702)。
 自動運転レベルがレベル5である場合、適合性試験実行指示部117が、登録時に適合性試験の実行を指示する(ステップS703)。続いて、自動運転レベル管理部116が、登録された移動装置140に設定されている自動運転レベルがレベル1以上であるか否かを判定する(ステップS704)。なお、ステップS702において、自動運転レベルがレベル5でないと判定された場合にも、続いてステップS704の処理が実行される。
 自動運転レベルがレベル1以上でない、つまり、自動運転レベルがレベル0である場合、処理は終了する。一方、自動運転レベルが1以上である場合、適合性試験実行指示部117は、移動装置140に対して周期的な適合性試験の実行を設定する(ステップS705)。例えば、周期的な適合性試験の実行は、自動運転を補助する運転支援処理部142、センサ141、および、移動制御部143の故障や不具合を検知するために設定される。よって、その周期は、運転支援処理部142、センサ141、および、移動制御部143の故障や不具合の履歴の統計情報に基づいて設定される。
 また、運転支援処理部142、センサ141、および、移動制御部143が定期的なキャリブレーションを必要とする場合に、そのキャリブレーションのタイミングを決定する目的で周期的な適合性試験の実行が設定されてもよい。また、適合性試験の周期は、法令が定める移動装置140、運転支援処理部142、センサ141、または移動制御部143に求められるメンテナンスの頻度に基づいて設定されてもよい。さらに、適合性試験の周期は、エリア、時間帯、天候に応じて可変であってもよい。例えば、事故の履歴から、事故の発生頻度の高いエリアにおいては、短い周期の適合性試験の実行が設定される。また、定性的に昼間よりも夜間の時間帯、晴れの天候よりも、雨や雪の天候においては、短い周期の適合性試験の実行が設定されてもよい。
 続いて、登録許可判定部115が、移動装置140が特定領域に進入しているか否かを判定する(ステップS706)。移動装置140が特定領域に進入していない場合、周期的にステップS706の処理が実行される。一方、移動装置140が特定領域に進入している場合、自動運転レベル管理部116が、登録された移動装置140が設定している自動運転レベルがレベル3以上であるか否かを判定する(ステップS707)。
 登録された移動装置140が設定している自動運転レベルがレベル3以上でない場合、処理は終了する。一方、登録された移動装置140が設定している自動運転レベルがレベル3以上である場合、適合性試験実行指示部117が移動装置140に対して適合性試験の実行を指示する(ステップS708)。以降、周期的にステップS706の処理が実行され、移動装置140が特定領域に進入しているか否かが判定される。
 なお、図12の例では、S701において、自動運転レベルがレベル5の場合に、適合性試験実行指示部117が登録時に適合性試験の実行を指示する例を示したが、この例に限定されない。例えば、登録要求を受信したエリアが、システムが全ての操作を行うことができる自動運転レベルがレベル4に対する特定の場所である場合には、適合性試験実行指示部117は、自動運転レベルがレベル4以上の場合に、適合性試験の実行を指示してもよい。さらに、登録要求を受信したエリアが、システムが全ての操作を行うことができる自動運転レベルがレベル3に対する特定の場所である場合には、適合性試験実行指示部117は、自動運転レベルがレベル3以上の場合に、適合性試験の実行を指示するようにしてもよい。
 図13は、一部の運行管理処理の別例を示すフローチャートである。ここでは、適合性試験結果の判定に関する処理フローを説明する。
 適合性試験実行指示部117が移動装置140に適合性試験の実行を指示すると(ステップS801)、その後、適合性試験結果取得部118が移動装置140から適合性試験の結果を取得する(ステップS802)。
 続いて、適合性試験判定部119が、移動装置140が適合性試験の合否を判定する(ステップS803)。移動装置140が適合性試験に合格している場合には、登録許可判定部115は、移動装置140に対して、登録している自動運転レベルでの運行を許可する(ステップS804)。
 一方、移動装置140が適合性試験に不合格である場合には、登録許可判定部115は、移動装置140がレベル0での運転が可能であるか否かを判定する(ステップS805)。例えば、レベル5の自動運転を想定した移動装置140は、人が運転に介在することを想定していない設計であり得るためである。
 移動装置140がレベル0での運転が可能である場合には、登録許可判定部115は、移動装置140に対して、レベル0での運行を指示する(ステップS806)。
 一方、移動装置140がレベル0での運転が可能でない場合には、登録許可判定部115は、移動装置140に対して運行の停止を指示する(ステップS807)。例えば、レベル4の自動運転は、レベル3の自動運転と違い、緊急時のドライバーによる操作が求められていないので、人が運転する性能を備えていないことが想定される。つまり、レベル4の自動運転に対応した移動装置140は、レベル0での運行が可能でない場合があり得る。そのため、移動装置140の運行を停止させる。ここで、移動装置140の前方を走行する車両がV2X通信を介したプラトゥーニングに対応した車両で、移動装置140がプラトゥーニングのケイパビリティを有する場合には、登録許可判定部115は、前方を走行する車両との車両間隔に応じて、移動装置140に対してプラトゥーニングによる走行を指示してもよい。
 なお、運行停止の指示に合わせて、他車の運行に支障がない場所に停止させるための運行支援を行ってもよい。例えば、この運行支援は、運転管理装置110による遠隔運転操作である。また、図13に示す運行管理処理は、運転管理装置110に代わって、移動装置140が搭載する運転支援処理部142が自律分散的に行ってもよい。
 また、ステップS803で移動装置140が適合性試験に合格していない場合、ステップS805の処理を行う前に、適合性試験実行指示部117が1つ下位のレベル(例えば、レベル5からレベル4)の適合性試験の実行を指示してもよい。この場合、適合性試験判定部119が適合性試験結果を判定することによって、極力、レベル0より高位のレベルでの自動運転をサポートすることができる。
 以上説明した実施形態によれば、各移動装置140の自動運転レベルは、走行前に予め運転管理装置110に登録されている。また、演算モデルは、自動運転レベル毎に異なっており、各移動装置140は、適正な演算モデルを所有していないと走行を開始できない。このように、各移動装置140の自動運転レベルおよび演算モデルが運転管理装置110で一括的に管理されているため、異なる自動運転レベルに応じて運転支援することが可能となる。
 なお、本明細書では、移動装置140は道路上を走行する車両を例として記載しているが、本明細書で開示する技術の範囲はこれにとらわれない。移動装置140は、地上、または、空中を浮遊、走行する航空機、または、ドローン(Drone)に代表される無人航空機(UAV : Unmanned Aerial Vehicle)に適用できる。ここで、航空機は、空飛ぶ車とも呼ばれる小型の航空機を含みうる。移動装置140がこれらの航空機である場合には、エリアとして、高さ方向の情報も含む空間的なエリアが適用される。さらに、自動運転レベルの定義や分類は一例であり、例えば、より細かい分類が可能である。
 また、上述した運転管理装置110、サーバ120、および移動装置140内でそれぞれ実行される処理は、CPU(Central Processing Unit)またはGPU(Graphics Processing Unit)等が実行するソフトウェア(プログラム)により実現できる。ソフトウェアで実現する場合には、運転管理装置110、サーバ120、および移動装置140の少なくとも一部の機能を実現するプログラムを半導体メモリ、ハードディスク、フレキシブルディスク、又はCD-ROM等の記録媒体に収納し、コンピュータに読み込ませて実行させてもよい。また、運転管理装置110、サーバ120、および移動装置140の少なくとも一部の機能を実現するプログラムは、動的に基地局装置130又はRSUからダウンロードして、上記記録媒体に収納するようにしてもよい。
 なお、運転管理装置110、サーバ120、および移動装置140の全ての処理をソフトウェアで実行するのではなく、一部の処理が、専用の回路などのハードウェアにより実行されてもよい。また、運転管理装置110、或いは、サーバ120は、複数の装置、例えば、クラウドサーバーに分散して実装されてもよい。ここで、実装の形態には、仮想化による動的な実装を含み得る。さらに、クラウドサーバーは、エッジサーバーという概念を含み得る。
 上述した説明において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。
 なお、本技術は以下のような構成を取ることができる。
(1)自動運転レベルを設定可能な1以上の移動装置と、前記移動装置と通信可能な外部ネットワーク機器と、を備え、
 前記外部ネットワーク機器は、
 前記移動装置と通信する通信装置と、
 前記自動運転レベルに対応する演算モデルを決定し、前記通信装置を介して前記移動装置に前記演算モデルを提供する演算モデル決定装置と、
 前記演算モデルの所有に関する情報に基づいて、前記自動運転レベルの登録の可否を判定し、前記通信装置を介して前記移動装置へ登録許可を通知する登録判定装置と、を有し、
 前記移動装置は、
 前記演算モデル決定装置に前記演算モデルを要求し、要求した演算モデルが提供されると前記情報を前記登録判定装置へ送信させる演算モデル要求部と、
 前記登録判定装置から前記通知を受けると、登録許可された自動運転レベルに基づく移動制御を開始する移動制御部と、を有する、情報処理システム。
(2)前記通信装置は、前記移動装置と無線通信する基地局装置である、(1)に記載の情報処理システム。
(3)前記演算モデル決定装置は、前記基地局装置を介して前記移動装置と通信する通信部を有するサーバである、(2)に記載の情報処理システム。
(4)前記登録判定装置は、前記基地局装置を介して前記移動装置と通信する通信部を有する運転管理装置である、(2)または(3)に記載の情報処理システム。
(5)前記移動装置は、所有する第1演算モデルの有効期限または有効エリアを確認する演算モデル判定部をさらに有し、前記演算モデル要求部は、前記演算モデル判定部の確認結果に応じて期限またはエリアが有効な第2演算モデルを要求する、(1)から(4)のいずれか1項に記載の情報処理システム。
(6)前記移動装置は、前記演算モデルを格納する演算モデル格納部をさらに有し、前記演算モデル格納部内で、前記第1演算モデルが前記第2演算モデルに更新される、(5)に記載の情報処理システム。
(7)前記登録判定装置は、前記自動運転レベルに応じて適合性試験の要否を判定し、判定結果に応じて前記移動装置に対して適合性試験の実行を指示する適合性試験実行指示部をさらに有する、(1)から(4)のいずれか1項に記載の情報処理システム。
(8)前記登録判定装置は、前記移動装置の位置に基づいて前記自動運転レベルの設定変更を指示する登録許可判定部をさらに有し、
 前記移動装置は、前記登録許可判定部の指示に基づいて前記自動運転レベルの設定を変更する自動運転レベル設定部をさらに有する、(1)から(4)のいずれか1項に記載の情報処理システム。
(9)前記演算モデル要求部は、設定変更された自動運転レベルに対応する演算モデルを前記演算モデル決定装置へ要求し、所有する第1演算モデルを前記演算モデル決定装置から取得した第2演算モデルに更新する、(8)に記載の情報処理システム。
(10)前記適合性試験実行指示部は、前記自動運転レベルが所定レベル以上である場合、前記移動装置に対して、周期的な前記適合性試験の実行を指示する、(7)に記載の情報処理システム。
(11)移動装置に設定された自動運転レベルに対応する演算モデルを要求および取得する演算モデル要求部と、
 前記演算モデルの所有に関する情報に基づいて前記自動運転レベルの登録が許可されると、登録許可された自動運転レベルに基づいて前記移動装置の移動制御を開始する移動制御部と、を備える情報処理装置。
(12)前記移動装置と通信可能な外部ネットワーク機器に対して前記自動運転レベルの登録を要求する登録要求処理部をさらに備え、
 前記演算モデル要求部は、前記外部ネットワーク機器に対して前記演算モデルを要求し、前記外部ネットワーク機器から前記演算モデルを取得する、(11)に記載の情報処理装置。
(13)前記移動装置に設けられたセンサの検出データを前記演算モデルで演算した結果に基づいて前記移動制御部を制御する運転支援処理部をさらに備え、
 前記演算モデルは、前記センサの検出内容、前記移動装置の種類、および前記運転支援処理部の性能の少なくとも1つ以上に基づいて前記外部ネットワーク機器で決定される、(12)に記載の情報処理装置。
(14)所有する第1演算モデルの有効期限または有効エリアを確認する演算モデル判定部をさらに有し、
 前記演算モデル要求部は、前記演算モデル判定部の確認結果に応じて期限またはエリアが有効な第2演算モデルを要求する、(11)から(13)のいずれか1項に記載の情報処理装置。
(15)前記演算モデルを格納する演算モデル格納部をさらに備え、前記演算モデル格納部内で、前記第1演算モデルが前記第2演算モデルに更新される、(14)に記載の情報処理装置。
(16)自動運転レベルを設定可能な1以上の移動装置が、前記自動運転レベルに対応する演算モデルを外部ネットワーク機器に要求し、
 前記外部ネットワーク機器は、前記演算モデルを決定して前記移動装置に提供し、
 前記移動装置は、前記演算モデルの所有に関する情報を前記外部ネットワーク機器に送信し、
 前記外部ネットワーク機器は、前記情報に基づいて前記自動運転レベルの登録の可否を判定し、前記移動装置へ登録許可を通知し、
 前記移動装置は、前記通知を受けると、登録許可された自動運転レベルに基づく移動制御を開始する、情報処理方法。
 上述の実施形態は本開示を具現化するための一例を示したものであり、その他の様々な形態で本開示を実施することが可能である。例えば、本開示の要旨を逸脱しない範囲で、種々の変形、置換、省略またはこれらの組み合わせが可能である。そのような変形、置換、省略等を行った形態も、本開示の範囲に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
 100:運転支援システム
 110:運転管理装置
 117:適合性試験実行指示部
 115:登録許可判定部
 120:サーバ
 130:基地局装置
 140:移動装置
 141:センサ
 142:運転支援処理部
 143:移動制御部
 145:登録要求処理部
 146:演算モデル要求部
 147:自動運転レベル設定部
 148:演算モデル判定部
 149:演算モデル格納部

Claims (16)

  1.  自動運転レベルを設定可能な1以上の移動装置と、前記移動装置と通信可能な外部ネットワーク機器と、を備え、
     前記外部ネットワーク機器は、
     前記移動装置と通信する通信装置と、
     前記自動運転レベルに対応する演算モデルを決定し、前記通信装置を介して前記移動装置に前記演算モデルを提供する演算モデル決定装置と、
     前記演算モデルの所有に関する情報に基づいて、前記自動運転レベルの登録の可否を判定し、前記通信装置を介して前記移動装置へ登録許可を通知する登録判定装置と、を有し、
     前記移動装置は、
     前記演算モデル決定装置に前記演算モデルを要求し、要求した演算モデルが提供されると前記情報を前記登録判定装置へ送信させる演算モデル要求部と、
     前記登録判定装置から前記通知を受けると、登録許可された自動運転レベルに基づく移動制御を開始する移動制御部と、を有する、情報処理システム。
  2.  前記通信装置は、前記移動装置と無線通信する基地局装置である、請求項1に記載の情報処理システム。
  3.  前記演算モデル決定装置は、前記基地局装置を介して前記移動装置と通信する通信部を有するサーバである、請求項2に記載の情報処理システム。
  4.  前記登録判定装置は、前記基地局装置を介して前記移動装置と通信する通信部を有する運転管理装置である、請求項2に記載の情報処理システム。
  5.  前記移動装置は、所有する第1演算モデルの有効期限または有効エリアを確認する演算モデル判定部をさらに有し、前記演算モデル要求部は、前記演算モデル判定部の確認結果に応じて期限またはエリアが有効な第2演算モデルを要求する、請求項1に記載の情報処理システム。
  6.  前記移動装置は、前記演算モデルを格納する演算モデル格納部をさらに有し、前記演算モデル格納部内で、前記第1演算モデルが前記第2演算モデルに更新される、請求項5に記載の情報処理システム。
  7.  前記登録判定装置は、前記自動運転レベルに応じて適合性試験の要否を判定し、判定結果に応じて前記移動装置に対して適合性試験の実行を指示する適合性試験実行指示部をさらに有する、請求項1に記載の情報処理システム。
  8.  前記登録判定装置は、前記移動装置の位置に基づいて前記自動運転レベルの設定変更を指示する登録許可判定部をさらに有し、
     前記移動装置は、前記登録許可判定部の指示に基づいて前記自動運転レベルの設定を変更する自動運転レベル設定部をさらに有する、請求項1に記載の情報処理システム。
  9.  前記演算モデル要求部は、設定変更された自動運転レベルに対応する演算モデルを前記演算モデル決定装置へ要求し、所有する第1演算モデルを前記演算モデル決定装置から取得した第2演算モデルに更新する、請求項8に記載の情報処理システム。
  10.  前記適合性試験実行指示部は、前記自動運転レベルが所定レベル以上である場合、前記移動装置に対して、周期的な前記適合性試験の実行を指示する、請求項7に記載の情報処理システム。
  11.  移動装置に設定された自動運転レベルに対応する演算モデルを要求および取得する演算モデル要求部と、
     前記演算モデルの所有に関する情報に基づいて前記自動運転レベルの登録が許可されると、登録許可された自動運転レベルに基づいて前記移動装置の移動制御を開始する移動制御部と、を備える情報処理装置。
  12.  前記移動装置と通信可能な外部ネットワーク機器に対して前記自動運転レベルの登録を要求する登録要求処理部をさらに備え、
     前記演算モデル要求部は、前記外部ネットワーク機器に対して前記演算モデルを要求し、前記外部ネットワーク機器から前記演算モデルを取得する、請求項11に記載の情報処理装置。
  13.  前記移動装置に設けられたセンサの検出データを前記演算モデルで演算した結果に基づいて前記移動制御部を制御する運転支援処理部をさらに備え、
     前記演算モデルは、前記センサの検出内容、前記移動装置の種類、および前記運転支援処理部の性能の少なくとも1つ以上に基づいて前記外部ネットワーク機器で決定される、請求項12に記載の情報処理装置。
  14.  所有する第1演算モデルの有効期限または有効エリアを確認する演算モデル判定部をさらに有し、
     前記演算モデル要求部は、前記演算モデル判定部の確認結果に応じて期限またはエリアが有効な第2演算モデルを要求する、請求項11に記載の情報処理装置。
  15.  前記演算モデルを格納する演算モデル格納部をさらに備え、前記演算モデル格納部内で、前記第1演算モデルが前記第2演算モデルに更新される、請求項14に記載の情報処理装置。
  16.  自動運転レベルを設定可能な1以上の移動装置が、前記自動運転レベルに対応する演算モデルを外部ネットワーク機器に要求し、
     前記外部ネットワーク機器は、前記演算モデルを決定して前記移動装置に提供し、
     前記移動装置は、前記演算モデルの所有に関する情報を前記外部ネットワーク機器に送信し、
     前記外部ネットワーク機器は、前記情報に基づいて前記自動運転レベルの登録の可否を判定し、前記移動装置へ登録許可を通知し、
     前記移動装置は、前記通知を受けると、登録許可された自動運転レベルに基づく移動制御を開始する、情報処理方法。
PCT/JP2021/020325 2020-06-26 2021-05-28 情報処理システム、情報処理装置および情報処理方法 WO2021261167A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022532451A JPWO2021261167A1 (ja) 2020-06-26 2021-05-28
US18/001,660 US20230234599A1 (en) 2020-06-26 2021-05-28 Information processing system, information processing device, and information processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020110588 2020-06-26
JP2020-110588 2020-06-26

Publications (1)

Publication Number Publication Date
WO2021261167A1 true WO2021261167A1 (ja) 2021-12-30

Family

ID=79282475

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/020325 WO2021261167A1 (ja) 2020-06-26 2021-05-28 情報処理システム、情報処理装置および情報処理方法

Country Status (3)

Country Link
US (1) US20230234599A1 (ja)
JP (1) JPWO2021261167A1 (ja)
WO (1) WO2021261167A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024055197A1 (zh) * 2022-09-14 2024-03-21 Oppo广东移动通信有限公司 模型监测的方法及设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013246740A (ja) * 2012-05-29 2013-12-09 Hitachi Ltd 配信サーバ、路側通信装置、ソフトウェア配信方法およびソフトウェア配信システム
JP2017146934A (ja) * 2016-02-19 2017-08-24 住友電気工業株式会社 情報処理装置、データ抽出方法、プログラム更新方法、記憶媒体及びコンピュータプログラム
JP2017218019A (ja) * 2016-06-07 2017-12-14 株式会社デンソー 車両用装置、及び車両用システム
JP2018163613A (ja) * 2017-03-27 2018-10-18 パナソニックIpマネジメント株式会社 電子機器、プログラム更新方法およびコンピュータプログラム
JP2019177807A (ja) * 2018-03-30 2019-10-17 トヨタ自動車株式会社 制御装置、プログラム、及び制御方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013246740A (ja) * 2012-05-29 2013-12-09 Hitachi Ltd 配信サーバ、路側通信装置、ソフトウェア配信方法およびソフトウェア配信システム
JP2017146934A (ja) * 2016-02-19 2017-08-24 住友電気工業株式会社 情報処理装置、データ抽出方法、プログラム更新方法、記憶媒体及びコンピュータプログラム
JP2017218019A (ja) * 2016-06-07 2017-12-14 株式会社デンソー 車両用装置、及び車両用システム
JP2018163613A (ja) * 2017-03-27 2018-10-18 パナソニックIpマネジメント株式会社 電子機器、プログラム更新方法およびコンピュータプログラム
JP2019177807A (ja) * 2018-03-30 2019-10-17 トヨタ自動車株式会社 制御装置、プログラム、及び制御方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024055197A1 (zh) * 2022-09-14 2024-03-21 Oppo广东移动通信有限公司 模型监测的方法及设备

Also Published As

Publication number Publication date
US20230234599A1 (en) 2023-07-27
JPWO2021261167A1 (ja) 2021-12-30

Similar Documents

Publication Publication Date Title
EP3627471B1 (en) Method and device for assisting in controlling automatic driving of vehicle, and system
CN110603497B (zh) 自主车辆操作管理控制的自主车辆和方法
US20230334983A1 (en) Message broadcasting for vehicles
EP4071661A1 (en) Automatic driving method, related device and computer-readable storage medium
CN110928286B (zh) 用于控制车辆的自动驾驶的方法、设备、介质和系统
CN113968216B (zh) 一种车辆碰撞检测方法、装置及计算机可读存储介质
CN110582802A (zh) 载运工具行为监测系统和方法
CN114945492B (zh) 协作式交通工具前灯引导
US20200298874A1 (en) Vehicle control device, vehicle control method, and storage medium
US11618455B2 (en) Driving data used to improve infrastructure
CN114929517B (zh) 协作式交通工具前灯引导
US11106206B2 (en) Vehicle control device, vehicle control method, and storage medium
JP2019064538A (ja) 車両制御装置、車両制御方法、およびプログラム
CN110562269A (zh) 一种智能驾驶车辆故障处理的方法、车载设备和存储介质
CN116171464A (zh) 信号灯识别装置、信号灯识别方法、车辆控制装置
CN114945958A (zh) 协作式交通工具前灯引导
CN112639913B (zh) 车辆控制装置及其方法、自动驾驶车开发系统、存储介质
WO2021261167A1 (ja) 情報処理システム、情報処理装置および情報処理方法
GB2611589A (en) Techniques for finding and accessing vehicles
CN112061113B (zh) 车辆控制装置、车辆控制方法及存储介质
WO2022070250A1 (ja) 情報処理装置、情報処理方法、および、プログラム
WO2021253374A1 (en) V2X Message For Platooning
CN112257488A (zh) 信息提供装置、信息提供方法及存储介质
JP2020140445A (ja) 車両制御システム、車両制御方法、及びプログラム
CN112639910B (zh) 交通元素的观测方法和装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21829344

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022532451

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21829344

Country of ref document: EP

Kind code of ref document: A1