WO2024150372A1 - ソフトウェア更新システム、管制センタ、およびソフトウェア更新装置 - Google Patents

ソフトウェア更新システム、管制センタ、およびソフトウェア更新装置 Download PDF

Info

Publication number
WO2024150372A1
WO2024150372A1 PCT/JP2023/000617 JP2023000617W WO2024150372A1 WO 2024150372 A1 WO2024150372 A1 WO 2024150372A1 JP 2023000617 W JP2023000617 W JP 2023000617W WO 2024150372 A1 WO2024150372 A1 WO 2024150372A1
Authority
WO
WIPO (PCT)
Prior art keywords
update
software
data
vehicle
external environment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2023/000617
Other languages
English (en)
French (fr)
Inventor
裕文 生駒
智紀 川上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Astemo Ltd
Original Assignee
Hitachi Astemo Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Astemo Ltd filed Critical Hitachi Astemo Ltd
Priority to DE112023004500.3T priority Critical patent/DE112023004500T5/de
Priority to PCT/JP2023/000617 priority patent/WO2024150372A1/ja
Priority to JP2024569945A priority patent/JPWO2024150372A1/ja
Publication of WO2024150372A1 publication Critical patent/WO2024150372A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/60—Software deployment
    • G06F8/65—Updates
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0112—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G08G1/0133—Traffic data processing for classifying traffic situation

Definitions

  • the present invention relates to a software update system, a control center, and a software update device for updating software in an external environment recognition device.
  • External recognition devices installed on vehicles and other moving objects recognize road structures such as traffic lights and road signs that exist around the vehicle, but if the recognition accuracy is low, the recognition software of the external recognition device needs to be updated.
  • Patent Document 1 is a background technology in this technical field.
  • Patent Document 1 relates to an information processing device, information processing method, and information processing system that enable appropriate updates of software used for driving assistance or automatic driving of a mobile body.
  • the information processing device is characterized in that it includes a recognition unit that performs recognition processing of the situation around the mobile body based on sensor data related to the situation around the mobile body, and a software update control unit that controls updates of software used for driving assistance or automatic driving of the mobile body based on the recognition result of the recognition processing.
  • paragraph 0133 of Patent Document 1 states, "For example, the software update control unit 261 determines whether or not an update of the software for autonomous driving, etc. is necessary based on the recognition results of various recognition processes performed by the recognition unit 73. If the software update control unit 261 determines that an update of the software for autonomous driving, etc. is necessary, it transmits recognition processing information including the recognition results by the recognition unit 73 to the management server 211 via the communication unit 22 and the network 212.”
  • paragraph 0157 of Patent Document 1 states, "In step S34, the object recognition unit 281 determines whether or not the recognition accuracy has decreased. For example, a recognition score threshold is set in advance for each object class through a prior learning process. The object recognition unit 281 compares the calculated recognition score with the corresponding threshold for each object recognized in the process of step S31. If there is an object whose recognition score is less than the threshold, the object recognition unit 281 determines that the recognition accuracy has decreased, and the process proceeds to step S35."
  • the information processing device described in Patent Document 1 compares the recognition score of a recognized object with a recognition score threshold that is preset by prior learning processing in the object recognition unit, and if it determines that the recognition accuracy has decreased, it controls the update of software used for driving assistance or autonomous driving of a mobile object.
  • the deterioration in recognition accuracy is judged based on the recognition score, it is difficult to grasp the deterioration in accuracy regarding the relative position between the recognition target and the vehicle.
  • the need for a software update is determined by the software update processing unit installed in the vehicle, making it difficult to distinguish whether the problem is specific to the vehicle or a problem with the recognition software.
  • the present invention was made in consideration of the above problems, and its purpose is to provide a software update system, a control center, and a software update device that can determine with high accuracy whether or not the software of an external recognition device needs to be updated.
  • the present invention provides a software update system including a software update device that updates the software of an external environment recognition device mounted on a vehicle, and a control center that communicates with the software update device via a network and distributes update software used to update the software of the external environment recognition device, the software update device includes a vehicle-side transmission unit that transmits external environment recognition data generated by the external environment recognition device to the control center, and the control center includes an update necessity determination unit that determines whether or not the software needs to be updated based on the external environment recognition data.
  • the present invention provides a control center that communicates with a software update device that updates the software of an external environment recognition device mounted on a vehicle via a network and distributes update software used to update the software of the external environment recognition device, the control center receiving unit receiving external environment recognition data generated by the external environment recognition device from the software update device, an update necessity determination unit determining whether or not the software needs to be updated based on the external environment recognition data, an update data storage unit storing update data including the external environment recognition data and raw data of the external environment sensor used to generate the external environment recognition data, an update software generation unit generating the update software using the update data, and a notification unit notifying the software update device of the location where the update data used to generate the update software was obtained when the update necessity determination unit determines that the software needs to be updated.
  • the present invention also provides a software update device that communicates via a network with a control center that distributes update software used to update the software of an external environment recognition device mounted on a vehicle, the software update device comprising: a vehicle-side transmitting unit that transmits external environment recognition data generated by the external environment recognition device to the control center; a vehicle-side update data storage unit that stores update data including the external environment recognition data and raw data of an external environment sensor used to generate the external environment recognition data; and a vehicle-side receiving unit that receives from the control center an acquisition location of the update data that the control center uses to generate the update software, and after the vehicle-side receiving unit receives the acquisition location, the vehicle-side update data storage unit stores the update data acquired at the acquisition location, and the vehicle-side transmitting unit transmits the update data acquired at the acquisition location that is stored in the vehicle-side update data storage unit to the control center.
  • control center determines whether the software of the external environment recognition device needs to be updated based on the external environment recognition data generated by the external environment recognition device, making it possible to determine with high accuracy whether the software of the external environment recognition device needs to be updated.
  • FIG. 1 is a diagram illustrating an example of an overall configuration of a software update system according to an embodiment of the present invention.
  • FIG. 13 is a diagram showing time-series data of update data.
  • 13A and 13B are diagrams illustrating an example of a software update necessity determination based on a vertical distance.
  • 13A and 13B are diagrams illustrating an example of a determination of the necessity of a software update in terms of a horizontal distance.
  • FIG. 13 is a diagram showing an example of software update necessity determination in a bird's-eye view.
  • FIG. 1 is a diagram illustrating an example of a flowchart of a software update system according to an embodiment of the present invention.
  • FIG. 1 is a diagram showing an example of the overall configuration of a vehicle 1 and a control center 200 according to an embodiment of the present invention.
  • the vehicle 1 shown in FIG. 1 has an external environment recognition device 10, a vehicle information acquisition device 20, and a software update device 30.
  • the software update device 30 has a microcomputer, a storage device, and a communication interface.
  • the microcomputer is a processor (e.g., a CPU) that executes a program stored in the storage device.
  • the microcomputer operates as a functional unit that provides various functions by executing a specific program.
  • the storage device includes a non-volatile storage area and a volatile storage area.
  • the non-volatile storage area includes a program area that stores the program executed by the microcomputer, and a data area that temporarily stores data used by the microcomputer when executing the program.
  • the volatile storage area stores data used by the microcomputer when executing the program.
  • the communication interface connects to other electronic control devices via a network such as CAN or Ethernet.
  • the control center 200 is a device that determines whether or not the software of the external environment recognition device 10 needs to be updated, and if it is determined that an update is necessary, carries out the software update. It has an update necessity determination unit 210, an update software generation unit 220, a feature data storage unit 230, a control center side update data storage unit 240, a recognition software database 250, a control center side receiving unit 260, and a notification unit 270.
  • the external environment recognition device 10 generates external environment recognition data related to road features such as road structures (traffic lights, road signs, road markings, etc.) and road conditions (road width, road surface condition, etc.) around the vehicle 1 based on the results of observation of the external environment by external environment sensors 40 mounted on the vehicle 1, such as a camera sensor using an image sensor and a radar sensor using millimeter waves or lasers, and outputs the data to the software update device 30. It also extracts image data, video data, and point cloud data from the external environment sensors 40 used to generate the external environment recognition data, and outputs the data to the software update device 30.
  • road features traffic lights, road signs, road markings, etc.
  • road conditions road width, road surface condition, etc.
  • the vehicle information acquisition device 20 acquires vehicle information relating to the operation of the vehicle 1, such as the running speed and steering angle of the vehicle 1, based on the output of vehicle sensors such as a speed sensor and steering angle sensor mounted on the vehicle 1, and outputs this to the software update device 30. It also acquires the current position and current attitude of the vehicle 1 based on information from the GPS (Global Positioning System), GNSS (Global Navigation Satellite System), gyro sensor, etc., and outputs this to the software update device 30.
  • GPS Global Positioning System
  • GNSS Global Navigation Satellite System
  • gyro sensor Global Navigation Satellite System
  • the software update device 30 is a device that transmits update data including the external recognition data, raw data, vehicle position data, and vehicle direction data acquired from the external recognition device 10 and the vehicle information acquisition device 20 to the control center 200, receives recognition software (update software) of the external recognition device 10 distributed from the control center 200, and performs software updates of the external recognition device 10, and has a vehicle-side transmitting unit 31, a vehicle-side receiving unit 32, and a vehicle-side update data storage unit 33.
  • the software update device 30 is specifically a microcomputer mounted on an ECU (Electronic Control Unit) equipped with a CPU and memory (ROM, RAM), and is a device that realizes each function by the CPU executing various programs stored in the memory.
  • ECU Electronic Control Unit
  • the vehicle-side update data storage unit 33 stores the update data acquired from the external environment recognition device 10 and the vehicle information acquisition device 20.
  • the update data includes, for example, external environment recognition data, vehicle position data, and vehicle direction data.
  • the vehicle-side receiving unit 32 receives information on the raw data acquisition location via the notification unit 270, and the vehicle-side update data storage unit 33 stores the update data including the external environment recognition data, raw data, vehicle position data, and vehicle direction data when the vehicle 1 travels through the raw data acquisition location.
  • the update data stored in the vehicle-side update data storage unit 33 is transmitted to the control center-side receiving unit 260 via the vehicle-side transmitting unit 31, and stored in the control center-side update data storage unit 240.
  • the update data stored in the vehicle-side update data storage unit 33 is time-series data, and includes vehicle information, external recognition data, raw data, etc.
  • vehicle information includes a vehicle ID, vehicle position data, vehicle direction data, etc.
  • the external recognition data includes data such as the relative position between the vehicle 1 and an object.
  • the vehicle position data includes, for example, latitude and longitude information.
  • the vehicle direction data may include the direction in which the vehicle 1 is facing, as well as the attitude of the vehicle.
  • the vehicle ID is assigned to determine which vehicle 1 the external recognition data was acquired from.
  • the external recognition data includes the vertical distance and horizontal distance from the object, the type of the object, status information, etc.
  • the external recognition data includes object information related to at least one object.
  • the raw data includes the video, images, point cloud data, etc. used to generate the external recognition data, stored in time series. Since the recognition accuracy of the external recognition device 10 is affected by the weather, weather information may be included in the raw data and stored as shown in FIG. 2.
  • the vehicle-side update data storage unit 33 acquires raw data from the external environment recognition device 10 based on the raw data acquisition location received via the notification unit 270, but raw data may be acquired in stages according to the analysis process by the update software generation unit 220 described below. For example, raw data may be acquired all the time when traveling through the location, then raw data may be acquired by narrowing down the time period, and finally raw data may be acquired by narrowing down the time period and weather conditions, for example.
  • the control center 200 may notify the update software generation unit 220 of the location and time of raw data acquisition according to the analysis, improvement, and verification process via the notification unit 270.
  • the update data is time-series data, but the data can be divided into a variety of sections. For example, it may be data from when the external environment recognition device 10 recognizes an object to when it goes out of the recognition range of the external environment recognition device 10, or data from when the vehicle 1 starts (EGN on or power on) to when it stops (EGN off or power off), or data for a specific time (for example, in one-minute increments).
  • the vehicle-side update data storage unit 33 may be a storage device provided in an on-board device installed in the vehicle 1, or may be an external storage device such as an SD card or removable disk connected to the vehicle 1.
  • the software update device 30 transmits update data to the control center 200 via the vehicle-side transmitter 31.
  • There are a variety of transmission methods including a method using a wireless communication device installed in the vehicle 1, a wireless communication method such as a Wi-Fi connection at a facility where the vehicle 1 stops, such as at home, a convenience store, or a gas station, or a method in which the data is stored in an external storage device and communicated via the Internet from a terminal such as a PC or smartphone.
  • the update necessity determination unit 210 determines whether or not the external environment recognition device 100 is updated based on the feature data acquired from the infrastructure 300 and stored in the feature data storage unit 230 and the update data stored in the control center side update data storage unit 240.
  • the recognition accuracy calculation unit 211 determines whether or not the recognition software of the vehicle 10 needs to be updated.
  • a determination method in the case where the external recognition data is the relative position from the vehicle 1 to a feature will be specifically described. Based on the vehicle position data, vehicle direction data, and feature data included in the update data, a true value of the relative position from the vehicle 1 to the feature is calculated, and a difference between the true value and the external environment recognition data included in the update data is calculated.
  • the error amount exceeds a preset threshold value.
  • the threshold value may be set according to the specifications of the external environment recognition device 10, or may be set statistically.
  • the above describes a method for determining whether or not the recognition software needs to be updated based on the comparison result between the external recognition data and the true value.
  • the method for determining whether or not the recognition software needs to be updated is not limited to this.
  • the determination may be made based on a comparison result between another parameter calculated based on the vehicle position data, the vehicle direction data, and the feature data and a true value of the parameter.
  • the true value of the vertical distance between the vehicle position and the feature i.e., the distance in the forward and backward directions as seen from the vehicle 1 is compared with the external recognition data.
  • the horizontal axis is the true value and the vertical axis is the external recognition data, if the error is small, it is mapped to an area where a software update is not required, and if the error is large, it is mapped to an area where a software update is required, and it is possible to determine whether or not a software update is required.
  • the threshold value for the area where a software update is required and the area where it is not required may be determined according to the specifications of the external recognition device 10, or may be set statistically. Generally, the further away an object is, the lower the recognition accuracy becomes, so the threshold value may be set to be relaxed.
  • the true value of the lateral distance between the vehicle position and the feature i.e., the distance from the left to right as seen from the vehicle 1 is compared with the external recognition data.
  • the true value on the horizontal axis and the external recognition data on the vertical axis if the error is small, it is mapped to an area where a software update is not required, and on the other hand, if the error is large, it is mapped to an area where a software update is required, and it is possible to determine whether or not a software update is required.
  • the threshold value for the area where a software update is required and the area where it is not required may be determined based on the specifications of the external recognition device 10, or may be set statistically. Generally, the further away an object is, the lower the recognition accuracy becomes, so the threshold value may be set to be relaxed.
  • the true values of the vertical and horizontal distances between the vehicle position and the feature are compared with the external recognition data.
  • a road structure 2 such as a traffic light is installed in front of the vehicle 1.
  • the thresholds for the area where software update is required and the area where it is not required may be determined according to the specifications of the external recognition device 10, or may be set statistically.
  • the thresholds shown in FIG. 5 are displayed on a perfect circle, but they may also be displayed as ellipses depending on the characteristics of the external recognition device 10.
  • the determination of whether or not the recognition software needs to be updated is made when the amount of error in the external recognition data exceeds a threshold value when multiple vehicles 1 are in the same location. This is because it is determined that the scene in that location is difficult for the recognition software to recognize, and that the software needs to be improved. On the other hand, if only a specific vehicle exceeds the threshold value, it can be determined that there is a problem specific to the vehicle (such as a deviation due to aging) rather than the recognition software.
  • the raw data acquisition location determination unit 212 determines that the recognition software needs to be updated, it requests the vehicle 1 to acquire the raw data required to update the recognition software. Specifically, it extracts locations where the amount of error in the external environment recognition data exceeds a threshold in multiple vehicles 1, and transmits these to the vehicle-side receiving unit 32 of the vehicle 1 via the notification unit 270.
  • the raw data acquisition location is set based on the acquired vehicle direction data and road shape in a range away from the location where a feature with low recognition accuracy is installed, or in cases where the orientation in which the feature can be recognized is limited due to the traveling direction of the vehicle 1, such as a sign or traffic light.
  • the raw data acquisition location is transmitted to the vehicle 1 equipped with the recognition software determined to need to be updated.
  • the recognition software needs to be updated based on the external recognition data of multiple vehicles 1, it is possible to accurately identify locations that are difficult for the recognition software to recognize, and obtain raw data to deal with scenes that are difficult to recognize. Furthermore, because the processing is based on the external recognition data of multiple vehicles 1, it is possible to determine whether the problem is with the recognition software or a problem specific to a particular vehicle.
  • the update software generation unit 220 analyzes, improves, and verifies the recognition software when the update necessity determination unit 210 determines that an update of the recognition software is necessary, and distributes the updated software to the vehicle 1, and is equipped with a recognition software analysis unit 221, a recognition software improvement unit 222, and a recognition software verification unit 223.
  • the recognition software database 250 stores the version history and change history of the recognition software, and transmits recognition software information to the recognition software update unit when the recognition software is analyzed, improved, and verified.
  • the update software generation unit 220 may request the required raw data from the vehicle 1 depending on the process status of the analysis, improvement, and update of the recognition software.
  • the recognition software analysis unit 221 performs an analysis of the recognition software based on the update data that can be obtained from the control center side update data storage unit 240.
  • the raw data of the update data includes image data, video data, point cloud data, etc. used to generate external recognition data.
  • the version of the recognition software to be updated is obtained from the recognition software database 250, the raw data is input to the recognition software, and it is analyzed whether recognition is performed reliably. For example, by using update data that the update necessity determination unit 210 has determined to require a software update, it is possible to focus the analysis on scenes where the recognition software had low recognition accuracy.
  • the analysis results are sent to the recognition software improvement unit 222, and include causes of low recognition accuracy such as the feature being recognized but the relative distance not being calculated correctly, the feature not being recognized, the feature having an unusual shape, or an obstruction between the feature and the vehicle 1.
  • the recognition software improvement unit 222 improves the recognition software based on the analysis results obtained from the recognition software analysis unit 221. Specifically, additional learning of the recognition software is performed using update data, and parameters for calculating the relative distance between the vehicle 1 and features are updated. The improved software is sent to the recognition software verification unit 223.
  • the recognition software verification unit 223 verifies the recognition software improved by the recognition software improvement unit 222. Specifically, it verifies whether improvements have been made in scenes where the improved recognition software is problematic. It also refers to the update history of the recognition software stored in the recognition software database 250 to check whether there are any problems with the changes made to the previous recognition software. If it is determined as a result of the verification that there are no problems with the improved recognition software, it stores it in the recognition software database 250 as the latest version and distributes the recognition software to the vehicle 1 via the notification unit 270.
  • steps S1 and S2 external recognition data relating to features such as road structures present around the vehicle 1, and vehicle position data and vehicle direction data at the time of acquiring the external recognition data are acquired by the external recognition device 10 and vehicle information acquisition device 20 of the vehicle 1, and are stored in the vehicle-side update data storage unit 33.
  • the update data including the external recognition data, vehicle position data, and vehicle direction data stored in the vehicle-side update data storage unit 33, is transmitted to the control center 200 via the vehicle-side transmission unit 31.
  • step S3 the control center 200 stores the update data transmitted from the vehicle 1 in the control center update data storage unit 240 via the control center receiving unit 260.
  • the update necessity determination unit 210 uses the update data stored in the control center update data storage unit 240 and the feature data stored in the feature data storage unit 230 to calculate the accuracy of the external environment recognition data included in the update data in the recognition accuracy calculation unit 211.
  • step S4 it is determined whether or not the recognition software needs to be updated based on the accuracy of the external recognition data calculated in step S3. If it is determined that an update is necessary, the process proceeds to step S5. If it is determined that an update is not necessary, the process ends, and it is determined whether or not the recognition software needs to be updated for the next external recognition data.
  • the raw data acquisition location determination unit 212 determines the raw data acquisition location required for updating the recognition software. Basically, the raw data acquisition location is the location where the external recognition data determined to need updating was acquired. The raw data acquisition location is notified to the vehicle 1 via the notification unit 270. The raw data acquisition location is also notified to multiple vehicles other than the vehicle that acquired the external recognition data.
  • the software update device 30 stores the raw data acquisition location notified by the control center 200 in the vehicle-side update data storage unit 33 via the vehicle-side receiver 32.
  • the external environment recognition device 10 normally transmits external environment recognition data to the software update device 30, but if the raw data acquisition location has been notified, when the vehicle 1 passes the raw data acquisition location, it also transmits the raw data used to generate the external environment recognition data to the software update device 30.
  • the vehicle information acquisition device 20 also transmits vehicle position data and vehicle direction data to the software update device 30.
  • the software update device 30 stores update data including the external environment recognition data, raw data, vehicle position data, and vehicle direction data acquired from the external environment recognition device 10 and the vehicle information acquisition device 20 in the vehicle-side update data storage unit 33.
  • the software update device 30 transmits the update data to the control center 200 via the vehicle-side transmitter 31.
  • step S8 the control center 200 stores the update data acquired via the control center receiving unit 260 in the control center update data storage unit 240.
  • the recognition software analysis unit 221 uses the update data stored in the control center update data storage unit 240 to analyze the recognition software of the external environment recognition device 10. The analysis result is output to the recognition software improvement unit 222.
  • step S9 the recognition software improvement unit 222 improves the recognition software of the external environment recognition device 10 based on the analysis results by the recognition software analysis unit 221.
  • the improved recognition software is output to the recognition software verification unit 223.
  • step S10 the recognition software verification unit 223 verifies the recognition software of the external environment recognition device 10 that has been improved by the recognition software improvement unit 222. If the verification results in a determination that there is no problem with the improved recognition software, it stores it in the recognition software database 250.
  • step S11 the control center 200 distributes the latest recognition software stored in the recognition software database 250 to the vehicle 1 via the notification unit 270.
  • the recognition accuracy calculation unit 211 compares the true value with the external recognition data, and when it is determined that the recognition software needs to be updated, the raw data acquisition location determination unit 212 sets the raw data acquisition location.
  • a raw data acquisition request may be made to a vehicle 1 traveling in time periods such as early morning or twilight, or in order to improve the degradation of the recognition accuracy of the recognition software due to bad weather, a raw data acquisition request may be made to a vehicle 1 traveling in rainy or snowy weather.
  • feature data is used to determine whether or not the recognition software needs to be updated, but the feature data stored in the feature data storage unit 230 does not necessarily determine the actual situation.
  • the information stored in the feature data may differ from the actual road shape or the location of road structures due to road construction or natural disasters. Even in such a situation, it can be determined that the feature data is different based on the update data acquired by the vehicle 1. If it is determined that the feature data is different, the feature data may be updated, or processing may be performed such as not acquiring external environment recognition data related to features at that location.
  • the software update device 30 includes a vehicle-side transmission unit 31 that transmits external environment recognition data generated by the external environment recognition device 10 to the control center 200, and the control center 200 includes an update necessity determination unit 210 that determines whether or not the software needs to be updated based on the external environment recognition data.
  • control center 200 determines whether the software of the external environment recognition device 10 needs to be updated based on the external environment recognition data generated by the external environment recognition device 10, making it possible to determine with high accuracy whether the software of the external environment recognition device 10 needs to be updated.
  • the control center 200 includes a control center side update data storage unit 240 that stores update data including the external recognition data and raw data of the external sensor 40 used to generate the external recognition data, an update software generation unit 220 that generates the update software using the update data, and a notification unit 270 that notifies the software update device 30 of the acquisition location of the update data when the update necessity determination unit 210 determines that the software needs to be updated.
  • the software update device 30 includes a vehicle side update data storage unit 33 that stores the update data acquired at the acquisition location notified by the notification unit 270, and the vehicle side transmission unit 31 transmits the update data acquired at the acquisition location stored in the vehicle side update data storage unit 33 to the control center 200. This makes it possible to generate update software for the external recognition device 10 by investigating the cause of the decrease in recognition accuracy using raw data from a location where the software of the external recognition device 10 has difficulty recognizing.
  • the notification unit 270 notifies the software update device 30 mounted on a vehicle other than the vehicle 1 that acquired the external environment recognition data of the acquisition location. This makes it possible to determine whether the deterioration of the recognition accuracy of the recognition software is due to a problem with the recognition software or a problem specific to a particular vehicle.
  • the update data includes the position data and direction data of the vehicle 1 at the time the raw data was output. This makes it possible to determine whether or not the recognition software needs to be updated using the position data and direction data of the vehicle 1.
  • control center 200 further includes a feature data storage unit 230 that stores feature data including position information of road features, and the update necessity determination unit 210 determines whether or not the software needs to be updated based on the external environment recognition data and the feature data. This makes it possible to determine with high accuracy whether or not the software of the external environment recognition device 10 needs to be updated.
  • control center 200 communicates with the software update device 30, which updates the software of the external environment recognition device 10 mounted on the vehicle 1, via a network and distributes update software used to update the software of the external environment recognition device 10, and is equipped with a control center side receiving unit that receives external environment recognition data generated by the external environment recognition device 10 from the software update device 30, an update necessity determination unit 210 that determines whether or not the software needs to be updated based on the external environment recognition data, a control center side update data storage unit 240 that stores update data including the external environment recognition data and raw data of the external environment sensor 40 used to generate the external environment recognition data, an update software generation unit 220 that generates the update software using the update data, and a notification unit 270 that notifies the software update device 30 of the location where the update data used to generate the update software was obtained when the update necessity determination unit 210 determines that an update of the software is necessary.
  • a control center side receiving unit that receives external environment recognition data generated by the external environment recognition device 10 from the software update device 30, an update necessity determination unit 210 that determines
  • the software update device 30 communicates via a network with a control center 200 that distributes update software used to update the software of the external environment recognition device 10 installed in a vehicle, and includes a vehicle-side transmitting unit 31 that transmits external environment recognition data generated by the external environment recognition device 10 to the control center 200, a vehicle-side update data storage unit 33 that stores update data including the external environment recognition data and raw data of the external environment sensor 40 used to generate the external environment recognition data, and a vehicle-side receiving unit 32 that receives from the control center 200 the acquisition location of the update data used by the control center 200 to generate the update software, and after the vehicle-side receiving unit 32 receives the acquisition location, the vehicle-side update data storage unit 33 stores the update data acquired at the acquisition location, and the vehicle-side transmitting unit 31 transmits the update data acquired at the acquisition location stored in the vehicle-side update data storage unit 33 to the control center 200.
  • a vehicle-side transmitting unit 31 that transmits external environment recognition data generated by the external environment recognition device 10 to the control center 200
  • the present invention is not limited to the above-described embodiment, but includes various modified examples and equivalent configurations.
  • the above-described embodiment has been described in detail to clearly explain the present invention, and the present invention is not necessarily limited to having all of the configurations described.
  • each of the configurations, functions, processing units, processing means, etc. described above may be realized in part or in whole in hardware, for example by designing them as integrated circuits, or may be realized in software by a processor interpreting and executing a program that realizes each function.
  • Information such as programs, tables, and files that realize each function can be stored in storage devices such as memory, hard disks, and SSDs (Solid State Drives), or in recording media such as IC cards, SD cards, and DVDs.
  • storage devices such as memory, hard disks, and SSDs (Solid State Drives), or in recording media such as IC cards, SD cards, and DVDs.
  • control lines and information lines shown are those considered necessary for explanation, and do not necessarily show all the control lines and information lines necessary for implementation. In reality, it is safe to assume that almost all components are interconnected.

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)
  • Stored Programmes (AREA)

Abstract

本発明は、外界認識装置のソフトウェアの更新要否を高い精度で判定することが可能なソフトウェア更新システム、管制センタ、およびソフトウェア更新装置を提供することを目的とする。そのために、車両１に搭載された外界認識装置１０のソフトウェアを更新するソフトウェア更新装置３０と、ソフトウェア更新装置３０とネットワークを介して通信を行い外界認識装置１０のソフトウェア更新に用いる更新ソフトウェアを配信する管制センタ２００とを含むソフトウェア更新システムにおいて、ソフトウェア更新装置３０は、外界認識装置１０により生成された外界認識データを管制センタ２００に送信する車両側送信部３１を備え、管制センタ２００は、前記外界認識データに基づいて前記ソフトウェアの更新要否を判定する更新要否判定部２１０を備える。

Description

ソフトウェア更新システム、管制センタ、およびソフトウェア更新装置
　本発明は、外界認識装置のソフトウェア更新に係わるソフトウェア更新システム、管制センタ、およびソフトウェア更新装置に関する。
　車両などの移動体に搭載される外界認識装置は、自車周辺に存在する信号機や道路標識などの道路構造物を認識するが、認識精度が低い場合に、外界認識装置の認識ソフトウェアの更新が必要である。
　本技術分野の背景技術として、特許文献１がある。特許文献１には、移動体の走行支援又は自動運転に用いるソフトウェアを適切に更新することができるようにする情報処理装置、情報処理方法、及び、情報処理システムに関する。情報処理装置は、移動体の周囲の状況に関するセンサデータに基づいて、前記移動体の周囲の状況の認識処理を行う認識部と、前記認識処理の認識結果に基づいて、前記移動体の走行支援又は自動運転に用いられるソフトウェアの更新を制御するソフトウェア更新制御部とを備えることを特徴とする情報処理装置、情報処理方法、及び、情報処理システムが記載されている。
　また、特許文献１の段落０１３３には「例えば、ソフトウェア更新制御部２６１は、認識部７３による各種の認識処理の認識結果に基づいて、自動運転等用ソフトウェアの更新が必要か否かを判定する。ソフトウェア更新制御部２６１は、自動運転等用ソフトウェアの更新が必要であると判定した場合、認識部７３による認識結果を含む認識処理情報を、通信部２２及びネットワーク２１２を介して、管理サーバ２１１に送信する。」と記載されている。
　更に、特許文献１の段落０１５７には「ステップＳ３４において、物体認識部２８１は、認識精度が低下しているか否かを判定する。例えば、事前の学習処理により、予め物体のクラス毎に認識スコアの閾値が設定されている。物体認識部２８１は、ステップＳ３１の処理で認識した各物体について、計算した認識スコアと対応する閾値とを比較する。物体認識部２８１は、認識スコアが閾値未満である物体が存在する場合、認識精度が低下していると判定し、処理はステップＳ３５に進む。」と記載されている。
国際公開第２０２２／１１３７７２号公報
　このように、特許文献１に記載された情報処理装置は、物体認識部において事前の学習処理によって予め設定された認識スコアの閾値と認識した物体の認識スコアを比較し、認識精度が低下していると判定した場合、移動体の走行支援又は自動運転に用いられるソフトウェアの更新を制御する。
　しかしながら、認識スコアによる認識精度低下の判定であるため、認識対象と自車との相対位置に関する精度低下を把握することが難しい。また、車両に搭載されたソフトウェア更新処理部にてソフトウェアの更新要否を判定しており、当該車両固有の問題か、認識ソフトウェアの問題か切り分けることが難しい。
　本発明は、上記課題に鑑みてなされたものであり、その目的は、外界認識装置のソフトウェアの更新要否を高い精度で判定することが可能なソフトウェア更新システム、管制センタ、およびソフトウェア更新装置を提供することにある。
　上記目的を達成するために、本発明は、車両に搭載された外界認識装置のソフトウェアを更新するソフトウェア更新装置と、前記ソフトウェア更新装置とネットワークを介して通信を行い前記外界認識装置のソフトウェア更新に用いる更新ソフトウェアを配信する管制センタとを含むソフトウェア更新システムにおいて、前記ソフトウェア更新装置は、前記外界認識装置により生成された外界認識データを前記管制センタに送信する車両側送信部を備え、前記管制センタは、前記外界認識データに基づいて前記ソフトウェアの更新要否を判定する更新要否判定部を備えるものとする。
　また、本発明は、車両に搭載された外界認識装置のソフトウェアを更新するソフトウェア更新装置とネットワークを介して通信を行い前記外界認識装置のソフトウェア更新に用いる更新ソフトウェアを配信する管制センタにおいて、前記外界認識装置により生成された外界認識データを前記ソフトウェア更新装置から受信する管制センタ側受信部と、前記外界認識データに基づいて前記ソフトウェアの更新要否を判定する更新要否判定部と、前記外界認識データと前記外界認識データの生成に用いられた外界センサのローデータとを含む更新用データを記憶する管制センタ側更新用データ記憶部と、前記更新用データを用いて前記更新ソフトウェアを生成する更新ソフトウェア生成部と、前記更新要否判定部が前記ソフトウェアの更新が必要と判定した場合に、前記更新ソフトウェアを生成するために用いる前記更新用データの取得場所を前記ソフトウェア更新装置に通知する通知部とを備えるものとする。
　また、本発明は、車両に搭載された外界認識装置のソフトウェア更新に用いる更新ソフトウェアを配信する管制センタとネットワークを介して通信を行うソフトウェア更新装置において、前記外界認識装置により生成された外界認識データを前記管制センタに送信する車両側送信部と、前記外界認識データと前記外界認識データの生成に用いられた外界センサのローデータとを含む更新用データを記憶する車両側更新用データ記憶部と、前記管制センタが前記更新ソフトウェアを生成するために用いる前記更新用データの取得場所を前記管制センタから受信する車両側受信部とを備え、前記車両側更新用データ記憶部は、前記車両側受信部が前記取得場所を受信した後に、前記取得場所において取得された前記更新用データを記憶し、前記車両側送信部は、前記車両側更新用データ記憶部に記憶された、前記取得場所において取得された前記更新用データを前記管制センタに送信するものとする。
　本発明によれば、管制センタにおいて、外界認識装置により生成された外界認識データに基づき、外界認識装置のソフトウェアの更新要否が判定されるため、外界認識装置のソフトウェアの更新要否を高い精度で判定することが可能になる。
本発明の実施形態に係るソフトウェア更新システムの全体構成の例を示す図である。 更新用データの時系列データを示す図である。 縦方向距離におけるソフトウェア更新要否判定の例を示す図である。 横方向距離におけるソフトウェア更新要否判定の例を示す図である。 俯瞰図におけるソフトウェア更新要否判定の例を示す図である。 本発明の実施形態に係るソフトウェア更新システムのフローチャートの例を示す図である。
　以下、図面を参照して、本発明に係るソフトウェア更新システムの一例として管制センタと車両の実施形態を説明する。
　図１は、本発明の実施形態に係る車両１と管制センタ２００との全体構成の例を示す図である。
　図１に示す車両１は、外界認識装置１０と車両情報取得装置２０とソフトウェア更新装置３０を有する。以下適宜、外界認識装置１０に対応する車両１を他車両と区別して自車と称する。ソフトウェア更新装置３０は、マイコン、記憶装置、及び通信インターフェイスを有する。マイコンは、記憶装置に格納されたプログラムを実行するプロセッサ（例えばＣＰＵ）である。マイコンが、所定のプログラムを実行することによって、各種機能を提供する機能部として動作する。記憶装置は、不揮発性記憶領域および揮発性記憶領域を含む。不揮発性記憶領域は、マイコンが実行するプログラムを格納するプログラム領域と、マイコンがプログラム実行時に使用するデータを一時的に格納するデータ領域を含む。揮発性記憶領域は、マイコンがプログラム実行時に使用するデータを格納する。通信インターフェイスは、ＣＡＮやイーサネットなどのネットワークを介して他の電子制御装置と接続する。
　管制センタ２００は、外界認識装置１０のソフトウェア更新要否を判定し、更新が必要と判定した場合に、ソフトウェア更新を実施する装置であり、更新要否判定部２１０と更新ソフト生成部２２０と地物データ記憶部２３０と管制センタ側更新用データ記憶部２４０と認識ソフトデータベース２５０と管制センタ側受信部２６０と通知部２７０を有する。
　外界認識装置１０は、自車１に搭載された、撮像素子を用いたカメラセンサや、ミリ波やレーザ等を用いたレーダセンサなどの外界センサ４０による外界の観測結果に基づいて、自車１の周囲に存在する道路構造物（信号機、道路標識、路面標識など）や道路状況（道路幅、路面状態など）といった道路地物に関する外界認識データを生成し、ソフトウェア更新装置３０に出力する。また、外界認識データを生成するために用いられた外界センサ４０の画像データ、映像データ、点群データを抽出し、ソフトウェア更新装置３０に出力する。
　車両情報取得装置２０は、自車１に搭載された速度センサや操舵角センサ等の車両センサの出力に基づいて、自車１の走行速度やハンドル角度などの車両１の動作に関する車両情報を取得し、ソフトウェア更新装置３０に出力する。また、ＧＰＳ（Global Positioning System）や、ＧＮＳＳ（Global Navigation Satellite System）や、ジャイロセンサなどの情報に基づいて、自車１の現在位置や現在姿勢を取得し、ソフトウェア更新装置３０に出力する。
　（ソフトウェア更新装置３０）
　ソフトウェア更新装置３０は、外界認識装置１０と車両情報取得装置２０から取得した外界認識データとローデータと自車位置データと自車方角データを含む更新用データを管制センタ２００に送信し、管制センタ２００より配信される外界認識装置１０の認識ソフトウェア（更新ソフトウェア）を受信し、外界認識装置１０のソフトウェア更新を実施する装置であり、車両側送信部３１と、車両側受信部３２と、車両側更新用データ記憶部３３を有する。なお、ソフトウェア更新装置３０は、具体的には、ＣＰＵやメモリ（ＲＯＭ、ＲＡＭ）を備えたＥＣＵ（Electronic Control Unit）に搭載されたマイコンであり、メモリ内に格納された各種プログラムをＣＰＵが実行することで、各機能を実現する装置である。
　車両側更新用データ記憶部３３は、外界認識装置１０と車両情報取得装置２０から取得した更新用データを格納する。更新用データは、例えば、外界認識データと自車位置データと自車方角データが含まれる。また、後述する更新要否判定部２１０において認識ソフトウェアの更新が必要と判定された場合、通知部２７０を介して、ローデータ取得場所の情報を車両側受信部３２が受信し、車両側更新用データ記憶部３３は、車両１が前記ローデータ取得場所を走行するときに、外界認識データとローデータと自車位置データと自車方角データを含む更新用データを格納する。 車両側更新用データ記憶部３３に格納された更新用データは、車両側送信部３１を介して管制センタ側受信部２６０に送信され、管制センタ側更新用データ記憶部２４０に格納される。
　図２に例示するように、車両側更新用データ記憶部３３に格納される更新用データは時系列データであり、車両情報、外界認識データ、ローデータなどを含む。車両情報は、車両ＩＤ、車両位置データ、車両方角データなどが含まれる。外界認識データは、車両１と対象物との相対位置などのデータが含まれる。車両位置データは例えば緯度経度情報が含まれる。車両方角データには、車両１が向いている方角の他、車両の姿勢を含めても良い。車両ＩＤは、外界認識データが何れの車両１で取得されたかを判断するために付与される。外界認識データは、対象物との縦方向距離や横方向距離や対象物の種別やステータス情報などが含まれる。外界認識データは、少なくとも１つ以上の対象物に関するオブジェクト情報が含まれる。ローデータは外界認識データを生成するために使用した映像、画像、点群データなどが時系列で記憶される。外界認識装置１０の認識精度は天候に影響されるため、図２に示すように天候情報をローデータに含めて記憶しても良い。
　車両側更新用データ記憶部３３は、更新要否判定部２１０において認識ソフトウェアの更新が必要と判断された場合、通知部２７０を介して受信したローデータ取得場所に基づき、外界認識装置１０よりローデータを取得するが、後述する更新ソフト生成部２２０による解析のプロセスに応じて段階的にローデータを取得しても良い。例えば、当該場所を走行する時は常にローデータを取得し、次に時間帯を絞ってローデータを取得し、最後に時間帯と天候を絞ってローデータを取得するなど、道路環境の条件を絞って取得しても良い。
　管制センタ２００は、更新ソフト生成部２２０の解析、改善、検証のプロセスに応じてローデータの取得場所や時間を通知部２７０を介して通知しても良い。
　更新用データは、時系列データであるが、データの区切りは多岐にわたり、例えば、外界認識装置１０が対象物を認識してから外界認識装置１０の認識範囲外となるまでのデータであっても良いし、車両１が起動（ＥＧＮオンや電源オン）してから起動停止（ＥＧＮオフや電源オフ）までのデータであっても良いし、特定時間（例えば１分刻み）のデータであっても良い。
　車両側更新用データ記憶部３３は、車両１に搭載される車載装置に備わる記憶装置であっても良いし、車両１に接続するＳＤカードやリムーバブルディスクといった外部記憶装置であっても良い。
　ソフトウェア更新装置３０は、車両側送信部３１を通じて管制センタ２００に更新用データを送信するが、送信方法は多岐にわたり、車両１に搭載される無線通信装置による方法、自宅やコンビニエンスストアやガソリンスタンドなどの車両１が立ち寄る施設でのＷｉ－Ｆｉ接続といった無線通信による方法、外部記憶装置に記憶しＰＣやスマートフォンなどの端末からインターネットを経由して通信する方法などによって送信しても良い。
　（更新要否判定部２１０）
　更新要否判定部２１０は、地物データ記憶部２３０に格納されたインフラ３００より取得した地物データと、管制センタ側更新用データ記憶部２４０に格納された更新用データに基づき、外界認識装置１０の認識ソフトウェアの更新要否を判定する。以下、外界認識データが車両１から地物までの相対位置である場合の判定方法を具体的に説明する。認識精度算出部２１１は、更新用データに含まれる車両位置データ及び車両方角データと地物データとに基づき、車両１から地物までの相対位置の真値を算出し、当該真値と更新用データに含まれる外界認識データとの差分（誤差量）を算出する。そして、誤差量があらかじめ設定した閾値を超えたか否かを判断する。例えば、図３から図５に例示するように、真値と外界認識データをグラフにマッピングして判定しても良い。ここで、閾値の設定は、外界認識装置１０の仕様により定めても良いし、統計的に設定しても良い。以上、外界認識データと真値との比較結果に基づいて認識ソフトウェアの更新要否を判定する方法を説明したが、更新要否の判定方法はこれに限らず、外界認識データを基に算出される別のパラメータと、車両位置データと車両方角データと地物データとを基に算出される当該パラメータの真値との比較結果に基づいて判定しても良い。
　図３に示す縦方向距離における認識ソフトウェア更新要否判定では、自車位置と地物間の縦方向距離、つまり、車両１から見て前後方向距離の真値と外界認識データを比較している。横軸を真値、縦軸を外界認識データとしてグラフに表示すると、誤差が小さい場合は、ソフトウェア更新不要領域にマッピングされ、一方で誤差が大きい場合は、ソフトウェア更新必要領域にマッピングされ、ソフトウェアの更新要否を判定することができる。ソフトウェア更新必要領域と不要領域の閾値は、前述の通り、外界認識装置１０の仕様により定めても良いし、統計的に設定しても良い。一般的に対象物が遠方に存在するほど認識精度が低くなるため、閾値を緩和する方向に設定しても良い。
　図４に示す横方向距離における認識ソフトウェア更新要否判定では、自車位置と地物間の横方向距離、つまり、車両１から見て左右方向距離の真値と外界認識データを比較している。横軸を真値、縦軸を外界認識データとしてグラフに表示すると、誤差が小さい場合は、ソフトウェア更新不要領域にマッピングされ、一方で誤差が大きい場合は、ソフトウェア更新必要領域にマッピングされ、ソフトウェアの更新要否を判定することができる。ソフトウェア更新必要領域と不要領域の閾値は、前述の通り、外界認識装置１０の仕様により定めても良いし、統計的に設定しても良い。一般的に対象物が遠方に存在するほど認識精度が低くなるため、閾値を緩和する方向に設定しても良い。
　図５に示す俯瞰図を用いたソフトウェア更新要否判定では、自車位置と地物間の縦横方向距離、つまり、車両１から見て前後左右方向距離の真値と外界認識データを比較している。車両１の前方に信号機といった道路構造物２が、設置されている例であり、真値と外界認識データの差分をグラフに表示すると、誤差が小さい場合はグラフ中央にマッピングされるためソフトウェア更新不要領域となり、誤差が大きい場合はグラフ中央から離れた場所にマッピングされるためソフトウェア更新必要領域となり、ソフトウェアの更新要否を判定することができる。ソフトウェア更新必要領域と不要領域の閾値は、前述の通り、外界認識装置１０の仕様により定めても良いし、統計的に設定しても良い。図５に示す閾値は正円上に表示しているが、外界認識装置１０の特性によって楕円形に表示しても良い。
　認識ソフトウェアの更新要否の判定は、複数の車両１が同一場所において、外界認識データの誤差量が閾値を超えたときに、認識ソフトウェアの更新が必要と判定する。当該場所において、認識ソフトウェアの認識が難しいシーンであり、ソフトウェアの改善が必要と判断したためである。一方で、特定車両のみが閾値を超えた場合は、認識ソフトウェアではなく、車両固有の問題（例えば、経年劣化によるズレなど）があると判断することもできる。
　ローデータ取得場所決定部２１２は、認識ソフトウェアの更新が必要と判定した場合に、認識ソフトウェアを更新するために必要となるローデータを取得するよう車両１に要求する。具体的には、複数の車両１において外界認識データの誤差量が閾値を超えた場所を抽出し、通知部２７０を介して車両１の車両側受信部３２に送信する。ローデータ取得場所は、認識精度が低い地物が設置された場所から外界認識装置１０の検知最大距離離れた範囲や、地物が標識や信号機など車両１の進行方向によって認識できる向きが限られる場合は取得した車両方角データや道路形状に基づき設定される。ローデータ取得場所は、更新が必要と判定された認識ソフトウェアを搭載している車両１に対して送信される。
　このように複数の車両１の外界認識データに基づき、認識ソフトウェアの更新要否を判定することで、認識ソフトウェアにとって認識が苦手な場所を精度良く特定することができ、認識が苦手なシーンに対応するためのローデータを取得ができる。さらに、複数の車両１の外界認識データに基づく処理であるため、認識ソフトウェアの問題か、特定車両固有の問題かを判別することができる。
　（更新ソフト生成部２２０）
　更新ソフト生成部２２０は、更新要否判定部２１０において認識ソフトウェアの更新が必要と判定された場合に、認識ソフトウェアの解析、改善、検証を実施し、更新されたソフトウェアを車両１に配信し、認識ソフト解析部２２１、認識ソフト改善部２２２、認識ソフト検証部２２３を備える。認識ソフトデータベース２５０は、認識ソフトウェアのバージョン履歴や変更履歴が保管されており、認識ソフトウェアを解析・改善・検証を実施する際に、認識ソフト更新部に認識ソフトウェア情報を送信する。更新ソフト生成部２２０は、認識ソフトウェアの解析、改善、更新のプロセス状況に応じて必要なローデータを車両１に要求しても良い。
　認識ソフト解析部２２１は、管制センタ側更新用データ記憶部２４０より取得できる更新用データに基づき、認識ソフトウェアの解析を実施する。具体的には、更新用データのローデータは、外界認識データを生成するために使用される画像データ、映像データ、点群データなどが含まれており、更新する認識ソフトウェアのバージョンを認識ソフトデータベース２５０より取得し、認識ソフトウェアにローデータを入力し、認識が確実になされているか解析する。例えば、更新要否判定部２１０にてソフトウェア更新が必要と判定した更新用データを用いることで、認識ソフトウェアの認識精度が低かったシーンに絞って解析ができる。地物を認識しているが相対距離が正しく計算されていない、地物を認識できていない、地物が特殊な形状、地物と車両１の間に遮蔽物があるなど、認識精度が低い原因を解析結果として認識ソフト改善部２２２に送信する。
　認識ソフト改善部２２２は、認識ソフト解析部２２１より取得した解析結果に基づき、認識ソフトウェアの改善を実施する。具体的には、更新用データを用いた認識ソフトウェアの追加学習や、車両１と地物間の相対距離算出のパラメータ更新などが実施される。改善されたソフトウェアを認識ソフト検証部２２３に送信する。
　認識ソフト検証部２２３は、認識ソフト改善部２２２により改善された認識ソフトウェアの検証を実施する。具体的には、改善された認識ソフトウェアが問題となるシーンにおいて改善がなされたか検証する。また、認識ソフトデータベース２５０に格納されている認識ソフトウェアの更新履歴を参照して、従来の認識ソフトウェアで改善されてきた変更点に支障がないか確認を行う。検証の結果、改善された認識ソフトウェアに問題がないと判断したとき、最新バージョンとして認識ソフトデータベース２５０に格納し、通知部２７０を介して車両１に認識ソフトウェアを配信する。
　図６に示すソフトウェア更新システムのフローチャートを用いて、システム全体の動作フローを説明する。
　まず、ステップＳ１、Ｓ２では、車両１の外界認識装置１０と車両情報取得装置２０によって車両１の周辺に存在する道路構造物などの地物に関する外界認識データおよび外界認識データを取得した際の車両位置データと車両方角データを取得し、車両側更新用データ記憶部３３に格納する。車両側更新用データ記憶部３３に格納された外界認識データ、車両位置データ、および車両方角データを含む更新用データは、車両側送信部３１を介して管制センタ２００に送信される。
　ステップＳ３では、管制センタ２００は、車両１より送信された更新用データを管制センタ側受信部２６０を通じて管制センタ側更新用データ記憶部２４０に格納する。更新要否判定部２１０は、管制センタ側更新用データ記憶部２４０に格納された更新用データと、地物データ記憶部２３０に格納された地物データを用いて、認識精度算出部２１１にて更新用データに含まれる外界認識データの精度を算出する。
　ステップＳ４では、ステップＳ３で算出された外界認識データの精度に基づき、認識ソフトウェアの更新要否を判定する。更新が必要と判定された場合、ステップＳ５に移行する。更新が不要と判定された場合は、処理を終了し、次の外界認識データに対して認識ソフトウェアの更新要否を判定する。
　ステップＳ５では、認識ソフトウェアの更新が必要と判定されたため、ローデータ取得場所決定部２１２により、認識ソフトウェアの更新に必要となるローデータ取得場所を決定する。基本的にローデータ取得場所は、更新が必要と判定された外界認識データを取得した場所とする。ローデータ取得場所は通知部２７０を介して車両１に通知される。外界認識データを取得した車両以外の複数車両に対してもローデータ取得場所は通知される。
　ステップＳ６、Ｓ７では、ソフトウェア更新装置３０は、管制センタ２００により通知されたローデータ取得場所を車両側受信部３２を介して車両側更新用データ記憶部３３に格納する。外界認識装置１０は、通常、外界認識データをソフトウェア更新装置３０に送信するが、ローデータ取得場所が通知されている場合、車両１がローデータ取得場所を通過する時、外界認識データを生成するために使用したローデータをあわせてソフトウェア更新装置３０に送信する。このとき、車両情報取得装置２０も併せて車両位置データと車両方角データをソフトウェア更新装置３０に送信する。ソフトウェア更新装置３０は、外界認識装置１０と車両情報取得装置２０より取得した外界認識データ、ローデータ、車両位置データ、車両方角データを含む更新用データを車両側更新用データ記憶部３３に格納する。ソフトウェア更新装置３０は、車両側送信部３１を介して更新用データを管制センタ２００に送信する。
　ステップＳ８では、管制センタ２００は、管制センタ側受信部２６０を介して取得した更新用データを管制センタ側更新用データ記憶部２４０に格納する。認識ソフト解析部２２１は、管制センタ側更新用データ記憶部２４０に格納された更新用データを用いて、外界認識装置１０の認識ソフトウェアを解析する。解析結果を認識ソフト改善部２２２に出力する。
　ステップＳ９では、認識ソフト改善部２２２は、認識ソフト解析部２２１による解析結果に基づき、外界認識装置１０の認識ソフトウェアを改善する。改善した認識ソフトウェアを認識ソフト検証部２２３に出力する。
　ステップＳ１０では、認識ソフト検証部２２３は、認識ソフト改善部２２２により改善された外界認識装置１０の認識ソフトウェアを検証する。検証の結果、改善された認識ソフトウェアに問題がないと判断したら、認識ソフトデータベース２５０に格納する。
　ステップＳ１１では、管制センタ２００は、認識ソフトデータベース２５０に格納された最新の認識ソフトウェアを通知部２７０を介して車両１に配信する。
　（変形例）
　前述した実施形態では、認識精度算出部２１１において真値と外界認識データを比較し、認識ソフトウェアの更新が必要と判定した場合、ローデータ取得場所決定部２１２において、ローデータ取得場所を設定していたが、例えば、太陽の日差しによる認識ソフトウェアの認識精度低下を改善するために朝方や薄暮といった時間帯を走行する車両１に対してローデータ取得要求をしても良いし、悪天候による認識ソフトウェアの認識精度低下を改善するために雨や雪が降る天候の中走行する車両１に対してローデータ取得要求をしても良い。
　前述した実施形態では、認識ソフトウェア更新要否判定に地物データを使用するが、必ずしも地物データ記憶部２３０に格納されている地物データが実際の状況を判定しているとは限らない。例えば、道路工事や天災などの影響により地物データに格納される情報と実際の道路形状や道路構造物の設置場所が異なる場合がある。このような状況であっても車両１により取得した更新用データに基づき地物データが異なると判定できる。地物データが異なると判定した場合は、地物データを更新しても良いし、当該場所では地物に関する外界認識データを取得しないなどの処理を実施しても良い。
　（まとめ）
　本実施形態では、車両１に搭載された外界認識装置１０のソフトウェアを更新するソフトウェア更新装置３０と、ソフトウェア更新装置３０とネットワークを介して通信を行い外界認識装置１０のソフトウェア更新に用いる更新ソフトウェアを配信する管制センタ２００とを含むソフトウェア更新システムにおいて、ソフトウェア更新装置３０は、外界認識装置１０により生成された外界認識データを管制センタ２００に送信する車両側送信部３１を備え、管制センタ２００は、前記外界認識データに基づいて前記ソフトウェアの更新要否を判定する更新要否判定部２１０を備える。
　以上のように構成した本実施形態によれば、管制センタ２００において、外界認識装置１０により生成された外界認識データに基づき、外界認識装置１０のソフトウェアの更新要否が判定されるため、外界認識装置１０のソフトウェアの更新要否を高い精度で判定することが可能になる。
　また、本実施形態では、管制センタ２００は、前記外界認識データと前記外界認識データの生成に用いられた外界センサ４０のローデータとを含む更新用データを記憶する管制センタ側更新用データ記憶部２４０と、前記更新用データを用いて前記更新ソフトウェアを生成する更新ソフトウェア生成部２２０と、更新要否判定部２１０が前記ソフトウェアの更新が必要と判定した場合に、前記更新用データの取得場所をソフトウェア更新装置３０に通知する通知部２７０とを備え、ソフトウェア更新装置３０は、通知部２７０から通知された前記取得場所において取得された前記更新用データを記憶する車両側更新用データ記憶部３３を備え、車両側送信部３１は、車両側更新用データ記憶部３３に記憶された、前記取得場所において取得された前記更新用データを管制センタ２００に送信する。これにより、外界認識装置１０のソフトウェアにとって認識が苦手な場所のローデータを用いて認識精度低下の要因を追究することにより、外界認識装置１０の更新ソフトウェアを生成することが可能になる。
　また、本実施形態では、通知部２７０は、前記外界認識データを取得した車両１と異なる他車両に搭載されたソフトウェア更新装置３０に前記取得場所を通知する。これにより、認識ソフトウェアの認識制度低下が認識ソフトウェアの問題によるものか、特定車両固有の問題によるものかを判別することが可能になる。
　また、本実施形態では、前記更新用データは、前記ローデータが出力された際の車両１の位置データおよび方角データを含む。これにより、車両１の位置データおよび方角データを用いて認識ソフトウェアの更新要否を判定することが可能になる。
　また、本実施形態では、管制センタ２００は、道路地物の位置情報を含む地物データを記憶する地物データ記憶部２３０をさらに備え、更新要否判定部２１０は、前記外界認識データと前記地物データとに基づいて前記ソフトウェアの更新要否を判定する。これにより、外界認識装置１０のソフトウェア更新要否を高い精度で判定することが可能になる。
　また、本実施形態では、車両１に搭載された外界認識装置１０のソフトウェアを更新するソフトウェア更新装置３０とネットワークを介して通信を行い外界認識装置１０のソフトウェア更新に用いる更新ソフトウェアを配信する管制センタ２００において、外界認識装置１０により生成された外界認識データをソフトウェア更新装置３０から受信する管制センタ側受信部と、前記外界認識データに基づいて前記ソフトウェアの更新要否を判定する更新要否判定部２１０と、前記外界認識データと前記外界認識データの生成に用いられた外界センサ４０のローデータとを含む更新用データを記憶する管制センタ側更新用データ記憶部２４０と、前記更新用データを用いて前記更新ソフトウェアを生成する更新ソフトウェア生成部２２０と、更新要否判定部２１０が前記ソフトウェアの更新が必要と判定した場合に、前記更新ソフトウェアを生成するために用いる前記更新用データの取得場所をソフトウェア更新装置３０に通知する通知部２７０とを備える。これにより、外界認識装置１０のソフトウェアの更新要否を高い精度で判定することが可能になるとともに、外界認識装置１０のソフトウェアにとって認識が苦手な場所のローデータを用いて認識精度低下の要因を追究することにより、外界認識装置１０の更新ソフトウェアを生成することが可能になる。
　また、本実施形態では、車両に搭載された外界認識装置１０のソフトウェア更新に用いる更新ソフトウェアを配信する管制センタ２００とネットワークを介して通信を行うソフトウェア更新装置３０において、外界認識装置１０により生成された外界認識データを管制センタ２００に送信する車両側送信部３１と、前記外界認識データと前記外界認識データの生成に用いられた外界センサ４０のローデータとを含む更新用データを記憶する車両側更新用データ記憶部３３と、管制センタ２００が前記更新ソフトウェアを生成するために用いる前記更新用データの取得場所を管制センタ２００から受信する車両側受信部３２とを備え、車両側更新用データ記憶部３３は、車両側受信部３２が前記取得場所を受信した後に、前記取得場所において取得された前記更新用データを記憶し、車両側送信部３１は、車両側更新用データ記憶部３３に記憶された、前記取得場所において取得された前記更新用データを管制センタ２００に送信する。これにより、外界認識装置１０のソフトウェアの更新要否を高い精度で判定することが可能になるとともに、外界認識装置１０のソフトウェアにとって認識が苦手な場所のローデータを用いて認識精度低下の要因を追究することにより、外界認識装置１０の更新ソフトウェアを生成することが可能になる。
　なお、本発明は前述した実施形態に限定されるものではなく、様々な変形例及び同等の構成が含まれる。例えば、前述した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに本発明は限定されない。
　また、前述した各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等により、ハードウェアで実現してもよく、プロセッサがそれぞれの機能を実現するプログラムを解釈し実行することにより、ソフトウェアで実現してもよい。
　各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリ、ハードディスク、ＳＳＤ（Solid State Drive）等の記憶装置、又は、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に格納することができる。
　また、制御線や情報線は説明上必要と考えられるものを示しており、実装上必要な全ての制御線や情報線を示しているとは限らない。実際には、ほとんど全ての構成が相互に接続されていると考えてよい。
　１…車両、２…道路構造物、１０…外界認識装置、２０…車両情報取得装置、３０…ソフトウェア更新装置、３１…車両側送信部、３２…車両側受信部、３３…車両側更新用データ記憶部、４０…外界センサ、２００…管制センタ、２１０…更新要否判定部、２１１…認識精度算出部、２１２…ローデータ取得場所決定部、２２０…更新ソフト生成部、２２１…認識ソフト解析部、２２２…認識ソフト改善部、２２３…認識ソフト検証部、２３０…地物データ記憶部、２４０…管制センタ側更新用データ記憶部、２５０…認識ソフトデータベース、２６０…管制センタ側受信部、２７０…通知部、３００…インフラ。

Claims (7)

  1. 　車両に搭載された外界認識装置のソフトウェアを更新するソフトウェア更新装置と、前記ソフトウェア更新装置とネットワークを介して通信を行い前記外界認識装置のソフトウェア更新に用いる更新ソフトウェアを配信する管制センタとを含むソフトウェア更新システムにおいて、
    　前記ソフトウェア更新装置は、
    　前記外界認識装置により生成された外界認識データを前記管制センタに送信する車両側送信部を備え、
    　前記管制センタは、前記外界認識データに基づいて前記ソフトウェアの更新要否を判定する更新要否判定部を備える
    　ことを特徴とするソフトウェア更新システム。
  2. 　請求項１に記載されたソフトウェア更新システムにおいて、
    　前記管制センタは、
    　前記外界認識データと前記外界認識データの生成に用いられた外界センサのローデータとを含む更新用データを記憶する管制センタ側更新用データ記憶部と、
    　前記更新用データを用いて前記更新ソフトウェアを生成する更新ソフトウェア生成部と、
    　前記更新要否判定部が前記ソフトウェアの更新が必要と判定した場合に、前記更新用データの取得場所を前記ソフトウェア更新装置に通知する通知部とを備え、
    　前記ソフトウェア更新装置は、前記通知部から通知された前記取得場所において取得された前記更新用データを記憶する車両側更新用データ記憶部を備え、
    　前記車両側送信部は、前記車両側更新用データ記憶部に記憶された、前記取得場所において取得された前記更新用データを前記管制センタに送信する
    　ことを特徴とするソフトウェア更新システム。
  3. 　請求項２に記載されたソフトウェア更新システムにおいて、
    　前記通知部は、前記外界認識データを取得した車両と異なる他車両に搭載された前記ソフトウェア更新装置に前記取得場所を通知する
    　ことを特徴とするソフトウェア更新システム。
  4. 　請求項２に記載されたソフトウェア更新システムにおいて、
    　前記更新用データは、前記ローデータが出力された際の前記車両の位置データおよび方角データを含む
    　ことを特徴とするソフトウェア更新システム。
  5. 　請求項１に記載されたソフトウェア更新システムにおいて、
    　前記管制センタは、道路地物の位置情報を含む地物データを記憶する地物データ記憶部をさらに備え、
    　前記更新要否判定部は、前記外界認識データと前記地物データとに基づいて前記ソフトウェアの更新要否を判定する
    　ことを特徴とするソフトウェア更新システム。
  6. 　車両に搭載された外界認識装置のソフトウェアを更新するソフトウェア更新装置とネットワークを介して通信を行い前記外界認識装置のソフトウェア更新に用いる更新ソフトウェアを配信する管制センタにおいて、
    　前記外界認識装置により生成された外界認識データを前記ソフトウェア更新装置から受信する管制センタ側受信部と、
    　前記外界認識データに基づいて前記ソフトウェアの更新要否を判定する更新要否判定部と、
    　前記外界認識データと前記外界認識データの生成に用いられた外界センサのローデータとを含む更新用データを記憶する管制センタ側更新用データ記憶部と、
    　前記更新用データを用いて前記更新ソフトウェアを生成する更新ソフトウェア生成部と、
    　前記更新要否判定部が前記ソフトウェアの更新が必要と判定した場合に、前記更新ソフトウェアを生成するために用いる前記更新用データの取得場所を前記ソフトウェア更新装置に通知する通知部とを備える
    　ことを特徴とする管制センタ。
  7. 　車両に搭載された外界認識装置のソフトウェア更新に用いる更新ソフトウェアを配信する管制センタとネットワークを介して通信を行うソフトウェア更新装置において、
    　前記外界認識装置により生成された外界認識データを前記管制センタに送信する車両側送信部と、
    　前記外界認識データと前記外界認識データの生成に用いられた外界センサのローデータとを含む更新用データを記憶する車両側更新用データ記憶部と、
    　前記管制センタが前記更新ソフトウェアを生成するために用いる前記更新用データの取得場所を前記管制センタから受信する車両側受信部とを備え、
    　前記車両側更新用データ記憶部は、前記車両側受信部が前記取得場所を受信した後に、前記取得場所において取得された前記更新用データを記憶し、
    　前記車両側送信部は、前記車両側更新用データ記憶部に記憶された、前記取得場所において取得された前記更新用データを前記管制センタに送信する
    　ことを特徴とするソフトウェア更新装置。
PCT/JP2023/000617 2023-01-12 2023-01-12 ソフトウェア更新システム、管制センタ、およびソフトウェア更新装置 Ceased WO2024150372A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE112023004500.3T DE112023004500T5 (de) 2023-01-12 2023-01-12 Softwareaktualisierungssystem, steuerzentrale und softwareaktualisierungsvorrichtung
PCT/JP2023/000617 WO2024150372A1 (ja) 2023-01-12 2023-01-12 ソフトウェア更新システム、管制センタ、およびソフトウェア更新装置
JP2024569945A JPWO2024150372A1 (ja) 2023-01-12 2023-01-12

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2023/000617 WO2024150372A1 (ja) 2023-01-12 2023-01-12 ソフトウェア更新システム、管制センタ、およびソフトウェア更新装置

Publications (1)

Publication Number Publication Date
WO2024150372A1 true WO2024150372A1 (ja) 2024-07-18

Family

ID=91896556

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/000617 Ceased WO2024150372A1 (ja) 2023-01-12 2023-01-12 ソフトウェア更新システム、管制センタ、およびソフトウェア更新装置

Country Status (3)

Country Link
JP (1) JPWO2024150372A1 (ja)
DE (1) DE112023004500T5 (ja)
WO (1) WO2024150372A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015135552A (ja) * 2014-01-16 2015-07-27 株式会社デンソー 学習システム、車載装置、及び、サーバ
WO2017212639A1 (ja) * 2016-06-10 2017-12-14 パイオニア株式会社 情報処理装置、計測装置及び制御方法
JP2018167648A (ja) * 2017-03-29 2018-11-01 マツダ株式会社 車両運転支援システム及び車両運転支援方法
JP2019182093A (ja) * 2018-04-05 2019-10-24 トヨタ自動車株式会社 挙動予測装置
WO2022113772A1 (ja) * 2020-11-27 2022-06-02 ソニーグループ株式会社 情報処理装置、情報処理方法、及び、情報処理システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015135552A (ja) * 2014-01-16 2015-07-27 株式会社デンソー 学習システム、車載装置、及び、サーバ
WO2017212639A1 (ja) * 2016-06-10 2017-12-14 パイオニア株式会社 情報処理装置、計測装置及び制御方法
JP2018167648A (ja) * 2017-03-29 2018-11-01 マツダ株式会社 車両運転支援システム及び車両運転支援方法
JP2019182093A (ja) * 2018-04-05 2019-10-24 トヨタ自動車株式会社 挙動予測装置
WO2022113772A1 (ja) * 2020-11-27 2022-06-02 ソニーグループ株式会社 情報処理装置、情報処理方法、及び、情報処理システム

Also Published As

Publication number Publication date
JPWO2024150372A1 (ja) 2024-07-18
DE112023004500T5 (de) 2025-08-21

Similar Documents

Publication Publication Date Title
CN109747659B (zh) 车辆驾驶的控制方法和装置
US12044532B2 (en) Sensor plausibility using GPS road information
US11269329B2 (en) Dynamic model with learning based localization correction system
EP3358303B1 (en) An apparatus and associated methods for use in updating map data
EP3644294B1 (en) Vehicle information storage method, vehicle travel control method, and vehicle information storage device
US11092442B2 (en) Host vehicle position estimation device
US20160259814A1 (en) Map data processing device for vehicle
CN112074885A (zh) 车道标志定位
CN113064143A (zh) 用于具有多LiDAR传感器的自动驾驶车辆的再校准确定系统
EP4242998B1 (en) Traffic stream information determination method and apparatus, electronic device and storage medium
KR102611507B1 (ko) 주행 지원 방법 및 주행 지원 장치
US20200276984A1 (en) Server and Vehicle Control System
US20210078588A1 (en) Autonomous driving monitoring system
CN110888429A (zh) 车辆导航和控制
CN116528154B (zh) 用于界定区域内的车辆驾驶辅助的方法
US12269507B2 (en) Distributional expert demonstrations for autonomous driving
CN113885011B (zh) 自动车辆的基于点云图的光检测测距重新校准系统
CN110869865B (zh) 用于运行较高程度自动化的车辆(haf)、尤其高度自动化车辆的方法
CN110114634B (zh) 外界识别系统
CN109313851B (zh) 用于逆行驾驶员识别的方法、设备和系统
CN115046547B (zh) 一种复杂城市环境下的自动驾驶汽车定位系统及方法
US11983918B2 (en) Platform for perception system development for automated driving system
CN119968600A (zh) 无人驾驶车辆的激光雷达与相机的灵活同步
US20250376193A1 (en) Processing device, processing method, storage device storing processing program
KR20230109942A (ko) 자율 주행을 위한 정밀지도 업데이트 시스템 및 이를 이용한 정밀지도 업데이트 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23915994

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2024569945

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 112023004500

Country of ref document: DE

WWP Wipo information: published in national office

Ref document number: 112023004500

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 23915994

Country of ref document: EP

Kind code of ref document: A1