WO2022004446A1 - 情報処理装置、および情報処理方法、情報処理システム、並びにプログラム - Google Patents

情報処理装置、および情報処理方法、情報処理システム、並びにプログラム Download PDF

Info

Publication number
WO2022004446A1
WO2022004446A1 PCT/JP2021/023308 JP2021023308W WO2022004446A1 WO 2022004446 A1 WO2022004446 A1 WO 2022004446A1 JP 2021023308 W JP2021023308 W JP 2021023308W WO 2022004446 A1 WO2022004446 A1 WO 2022004446A1
Authority
WO
WIPO (PCT)
Prior art keywords
update
unit
vehicle
recognition
information processing
Prior art date
Application number
PCT/JP2021/023308
Other languages
English (en)
French (fr)
Inventor
竜太 佐藤
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to EP21832905.0A priority Critical patent/EP4177733A4/en
Priority to US18/003,211 priority patent/US20230244471A1/en
Priority to CN202180045785.2A priority patent/CN115997193A/zh
Publication of WO2022004446A1 publication Critical patent/WO2022004446A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00Arrangements for software engineering
    • G06F8/60Software deployment
    • G06F8/65Updates
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14Error detection or correction of the data by redundancy in operation
    • G06F11/1402Saving, restoring, recovering or retrying
    • G06F11/1415Saving, restoring, recovering or retrying at system level
    • G06F11/1433Saving, restoring, recovering or retrying at system level during software upgrading
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning

Definitions

  • the present disclosure relates to information processing devices, information processing methods, information processing systems, and programs, and in particular, information processing devices and information processing that enable quick and safe update of SW (software program). Regarding methods, information processing systems, and programs.
  • SW software program installed in hardware causes various problems as its use progresses, but development is progressing to solve the problems that have occurred, and updates are made to update to the developed SW.
  • the SW is repeatedly distributed, and the SW is updated by the update SW to improve convenience.
  • This disclosure was made in view of such a situation, and in particular, it is intended to enable quick and safe update by the update SW.
  • the information processing device, the information processing system, and the program of one aspect of the present disclosure include an update unit for updating the SW (software program) and an operation status recognition unit for recognizing the operation status of the SW updated by the update unit.
  • An information processing device, an information processing system, and a program include an update unit for updating the SW (software program) and an operation status recognition unit for recognizing the operation status of the SW updated by the update unit.
  • the information processing method of one aspect of the present disclosure is an information processing method of an information processing apparatus including an update unit and an operation status recognition unit, in which the update unit updates a SW (software program) and the operation status is described.
  • the recognition unit is an information processing method including a step of recognizing the updated operating status of the SW.
  • the SW (software program) is updated and the operating status of the updated SW is recognized.
  • the SW realizes an object recognition process for recognizing an object existing in the surroundings based on an image of the surroundings in order to realize the automatic driving of a vehicle capable of automatic driving.
  • the case of the recognition unit will be described as an example.
  • SW applied to this disclosure is not limited to the recognition unit that realizes the object recognition process, and may be any SW that can be updated.
  • the recognition unit that realizes the object recognition process as the SW applied to the present disclosure is configured by machine learning.
  • SW consisting of the recognition unit generated by machine learning can improve the recognition accuracy by repeating further machine learning (re-learning) with the learning data collected for learning. There is.
  • the SW management system of FIG. 1 is composed of vehicles M1 to Mn equipped with SW as a recognition unit and a server Sv for managing SW.
  • the vehicles M1 to Mn each include cameras C1 to Cn and recognition units R1 to Rn.
  • the vehicles M1 to Mn, the cameras C1 to Cn, and the recognition units R1 to Rn are distinguished by n as an identifier, but they have basically the same configuration and do not need to be particularly distinguished thereafter. In this case, it is also simply referred to as a vehicle M, a camera C, and a recognition unit R.
  • the camera C captures an image of the surroundings of the vehicle M, which is necessary for realizing the automatic driving of the vehicle M.
  • the recognition unit R executes an object recognition process based on the image captured by the camera C, and recognizes an object existing around the vehicle M.
  • Each vehicle M realizes automatic driving based on the recognition result of the recognition unit R.
  • each vehicle M1 to Mn provides vehicle storage information U1 to Un, which is a combination of an image captured by the cameras C1 to Cn and a recognition result obtained by the object recognition process realized by the recognition units R1 to Rn, in the network N. It is transmitted to the server Sv via.
  • the server Sv provides vehicle storage information U1 to Un, which is a combination of images captured by the cameras C1 to Cn transmitted from each vehicle M1 to Mn via the network N and recognition results of the recognition units R1 to Rn. Accumulate as parameter P.
  • the server Sv includes a re-learning unit L of the recognition unit R.
  • the re-learning unit L relearns the current recognition unit R by using the parameter P consisting of vehicle storage information U1 to Un as learning data, thereby re-learning the current recognition unit R. Is generated, and is distributed to the vehicles M1 to Mn as distribution information D1 to Dn via the network N, and each of the recognition units R1 to Rn is updated.
  • the recognition unit R may not be properly updated by the update SW, and an inappropriate object recognition process may be performed, which may make it impossible to properly realize automatic operation.
  • the update SW for updating the recognition unit R needs to be delivered after the safety is confirmed by sufficient simulation.
  • the recognition unit R is updated by the update SW, so that even if an appropriate operation cannot be realized by any chance, the vehicle M group with less danger and safety is ensured.
  • the update SW is delivered to update the recognition unit R, the operation status after the update is confirmed, and when it is confirmed that the operation is sufficient and there is no problem, the update SW is transferred to another vehicle M. To be delivered.
  • the recognition unit R is configured to recognize a pedestrian among objects
  • the recognition unit of the vehicle Mm traveling on the highway H among the vehicles M1 to Mn. Rm is updated by the update SW prior to the other vehicle M.
  • the recognition unit Rm of the vehicle Mm traveling on the highway H is updated by the update SW prior to the other vehicle M, and the recognition accuracy of the updated pedestrian is confirmed. To be done.
  • the update SW is also distributed to the recognition unit R of the vehicle M other than the vehicle Mm traveling on the highway so that the update can be performed. ..
  • the safety of the vehicle 1 is ensured while suppressing the cost for reducing the occurrence of the trouble related to the object recognition process of the recognition unit R updated by the update SW generated by the re-learning of the recognition unit R. It is possible to update the recognition unit R with the update SW and confirm the presence or absence of a defect.
  • the SW management system 10 of the present disclosure is composed of vehicles 1-1 to 1-n, a server 2, and a network 3.
  • the vehicle 1-1 to 1-n are simply referred to as the vehicle 1, and other configurations are also referred to in the same manner.
  • Vehicles 1-1 to 1-n have configurations corresponding to vehicles M1 to Mn in FIG. 1, and are vehicles capable of automatic driving, respectively.
  • the vehicles 1-1 to 1-n are objects existing in the surroundings based on the images captured by the cameras 1a-1 to 1a-n and the cameras 1a-1 to 1a-n that capture images of their surroundings.
  • the recognition units 1b-1 to 1bn for recognizing the above are provided, and automatic operation is realized based on the recognition results of the recognition units 1b-1 to 1bn.
  • the recognition units 1b-1 to 1b-n mounted on each of the vehicles 1-1 to 1-n are SWs (software programs), respectively, and the update is repeated by the update SW distributed from the server 2.
  • the cameras 1a-1 to 1an do not have to have the same structure, but the recognition units 1b-1 to 1bn are repeatedly updated by the update SW delivered from the server 2. So they are the same.
  • each vehicle 1-1 to 1-n stores information obtained by combining the image captured by the cameras 1a-1 to 1an and the recognition result of the recognition units 1b-1 to 1bn, respectively. Is accumulated and transmitted to the server 2 via the network 3.
  • the server 2 relearns the recognition unit 1b by using the vehicle storage information transmitted from each of the vehicles 1-1 to 1-n via the network 3 as learning data.
  • the server 2 generates the relearned recognition unit 1b as an update SW, distributes the relearned recognition units 1b to the vehicles 1-1 to 1-n via the network 3, and distributes the respective recognition units 1b-1 to 1b-n. Let me update.
  • the server 2 When the update SW is distributed to update the recognition units 1b-1 to 1b-n, the server 2 has a problem in the operating state due to the update of the recognition unit 1b among the vehicles 1-1 to 1-n.
  • the update SW is delivered and updated from the vehicle 1 (group) that has a small effect.
  • the server 2 confirms the operating state of the recognition unit 1b updated by the update SW, and when there is no problem in the operating state, distributes the update SW to the other vehicle 1 to update it.
  • the recognition unit 1b of the vehicle 1 whose safety is ensured is only updated. , It is possible to suppress the occurrence of fatal problems.
  • the presence or absence of a defect related to the update is confirmed, and then the distribution to the other vehicle 1 is performed by the update SW. Delivery to the vehicle 1 having a large influence when a defect occurs in the updated recognition unit 1b can be made to be delivered after sufficient safety is ensured.
  • FIG. 3 is a block diagram showing a configuration example of a vehicle control system 11 which is an example of a mobile device control system of a vehicle 1 to which the present technology is applied.
  • the vehicle control system 11 is provided in the vehicle 1 and performs processing related to driving support and automatic driving of the vehicle 1.
  • the vehicle control system 11 includes a processor 21, a communication unit 22, a map information storage unit 23, a GNSS (Global Navigation Satellite System) receiving unit 24, an external recognition sensor 25, an in-vehicle sensor 26, a vehicle sensor 27, a recording unit 28, and a driving support unit. It includes an automatic driving control unit 29, a DMS (Driver Monitoring System) 30, an HMI (Human Machine Interface) 31, and a vehicle control unit 32.
  • a processor 21 includes a processor 21, a communication unit 22, a map information storage unit 23, a GNSS (Global Navigation Satellite System) receiving unit 24, an external recognition sensor 25, an in-vehicle sensor 26, a vehicle sensor 27, a recording unit 28, and a driving support unit. It includes an automatic driving control unit 29, a DMS (Driver Monitoring System) 30, an HMI (Human Machine Interface) 31, and a vehicle control unit 32.
  • DMS Driver Monitoring System
  • HMI Human Machine Interface
  • the communication network 41 is an in-vehicle communication network compliant with any standard such as CAN (Controller Area Network), LIN (Local Interconnect Network), LAN (Local Area Network), FlexRay (registered trademark), and Ethernet (registered trademark). It is composed of buses and buses.
  • each part of the vehicle control system 11 may be directly connected by, for example, short-range wireless communication (NFC (Near Field Communication)), Bluetooth (registered trademark), or the like without going through the communication network 41.
  • NFC Near Field Communication
  • Bluetooth registered trademark
  • the description of the communication network 41 shall be omitted.
  • the processor 21 and the communication unit 22 communicate with each other via the communication network 41, it is described that the processor 21 and the communication unit 22 simply communicate with each other.
  • the processor 21 is composed of various processors such as a CPU (Central Processing Unit), an MPU (Micro Processing Unit), and an ECU (Electronic Control Unit), for example.
  • the processor 21 controls the entire vehicle control system 11.
  • the communication unit 22 communicates with various devices inside and outside the vehicle, other vehicles, servers, base stations, etc., and transmits and receives various data.
  • the communication unit 22 receives from the outside a program for updating the software for controlling the operation of the vehicle control system 11, map information, traffic information, information around the vehicle 1, and the like.
  • the communication unit 22 transmits information about the vehicle 1 (for example, data indicating the state of the vehicle 1, recognition result by the recognition unit 73, etc.), information around the vehicle 1, and the like to the outside.
  • the communication unit 22 performs communication corresponding to a vehicle emergency call system such as eCall.
  • the communication method of the communication unit 22 is not particularly limited. Moreover, a plurality of communication methods may be used.
  • the communication unit 22 wirelessly communicates with the equipment in the vehicle by a communication method such as wireless LAN, Bluetooth, NFC, WUSB (WirelessUSB).
  • a communication method such as wireless LAN, Bluetooth, NFC, WUSB (WirelessUSB).
  • the communication unit 22 may use USB (Universal Serial Bus), HDMI (High-Definition Multimedia Interface, registered trademark), or MHL (Mobile High-) via a connection terminal (and a cable if necessary) (not shown).
  • Wired communication is performed with the equipment in the car by a communication method such as definitionLink).
  • the device in the vehicle is, for example, a device that is not connected to the communication network 41 in the vehicle.
  • mobile devices and wearable devices possessed by passengers such as drivers, information devices brought into a vehicle and temporarily installed, and the like are assumed.
  • the communication unit 22 is a base station using a wireless communication system such as 4G (4th generation mobile communication system), 5G (5th generation mobile communication system), LTE (LongTermEvolution), DSRC (DedicatedShortRangeCommunications), etc.
  • a wireless communication system such as 4G (4th generation mobile communication system), 5G (5th generation mobile communication system), LTE (LongTermEvolution), DSRC (DedicatedShortRangeCommunications), etc.
  • a server or the like existing on an external network for example, the Internet, a cloud network, or a network peculiar to a business operator
  • the communication unit 22 uses P2P (Peer To Peer) technology to communicate with a terminal existing in the vicinity of the vehicle (for example, a pedestrian or store terminal, or an MTC (Machine Type Communication) terminal). ..
  • the communication unit 22 performs V2X communication.
  • V2X communication is, for example, vehicle-to-vehicle (Vehicle to Vehicle) communication with other vehicles, road-to-vehicle (Vehicle to Infrastructure) communication with roadside devices, and home (Vehicle to Home) communication.
  • And pedestrian-to-vehicle (Vehicle to Pedestrian) communication with terminals owned by pedestrians.
  • the communication unit 22 receives electromagnetic waves transmitted by a vehicle information and communication system (VICS (Vehicle Information and Communication System), registered trademark) such as a radio wave beacon, an optical beacon, and FM multiplex broadcasting.
  • VICS Vehicle Information and Communication System
  • the map information storage unit 23 stores a map acquired from the outside and a map created by the vehicle 1.
  • the map information storage unit 23 stores a three-dimensional high-precision map, a global map that is less accurate than the high-precision map and covers a wide area, and the like.
  • the high-precision map is, for example, a dynamic map, a point cloud map, a vector map (also referred to as an ADAS (Advanced Driver Assistance System) map), or the like.
  • the dynamic map is, for example, a map composed of four layers of dynamic information, quasi-dynamic information, quasi-static information, and static information, and is provided from an external server or the like.
  • the point cloud map is a map composed of point clouds (point cloud data).
  • a vector map is a map in which information such as lanes and signal positions is associated with a point cloud map.
  • the point cloud map and the vector map may be provided from, for example, an external server or the like, and the vehicle 1 is used as a map for matching with a local map described later based on the sensing result by the radar 52, LiDAR 53, or the like. It may be created and stored in the map information storage unit 23. Further, when a high-precision map is provided from an external server or the like, in order to reduce the communication capacity, map data of, for example, several hundred meters square, relating to the planned route on which the vehicle 1 is about to travel is acquired from the server or the like.
  • the GNSS receiving unit 24 receives the GNSS signal from the GNSS satellite and supplies it to the traveling support / automatic driving control unit 29.
  • the external recognition sensor 25 includes various sensors used for recognizing the external situation of the vehicle 1, and supplies sensor data from each sensor to each part of the vehicle control system 11.
  • the type and number of sensors included in the external recognition sensor 25 are arbitrary.
  • the external recognition sensor 25 includes a camera 51, a radar 52, a LiDAR (Light Detection and Ringing, Laser Imaging Detection and Ringing) 53, and an ultrasonic sensor 54.
  • the number of cameras 51, radar 52, LiDAR 53, and ultrasonic sensors 54 is arbitrary, and examples of sensing areas of each sensor will be described later.
  • the camera 51 for example, a camera of any shooting method such as a ToF (TimeOfFlight) camera, a stereo camera, a monocular camera, an infrared camera, etc. is used as needed.
  • ToF TimeOfFlight
  • stereo camera stereo camera
  • monocular camera stereo camera
  • infrared camera etc.
  • the external recognition sensor 25 includes an environment sensor for detecting weather, weather, brightness, and the like.
  • the environment sensor includes, for example, a raindrop sensor, a fog sensor, a sunshine sensor, a snow sensor, an illuminance sensor, and the like.
  • the external recognition sensor 25 includes a microphone used for detecting the sound around the vehicle 1 and the position of the sound source.
  • the in-vehicle sensor 26 includes various sensors for detecting information in the vehicle, and supplies sensor data from each sensor to each part of the vehicle control system 11.
  • the type and number of sensors included in the in-vehicle sensor 26 are arbitrary.
  • the in-vehicle sensor 26 includes a camera, a radar, a seating sensor, a steering wheel sensor, a microphone, a biological sensor, and the like.
  • the camera for example, a camera of any shooting method such as a ToF camera, a stereo camera, a monocular camera, and an infrared camera can be used.
  • the biosensor is provided on, for example, a seat, a steering wheel, or the like, and detects various biometric information of a occupant such as a driver.
  • the vehicle sensor 27 includes various sensors for detecting the state of the vehicle 1, and supplies sensor data from each sensor to each part of the vehicle control system 11.
  • the type and number of sensors included in the vehicle sensor 27 are arbitrary.
  • the vehicle sensor 27 includes a speed sensor, an acceleration sensor, an angular velocity sensor (gyro sensor), and an inertial measurement unit (IMU (Inertial Measurement Unit)).
  • the vehicle sensor 27 includes a steering angle sensor that detects the steering angle of the steering wheel, a yaw rate sensor, an accelerator sensor that detects the operation amount of the accelerator pedal, and a brake sensor that detects the operation amount of the brake pedal.
  • the vehicle sensor 27 includes a rotation sensor that detects the rotation speed of an engine or a motor, an air pressure sensor that detects tire air pressure, a slip ratio sensor that detects tire slip ratio, and a wheel speed that detects wheel rotation speed. Equipped with a sensor.
  • the vehicle sensor 27 includes a battery sensor that detects the remaining amount and temperature of the battery, and an impact sensor that detects an impact from the outside.
  • the recording unit 28 includes, for example, a magnetic storage device such as a ROM (Read Only Memory), a RAM (Random Access Memory), an HDD (Hard Disc Drive), a semiconductor storage device, an optical storage device, an optical magnetic storage device, and the like. ..
  • the recording unit 28 records various programs, data, and the like used by each unit of the vehicle control system 11.
  • the recording unit 28 records a rosbag file including messages sent and received by the ROS (Robot Operating System) in which an application program related to automatic driving operates.
  • the recording unit 28 includes an EDR (Event Data Recorder) and a DSSAD (Data Storage System for Automated Driving), and records information on the vehicle 1 before and after an event such as an accident.
  • EDR Event Data Recorder
  • DSSAD Data Storage System for Automated Driving
  • the driving support / automatic driving control unit 29 controls the driving support and automatic driving of the vehicle 1.
  • the driving support / automatic driving control unit 29 includes an analysis unit 61, an action planning unit 62, and an motion control unit 63.
  • the analysis unit 61 analyzes the vehicle 1 and the surrounding conditions.
  • the analysis unit 61 includes a self-position estimation unit 71, a sensor fusion unit 72, and a recognition unit 73.
  • the self-position estimation unit 71 estimates the self-position of the vehicle 1 based on the sensor data from the external recognition sensor 25 and the high-precision map stored in the map information storage unit 23. For example, the self-position estimation unit 71 generates a local map based on the sensor data from the external recognition sensor 25, and estimates the self-position of the vehicle 1 by matching the local map with the high-precision map.
  • the position of the vehicle 1 is, for example, based on the center of the rear wheel-to-axle.
  • the local map is, for example, a three-dimensional high-precision map created by using a technology such as SLAM (Simultaneous Localization and Mapping), an occupied grid map (OccupancyGridMap), or the like.
  • the three-dimensional high-precision map is, for example, the point cloud map described above.
  • the occupied grid map is a map that divides a three-dimensional or two-dimensional space around the vehicle 1 into a grid (grid) of a predetermined size and shows the occupied state of an object in grid units.
  • the occupied state of an object is indicated by, for example, the presence or absence of an object and the probability of existence.
  • the local map is also used, for example, in the detection process and the recognition process of the external situation of the vehicle 1 by the recognition unit 73.
  • the self-position estimation unit 71 may estimate the self-position of the vehicle 1 based on the GNSS signal and the sensor data from the vehicle sensor 27.
  • the sensor fusion unit 72 performs a sensor fusion process for obtaining new information by combining a plurality of different types of sensor data (for example, image data supplied from the camera 51 and sensor data supplied from the radar 52). .. Methods for combining different types of sensor data include integration, fusion, and association.
  • the recognition unit 73 performs detection processing and recognition processing of the external situation of the vehicle 1.
  • the recognition unit 73 performs detection processing and recognition processing of the external situation of the vehicle 1 based on the information from the external recognition sensor 25, the information from the self-position estimation unit 71, the information from the sensor fusion unit 72, and the like. ..
  • the recognition unit 73 performs detection processing, recognition processing, and the like of objects around the vehicle 1.
  • the object detection process is, for example, a process of detecting the presence / absence, size, shape, position, movement, etc. of an object.
  • the object recognition process is, for example, a process of recognizing an attribute such as an object type or identifying a specific object.
  • the detection process and the recognition process are not always clearly separated and may overlap.
  • the recognition unit 73 detects an object around the vehicle 1 by performing clustering that classifies the point cloud based on sensor data such as LiDAR or radar into a point cloud. As a result, the presence / absence, size, shape, and position of an object around the vehicle 1 are detected.
  • the recognition unit 73 detects the movement of an object around the vehicle 1 by performing tracking that follows the movement of a mass of point clouds classified by clustering. As a result, the velocity and the traveling direction (movement vector) of the object around the vehicle 1 are detected.
  • the recognition unit 73 recognizes the type of an object around the vehicle 1 by performing an object recognition process such as semantic segmentation on the image data supplied from the camera 51.
  • the object to be detected or recognized is assumed to be, for example, a vehicle, a person, a bicycle, an obstacle, a structure, a road, a traffic light, a traffic sign, a road sign, or the like.
  • the recognition unit 73 recognizes the traffic rules around the vehicle 1 based on the map stored in the map information storage unit 23, the estimation result of the self-position, and the recognition result of the object around the vehicle 1. I do.
  • this processing for example, the position and state of a signal, the contents of traffic signs and road markings, the contents of traffic regulations, the lanes in which the vehicle can travel, and the like are recognized.
  • the recognition unit 73 performs recognition processing of the environment around the vehicle 1.
  • the surrounding environment to be recognized for example, weather, temperature, humidity, brightness, road surface condition, and the like are assumed.
  • the action planning unit 62 creates an action plan for the vehicle 1. For example, the action planning unit 62 creates an action plan by performing route planning and route tracking processing.
  • route planning is a process of planning a rough route from the start to the goal.
  • This route plan is called a track plan, and in the route planned by the route plan, the track generation (Local) capable of safely and smoothly traveling in the vicinity of the vehicle 1 in consideration of the motion characteristics of the vehicle 1 is taken into consideration.
  • the processing of path planning is also included.
  • Route tracking is a process of planning an operation for safely and accurately traveling on a route planned by route planning within a planned time. For example, the target speed and the target angular velocity of the vehicle 1 are calculated.
  • the motion control unit 63 controls the motion of the vehicle 1 in order to realize the action plan created by the action plan unit 62.
  • the motion control unit 63 controls the steering control unit 81, the brake control unit 82, and the drive control unit 83 so that the vehicle 1 travels on the track calculated by the track plan. Take control.
  • the motion control unit 63 performs coordinated control for the purpose of realizing ADAS functions such as collision avoidance or impact mitigation, follow-up travel, vehicle speed maintenance travel, collision warning of own vehicle, and lane deviation warning of own vehicle.
  • the motion control unit 63 performs coordinated control for the purpose of automatic driving or the like in which the vehicle autonomously travels without being operated by the driver.
  • the DMS 30 performs driver authentication processing, driver status recognition processing, and the like based on sensor data from the in-vehicle sensor 26 and input data input to the HMI 31.
  • As the state of the driver to be recognized for example, physical condition, arousal degree, concentration degree, fatigue degree, line-of-sight direction, drunkenness degree, driving operation, posture and the like are assumed.
  • the DMS 30 may perform authentication processing for passengers other than the driver and recognition processing for the status of the passenger. Further, for example, the DMS 30 may perform the recognition processing of the situation inside the vehicle based on the sensor data from the sensor 26 in the vehicle. As the situation inside the vehicle to be recognized, for example, temperature, humidity, brightness, odor, etc. are assumed.
  • the HMI 31 is used for inputting various data and instructions, generates an input signal based on the input data and instructions, and supplies the input signal to each part of the vehicle control system 11.
  • the HMI 31 includes an operation device such as a touch panel, a button, a microphone, a switch, and a lever, and an operation device that can be input by a method other than manual operation by voice or gesture.
  • the HMI 31 may be, for example, a remote control device using infrared rays or other radio waves, or an externally connected device such as a mobile device or a wearable device that supports the operation of the vehicle control system 11.
  • the HMI 31 performs output control for generating and outputting visual information, auditory information, and tactile information for the passenger or the outside of the vehicle, and for controlling output contents, output timing, output method, and the like.
  • the visual information is, for example, information shown by an image such as an operation screen, a state display of the vehicle 1, a warning display, a monitor image showing a situation around the vehicle 1, or light.
  • Auditory information is, for example, information indicated by voice such as guidance, warning sounds, and warning messages.
  • the tactile information is information given to the passenger's tactile sensation by, for example, force, vibration, movement, or the like.
  • a display device As a device that outputs visual information, for example, a display device, a projector, a navigation device, an instrument panel, a CMS (Camera Monitoring System), an electronic mirror, a lamp, etc. are assumed.
  • the display device is a device that displays visual information in the occupant's field of view, such as a head-up display, a transmissive display, and a wearable device having an AR (Augmented Reality) function, in addition to a device having a normal display. You may.
  • an audio speaker for example, an audio speaker, headphones, earphones, etc. are assumed.
  • a haptics element using haptics technology or the like As a device that outputs tactile information, for example, a haptics element using haptics technology or the like is assumed.
  • the haptic element is provided on, for example, a steering wheel, a seat, or the like.
  • the vehicle control unit 32 controls each part of the vehicle 1.
  • the vehicle control unit 32 includes a steering control unit 81, a brake control unit 82, a drive control unit 83, a body system control unit 84, a light control unit 85, and a horn control unit 86.
  • the steering control unit 81 detects and controls the state of the steering system of the vehicle 1.
  • the steering system includes, for example, a steering mechanism including a steering wheel, electric power steering, and the like.
  • the steering control unit 81 includes, for example, a control unit such as an ECU that controls the steering system, an actuator that drives the steering system, and the like.
  • the brake control unit 82 detects and controls the state of the brake system of the vehicle 1.
  • the brake system includes, for example, a brake mechanism including a brake pedal and the like, ABS (Antilock Brake System) and the like.
  • the brake control unit 82 includes, for example, a control unit such as an ECU that controls the brake system, an actuator that drives the brake system, and the like.
  • the drive control unit 83 detects and controls the state of the drive system of the vehicle 1.
  • the drive system includes, for example, a drive force generator for generating a drive force of an accelerator pedal, an internal combustion engine, a drive motor, or the like, a drive force transmission mechanism for transmitting the drive force to the wheels, and the like.
  • the drive control unit 83 includes, for example, a control unit such as an ECU that controls the drive system, an actuator that drives the drive system, and the like.
  • the body system control unit 84 detects and controls the state of the body system of the vehicle 1.
  • the body system includes, for example, a keyless entry system, a smart key system, a power window device, a power seat, an air conditioner, an airbag, a seat belt, a shift lever, and the like.
  • the body system control unit 84 includes, for example, a control unit such as an ECU that controls the body system, an actuator that drives the body system, and the like.
  • the light control unit 85 detects and controls various light states of the vehicle 1. As the light to be controlled, for example, a headlight, a backlight, a fog light, a turn signal, a brake light, a projection, a bumper display, or the like is assumed.
  • the light control unit 85 includes a control unit such as an ECU that controls the light, an actuator that drives the light, and the like.
  • the horn control unit 86 detects and controls the state of the car horn of the vehicle 1.
  • the horn control unit 86 includes, for example, a control unit such as an ECU that controls the car horn, an actuator that drives the car horn, and the like.
  • FIG. 4 is a diagram showing an example of a sensing region by a camera 51, a radar 52, a LiDAR 53, and an ultrasonic sensor 54 of the external recognition sensor 25 of FIG.
  • the sensing area 101F and the sensing area 101B show an example of the sensing area of the ultrasonic sensor 54.
  • the sensing region 101F covers the periphery of the front end of the vehicle 1.
  • the sensing region 101B covers the periphery of the rear end of the vehicle 1.
  • the sensing results in the sensing area 101F and the sensing area 101B are used, for example, for parking support of the vehicle 1.
  • the sensing area 102F to the sensing area 102B show an example of the sensing area of the radar 52 for a short distance or a medium distance.
  • the sensing area 102F covers a position farther than the sensing area 101F in front of the vehicle 1.
  • the sensing region 102B covers the rear of the vehicle 1 to a position farther than the sensing region 101B.
  • the sensing area 102L covers the rear periphery of the left side surface of the vehicle 1.
  • the sensing region 102R covers the rear periphery of the right side surface of the vehicle 1.
  • the sensing result in the sensing area 102F is used, for example, for detecting a vehicle, a pedestrian, or the like existing in front of the vehicle 1.
  • the sensing result in the sensing region 102B is used, for example, for a collision prevention function behind the vehicle 1.
  • the sensing results in the sensing area 102L and the sensing area 102R are used, for example, for detecting an object in a blind spot on the side of the vehicle 1.
  • the sensing area 103F to the sensing area 103B show an example of the sensing area by the camera 51.
  • the sensing area 103F covers a position farther than the sensing area 102F in front of the vehicle 1.
  • the sensing region 103B covers the rear of the vehicle 1 to a position farther than the sensing region 102B.
  • the sensing area 103L covers the periphery of the left side surface of the vehicle 1.
  • the sensing region 103R covers the periphery of the right side surface of the vehicle 1.
  • the sensing result in the sensing area 103F is used, for example, for recognition of traffic lights and traffic signs, lane departure prevention support system, and the like.
  • the sensing result in the sensing area 103B is used, for example, for parking assistance, a surround view system, and the like.
  • the sensing results in the sensing area 103L and the sensing area 103R are used, for example, in a surround view system or the like.
  • the sensing area 104 shows an example of the sensing area of LiDAR53.
  • the sensing region 104 covers a position far from the sensing region 103F in front of the vehicle 1.
  • the sensing area 104 has a narrower range in the left-right direction than the sensing area 103F.
  • the sensing result in the sensing area 104 is used for, for example, emergency braking, collision avoidance, pedestrian detection, and the like.
  • the sensing area 105 shows an example of the sensing area of the radar 52 for a long distance.
  • the sensing region 105 covers a position farther than the sensing region 104 in front of the vehicle 1.
  • the sensing area 105 has a narrower range in the left-right direction than the sensing area 104.
  • the sensing result in the sensing region 105 is used, for example, for ACC (Adaptive Cruise Control) or the like.
  • each sensor may have various configurations other than those shown in FIG. Specifically, the ultrasonic sensor 54 may be made to sense the side of the vehicle 1, or the LiDAR 53 may be made to sense the rear of the vehicle 1.
  • the camera 51 and the recognition unit 73 in FIG. 3 have a configuration corresponding to the camera 1a and the recognition unit 1b in FIG.
  • the server 2 is composed of a processor 111, an input unit 112, an output unit 113, a storage unit 114, a communication unit 115, a drive 116, and a removable storage medium 117, and is connected to each other via a bus 118 to provide data. And programs can be sent and received.
  • the processor 111 controls the entire operation of the server 2. Further, the processor 111 manages the update of the recognition unit 73 as a SW. Further, the processor 111 recognizes the operating state of the recognition unit 73 as a SW and transmits it to the server 2.
  • the input unit 112 is composed of an input device such as a keyboard and a mouse for which a user inputs an operation command, and supplies various input signals to the processor 111.
  • the output unit 113 outputs and displays an image of the operation screen and the processing result controlled and supplied by the processor 111 to a display device including an LCD (Liquid Crystal Display) or an organic EL (Electro Luminescence).
  • a display device including an LCD (Liquid Crystal Display) or an organic EL (Electro Luminescence).
  • the storage unit 114 is composed of an HDD (Hard Disk Drive), SSD (Solid State Drive), semiconductor memory, or the like, and is controlled by the processor 111 to write or read various data and programs including content data.
  • HDD Hard Disk Drive
  • SSD Solid State Drive
  • semiconductor memory or the like
  • the communication unit 115 is controlled by the processor 111, and various data are connected to and from various devices via a communication network represented by a LAN (Local Area Network) by wire (or wirelessly (not shown)). And send and receive programs.
  • a communication network represented by a LAN (Local Area Network) by wire (or wirelessly (not shown)). And send and receive programs.
  • LAN Local Area Network
  • the drive 116 includes a magnetic disk (including a flexible disk), an optical disk (including a CD-ROM (Compact Disc-Read Only Memory), a DVD (Digital Versatile Disc)), an optical magnetic disk (including an MD (Mini Disc)), and an optical magnetic disk (including an MD (Mini Disc)).
  • a magnetic disk including a flexible disk
  • an optical disk including a CD-ROM (Compact Disc-Read Only Memory), a DVD (Digital Versatile Disc)
  • an optical magnetic disk including an MD (Mini Disc)
  • an MD Mini Disc
  • the processor 21 of the vehicle 1 realizes the functions as the control unit 201, the operation status recognition unit 202, the operation status report unit 203, and the update unit 204.
  • the control unit 201 controls the entire operation of the vehicle control system 11 and outputs various control signals.
  • control unit 201 outputs a control signal for controlling various operations of the vehicle 1 to the vehicle control unit 32 based on the object recognition result by the recognition unit 73 based on the image captured by the camera 51. ..
  • control unit 201 controls the operation of the operation status recognition unit 202 to recognize the operation status of the recognition unit 73.
  • control unit 201 controls and transmits the communication unit 22 when the server 2 requests the vehicle information required for the grouping of the vehicle 1.
  • the vehicle information required for grouping the vehicles 1 will be described later when the configuration of the server 2 is described.
  • the operation status recognition unit 202 recognizes the operation status of the recognition unit 73 based on the image captured by the camera 51 and the object recognition result of the recognition unit 73 according to the image captured by the camera 51.
  • the operation status recognition unit 202 is, for example, in addition to the image captured by the camera 51 and the object recognition result of the recognition unit 73 based on the image captured by the camera 51, the map information storage unit 23. Based on the map information of the above, the position information based on the signals from the GNSS receiver 24, and the external recognition sensor 25, the object that can be recognized from the map information corresponding to the current position information is identified and compared with the object recognition result. It is determined whether or not the recognition unit 73 is properly operating, the determination result is recognized as an operation status, and the determination result is output to the operation status report unit 203.
  • the operating status recognition unit 202 has a position specified based on the GNSS signal of the GNSS receiving unit 24 and a signal of the external recognition sensor 25, and an angle of view of the camera 51 based on the direction of the vehicle 1 at the specified position.
  • the information of the object existing in the inside is read out from the map information, compared with the recognition result of the recognition unit 73, and the comparison result is recognized as the operation status.
  • the operation status recognition unit 202 recognizes at that time. If the recognition result of Part 73 matches a specific sign or a specific building read from the map information, it is considered to be appropriate as an operating status, and if it does not match, it is considered to be not an appropriate operating status. ..
  • the object to be compared with the recognition result may be a specific sign, a specific building, or the like specified from the map information, or a dedicated marker for confirming the operating status of the recognition unit 73. May be good.
  • the object to be compared with the recognition result may be an object that can be recognized along with a phenomenon that is expected to occur from the position and time zone, for example, that the object is generated from the position and time zone. It may be a vehicle or a pedestrian in a traffic jam where is expected. In this case, whether or not it is possible to recognize that the vehicle or pedestrian is moving may also be used to determine the operating status of the recognition unit 73.
  • the object to be compared with the recognition result may be a sensitive signal that operates with V2X communication or the approach of the vehicle 1, a gate bar of a parking lot, or the like.
  • the operating status whether or not the change in operation such as the sensitive signal changing from red to green as the vehicle 1 approaches and the gate bar being opened or closed is recognized as a recognition result. It may be used for the determination of.
  • the operation status recognition unit 202 backs up the recognition unit 73 before the update, compares the recognition rate of the recognition unit 73 before the update with the recognition rate of the recognition unit 73 after the update, and compares the comparison result with the operation status. May be regarded as. In this case, when the recognition rate of the recognition unit 73 after the update is not lower than the recognition rate of the recognition unit 73 before the update and there is no deterioration, it is considered that an appropriate update has been made, and vice versa. In addition, when there is a decrease in the recognition rate and there is deterioration, it may be considered that an inappropriate update has been made.
  • the operation status report unit 203 determines whether or not it is necessary to report to the server 2 based on the operation status information supplied from the operation status recognition unit 202, and when it is determined that it is necessary, the operation status report unit 203 is a communication unit. 22 is controlled to transmit the image captured by the camera 51 and the recognition result to the server 2.
  • the operating status reporting unit 203 reports the image captured by the camera 51 and the recognition result to the server 2.
  • the operating status reporting unit 203 may report the image captured by the camera 51 and the recognition result to the server 2.
  • the operation status reporting unit 203 reports the operation status, the image captured by the camera 51, and the recognition result to the server 2, regardless of whether the operation status is appropriate or not. May be good.
  • the update unit 204 controls the communication unit 22 to update the recognition unit 73 from the server 2, receives the update SW, expands the information as necessary, and relearns the recognition unit 73 by the server 2. Update to the state that was made.
  • the processor 111 of the server 2 serves as a vehicle information collection unit 231, a grouping unit 232, a distribution order determination unit 233, a distribution status confirmation unit 234, a distribution planning unit 235, a distribution unit 236, a re-learning unit 237, and an update SW release unit 238. To realize the function of.
  • the vehicle information collecting unit 231 controls the communication unit 115 to request vehicle information for grouping from the vehicle 1, collects it, and outputs it to the grouping unit 232.
  • the vehicle information is various information required for grouping the vehicle 1 by the grouping unit 232, which will be described later.
  • the vehicle type the position information
  • the detection history of the external recognition sensor 25 the route traveled in the past.
  • Information such as travel history including travel history, total mileage, and weather information corresponding to the current position information of the vehicle 1.
  • the grouping unit 232 groups the vehicles 1-1 to 1-n based on the vehicle information collected from each of the vehicles 1, and outputs the grouping result to the distribution order determination unit 233.
  • the grouping performed here is to group the vehicles 1-1 to 1-n for setting the order for distributing the update SW for updating the recognition unit 73 into at least two groups or more.
  • the distribution of the update SW is safe from the group of vehicles 1 that are not in a dangerous state, are likely to be safe, and are safe, even if they cannot operate properly when the recognition unit 73 is updated. Try to be done in order of lower sex.
  • the distribution order determination unit 233 determines and determines the order in which the update SW is distributed in order from the group most likely to be safe (safety is ensured) based on the grouping result supplied from the grouping unit 232. Information on the distribution order for the grouping result is output to the distribution planning unit 235.
  • the distribution status confirmation unit 234 controls the communication unit 115 to confirm the distribution status indicating which order of the vehicle 1 group the update SW is being distributed to, and the confirmed distribution status information is distributed to the distribution planning unit 235. Output to.
  • the distribution status confirmation unit 234 controls the communication unit 115 to indicate whether or not the object recognition process by the recognition unit 73 updated by the distributed update SW transmitted from the vehicle 1 is appropriate. The information is confirmed as the distribution status and output to the distribution planning unit 235.
  • the distribution planning unit 235 plans the order and timing for distributing the update SW from the distribution order information supplied from the distribution order determination unit 233 and the distribution status information supplied from the distribution status confirmation unit 234. , Is output to the distribution unit 236 as a distribution plan.
  • the re-learning unit 237 accumulates vehicle storage information that constitutes parameters used as re-learning data consisting of an image captured by the camera 51 supplied from the vehicle 1 and an object recognition result by the recognition unit 73. Using the accumulated vehicle storage information as re-learning data, the corresponding recognition unit 73 is re-learned to generate an update SW as a re-learning result, which is output to the update SW release unit 238.
  • the update SW release unit 238 confirms the operation of the recognition unit 73 updated by the update SW generated by the re-learning unit 237 by the re-learning unit 237 by simulation, and confirms whether or not the recognition unit 73 can be distributed.
  • the update SW that has been determined and can be distributed is output to the distribution unit 236.
  • the distribution unit 236 controls the communication unit 115 to distribute the update SW supplied from the update SW release unit 238 to the vehicle 1 according to the distribution plan supplied from the distribution planning unit 235, and updates the recognition unit 73. ..
  • the grouping of vehicles 1-1 to 1-n by the grouping unit 232 is a process for the purpose of grouping a group of vehicles for confirming the state when the recognition unit 73 is actually updated by the update SW to be distributed. Is.
  • the vehicles 1-1 to 1-n are grouped as shown in FIG. 8, for example.
  • vehicles 1-1 to 1-n are grouped into groups G1 to Gx in order from the top.
  • the group G1 is composed of the vehicles 1-11 to 1-X among the vehicles 1-1 to 1-n
  • the group G2 is the vehicles 1-21 to 1-n among the vehicles 1-1 to 1-n. It is composed of 1-Y
  • the group Gx is composed of the vehicles 1-31 to 1-Z among the vehicles 1-1 to 1-n.
  • the safest group becomes group G1 and the next safest group becomes group G2 even if some trouble occurs, which is the most dangerous group. However, it becomes a group Gx.
  • the distribution order determination unit 233 determines the order of distributing the update SW as the groups G1, G2, ... Gx. Become.
  • the grouping unit 232 scores the risk when some trouble occurs by updating the recognition unit 73 by the update SW in the vehicles 1-1 to 1-n, and groups according to the score.
  • an update risk the risk that occurs when some trouble occurs by updating the recognition unit 73 by the update SW.
  • grouping is to group vehicles 1-1 to 1-n into a plurality of groups according to the renewal risk.
  • the update SW is delivered first to the first group consisting of the number of vehicles 1 that are completely safe and whose influence of the update risk is likely to be stochastically determined with a predetermined accuracy. Then, the presence or absence of a defect when traveling is confirmed using the recognition result of the recognition unit 73 updated by the update SW.
  • the update SW is distributed in order from the upper group, and if it is confirmed that there is no problem. , Sequentially ensure that the update risk is delivered to the top group.
  • the operating status of the recognition unit 73 updated by the update SW is sufficiently verified in the vehicle 1 of the group delivered immediately before. Since the vehicle 1 is distributed in the same state, it is possible to update the recognition unit 73 more safely as the vehicle 1 of the group distributed later.
  • the grouping unit 232 encounters an accident as the number of accidents or the number of vehicles in each region increases according to the position information of vehicles 1-1 to 1-n and the number of accidents in each region and the number of vehicles in each region. You may consider that the risk of renewal is high.
  • the grouping unit 232 sets the score so that the number of accidents in each area and the vehicle 1 in the area where the number of automobiles is large is lower, and the ranking is set according to the score set in this way to be higher.
  • the groups G1 to Gx may be set from.
  • the grouping unit 232 tends to reduce the recognition accuracy by object recognition according to the position information of each vehicle 1 and the weather at the current location of each area. For example, the vehicle 1 existing in an area of stormy weather.
  • the score may be set low, and conversely, the score may be set higher for the vehicle 1 existing in the area of sunny weather, which is considered to have little deterioration in recognition accuracy, and the grouping may be performed.
  • the grouping unit 232 considers that, for example, the smaller the mileage, the lower the probability of encountering an accident and the lower the update risk, depending on the mileage, based on the operation history of each vehicle 1, and sets the score high. On the contrary, the larger the mileage, the higher the probability of encountering an accident and the higher the risk of renewal, and the group may be grouped by setting a high score.
  • the grouping unit 232 acquires the tendency of acceleration / deceleration, the speed range, and the driving conditions such as the road to be used from the operation history of each vehicle 1 (sensing result of the external recognition sensor 25), and for example, accelerates / decelerates.
  • the speed range is high speed range, or the road where accidents occur frequently is used frequently
  • the score is set low as considering that the update risk is high, and conversely, the change in acceleration / deceleration.
  • the frequency of use is low, the speed range is low, and the roads with high accident frequency are used infrequently, it may be considered that the renewal risk is low and the score may be set high for grouping.
  • the grouping unit 232 is, for example, a vehicle type in which it is known that a group of purchasers who prefer loose driving purchases more than a predetermined number, or a vehicle type having a size smaller than a predetermined size, depending on the vehicle type of the vehicle 1.
  • a vehicle type in which it is known that a group of purchasers who prefer loose driving purchases more than a predetermined number, or a vehicle type having a size smaller than a predetermined size, depending on the vehicle type of the vehicle 1.
  • vehicles with driving performance higher than the prescribed driving performance vehicles equipped with more safety equipment than the prescribed number, commercial vehicles that are known to not be forced to drive because they are for commercial purposes, etc.
  • the update risk is low, and the score may be set high so as to be grouped.
  • the grouping unit 232 is a vehicle model in which it is known that the number of purchasers who prefer loose driving is less than a predetermined number, a vehicle model having a size larger than a predetermined size, and a traveling performance higher than a predetermined driving performance. Vehicles that do not have performance, vehicles that do not have more safety equipment than the specified number, private vehicles that may drive unreasonably compared to commercial vehicles, etc. are considered to have a high risk of renewal. The score may be set low for grouping.
  • the grouping unit 232 may group the vehicle 1 by a combination of scores in consideration of the above-mentioned factors.
  • the grouping unit 232 first sets a score for the vehicle 1, then obtains a ranking, and sets a group from the top with a predetermined number of divisions.
  • the number of vehicles 1 belonging to each group does not have to be equal.
  • the higher group may have a smaller number and the lower group may have a larger number.
  • the number of vehicles 1 belonging to each group does not have to be fixed.
  • the width of the score belonging to each group may be determined and the group may be set according to the score.
  • the update SW may be delivered from these groups, and after the safety is confirmed, it may be delivered to a general vehicle.
  • the number of passengers on buses is larger than the number of passengers on buses, and the impact in the event of an accident is greater. After the safety is confirmed, it may be delivered to a bus or the like.
  • step S11 the vehicle information collecting unit 231 controls the communication unit 115 to request vehicle information from the vehicles 1-1 to 1-n.
  • step S31 the control unit 201 controls the communication unit 22 to determine whether or not the vehicle information has been requested from the server 2, and repeats the same process until the request is made.
  • step S32 the control unit 201 is required to control the communication unit 22 and group the vehicles 1, for example, vehicle type, GNSS.
  • Vehicle information such as position information based on signals, travel history including detection history of the external recognition sensor 25 and routes traveled in the past, total mileage, and weather information corresponding to the current position information of vehicle 1 is sent to the server 2. Send.
  • step S33 the control unit 201 determines whether or not the end of the process is instructed, and if the end is not instructed, the process returns to step S31.
  • steps S31 to S33 are repeated until the end of the process is instructed.
  • step S33 the process ends.
  • step S12 the vehicle information collecting unit 231 of the server 2 controls the communication unit 115 to transmit the vehicle information from the vehicle 1. And collect.
  • the vehicle information collecting unit 231 may continue to collect each of the vehicle information of the vehicle 1 in a database in association with the information for individually identifying the vehicle 1, for example.
  • step S13 the grouping unit 232 sets any unprocessed vehicle 1 among the vehicles 1-1 to 1-n stored in the database in the vehicle information collecting unit 231 as the processing target vehicle.
  • step S14 the grouping unit 232 sets a score for realizing grouping based on the vehicle information of the vehicle to be processed.
  • the grouping unit 232 is based on the vehicle information so that the smaller the update risk (risk when a problem occurs due to the update of the recognition unit 73 by the update SW), the higher the score is set. Set a score for each.
  • step S15 it is determined whether or not there is an unprocessed vehicle 1 for which the score required for grouping is not set, and if there is an unprocessed vehicle 1, the process returns to step S13.
  • steps S13 to 15 are repeated until a score for grouping all the vehicles 1 in which the vehicle information is stored in the vehicle information collecting unit 231 is set.
  • step S15 a score for grouping all the vehicles 1 in which the vehicle information is stored in the vehicle information collecting unit 231 is set, and a score required for grouping is not set. If it is determined that the unprocessed vehicle 1 does not exist, the process proceeds to step S16.
  • step S16 the grouping unit 232 obtains (sorts) the ranks of the vehicles 1-1 to 1-n based on the obtained score.
  • step S17 the grouping unit 232 sets the number of groups.
  • the number of groups may be set to a fixed value or may be set dynamically.
  • step S18 the grouping unit 232 groups the vehicles 1-1 to 1-n so as to have a set number of groups based on the ranking according to the score, and outputs the result to the distribution order determination unit 233. ..
  • step S19 the distribution order determination unit 233 determines the distribution order for each group according to the score of the group supplied from the grouping unit 232.
  • step S20 the vehicle information collecting unit 231 determines whether or not the end of the process is instructed, and if the end is not instructed, the process proceeds to step S21.
  • step S21 the vehicle information collecting unit 231 determines whether or not a predetermined time has elapsed, and repeats the same process until the predetermined time has elapsed.
  • step S21 when it is considered that the predetermined time has elapsed, the process returns to step S11, and the subsequent processes are repeated.
  • vehicle information is acquired from each vehicle 1, and grouping based on the vehicle information is repeated, so that fixed information such as the vehicle type of vehicle 1 and position information and weather are obtained.
  • the grouping based on the changing information around the vehicle 1 such as is continuously set while changing in real time.
  • step S20 the process ends.
  • the grouping is repeated based on the vehicle information including the fixed information of the vehicle 1 and the changing information, and the order in which the update SW is distributed is the vehicle 1.
  • the process set for each group is repeated.
  • the vehicle 1 is grouped according to the update risk by the update SW, and the distribution order of the update SW is set for each group of the vehicle 1.
  • step S51 the recognition unit 73 of the vehicle 1 recognizes an object based on the image captured by the camera 51, and outputs the object recognition result together with the image to the control unit 201.
  • step S52 the control unit 201 controls the vehicle control unit 32 based on the object recognition result to control the operation of the vehicle 1. For example, when it is recognized that a pedestrian is present in front of the vehicle based on the object recognition result, the control unit 201 supplies a control signal to the vehicle control unit 32 and makes contact with the pedestrian. It is controlled so that the operation that avoids the above is performed.
  • step S53 the control unit 201 controls the communication unit 22, stores the object recognition result of the recognition unit 73 and the image of the camera 51 at that time as vehicle storage information, and transmits it to the server 2.
  • the control unit 201 may transmit the identifier to the server 2 together with the identifier for identifying the vehicle 1 and other vehicle information.
  • step S71 the re-learning unit 237 of the server 2 controls the communication unit 115 to determine whether or not the vehicle storage information including the object recognition result of the recognition unit 73 and the image of the camera 51 at that time has been transmitted. Is determined.
  • step S71 If it is determined in step S71 that the vehicle storage information including the object recognition result of the recognition unit 73 and the image of the camera 51 at that time is not transmitted, the process proceeds to step S75.
  • step S71 if it is determined in step S71 that the vehicle storage information including the object recognition result of the recognition unit 73 and the image of the camera 51 at that time has been transmitted, the process proceeds to step S72.
  • step S72 the re-learning unit 237 receives and stores the transmitted object recognition result of the recognition unit 73 and the image of the camera 51 at that time as vehicle storage information for re-learning.
  • the re-learning unit 237 also receives and stores them.
  • the vehicle storage information for re-learning is received and stored from all the vehicles 1 by the processing of steps S71 and S72, but it may be a part.
  • step S73 the re-learning unit 237 re-learns the recognition unit 73 using the accumulated vehicle storage information for re-learning, and supplies the re-learning result to the update SW release unit 238.
  • step S74 the update SW release unit 238 executes a simulation using the relearned recognition unit 73 to verify the recognition accuracy.
  • step S75 the re-learning unit 237 determines whether or not the end of the process is instructed, and if the end of the process is not instructed, the process returns to step S71 and the subsequent processes are repeated.
  • the vehicle storage information for re-learning consisting of the recognition result of the recognition unit 73 and the image is collected from the vehicle 1, the re-learning is repeated, and the re-learning is performed.
  • the process in which the recognition accuracy of the unit 73 is obtained by simulation is repeated.
  • step S75 the process ends.
  • the vehicle storage information for re-learning consisting of the recognition result of the recognition unit 73 and the image is collected from the vehicle 1, the re-learning is repeated, and the recognition accuracy of the re-learning unit 73 is improved. It is possible to repeat the processing required by the simulation.
  • step S91 the update SW release unit 238 distributes and updates as an update SW based on whether or not the relearned recognition unit 73 required by the above-mentioned relearning process is in a state to be distributed. It is determined whether or not there is an update, and the same process is repeated until it is determined that there is an update.
  • the update SW release unit 238 should be updated, for example, when the recognition accuracy of the relearned recognition unit 73 is improved by a predetermined ratio from the recognition accuracy of the recognition unit 73 before the relearning. It may be determined that it is in a state.
  • step S91 determines in step S91 that the state should be updated. If the relearned recognition unit 73 determines in step S91 that the state should be updated, the process proceeds to step S92.
  • step S92 the distribution planning unit 235 initializes the counter i of the identifier that identifies the grouped group to 1.
  • step S93 the distribution planning unit 235 acquires the vehicle information of the vehicle 1 belonging to the group i among the distribution order information in the group unit determined by the distribution order determination unit 233.
  • step S94 the distribution planning unit 235 sets the unprocessed vehicle 1 among the vehicles 1 belonging to the group i as the processing target vehicle.
  • step S95 the distribution planning unit 235 executes the distribution timing setting process and sets the update timing of the recognition unit 73 by the update SW of the processing target vehicle.
  • the operation of the recognition unit 73 being updated is stopped, so that the timing at which the movement of the vehicle 1 is stopped and the recognition process by the recognition unit 73 related to the update are performed.
  • the timing when it becomes unnecessary is set as the timing when the update SW is delivered.
  • step S96 the distribution planning unit 235 determines whether or not there is an unprocessed vehicle 1 for which the distribution timing has not been set among the vehicles 1 belonging to the group i, and when the unprocessed vehicle 1 exists. , The process returns to step S94.
  • steps S94 to S96 are repeated until the delivery timing is set for all the vehicles 1 belonging to the group i.
  • step S96 if it is considered that the delivery timing has been set for all the vehicles 1 belonging to the group i, the process proceeds to step S97.
  • the distribution plan of the update SW is completed by planning all the distribution timings of the vehicles 1 belonging to the group i.
  • step S97 the distribution planning unit 235 determines whether or not it is the distribution timing of any vehicle 1 belonging to the group i based on the distribution plan.
  • step S97 If it is determined in step S97 that the delivery timing of any vehicle 1 belonging to the group i has been reached based on the delivery plan, the process proceeds to step S98. If the delivery timing of the vehicle 1 belonging to the group i is not set in step S97, the process proceeds to step S103.
  • step S98 the distribution planning unit 235 controls the distribution unit 236 to acquire the update SW supplied from the update SW release unit 238 to update the recognition unit 73 generated by the relearning, and the communication unit 115. It is delivered to the vehicle 1 whose delivery timing is higher.
  • the distribution status confirmation unit 234 controls the communication unit 115 to acquire the version of the distributed update SW and the information of the vehicle 1 to be the distribution destination as the distribution status.
  • step S121 the update unit 204 of the vehicle 1 controls the communication unit 22 to determine whether or not the update SW has been transmitted from the server 2.
  • step S121 In the case of the vehicle 1 belonging to the group i whose delivery timing has come, it is determined in step S121 that the update SW has been transmitted from the server 2, and the process proceeds to step S122.
  • step S122 the update unit 204 stops at least one of the operation related to the object recognition process of the recognition unit 73 and the operation control based on the recognition result of the recognition unit 73 in the control unit 201.
  • step S123 the update unit 204 controls the communication unit 22 to acquire the transmitted update SW and update the recognition unit 73. At this time, the update unit 204 holds the recognition unit 73 before the update for backup before updating by the update SW.
  • step S124 the update unit 204 operates the recognition unit 73 on a trial basis, confirms the operating state, and confirms that the update by the update SW has been properly completed.
  • the update unit 204 repeats the update by the update SW until the update is completed properly, and completes the update in an appropriate state.
  • the update unit 204 ends the update process and reactivates the pre-update recognition unit 73 held as a backup.
  • step S125 after the update by the update SW is completed, the recognition unit 73 recognizes the object based on the image captured by the camera 51, and outputs the recognition result to the operation status recognition unit 202.
  • step S126 the operation status recognition unit 202 acquires the image captured by the camera 51 and the object recognition result of the recognition unit 73 according to the image captured by the camera 51.
  • step S127 the operation status recognition unit 202 determines whether or not the operation status of the recognition unit 73 is appropriate based on the acquired object recognition result, and operates the determination result in association with the object recognition result and the image. Output to the status report unit 203.
  • the operating status recognition unit 202 for example, in addition to the image captured by the camera 51 and the object recognition result of the recognition unit 73 based on the image captured by the camera 51, the map information of the map information storage unit 23, Based on the position information based on the signals from the GNSS receiver 24 and the external recognition sensor 25, the object that can be recognized from the map information corresponding to the current position information is identified, and the object is appropriately recognized by comparison with the object recognition result. It is determined whether or not the unit 73 is operating.
  • step S1208 the operation status reporting unit 203 determines whether or not it is necessary to report the operation status. That is, the necessity of reporting the operating status is, for example, when the operating status is inappropriate. However, the necessity of reporting the operating status may be either when the operating status is appropriate or when the operating status is required regardless of whether or not the operating status is appropriate.
  • step S128 If it is determined in step S128 that it is necessary to report the operating status, the process proceeds to step S129.
  • step S129 the operation status reporting unit 203 controls the communication unit 22 and reports the operation status to the server 2.
  • step S128 If it is determined in step S128 that the operation status report is unnecessary, the process of step S129 is skipped.
  • step S130 the operation status recognition unit 202 determines whether or not the operation status of the updated recognition unit 73 is sufficiently determined, and if it is determined that the determination is not sufficient, the process returns to step S124.
  • steps S125 to S130 are repeated until it is determined that the operation status of the recognition unit 73 after the update is sufficiently determined.
  • the determination of whether or not the operation status of the recognition unit 73 after the update is sufficient may be determined by, for example, whether or not the operation status has been recognized more than a predetermined number of times.
  • step S130 If it is determined in step S130 that the operation status of the updated recognition unit 73 is sufficiently determined, the process proceeds to step S131.
  • step S131 the update unit 204 determines whether or not the update of the recognition unit 73 by the update SW is appropriate.
  • the updating unit 204 recognizes, for example, the operating status of the operating status recognition unit 202. It is determined whether or not the update of the recognition unit 73 by the update SW is appropriate based on whether or not the ratio of the number of times when the operation status is recognized as inappropriate is higher than the predetermined ratio with respect to the predetermined number of times. You may do so.
  • step S131 If it is determined in step S131 that the update of the recognition unit 73 by the update SW is appropriate, the process proceeds to step S132.
  • step S132 the updating unit 204 restarts the operation related to the object recognition processing of the updated recognition unit 73 and the operation control based on the recognition result of the updated recognition unit 73 in the control unit 201. At this time, the update unit 204 discards the pre-update recognition unit 73 held for backup.
  • step S131 If it is determined in step S131 that the update of the recognition unit 73 by the update SW is not appropriate, the process proceeds to step S133.
  • step S133 the update unit 204 returns to the state of the recognition unit 73 before the update held for backup, operates related to the object recognition process of the recognition unit 73 before the update, and before the update in the control unit 201.
  • the operation control based on the recognition result of the recognition unit 73 of the above is restarted. That is, in this case, the recognition unit 73 is not updated, and the operation in the state before the update is continued.
  • control unit 201 does not perform the process based on the recognition result of the recognition unit 73 after the update by the update SW instead of the process of step S133. It may be in a state where it is not done.
  • the update of the recognition unit 73 by the update SW is in an inappropriate state, and the reliability of the operation control based on the recognition result is low. Therefore, the operation such as automatic operation using the recognition result of the recognition unit 73 is stopped.
  • the driver who is the user may be made aware of the fact.
  • step S134 it is determined whether or not the end of the process is instructed, and if the end is not instructed, the process returns to step S121.
  • step S99 the distribution status confirmation unit 234 of the server 2 controls the communication unit 115 to determine whether or not any vehicle 1 has reported the operation status of the recognition unit 73 updated by the update SW. If there is a report on the operating status, the process proceeds to step S100. If there is no report of the operating status of the recognition unit 73 updated by the update SW from any vehicle 1 in step S99, the process proceeds to step S103.
  • step S100 the distribution status confirmation unit 234 acquires the operation status information of the recognition unit 73 updated by the reported update SW.
  • step S101 the distribution status confirmation unit 234 aggregates the operation status information of the recognition unit 73 updated by the reported update SW. More specifically, the distribution status confirmation unit 234 aggregates, for example, the rate at which the recognition process of the recognition unit 73 updated by the update SW is deemed inappropriate.
  • step S102 the distribution status confirmation unit 234 determines whether or not the update of the recognition unit 73 by the update SW is inappropriate based on the aggregation result.
  • the distribution status confirmation unit 234 updates, for example, depending on whether or not the rate at which the recognition process of the recognition unit 73 updated by the update SW is deemed inappropriate is higher than the predetermined rate. It is determined whether or not the update of the recognition unit 73 by the SW is inappropriate.
  • step S102 If it is not determined in step S102 that the update of the recognition unit 73 by the update SW is inappropriate, the process proceeds to step S103.
  • step S103 the distribution status confirmation unit 234 determines whether or not the distribution to the update SW has been performed and the recognition unit 73 has been updated in all the vehicles 1 in the group i.
  • step S103 if the update SW is not delivered to all the vehicles 1 in the group i and the recognition unit 73 is not updated, the process returns to step S97.
  • step S103 if it is determined that the update SW has been delivered to all the vehicles 1 in the group i and the recognition unit 73 has been updated, the process proceeds to step S104.
  • step S104 the distribution planning unit 235 increments the counter i by 1.
  • step S105 the distribution planning unit 235 determines whether or not the counter i is larger than the maximum value which is the number of groups and the update process is completed for all the groups.
  • step S105 when the counter i is equal to or less than the maximum value which is the number of groups and it is considered that the update process has not been completed for all the groups, the process returns to step S93, and the subsequent processes are repeated. Is done.
  • the process of distributing the update SW in group units and updating the recognition unit 73 is repeated in order from each vehicle 1 in the highly safe group when there is a problem in the updated recognition unit 73. Then, the processes of steps S93 to S105 are repeated until the recognition unit 73 is updated by the update SW for the vehicles 1 of all the groups.
  • step S105 when the counter i is larger than the maximum value which is the number of groups and it is determined that the processing is completed for all the groups, the processing proceeds to step S106.
  • step S106 it is determined whether or not the end of the process is instructed, and if the end is not instructed, the process returns to step S91, and the subsequent processes are repeated.
  • step S106 the process ends.
  • step S102 If it is determined in step S102 that the update of the recognition unit 73 by the update SW is inappropriate, the process proceeds to step S107.
  • step S107 the distribution status confirmation unit 234 has confirmed that a problem will occur in the update of the recognition unit 73 by the current update SW, so the distribution plan is to stop the distribution of the subsequent update SW. Notify department 235.
  • the distribution planning unit 235 discards the distribution plan and stops the distribution of the update SW of the group i thereafter.
  • the update SW is delivered to each group of the vehicle 1 in order from the group having the lowest update risk.
  • the update SW is sequentially moved to the vehicle 1 of the group having a high update risk. It is possible to distribute and update the recognition unit 73.
  • the update SW of the recognition unit 73 is distributed in order from the group of the vehicle 1 having the lowest update risk, so even if a defect is recognized from the operating status of the recognition unit 73 after the update, even if a defect is recognized. It is possible to safely update the recognition unit 73 while suppressing the occurrence of a fatal problem due to erroneous recognition.
  • the recognition unit 73 is updated by the update SW in order from the vehicle 1 having the lowest update risk, and the update SW is gradually distributed while checking the operation status. It will be possible to expand to the vehicle 1 of the high group. As a result, it is possible to reduce the time cost related to re-learning, and it is possible to realize prompt delivery of the update SW.
  • Update timing setting process (1) >> Next, the update timing setting process (No. 1) of FIG. 11 will be described with reference to the flowchart of FIG.
  • step S151 the distribution planning unit 235 reads out the vehicle information of the vehicle 1 included in the distribution order information determined by the distribution order determination unit 233, and reads out the operation results of the vehicle to be processed.
  • the operation record referred to here is, for example, the daily operating time zone of the vehicle 1.
  • step S152 the distribution planning unit 235 estimates the time zone in which the processing target vehicle is stopped based on the read operation results of the processing target vehicle.
  • step S153 the distribution planning unit 235 sets the timing with the highest possibility of being stopped among the time zones in which the processing target vehicle is stopped as the distribution timing.
  • the safe timing is set to the update timing of the recognition unit 73 by the update SW. Can be set as.
  • Update timing setting process (2) >> Next, the update timing setting process (No. 2) of FIG. 11 will be described with reference to the flowchart of FIG.
  • the update timing to the timing at which the recognition target of the recognition unit 73 is unlikely to be recognized, the timing has little influence even if the recognition unit 73 does not function during the update process. May be set as the update timing.
  • the recognition target of the recognition unit 73 is only a pedestrian and the pedestrian is recognized
  • the control unit 201 controls the operation so as to avoid contact with the pedestrian, for example, a highway. Since the pedestrian is not recognized, such as when the vehicle is running, an action for avoiding contact with the pedestrian is not required.
  • the recognition target recognized by the recognition unit 73 is not detected based on the operation results and the operation route plan, and the timing at which there is no problem even if the recognition function by the recognition unit 73 is stopped is set as the update timing. It may be set.
  • step S171 the distribution planning unit 235 acquires the information of the operation route planned by the action planning unit 62.
  • step S172 the distribution planning unit 235 estimates the fluctuation of the data to be recognized on the driving route based on the acquired information on the driving route.
  • the distribution planning unit 235 serves as a pedestrian by the recognition unit 73 based on the image captured by the camera 51 when the processing target vehicle moves along the planned driving route. Estimate the position on the driving path where there is no recognized data (probably).
  • step S173 the distribution planning unit 235 identifies a section on the operation route in which the data to be recognized does not exist (highly likely) based on the information on the fluctuation of the data to be recognized on the estimated operation route. do.
  • the distribution planning unit 235 identifies a section in which the pedestrian data does not exist (highly likely) on the planned driving route.
  • the section where the pedestrian data does not exist is, for example, on a highway or a motorway.
  • step S174 the distribution planning unit 235 sets the timing of passing through the section where the data to be recognized on the estimated operation route does not exist (highly likely) as the update timing.
  • the timing of passing through a section where pedestrian data does not exist (highly likely) on the planned driving route is set as the update timing. ..
  • the update timing in this way, when the recognition unit 73 is updated by the update SW, the operation based on the recognition result of the recognition unit 73 is stopped, that is, the function of recognizing a pedestrian is stopped. Even if it becomes a state, it is running on the highway during the update, it is a timing that pedestrians are not recognized, and a malfunction due to misrecognition such as pedestrians being recognized occurs. Therefore, it is possible to safely update the recognition unit 73.
  • the update timing may be set during driving.
  • the vehicle 1 may set the update timing.
  • the update unit 204 of the vehicle 1 is based on the operating status of the flowcharts of FIGS. 12 and 13. Execute the update timing setting process explained with reference to, and set the update timing. Then, in the process of step S32, the control unit 201 includes the update timing information in the vehicle information, controls the communication unit 22, and transmits the information to the server 2.
  • Update for each processing unit >> ⁇ Update for each component>
  • the recognition unit 73 is updated by the update SW during the operation in which the recognition process is performed. It may be updated.
  • the recognition process by the recognition unit 73 is performed in chronological order for each component.
  • the component indicates, for example, a recognition process for each recognition target, and is set for each recognition target such as recognizing a railroad crossing, recognizing a signal, or recognizing a pedestrian. Therefore, in the object recognition process by the recognition unit 73, it can be considered that the object recognition process for each component having a different recognition target is sequentially executed in chronological order.
  • the components C1 and C2 are executed in chronological order as shown in FIG. 14, the component C1 is processed at times t11 to t15, and the component C2 is processed at times t15 to t19.
  • each component is performed in frame units of the image captured by the camera 51.
  • the processing of the frame F1 is performed at the times t11 to t12
  • the processing of the frame F2 is performed at the times t12 to t13
  • the processing of the frame F3 is performed at the times t13 to t14.
  • the processing of the frame F4 is performed at the time t14 to t15.
  • the processing of the frame F5 is performed at the times t15 to t16
  • the processing of the frame F6 is performed at the times t16 to t17
  • the processing of the frame F7 is performed at the times t17 to t18.
  • the processing of the frame F8 is performed at the time t18 to t19.
  • FIG. 14 shows an example of processing for four frames in any of the components C1 and C2, processing for another number of frames may be performed, and the same number of frames may be performed for each component. It does not have to be.
  • the component C1 is an object recognition process for recognizing a railroad crossing, for example, when traveling on a highway, the railroad crossing does not exist and the railroad crossing is not detected as a recognition result. Is virtually unnecessary.
  • the component C1 that recognizes the railroad crossing if the vehicle is traveling on a highway where the railroad crossing does not exist, the operation of the object recognition process of the component C1 (or the control unit based on the recognition result of the recognition unit 73). There is no problem even if the recognition unit 73 is updated by the update SW without stopping the operation control of 201).
  • the recognition unit 73 is updated by the update SW for each component without stopping the operation of the recognition unit 73. You may do so.
  • the camera 51 performs the imaging process at the times t11 to t31, and the camera 51 performs the imaging data transfer process at the times t31 to t32.
  • the recognition unit 73 performs recognition processing.
  • the image pickup process is performed by the camera 51 at times t12 to t34
  • the image pickup data is transferred by the camera 51 at times t34 to t35
  • the recognition process is performed by the recognition unit 73 at times t35 to t36. Is done.
  • the operation is substantially stopped, so even if the recognition unit 73 is updated by the update SW. There is no effect on motion control based on the recognition result.
  • the update timing is set so that the recognition unit 73 is updated by the update SW at the timing between frames when the recognition unit 73 is not functioning. You may do so.
  • the process block B1 is processed at the time t32 to t51, and the process block B1 is processed at the time t52. It is assumed that the processing block B2 is processed at t53, the processing block B3 is processed at times t54 to t55, and the processing block B4 is processed at times t56 to t33.
  • the processing block B1 is processed at times t35 to t57
  • the processing block B2 is processed at times t58 to t59
  • the processing block is processed at times t60 to t61. It is assumed that the processing of B3 is performed and the processing of the processing block B4 is performed at times t62 to t36.
  • the processing block B1 Since the processing of the processing block B1 is not performed in the period T31 from the time t51 when the processing of the processing block B1 of the frame F1 is completed to the start of the processing of the processing block B1 of the frame F2, the processing block B1 Since the operation is substantially stopped, it is time to update.
  • the update SW updates the recognition unit 73 in units of processing blocks at the timing between the processing blocks in which the recognition unit 73 is not functioning. You may do it.
  • the processing blocks constituting the recognition processing of the recognition unit 73 are each configured by a neural network, the processing blocks may be updated in specific layer units.
  • each of the processing blocks B1 to B4 is composed of, for example, a neural network composed of layers L1 to Lx, the update of the processing block B1 is considered.
  • the layer Lx of the processing block B1 is updated on a layer-by-layer basis at the first timing in the same period T31 as the updateable timing between the processing blocks, as shown in FIG. , Layers Lx-1, Lx-2, ... L1 may be sequentially updated in layer units at the same timing.
  • FIG. 17 shows an example in which the update is performed by the update SW in units of one layer, the update may be performed by the update SW in units of a plurality of layers.
  • the update SW may be used to update each channel in the layer.
  • the update may be performed in units of one channel or a plurality of channels. It may be a unit update.
  • steps S201 to S204, S206, S207, S209 to S217, and steps S234 to S240, S242 in the flowchart of FIG. 18 are the steps S91 to S94, S96, S97, S99 to S107, and S99 to S107 in the flowchart of FIG. Since it is the same as the processing of steps S125 to S131 and S134, the description thereof will be omitted.
  • step S204 when the unprocessed vehicle among the vehicles 1 of the group i is set as the processing target vehicle, in step S205, the distribution planning unit 235 executes the processing unit setting process and the processing target vehicle.
  • the update unit for updating the recognition unit 73 by the update SW is set, and the update timing according to the update unit is set.
  • step S271 the distribution planning unit 235 determines whether or not the processing unit updated by the update SW is the update processing for each channel.
  • step S271 if the processing unit updated by the update SW is the channel unit update processing, the processing proceeds to step S272.
  • step S272 the distribution planning unit 235 sets the update timing when the processing unit is the channel unit.
  • step S271 if the processing unit updated by the update SW is not the channel unit update processing, the processing proceeds to step S273.
  • step S273 the distribution planning unit 235 determines whether or not the processing unit updated by the update SW is the update processing for each layer.
  • step S273 if the processing unit updated by the update SW is the layer unit update processing, the processing proceeds to step S274.
  • step S274 the distribution planning unit 235 sets the update timing when the processing unit is the layer unit, as described with reference to FIG.
  • step S273 if the processing unit updated by the update SW is not the layer unit update processing, the processing proceeds to step S275.
  • step S275 the distribution planning unit 235 determines whether or not the processing unit updated by the update SW is a block unit update process.
  • step S275 if the processing unit updated by the update SW is a block unit update process, the process proceeds to step S276.
  • step S276 the distribution planning unit 235 sets the update timing when the processing unit is the block unit, as described with reference to FIG.
  • step S275 if the processing unit updated by the update SW is not the block unit update processing, the processing proceeds to step S277.
  • step S277 the distribution planning unit 235 determines whether or not the processing unit updated by the update SW is the update process between frames.
  • step S277 if the processing unit updated by the update SW is the frame unit update processing, the processing proceeds to step S278.
  • step S278 the distribution planning unit 235 sets the update timing when the processing unit is between frames, as described with reference to FIG.
  • step S277 if the processing unit updated by the update SW is not the update processing between frames, the processing proceeds to step S279.
  • step S279 the distribution planning unit 235 determines whether or not the processing unit updated by the update SW is the update processing for each component.
  • step S279 if the processing unit updated by the update SW is the update processing of the component unit, the processing proceeds to step S280.
  • step S280 the distribution planning unit 235 sets the update timing when the processing unit is the component unit, as described with reference to FIG.
  • step S279 if the processing unit updated by the update SW is not the update processing for each component, the processing proceeds to step S281.
  • step S281 Since the processing in step S281 is not an update of any of the processing units of channel unit, layer unit, block unit, frame-to-frame, and component unit, the recognition unit 73 is stopped, with the entire normal recognition unit 73 as a unit. Therefore, the distribution planning unit 235 executes the same update timing setting process as in step S99 in the flowchart of FIG. 11 to set the update timing.
  • step S207 the update SW for executing the update of the recognition unit 73 in each processing unit is performed in the processing of step S208. It is transmitted to the vehicle 1.
  • step S232 the update unit 204 controls the communication unit 22 to acquire and recognize the update SW according to the transmitted processing unit. Part 73 is updated. At this time, the update unit 204 holds the recognition unit 73 before the update for backup before updating by the update SW.
  • the update process of FIG. 18 is based on the operation related to the object recognition process of the recognition unit 73 and the recognition result of the recognition unit 73 in the control unit 201, as in the process of step S122 in the update process of FIG.
  • the operation control is not stopped, and the operation is continued.
  • step S233 the update unit 204 confirms that the recognition unit 73 has been reliably updated.
  • the update unit 204 recognizes the recognition result of the recognition unit 73 before the update and the recognition after the update. By comparing with the recognition result of the unit 73 and determining whether or not there is a change of a predetermined level or more, it may be determined whether or not the update is appropriately performed.
  • step S240 the update unit 204 determines whether or not the update of the recognition unit 73 by the update SW is appropriate.
  • step S240 If it is determined in step S240 that the update of the recognition unit 73 by the update SW is not appropriate, the process proceeds to step S241.
  • step S241 the update unit 204 returns to the state of the recognition unit 73 before the update held for backup, the operation related to the object recognition process of the recognition unit 73 before the update, and the operation before the update in the control unit 201.
  • the operation control based on the recognition result of the recognition unit 73 of the above is set to the state before the update. That is, in this case, the recognition unit 73 is not updated, and the operation in the state before the update is continued.
  • control unit 201 does not perform the process based on the recognition result of the recognition unit 73 after the update by the update SW instead of the process of step S241. It may be in a state where it is not done.
  • step S240 determines that the update of the recognition unit 73 by the update SW is appropriate. If it is determined in step S240 that the update of the recognition unit 73 by the update SW is appropriate, the process of step S241 is skipped.
  • the operation of the recognition unit 73 is updated without being stopped, and the update is also performed appropriately, so that the operation is continued as it is.
  • the update processing of the recognition unit 73 by the update SW can be executed by setting the timing for each processing unit, so that the operation of the object recognition processing in the recognition unit 73 can be executed without stopping. It will be possible to update appropriately.
  • the non-operation update process is safer, but the operation update process can be updated almost at any time. Therefore, the non-operation update process and the operation update process may be switched.
  • the non-operation update process is performed within a predetermined period after the distribution of the update SW starts, and the operation update process is executed when the update cannot be performed within the predetermined period. It is also good.
  • a score indicating urgency or priority according to the update content of the recognition unit 73 by the update SW is set, and the update does not operate when the urgency or priority is lower than the predetermined score.
  • the update process may be performed so that the operation update process may be executed in the case of an update having a higher urgency or a higher priority than a predetermined score.
  • the score indicating the urgency and the priority may be changed according to the automatic driving plan and the like. For example, regarding the update process of the recognition unit 73 related to the function not scheduled to be used in the automatic driving plan. Set a low score indicating urgency and priority so that non-operation update processing is performed, and urgency and priority for update processing of the recognition unit 73 related to the function scheduled to be used in the automatic operation plan.
  • the operation update process may be performed by setting a high score indicating.
  • the update process of the recognition unit 73 related to the function that is not scheduled to be used in response to the change of the automatic operation plan due to the change of the plan made in the automatic operation plan shows urgency and priority.
  • the non-operation update process is performed by changing the setting so that the score becomes low, and the update process of the recognition unit 73 related to the function scheduled to be used according to the change of the automatic operation plan.
  • the operation update process may be performed by changing the setting so as to increase the score indicating the urgency or priority.
  • the managed SW (software program) is the recognition unit 73 that executes the object recognition process and recognizes the object
  • the SW is generated by machine learning or the like, it has been described.
  • Other processing may be executed, for example, a SW that executes a route search formed by machine learning, or a SW that realizes battery management.
  • Example of execution by software By the way, the series of processes described above can be executed by hardware, but can also be executed by software.
  • the programs that make up the software may execute various functions by installing a computer embedded in dedicated hardware or various programs. It is installed from a recording medium on a possible, eg, general purpose computer.
  • FIG. 20 shows a configuration example of a general-purpose computer.
  • This personal computer has a built-in CPU (Central Processing Unit) 1001.
  • the input / output interface 1005 is connected to the CPU 1001 via the bus 1004.
  • a ROM (Read Only Memory) 1002 and a RAM (Random Access Memory) 1003 are connected to the bus 1004.
  • the input / output interface 1005 includes an input unit 1006 composed of input devices such as a keyboard and a mouse for inputting operation commands by the user, an output unit 1007 for outputting a processing operation screen and an image of processing results to a display device, and programs and various data. It is composed of a storage unit 1008 including a hard disk drive for storing, a LAN (Local Area Network) adapter, and the like, and is connected to a communication unit 1009 which executes communication processing via a network represented by the Internet.
  • magnetic discs including flexible discs
  • optical discs including CD-ROM (Compact Disc-Read Only Memory), DVD (Digital Versatile Disc)
  • optical magnetic discs including MD (Mini Disc)
  • a drive 1010 for reading / writing data is connected to a removable storage medium 1011 such as a memory.
  • the CPU 1001 is read from a program stored in the ROM 1002 or a removable storage medium 1011 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, installed in the storage unit 1008, and loaded from the storage unit 1008 into the RAM 1003. Various processes are executed according to the program.
  • the RAM 1003 also appropriately stores data and the like necessary for the CPU 1001 to execute various processes.
  • the CPU 1001 loads the program stored in the storage unit 1008 into the RAM 1003 via the input / output interface 1005 and the bus 1004 and executes the above-mentioned series. Is processed.
  • the program executed by the computer (CPU1001) can be recorded and provided on the removable storage medium 1011 as a package medium or the like, for example.
  • the program can also be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be installed in the storage unit 1008 via the input / output interface 1005 by mounting the removable storage medium 1011 in the drive 1010. Further, the program can be received by the communication unit 1009 via a wired or wireless transmission medium and installed in the storage unit 1008. In addition, the program can be installed in the ROM 1002 or the storage unit 1008 in advance.
  • the program executed by the computer may be a program in which processing is performed in chronological order according to the order described in the present specification, in parallel, or at a necessary timing such as when a call is made. It may be a program in which processing is performed.
  • the CPU 1001 in FIG. 20 realizes the functions of the processor 21 in FIG. 3 and the processor 111 in FIG.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a device in which a plurality of modules are housed in one housing are both systems. ..
  • the present disclosure can have a cloud computing configuration in which one function is shared by a plurality of devices via a network and jointly processed.
  • each step described in the above flowchart can be executed by one device or shared by a plurality of devices.
  • the plurality of processes included in the one step can be executed by one device or shared by a plurality of devices.
  • the present disclosure may also have the following configuration.
  • the SW is formed by machine learning and is formed.
  • the update unit backs up the SW before the update, and then updates the SW using the update SW.
  • the operation status recognition unit recognizes the updated operation status of the SW by comparing the processing result of the SW updated by the update unit with the processing result of the backed up SW before the update ⁇ 2. > The information processing apparatus described in.
  • ⁇ 4> The information processing apparatus according to any one of ⁇ 1> to ⁇ 3>, wherein the SW is a SW formed by machine learning and functions as an object recognition unit that executes an object recognition process based on an image.
  • the operating status recognition unit compares the object recognition result of the SW that functions as the object recognition unit updated by the update unit with the information of surrounding objects based on the current position information.
  • the information processing apparatus according to ⁇ 4> which recognizes the updated operating status of the SW.
  • ⁇ 6> Further includes a control unit that controls the operation based on the object recognition result of the SW.
  • the information processing device wherein the control unit stops control of the operation based on the object recognition result of the SW that functions as the updated object recognition unit based on the operation status.
  • the control unit controls the operation based on the object recognition result of the SW that functions as the object recognition unit before the update based on the operation status.
  • the update unit acquires an update SW for updating the SW distributed from the server, updates the SW based on the update SW, and updates the SW.
  • the information processing apparatus further including an operation status recognition result transmission unit that transmits an operation status recognition result, which is an operation status recognition result by the operation status recognition unit, to the server.
  • the update SW is updated based on the safety of the operation controlled by the control unit based on the processing result of the SW when the SW is not properly updated by the update SW.
  • the information processing device according to ⁇ 8>, wherein when the information processing devices to which the SW is distributed are grouped, the information processing devices of the safest group are sequentially and sequentially distributed in group units.
  • the server estimates the timing at which the operation control by the control unit becomes unnecessary based on the object recognition result of the SW that functions as the object recognition unit, and the operation control by the control unit is unnecessary.
  • the information processing apparatus according to ⁇ 9>, wherein a distribution plan is generated in which the timing is the timing at which the update SW is distributed.
  • the safety of the distribution plan is such that the timing at which the operation control by the control unit becomes unnecessary based on the object recognition result of the SW that functions as the object recognition unit is the timing at which the update SW is distributed.
  • the information processing apparatus according to ⁇ 9> which is generated in units of the group grouped based on the above.
  • ⁇ 12> The control that the timing at which a predetermined object is not recognized as the object recognition result of the SW that functions as the object recognition unit is based on the object recognition result of the SW that functions as the object recognition unit.
  • a distribution plan is generated in which the timing at which the operation control by the unit is not required is estimated and the estimated timing at which the control unit does not need to control the operation is the timing at which the update SW is distributed.
  • the information processing device described. ⁇ 13> The control unit controls the automatic driving of the vehicle based on the object recognition result.
  • a distribution plan is generated in which the timing at which the predetermined object travels on a route on which the vehicle is planned to travel on a route that is not recognized as the object recognition result is the timing at which the update SW is distributed.
  • ⁇ 14> The information processing apparatus according to ⁇ 8>, wherein the server stops the distribution of the SW to the information processing apparatus based on the operation status recognition result transmitted from the operation status recognition result transmission unit. .. ⁇ 15>
  • the object recognition accuracy by the updated SW is higher than the object recognition accuracy by the SW before the update based on the operation status recognition result transmitted from the operation status recognition result transmission unit.
  • the information processing apparatus which stops the distribution of the SW to the information processing apparatus when the value is low.
  • the operation status recognition result transmission unit transmits the operation status recognition result, which is the operation status recognition result by the operation status recognition unit, and the object recognition result corresponding to the image to the server.
  • the information according to ⁇ 8> wherein the server relearns the SW based on the image and the corresponding object recognition result, and generates the update SW for updating the SW to the relearned state.
  • Processing equipment ⁇ 17>
  • the server updates the SW to a relearned state when the relearned SW reaches a predetermined recognition accuracy based on the image and the corresponding object recognition result.
  • the information processing device according to ⁇ 16> that distributes SW.
  • Update section and In the information processing method of an information processing device equipped with an operation status recognition unit The update unit updates the SW (software program) and The operation status recognition unit is an information processing method including a step of recognizing the updated operation status of the SW.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Traffic Control Systems (AREA)

Abstract

本開示は、SWの更新を、迅速で、かつ、安全に実現できるようにする情報処理装置、および情報処理方法、情報処理システム、並びにプログラムに関する。 安全が確認された車両群から、SW(ソフトウェアプログラム)を更新し、更新後のSWの稼働状態を確認して、異常がなければ、安全が確認された車両群以外の車両群のSWも更新する。本開示は、自動運転技術に適用することができる。

Description

情報処理装置、および情報処理方法、情報処理システム、並びにプログラム
 本開示は、情報処理装置、および情報処理方法、情報処理システム、並びにプログラムに関し、特に、SW(ソフトウェアプログラム)の更新を迅速に、かつ、安全に実現できるようにした情報処理装置、および情報処理方法、情報処理システム、並びにプログラムに関する。
 ハードウェアに搭載されるSW(ソフトウェアプログラム)は、利用が進むにつれて、様々な問題が発生するが、発生した問題を解決するように開発が進められ、開発されたSWへと更新するための更新SWが繰り返し配信されて、更新SWによりSWが更新されることで利便性の向上が図られている。
 ところが、更新SWによる更新は、適切に実施されない場合、SWによる機能が発揮できない状態となり、例えば、車両などにおける自動運転に係るSWなどにおいては、重大な事故を引き起こす可能性がある。
 そこで、更新SWによる更新が適切に終了できなかった場合、更新SWに係る機能については、使用できないようにすることで、安全を確保する技術が提案されている(特許文献1参照)。
 また、安全に更新ができるタイミングを調整することで、更新SWによる更新を適切に終了できるようにして安全を確保する技術が提案されている(特許文献2参照)。
特開2011-081604号公報 特開2013-148957号公報
 しかしながら、特許文献1の技術においては、更新SWの更新が適切に終了できたか否かについては認識できても、更新SWが適切にできても、更新されることで生じる不具合に起因して、動作状態が不適切になってしまう場合については認識することができなかった。
 このため、更新SWにより適切な更新がなされることで生じる不具合については認識することができないので、安全が十分に確保できない状態になる恐れがあった。
 また、このような不具合が一切発生しない状態になるまで十分に更新SWを開発した後に、更新SWを配信することも考えられるが、この場合、更新SWの開発に時間が掛かり、更新SWの配信が遅れてしまい、更新前のSWに不具合があっても、更新による改善が実現できず、安全性の低い状態で利用し続けなければならない恐れがあった。
 また、特許文献2の技術においては、安全に更新SWによる更新を実現するためのタイミングとして、例えば、車両などのSWの場合には、車両が停止するタイミングが検索されて更新タイミングとして設定されることになるが、カーシェアリングや運送業者などにより利用される、比較的利用頻度の高い車両などでは、停止状態となる頻度が低いため、安全にSWを更新できるタイミングが極僅かであることから中々更新を実現できず、SWの更新が遅れて、更新前のSWに不具合があっても、更新による改善が実現できず、安全性の低い状態で利用し続けなければならない恐れがあった。
 本開示は、このような状況に鑑みてなされたものであり、特に、更新SWによる更新を迅速で、かつ、安全に実現できるようにするものである。
 本開示の一側面の情報処理装置、および情報処理システム、並びにプログラムは、SW(ソフトウェアプログラム)を更新する更新部と、前記更新部により更新されたSWの稼働状況を認識する稼働状況認識部とを備える情報処理装置、および情報処理システム、並びにプログラムである。
 本開示の一側面の情報処理方法は、更新部と、稼働状況認識部とを備える情報処理装置の情報処理方法であって、前記更新部は、SW(ソフトウェアプログラム)を更新し、前記稼働状況認識部は、更新された前記SWの稼働状況を認識するステップを含む情報処理方法である。
 本開示の一側面においては、SW(ソフトウェアプログラム)が更新され、更新されたSWの稼働状況が認識される。
本開示の概要を説明する図である。 本開示のSW管理システムの構成例を示すブロック図である。 車両制御システムの構成例を示すブロック図である。 センシング領域の例を示す図である。 サーバの構成例を示すブロック図である。 図3の車両制御システムにより実現される機能を説明する機能ブロック図である。 図5のサーバにより実現される機能を説明する機能ブロック図である。 車両のグルーピングを説明する図である。 グルーピング処理を説明するフローチャートである。 再学習処理を説明するフローチャートである。 更新処理を説明するフローチャートである。 更新タイミング設定処理(その1)を説明するフローチャートである。 更新タイミング設定処理(その2)を説明するフローチャートである。 コンポーネントを処理単位とする更新処理を説明する図である。 フレームを処理単位とする更新処理を説明する図である。 ブロックを処理単位とする更新処理を説明する図である。 レイヤを処理単位とする更新処理を説明する図である。 処理単位毎の更新処理を説明するフローチャートである。 処理単位設定処理を説明するフローチャートである。 汎用のコンピュータの構成例を説明する図である。
 以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
 以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
 1.本開示の概要
 2.本開示のSW(ソフトウェア)管理システムの構成例
 3.車両制御システムの構成例
 4.サーバの構成例
 5.図3の車両制御システムにより実現される機能
 6.図4のサーバにより実現される機能
 7.車両のグルーピングについて
 8.グルーピング処理
 9.再学習処理
 10.更新処理
 11.更新タイミング設定処理(その1)
 12.更新タイミング設定処理(その2)
 13.処理単位毎の更新
 14.処理単位毎の更新処理
 15.ソフトウェアにより実行させる例
 <<1.本開示の概要>>
 本開示は、SW(ソフトウェアプログラム)を迅速で、かつ、安全に更新できるようにするものである。
 尚、本明細書においては、SWが、自動運転が可能な車両が、自動運転を実現するために、周囲を撮像した画像に基づいて、周囲に存在する物体を認識する物体認識処理を実現する認識部である場合を例として説明する。
 ただし、本開示に適用されるSWは、物体認識処理を実現する認識部に限定されるものでなく、更新可能なSWであればよい。
 また、本開示に適用されるSWとしての物体認識処理を実現する認識部は、機械学習により構成されるものである。
 機械学習により生成される認識部からなるSWは、学習用に収集された学習データにより更なる機械学習(再学習)を繰り返すことにより、認識精度を向上させることが可能であることが知られている。
 このため、認識部のようなSWについては、物体認識処理を実行しながら、実行に伴う画像や認識結果の情報を、学習データとして収集し、収集した学習データを用いた再学習により認識精度を向上し続ける。
 そこで、以降においては、車両に搭載される認識部としてのSWを管理するSW管理システムを例にして説明を進めるものとする。
 図1のSW管理システムは、認識部としてのSWを備えた車両M1乃至Mnと、SWを管理するためのサーバSvから構成される。
 車両M1乃至Mnは、それぞれが、カメラC1乃至Cnと認識部R1乃至Rnを備えている。
 尚、車両M1乃至Mn、カメラC1乃至Cn、および認識部R1乃至Rnは、それぞれ識別子としてのnにより区別されているが、基本的に同一の構成であり、以降において、特に区別する必要がない場合、単に車両M、カメラC、および認識部Rとも称する。
 カメラCは、車両Mの自動運転の実現に必要とされる車両Mの周囲の画像を撮像する。
 認識部Rは、カメラCにより撮像された画像に基づいて、物体認識処理を実行し、車両Mの周囲に存在する物体を認識する。
 車両Mは、それぞれ認識部Rの認識結果に基づいて自動運転を実現する。
 また、各車両M1乃至Mnは、それぞれカメラC1乃至Cnにより撮像された画像と、認識部R1乃至Rnにより実現される物体認識処理による認識結果とを合わせた車両蓄積情報U1乃至Unを、ネットワークNを介して、サーバSvに送信する。
 サーバSvは、各車両M1乃至MnよりネットワークNを介して送信されてくる、カメラC1乃至Cnにより撮像された画像と、認識部R1乃至Rnの認識結果とを合わせた車両蓄積情報U1乃至UnをパラメータPとして蓄積する。
 また、サーバSvは、認識部Rの再学習部Lを備えている。
 再学習部Lは、車両蓄積情報U1乃至UnからなるパラメータPを、学習用データとして利用することにより、認識部Rを再学習させることにより、現状の認識部Rを再学習された認識部Rに更新させるための更新SWを生成して、ネットワークNを介して、配信情報D1乃至Dnとして車両M1乃至Mnに配信して、認識部R1乃至Rnのそれぞれを更新させる。
 ここで、更新SWにより認識部Rが適切に更新されず、不適切な物体認識処理がなされる状態となることがあり、これにより自動運転が適切に実現できなくなる恐れがある。
 このため、認識部Rを更新するための更新SWついては、十分なシミュレーションにより安全が確認された後に配信される必要がある。
 しかしながら、認識部Rに対する更新処理が完全な状態となるように更新SWを生成するには、安全性の確認に対するコスト、特に、安全性の確認に必要とされる時間が膨大なものとなり、更新SWの配信が遅れて、認識部Rの更新が遅延してしまう恐れがある。
 そこで、本開示においては、車両M1乃至Mnのうち、更新SWにより認識部Rが更新されることで、万が一適切な動作が実現できない場合でも、危険の少ない、安全が確保された車両M群に、最初に更新SWを配信して認識部Rを更新させて、更新後の動作状態を確認し、十分に動作して不具合がないことが確認された場合に、他の車両Mへと更新SWを配信するようにする。
 より具体的には、例えば、認識部Rが物体のうち、歩行者を認識する構成であるような場合については、車両M1乃至Mnのうち、高速道路Hを走行している車両Mmの認識部Rmを、他の車両Mに先駆けて更新SWにより更新する。
 すなわち、高速道路Hを走行している車両Mmは、走行中に歩行者を認識して、接触を回避するような動作が必要となる可能性は低いので、認識部Rmの更新により、万が一、適切に歩行者を認識することができない状態となっても、致命的な問題が発生する可能性は低い。
 また、高速道路Hを走行している車両Mmであっても、高速道路の周囲に存在する歩行者を認識する可能性はあるので、更新後の認識部Rmが適切に動作しているのか否かについて確認することは可能である。
 そこで、本開示においては、高速道路Hを走行している車両Mmの認識部Rmが、他の車両Mに先駆けて更新SWで更新されるようにして、更新後の歩行者の認識精度が確認されるようにする。
 そして、車両Mmの認識部Rmの物体認識処理に不具合がなければ、高速道路を走行している車両Mm以外の車両Mの認識部Rについても更新SWを配信し、更新がなされるようにする。
 また、更新SWにより更新された認識部Rmによる物体認識処理に不具合があれば、他の車両Mの認識部Rの更新SWによる更新を停止し、更新SWを再学習部Lにより再学習させる処理を繰り返す。
 これにより、認識部Rの再学習により生成された更新SWにより更新された認識部Rの物体認識処理に係る不具合の発生を低減させるためのコストを抑制しつつ、安全が確保された車両1の認識部Rを更新SWで更新させて不具合の有無を確認することができる。
 また、更新SWの完成度を向上させるための再学習に係る時間を抑制することができるので、更新SWの配信を迅速に実現させることが可能となる。
 さらに、更新SWにより更新された認識部Rの物体認識処理に不具合があっても、安全性が確保された車両Mmにおいて、更新された認識部Rによる物体認識処理に係る不具合が確認されることになり、更新SWの配信が停止されるので、安全が確保されていない車両Mm以外の車両Mの認識部Rが不具合のある更新SWにより更新されることがなくなるので、更新SWによる更新に係る安全性を向上させることが可能となる。
 結果として、車両Mの認識部Rの更新SWによる更新を迅速で、かつ、安全に実現することが可能となる。
 <<2.本開示のSW管理システムの構成例>>
 次に、図2を参照して、本開示のSW管理システムの構成例について説明する。
 本開示のSW管理システム10は、車両1-1乃至1-n、サーバ2、およびネットワーク3より構成される。尚、車両1-1乃至1-nは、特に区別する必要がない場合、単に車両1と称するものとし、その他の構成も同様に称する。
 車両1-1乃至1-nは、図1における車両M1乃至Mnに対応する構成であり、それぞれ自動運転可能な車両である。
 車両1-1乃至1-nは、それぞれの周囲の画像を撮像するカメラ1a-1乃至1a-n、およびカメラ1a-1乃至1a-nにより撮像された画像に基づいて、周囲に存在する物体を認識する認識部1b-1乃至1b-nを備えており、認識部1b-1乃至1b-nの認識結果に基づいて自動運転が実現される。
 また、車両1-1乃至1-nのそれぞれに搭載される認識部1b-1乃至1b-nは、それぞれSW(ソフトウェアプログラム)であり、サーバ2より配信される更新SWにより更新が繰り返される。
 尚、カメラ1a-1乃至1a-nは、それぞれ同一の構造でなくてもよいが、認識部1b-1乃至1b-nは、サーバ2より配信される更新SWにより更新が繰り返されるものであるので、同一のものである。
 さらに、各車両1-1乃至1-nは、それぞれカメラ1a-1乃至1a-nにより撮像された画像と、認識部1b-1乃至1b-nの認識結果とを合わせた情報を車両蓄積情報として蓄積し、ネットワーク3を介して、サーバ2に送信する。
 サーバ2は、車両1-1乃至1-nのそれぞれよりネットワーク3を介して送信されてくる車両蓄積情報を、学習データとして利用することにより、認識部1bを再学習させる。
 そして、サーバ2は、再学習した認識部1bを更新SWとして生成し、ネットワーク3を介して、車両1-1乃至1-nに配信して、それぞれの認識部1b-1乃至1b-nを更新させる。
 更新SWを配信して、認識部1b-1乃至1b-nを更新させる際、サーバ2は、車両1-1乃至1-nのうち、認識部1bの更新により、動作状態に不具合が生じても影響が小さい車両1(群)から更新SWを配信して更新させる。
 そして、サーバ2は、更新SWにより更新された認識部1bの動作状態を確認し、動作状態に不具合がないとき、その他の車両1に更新SWを配信して更新させる。
 このように動作により、更新SWにより認識部1bが更新される際、更新が適切に完了できない状態になったり、更新が適切になされても、更新前の認識部1bよりも認識精度が低下するような不具合が生じたときには、再学習により不具合を改善してから更新させるようにすることができる。
 また、最初に配信される車両1(群)は、更新SWにより更新された認識部1bの動作状態に不具合があっても、安全が確保された車両1の認識部1bが更新されるだけなので、致命的な問題の発生を抑制することが可能となる。
 さらに、最初に更新SWが更新された車両1における認識部1bの動作状態を確認することで、更新に係る不具合の有無を確認してから、その他の車両1に配信することで、更新SWにより更新された認識部1bにおいて不具合が生じた場合に影響の大きな車両1に対する配信は、十分に安全が確保された後に配信されるようにすることができる。
 これにより、完全に安全が確保できる状態まで更新SWを開発せずに、車両1に配信するようにしても、重大な問題が発生することがなくなるので、ある程度完成した段階で、安全が確保された車両1に対して配信して認識部1bを更新させて、不具合の有無を確認することが可能となるので、迅速な更新SWの配信を実現することが可能となる。
 また、その他の車両1については、更新SWの安全性がある程度確保できた状態で配信することが可能となるので、更新SWによる認識部1bの更新を安全に実現することが可能となる。
 <<3.車両制御システムの構成例>>
 図3は、本技術が適用される車両1の移動装置制御システムの一例である車両制御システム11の構成例を示すブロック図である。
 車両制御システム11は、車両1に設けられ、車両1の走行支援及び自動運転に関わる処理を行う。
 車両制御システム11は、プロセッサ21、通信部22、地図情報蓄積部23、GNSS(Global Navigation Satellite System)受信部24、外部認識センサ25、車内センサ26、車両センサ27、記録部28、走行支援・自動運転制御部29、DMS(Driver Monitoring System)30、HMI(Human Machine Interface)31、及び、車両制御部32を備える。
 プロセッサ21、通信部22、地図情報蓄積部23、GNSS受信部24、外部認識センサ25、車内センサ26、車両センサ27、記録部28、走行支援・自動運転制御部29、ドライバモニタリングシステム(DMS)30、ヒューマンマシーンインタフェース(HMI)31、及び、車両制御部32は、通信ネットワーク41を介して相互に接続されている。通信ネットワーク41は、例えば、CAN(Controller Area Network)、LIN(Local Interconnect Network)、LAN(Local Area Network)、FlexRay(登録商標)、イーサネット(登録商標)等の任意の規格に準拠した車載通信ネットワークやバス等により構成される。なお、車両制御システム11の各部は、通信ネットワーク41を介さずに、例えば、近距離無線通信(NFC(Near Field Communication))やBluetooth(登録商標)等により直接接続される場合もある。
 なお、以下、車両制御システム11の各部が、通信ネットワーク41を介して通信を行う場合、通信ネットワーク41の記載を省略するものとする。例えば、プロセッサ21と通信部22が通信ネットワーク41を介して通信を行う場合、単にプロセッサ21と通信部22とが通信を行うと記載する。
 プロセッサ21は、例えば、CPU(Central Processing Unit)、MPU(Micro Processing Unit)、ECU(Electronic Control Unit )等の各種のプロセッサにより構成される。プロセッサ21は、車両制御システム11全体の制御を行う。
 通信部22は、車内及び車外の様々な機器、他の車両、サーバ、基地局等と通信を行い、各種のデータの送受信を行う。車外との通信としては、例えば、通信部22は、車両制御システム11の動作を制御するソフトウェアを更新するためのプログラム、地図情報、交通情報、車両1の周囲の情報等を外部から受信する。例えば、通信部22は、車両1に関する情報(例えば、車両1の状態を示すデータ、認識部73による認識結果等)、車両1の周囲の情報等を外部に送信する。例えば、通信部22は、eコール等の車両緊急通報システムに対応した通信を行う。
 なお、通信部22の通信方式は特に限定されない。また、複数の通信方式が用いられてもよい。
 車内との通信としては、例えば、通信部22は、無線LAN、Bluetooth、NFC、WUSB(Wireless USB)等の通信方式により、車内の機器と無線通信を行う。例えば、通信部22は、図示しない接続端子(及び、必要であればケーブル)を介して、USB(Universal Serial Bus)、HDMI(High-Definition Multimedia Interface、登録商標)、又は、MHL(Mobile High-definition Link)等の通信方式により、車内の機器と有線通信を行う。
 ここで、車内の機器とは、例えば、車内において通信ネットワーク41に接続されていない機器である。例えば、運転者等の搭乗者が所持するモバイル機器やウェアラブル機器、車内に持ち込まれ一時的に設置される情報機器等が想定される。
 例えば、通信部22は、4G(第4世代移動通信システム)、5G(第5世代移動通信システム)、LTE(Long Term Evolution)、DSRC(Dedicated Short Range Communications)等の無線通信方式により、基地局又はアクセスポイントを介して、外部ネットワーク(例えば、インターネット、クラウドネットワーク、又は、事業者固有のネットワーク)上に存在するサーバ等と通信を行う。
 例えば、通信部22は、P2P(Peer To Peer)技術を用いて、自車の近傍に存在する端末(例えば、歩行者若しくは店舗の端末、又は、MTC(Machine Type Communication)端末)と通信を行う。例えば、通信部22は、V2X通信を行う。V2X通信とは、例えば、他の車両との間の車車間(Vehicle to Vehicle)通信、路側器等との間の路車間(Vehicle to Infrastructure)通信、家との間(Vehicle to Home)の通信、及び、歩行者が所持する端末等との間の歩車間(Vehicle to Pedestrian)通信等である。
 例えば、通信部22は、電波ビーコン、光ビーコン、FM多重放送等の道路交通情報通信システム(VICS(Vehicle Information and Communication System)、登録商標)により送信される電磁波を受信する。
 地図情報蓄積部23は、外部から取得した地図及び車両1で作成した地図を蓄積する。例えば、地図情報蓄積部23は、3次元の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップ等を蓄積する。
 高精度地図は、例えば、ダイナミックマップ、ポイントクラウドマップ、ベクターマップ(ADAS(Advanced Driver Assistance System)マップともいう)等である。ダイナミックマップは、例えば、動的情報、準動的情報、準静的情報、静的情報の4層からなる地図であり、外部のサーバ等から提供される。ポイントクラウドマップは、ポイントクラウド(点群データ)により構成される地図である。ベクターマップは、車線や信号の位置等の情報をポイントクラウドマップに対応付けた地図である。ポイントクラウドマップ及びベクターマップは、例えば、外部のサーバ等から提供されてもよいし、レーダ52、LiDAR53等によるセンシング結果に基づいて、後述するローカルマップとのマッチングを行うための地図として車両1で作成され、地図情報蓄積部23に蓄積されてもよい。また、外部のサーバ等から高精度地図が提供される場合、通信容量を削減するため、車両1がこれから走行する計画経路に関する、例えば数百メートル四方の地図データがサーバ等から取得される。
 GNSS受信部24は、GNSS衛星からGNSS信号を受信し、走行支援・自動運転制御部29に供給する。
 外部認識センサ25は、車両1の外部の状況の認識に用いられる各種のセンサを備え、各センサからのセンサデータを車両制御システム11の各部に供給する。外部認識センサ25が備えるセンサの種類や数は任意である。
 例えば、外部認識センサ25は、カメラ51、レーダ52、LiDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)53、及び、超音波センサ54を備える。カメラ51、レーダ52、LiDAR53、及び、超音波センサ54の数は任意であり、各センサのセンシング領域の例は後述する。
 なお、カメラ51には、例えば、ToF(Time Of Flight)カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ等の任意の撮影方式のカメラが、必要に応じて用いられる。
 また、例えば、外部認識センサ25は、天候、気象、明るさ等を検出するための環境センサを備える。環境センサは、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ、照度センサ等を備える。
 さらに、例えば、外部認識センサ25は、車両1の周囲の音や音源の位置の検出等に用いられるマイクロフォンを備える。
 車内センサ26は、車内の情報を検出するための各種のセンサを備え、各センサからのセンサデータを車両制御システム11の各部に供給する。車内センサ26が備えるセンサの種類や数は任意である。
 例えば、車内センサ26は、カメラ、レーダ、着座センサ、ステアリングホイールセンサ、マイクロフォン、生体センサ等を備える。カメラには、例えば、ToFカメラ、ステレオカメラ、単眼カメラ、赤外線カメラ等の任意の撮影方式のカメラを用いることができる。生体センサは、例えば、シートやステアリングホイール等に設けられ、運転者等の搭乗者の各種の生体情報を検出する。
 車両センサ27は、車両1の状態を検出するための各種のセンサを備え、各センサからのセンサデータを車両制御システム11の各部に供給する。車両センサ27が備えるセンサの種類や数は任意である。
 例えば、車両センサ27は、速度センサ、加速度センサ、角速度センサ(ジャイロセンサ)、及び、慣性計測装置(IMU(Inertial Measurement Unit))を備える。例えば、車両センサ27は、ステアリングホイールの操舵角を検出する操舵角センサ、ヨーレートセンサ、アクセルペダルの操作量を検出するアクセルセンサ、及び、ブレーキペダルの操作量を検出するブレーキセンサを備える。例えば、車両センサ27は、エンジンやモータの回転数を検出する回転センサ、タイヤの空気圧を検出する空気圧センサ、タイヤのスリップ率を検出するスリップ率センサ、及び、車輪の回転速度を検出する車輪速センサを備える。例えば、車両センサ27は、バッテリの残量及び温度を検出するバッテリセンサ、及び、外部からの衝撃を検出する衝撃センサを備える。
 記録部28は、例えば、ROM(Read Only Memory)、RAM(Random Access Memory)、HDD(Hard Disc Drive)等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、及び、光磁気記憶デバイス等を備える。記録部28は、車両制御システム11の各部が用いる各種プログラムやデータ等を記録する。例えば、記録部28は、自動運転に関わるアプリケーションプログラムが動作するROS(Robot Operating System)で送受信されるメッセージを含むrosbagファイルを記録する。例えば、記録部28は、EDR(Event Data Recorder)やDSSAD(Data Storage System for Automated Driving)を備え、事故等のイベントの前後の車両1の情報を記録する。
 走行支援・自動運転制御部29は、車両1の走行支援及び自動運転の制御を行う。例えば、走行支援・自動運転制御部29は、分析部61、行動計画部62、及び、動作制御部63を備える。
 分析部61は、車両1及び周囲の状況の分析処理を行う。分析部61は、自己位置推定部71、センサフュージョン部72、及び、認識部73を備える。
 自己位置推定部71は、外部認識センサ25からのセンサデータ、及び、地図情報蓄積部23に蓄積されている高精度地図に基づいて、車両1の自己位置を推定する。例えば、自己位置推定部71は、外部認識センサ25からのセンサデータに基づいてローカルマップを生成し、ローカルマップと高精度地図とのマッチングを行うことにより、車両1の自己位置を推定する。車両1の位置は、例えば、後輪対車軸の中心が基準とされる。
 ローカルマップは、例えば、SLAM(Simultaneous Localization and Mapping)等の技術を用いて作成される3次元の高精度地図、占有格子地図(Occupancy Grid Map)等である。3次元の高精度地図は、例えば、上述したポイントクラウドマップ等である。占有格子地図は、車両1の周囲の3次元又は2次元の空間を所定の大きさのグリッド(格子)に分割し、グリッド単位で物体の占有状態を示す地図である。物体の占有状態は、例えば、物体の有無や存在確率により示される。ローカルマップは、例えば、認識部73による車両1の外部の状況の検出処理及び認識処理にも用いられる。
 なお、自己位置推定部71は、GNSS信号、及び、車両センサ27からのセンサデータに基づいて、車両1の自己位置を推定してもよい。
 センサフュージョン部72は、複数の異なる種類のセンサデータ(例えば、カメラ51から供給される画像データ、及び、レーダ52から供給されるセンサデータ)を組み合わせて、新たな情報を得るセンサフュージョン処理を行う。異なる種類のセンサデータを組合せる方法としては、統合、融合、連合等がある。
 認識部73は、車両1の外部の状況の検出処理及び認識処理を行う。
 例えば、認識部73は、外部認識センサ25からの情報、自己位置推定部71からの情報、センサフュージョン部72からの情報等に基づいて、車両1の外部の状況の検出処理及び認識処理を行う。
 具体的には、例えば、認識部73は、車両1の周囲の物体の検出処理及び認識処理等を行う。物体の検出処理とは、例えば、物体の有無、大きさ、形、位置、動き等を検出する処理である。物体の認識処理とは、例えば、物体の種類等の属性を認識したり、特定の物体を識別したりする処理である。ただし、検出処理と認識処理とは、必ずしも明確に分かれるものではなく、重複する場合がある。
 例えば、認識部73は、LiDAR又はレーダ等のセンサデータに基づくポイントクラウドを点群の塊毎に分類するクラスタリングを行うことにより、車両1の周囲の物体を検出する。これにより、車両1の周囲の物体の有無、大きさ、形状、位置が検出される。
 例えば、認識部73は、クラスタリングにより分類された点群の塊の動きを追従するトラッキングを行うことにより、車両1の周囲の物体の動きを検出する。これにより、車両1の周囲の物体の速度及び進行方向(移動ベクトル)が検出される。
 例えば、認識部73は、カメラ51から供給される画像データに対してセマンティックセグメンテーション等の物体認識処理を行うことにより、車両1の周囲の物体の種類を認識する。
 なお、検出又は認識対象となる物体としては、例えば、車両、人、自転車、障害物、構造物、道路、信号機、交通標識、道路標示等が想定される。
 例えば、認識部73は、地図情報蓄積部23に蓄積されている地図、自己位置の推定結果、及び、車両1の周囲の物体の認識結果に基づいて、車両1の周囲の交通ルールの認識処理を行う。この処理により、例えば、信号の位置及び状態、交通標識及び道路標示の内容、交通規制の内容、並びに、走行可能な車線等が認識される。
 例えば、認識部73は、車両1の周囲の環境の認識処理を行う。認識対象となる周囲の環境としては、例えば、天候、気温、湿度、明るさ、及び、路面の状態等が想定される。
 行動計画部62は、車両1の行動計画を作成する。例えば、行動計画部62は、経路計画、経路追従の処理を行うことにより、行動計画を作成する。
 なお、経路計画(Global path planning)とは、スタートからゴールまでの大まかな経路を計画する処理である。この経路計画には、軌道計画と言われ、経路計画で計画された経路において、車両1の運動特性を考慮して、車両1の近傍で安全かつ滑らかに進行することが可能な軌道生成(Local path planning)の処理も含まれる。
 経路追従とは、経路計画により計画した経路を計画された時間内で安全かつ正確に走行するための動作を計画する処理である。例えば、車両1の目標速度と目標角速度が計算される。
 動作制御部63は、行動計画部62により作成された行動計画を実現するために、車両1の動作を制御する。
 例えば、動作制御部63は、ステアリング制御部81、ブレーキ制御部82、及び、駆動制御部83を制御して、軌道計画により計算された軌道を車両1が進行するように、加減速制御及び方向制御を行う。例えば、動作制御部63は、衝突回避あるいは衝撃緩和、追従走行、車速維持走行、自車の衝突警告、自車のレーン逸脱警告等のADASの機能実現を目的とした協調制御を行う。例えば、動作制御部63は、運転者の操作によらずに自律的に走行する自動運転等を目的とした協調制御を行う。
 DMS30は、車内センサ26からのセンサデータ、及び、HMI31に入力される入力データ等に基づいて、運転者の認証処理、及び、運転者の状態の認識処理等を行う。認識対象となる運転者の状態としては、例えば、体調、覚醒度、集中度、疲労度、視線方向、酩酊度、運転操作、姿勢等が想定される。
 なお、DMS30が、運転者以外の搭乗者の認証処理、及び、当該搭乗者の状態の認識処理を行うようにしてもよい。また、例えば、DMS30が、車内センサ26からのセンサデータに基づいて、車内の状況の認識処理を行うようにしてもよい。認識対象となる車内の状況としては、例えば、気温、湿度、明るさ、臭い等が想定される。
 HMI31は、各種のデータや指示等の入力に用いられ、入力されたデータや指示等に基づいて入力信号を生成し、車両制御システム11の各部に供給する。例えば、HMI31は、タッチパネル、ボタン、マイクロフォン、スイッチ、及び、レバー等の操作デバイス、並びに、音声やジェスチャ等により手動操作以外の方法で入力可能な操作デバイス等を備える。なお、HMI31は、例えば、赤外線若しくはその他の電波を利用したリモートコントロール装置、又は、車両制御システム11の操作に対応したモバイル機器若しくはウェアラブル機器等の外部接続機器であってもよい。
 また、HMI31は、搭乗者又は車外に対する視覚情報、聴覚情報、及び、触覚情報の生成及び出力、並びに、出力内容、出力タイミング、出力方法等を制御する出力制御を行う。視覚情報は、例えば、操作画面、車両1の状態表示、警告表示、車両1の周囲の状況を示すモニタ画像等の画像や光により示される情報である。聴覚情報は、例えば、ガイダンス、警告音、警告メッセージ等の音声により示される情報である。触覚情報は、例えば、力、振動、動き等により搭乗者の触覚に与えられる情報である。
 視覚情報を出力するデバイスとしては、例えば、表示装置、プロジェクタ、ナビゲーション装置、インストルメントパネル、CMS(Camera Monitoring System)、電子ミラー、ランプ等が想定される。表示装置は、通常のディスプレイを有する装置以外にも、例えば、ヘッドアップディスプレイ、透過型ディスプレイ、AR(Augmented Reality)機能を備えるウエアラブルデバイス等の搭乗者の視界内に視覚情報を表示する装置であってもよい。
 聴覚情報を出力するデバイスとしては、例えば、オーディオスピーカ、ヘッドホン、イヤホン等が想定される。
 触覚情報を出力するデバイスとしては、例えば、ハプティクス技術を用いたハプティクス素子等が想定される。ハプティクス素子は、例えば、ステアリングホイール、シート等に設けられる。
 車両制御部32は、車両1の各部の制御を行う。車両制御部32は、ステアリング制御部81、ブレーキ制御部82、駆動制御部83、ボディ系制御部84、ライト制御部85、及び、ホーン制御部86を備える。
 ステアリング制御部81は、車両1のステアリングシステムの状態の検出及び制御等を行う。ステアリングシステムは、例えば、ステアリングホイール等を備えるステアリング機構、電動パワーステアリング等を備える。ステアリング制御部81は、例えば、ステアリングシステムの制御を行うECU等の制御ユニット、ステアリングシステムの駆動を行うアクチュエータ等を備える。
 ブレーキ制御部82は、車両1のブレーキシステムの状態の検出及び制御等を行う。ブレーキシステムは、例えば、ブレーキペダル等を含むブレーキ機構、ABS(Antilock Brake System)等を備える。ブレーキ制御部82は、例えば、ブレーキシステムの制御を行うECU等の制御ユニット、ブレーキシステムの駆動を行うアクチュエータ等を備える。
 駆動制御部83は、車両1の駆動システムの状態の検出及び制御等を行う。駆動システムは、例えば、アクセルペダル、内燃機関又は駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構等を備える。駆動制御部83は、例えば、駆動システムの制御を行うECU等の制御ユニット、駆動システムの駆動を行うアクチュエータ等を備える。
 ボディ系制御部84は、車両1のボディ系システムの状態の検出及び制御等を行う。ボディ系システムは、例えば、キーレスエントリシステム、スマートキーシステム、パワーウインドウ装置、パワーシート、空調装置、エアバッグ、シートベルト、シフトレバー等を備える。ボディ系制御部84は、例えば、ボディ系システムの制御を行うECU等の制御ユニット、ボディ系システムの駆動を行うアクチュエータ等を備える。
 ライト制御部85は、車両1の各種のライトの状態の検出及び制御等を行う。制御対象となるライトとしては、例えば、ヘッドライト、バックライト、フォグライト、ターンシグナル、ブレーキライト、プロジェクション、バンパーの表示等が想定される。ライト制御部85は、ライトの制御を行うECU等の制御ユニット、ライトの駆動を行うアクチュエータ等を備える。
 ホーン制御部86は、車両1のカーホーンの状態の検出及び制御等を行う。ホーン制御部86は、例えば、カーホーンの制御を行うECU等の制御ユニット、カーホーンの駆動を行うアクチュエータ等を備える。
 図4は、図3の外部認識センサ25のカメラ51、レーダ52、LiDAR53、及び、超音波センサ54によるセンシング領域の例を示す図である。
 センシング領域101F及びセンシング領域101Bは、超音波センサ54のセンシング領域の例を示している。センシング領域101Fは、車両1の前端周辺をカバーしている。センシング領域101Bは、車両1の後端周辺をカバーしている。
 センシング領域101F及びセンシング領域101Bにおけるセンシング結果は、例えば、車両1の駐車支援等に用いられる。
 センシング領域102F乃至センシング領域102Bは、短距離又は中距離用のレーダ52のセンシング領域の例を示している。センシング領域102Fは、車両1の前方において、センシング領域101Fより遠い位置までカバーしている。センシング領域102Bは、車両1の後方において、センシング領域101Bより遠い位置までカバーしている。センシング領域102Lは、車両1の左側面の後方の周辺をカバーしている。センシング領域102Rは、車両1の右側面の後方の周辺をカバーしている。
 センシング領域102Fにおけるセンシング結果は、例えば、車両1の前方に存在する車両や歩行者等の検出等に用いられる。センシング領域102Bにおけるセンシング結果は、例えば、車両1の後方の衝突防止機能等に用いられる。センシング領域102L及びセンシング領域102Rにおけるセンシング結果は、例えば、車両1の側方の死角における物体の検出等に用いられる。
 センシング領域103F乃至センシング領域103Bは、カメラ51によるセンシング領域の例を示している。センシング領域103Fは、車両1の前方において、センシング領域102Fより遠い位置までカバーしている。センシング領域103Bは、車両1の後方において、センシング領域102Bより遠い位置までカバーしている。センシング領域103Lは、車両1の左側面の周辺をカバーしている。センシング領域103Rは、車両1の右側面の周辺をカバーしている。
 センシング領域103Fにおけるセンシング結果は、例えば、信号機や交通標識の認識、車線逸脱防止支援システム等に用いられる。センシング領域103Bにおけるセンシング結果は、例えば、駐車支援、及び、サラウンドビューシステム等に用いられる。センシング領域103L及びセンシング領域103Rにおけるセンシング結果は、例えば、サラウンドビューシステム等に用いられる。
 センシング領域104は、LiDAR53のセンシング領域の例を示している。センシング領域104は、車両1の前方において、センシング領域103Fより遠い位置までカバーしている。一方、センシング領域104は、センシング領域103Fより左右方向の範囲が狭くなっている。
 センシング領域104におけるセンシング結果は、例えば、緊急ブレーキ、衝突回避、歩行者検出等に用いられる。
 センシング領域105は、長距離用のレーダ52のセンシング領域の例を示している。センシング領域105は、車両1の前方において、センシング領域104より遠い位置までカバーしている。一方、センシング領域105は、センシング領域104より左右方向の範囲が狭くなっている。
 センシング領域105におけるセンシング結果は、例えば、ACC(Adaptive Cruise Control)等に用いられる。
 なお、各センサのセンシング領域は、図4以外に各種の構成をとってもよい。具体的には、超音波センサ54が車両1の側方もセンシングするようにしてもよいし、LiDAR53が車両1の後方をセンシングするようにしてもよい。
 尚、図3のカメラ51、および認識部73は、図2におけるカメラ1aおよび認識部1bに対応する構成である。
 <<4.サーバの構成例>>
 次に、図5を参照して、サーバ2の構成例について説明する。
 サーバ2は、プロセッサ111、入力部112、出力部113、記憶部114、通信部115、ドライブ116、およびリムーバブル記憶媒体117より構成されており、相互にバス118を介して接続されており、データやプログラムを送受信することができる。
 プロセッサ111は、サーバ2の動作の全体を制御する。また、プロセッサ111は、SWとしての認識部73の更新を管理する。さらに、プロセッサ111は、SWとしての認識部73の稼働状態を認識して、サーバ2に送信する。
 入力部112は、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスより構成され、入力された各種の信号をプロセッサ111に供給する。
 出力部113は、プロセッサ111により制御され、供給される操作画面や処理結果の画像を、LCD(Liquid Crystal Display)や有機EL(Electro Luminescence)などからなる表示デバイスに出力して表示する。
 記憶部114は、HDD(Hard Disk Drive)、SSD(Solid State Drive)、または、半導体メモリなどからなり、プロセッサ111により制御され、コンテンツデータを含む各種のデータおよびプログラムを書き込む、または、読み出す。
 通信部115は、プロセッサ111により制御され、有線(または無線(図示せず))により、LAN(Local Area Network)などに代表される通信ネットワークを介して、各種の装置との間で各種のデータやプログラムを送受信する。
 ドライブ116は、磁気ディスク(フレキシブルディスクを含む)、光ディスク(CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む)、光磁気ディスク(MD(Mini Disc)を含む)、もしくは半導体メモリなどのリムーバブル記憶媒体117に対してデータを読み書きする。
 <<5.図3の車両制御システムにより実現される機能>>
 次に、図6の機能ブロック図を参照して、図3の車両1により実現される機能について説明する。
 車両1のプロセッサ21は、制御部201、稼働状況認識部202、稼働状況報告部203、および更新部204としての機能を実現させる。
 制御部201は、車両制御システム11の動作の全体を制御しており、各種の制御信号を出力する。
 また、制御部201は、カメラ51により撮像された画像に基づいた、認識部73による物体認識結果に基づいて、車両1の各種の動作を制御するための制御信号を車両制御部32に出力する。
 さらに、制御部201は、稼働状況認識部202の動作を制御して、認識部73の稼働状況を認識させる。
 また、制御部201は、サーバ2より、車両1のグルーピングに必要とされる車両情報が要求されると通信部22を制御して、送信する。尚、車両1のグルーピングに必要とされる車両情報については、サーバ2の構成を説明する際に後述する。
 稼働状況認識部202は、カメラ51により撮像された画像、およびカメラ51により撮像された画像に応じた認識部73の物体認識結果に基づいて、認識部73の稼働状況を認識する。
 より具体的には、稼働状況認識部202は、例えば、カメラ51により撮像された画像、およびカメラ51により撮像された画像に基づいた認識部73の物体認識結果に加えて、地図情報蓄積部23の地図情報、GNSS受信部24、および外部認識センサ25からの信号に基づいた位置情報に基づいて、現在の位置情報に対応する地図情報から認識されうる物体を特定し、物体認識結果との比較により適切に認識部73が稼働しているか否かを判定し、判定結果を稼働状況として認識し、稼働状況報告部203に出力する。
 例えば、稼働状況認識部202は、GNSS受信部24のGNSS信号や外部認識センサ25の信号に基づいて特定される位置と、特定された位置における、車両1の方向に基づいたカメラ51の画角内に存在する物体の情報を地図情報から読み出し、認識部73の認識結果と比較して、比較結果を稼働状況として認識する。
 つまり、GNSS信号に基づいて特定された位置において、地図情報から読み出される付近に存在する物体として、例えば、特定の標識や特定の建物などが読み出される場合、稼働状況認識部202は、その時の認識部73の認識結果が、地図情報から読み出された特定の標識や特定の建物などと一致していれば、稼働状況として適切であり、一致しなければ、適切な稼働状況ではないものとみなす。
 認識結果と比較する物体は、特定の標識や特定の建物などの、地図情報から特定されるものであってもよいし、認識部73の稼働状況を確認するための専用のマーカなどであってもよい。
 また、認識結果と比較する物体は、位置と時間帯などから、生起することが予想される現象に伴って認識されうる物体であってもよく、例えば、位置と時間帯などから生起されることが予想される渋滞中の車両や歩行者などでもよい。この場合、車両や歩行者が移動していることを認識できるか否かについても、認識部73の稼働状況の判定に用いるようにしてもよい。
 さらに、認識結果と比較する物体は、V2X通信や車両1の接近に伴って動作する感応式信号や、駐車場のゲートバーなどであってもよい。この場合、感応式信号が、車両1の接近に伴って赤から緑に変化したり、ゲートバーが開放されたり、閉鎖されるといった動作の変化が認識結果として認識されているか否かについても稼働状況の判定に用いるようにしてもよい。
 また、稼働状況認識部202は、更新前の認識部73をバックアップして、更新前の認識部73の認識率と更新後の認識部73の認識率とを比較して、比較結果を稼働状況とみなしてもよい。この場合、更新後の認識部73の認識率が、更新前の認識部73の認識率よりも低下しておらず、劣化がないとき、適切な更新がなされているものとみなすようにし、逆に、認識率の低下があり、劣化があるとき、不適切な更新がなされているものとみなすようにしてもよい。
 稼働状況報告部203は、稼働状況認識部202より供給される稼働状況の情報に基づいて、サーバ2への報告が必要であるか否かを判定し、必要であると判定するとき、通信部22を制御して、カメラ51により撮像された画像と認識結果とを併せてサーバ2に送信させる。
 稼働状況報告部203は、例えば、稼働状況が不適切であるとき、カメラ51により撮像された画像と認識結果とを併せて、サーバ2に報告する。
 尚、稼働状況報告部203は、例えば、稼働状況が適切であるとき、カメラ51により撮像された画像と認識結果とを併せて、サーバ2に報告するようにしてもよい。
 また、稼働状況報告部203は、例えば、稼働状況が適切であるか否かにかかわらず、稼働状況に、カメラ51により撮像された画像および認識結果を併せて、サーバ2に報告するようにしてもよい。
 更新部204は、通信部22を制御して、サーバ2より認識部73を更新させる、更新SWを受信し、必要に応じて情報を展開するなどして、認識部73をサーバ2により再学習させた状態に更新させる。
 <<6.図4のサーバにより実現される機能>>
 次に、図7の機能ブロック図を参照して、図4のサーバ2により実現される機能について説明する。
 サーバ2のプロセッサ111は、車両情報収集部231、グルーピング部232、配信順序決定部233、配信状況確認部234、配信計画部235、配信部236、再学習部237、および更新SWリリース部238としての機能を実現させる。
 車両情報収集部231は、通信部115を制御して、車両1に対してグルーピングを行うための車両情報を要求し、収集して、グルーピング部232に出力する。
 ここで、車両情報は、後述するグルーピング部232により車両1をグルーピングするために必要とされる各種の情報であり、例えば、車種、位置情報、外部認識センサ25の検出履歴や過去に走行した経路などを含む走行履歴、総走行距離、現在の車両1の位置情報に対応する天候情報などの情報である。
 グルーピング部232は、車両1のそれぞれより収集された車両情報に基づいて、車両1-1乃至1-nのグルーピングを行い、グルーピングの結果を配信順序決定部233に出力する。
 ここで行うグルーピングは、認識部73を更新するための更新SWを配信する際の順序を設定するための車両1-1乃至1-nを少なくとも2グループ以上にグループ化するものである。
 更新SWの配信は、認識部73の更新に際して、適切に動作ができない状態であっても、危険な状態にならない、安全である可能性が高い、安全が確保された車両1のグループから、安全性がより低いグループに順になされるようにする。
 尚、グルーピングについては、図8を参照して、詳細を後述する。
 配信順序決定部233は、グルーピング部232より供給されるグルーピングの結果に基づいて、安全である可能性が高い(安全が確保された)グループから順に、更新SWを配信する順序を決定し、決定したグルーピング結果に対する配信順序の情報を配信計画部235に出力する。
 配信状況確認部234は、通信部115を制御して、どの順序の車両1のグループに更新SWを配信しているのかを示す配信状況を確認し、確認した配信状況の情報を配信計画部235に出力する。
 また、配信状況確認部234は、通信部115を制御して、車両1から送信されてくる、配信された更新SWにより更新された認識部73による物体認識処理が適切であるか否かを示す情報を配信状況として確認し、配信計画部235に出力する。
 配信計画部235は、配信順序決定部233より供給される配信順序の情報と、配信状況確認部234より供給される配信状況の情報とから、更新SWを配信するための順序やタイミングを計画し、配信計画として配信部236に出力する。
 再学習部237は、車両1より供給されてくる、カメラ51により撮像された画像と、認識部73による物体認識結果とからなる再学習データとして用いられるパラメータを構成する車両蓄積情報を蓄積すると共に、蓄積した車両蓄積情報を再学習データとして用いて、対応する認識部73を再学習して、再学習結果としての更新SWを生成し、更新SWリリース部238に出力する。
 更新SWリリース部238は、再学習部237により認識部73が再学習されることで生成された更新SWにより更新される認識部73の動作をシミュレーションにより確認し、配信可能であるか否かを判定し、配信可能となった更新SWを配信部236に出力する。
 配信部236は、更新SWリリース部238より供給される更新SWを、配信計画部235より供給される配信計画に従って、通信部115を制御して、車両1に配信し、認識部73を更新させる。
 <<7.車両のグルーピングについて>>
 次に、図8を参照して、車両1-1乃至1-nのグルーピングについて説明する。
 グルーピング部232による、車両1-1乃至1-nのグルーピングは、配信する更新SWにより実際に認識部73が更新された場合の状態を確認するための車両群をグループ化することが目的の処理である。
 したがって、車両1-1乃至1-nは、例えば、図8で示されるようにグルーピングされることが望ましい。
 すなわち、図8においては、車両1-1乃至1-nが、上から順にグループG1乃至Gxにグルーピングされている。
 ここで、グループG1は、車両1-1乃至1-nのうちの車両1-11乃至1-Xで構成され、グループG2は、車両1-1乃至1-nのうちの車両1-21乃至1-Yで構成され、・・・グループGxは、車両1-1乃至1-nのうちの車両1-31乃至1-Zから構成されている。
 また、図8のグループG1乃至Gxは、更新SWにより認識部73が更新されることで、何らかの不具合が発生した場合のリスクが図中の上部であるほど小さく、下部ほどリスクが大きいものとする。
 換言すれば、更新SWにより認識部73が更新されることで、何らかの不具合が発生した場合でも最も安全なグループが、グループG1となり、その次に安全なグループが、グループG2となり、最も危険なグループが、グループGxとなる。
 このため、配信順序決定部233は、図8のようにグループG1乃至Gxのようにグルーピングされる場合、更新SWを配信する順序をグループG1,G2,・・・Gxのように決定することになる。
 そこで、グルーピング部232は、車両1-1乃至1-nにおいて更新SWにより認識部73が更新されることで、何らかの不具合が発生した場合のリスクをスコア化して、スコアに応じてグルーピングする。
 以下、更新SWにより認識部73が更新されることで、何らかの不具合が発生した場合に発生するリスクを更新リスクと称する。
 すなわち、グルーピングは、車両1-1乃至1-nを、更新リスクに応じた複数のグループにグループ化することである。
 従って、図8においては、3以上のグループに分けられる例について説明されているが、理想的には、完全な安全が確保され、かつ、更新リスクの影響が確率的に所定の精度で求められそうな数の車両1からなるグループと、それ以外のグループとの、少なくとも2つのグループが求められれば、所定の効果は得られると考えられる。
 つまり、完全に安全が確保され、かつ、更新リスクの影響が確率的に所定の精度で求められそうな数の車両1からなる、最初のグループに対して、最初に更新SWが配信されるようにし、更新SWにより更新された認識部73の認識結果を用いて走行したときの不具合の有無が確認されるようにする。
 そして、最初のグループにおいて、不具合がないことが確認できたときには、残りのグループにも更新SWが配信されるようにする。
 また、グルーピングにより、車両1-1乃至1-nが、3以上のグループに分けられる場合については、上位のグループから順番に更新SWが配信されるようにして、不具合がないことが確認されたら、順次、更新リスクが上位のグループに配信されるようにする。
 3以上のグループに分けられる場合、最後に更新SWが配信されるグループにおいては、直前までに配信されたグループの車両1において、更新SWにより更新された認識部73の稼働状況が十分に検証された状態で配信されることになるので、後段に配信されるグループの車両1ほど、より安全に認識部73を更新することが可能となる。
 グルーピング部232は、例えば、車両1-1乃至1-nの位置情報と、地域毎の事故数や地域毎の自動車台数に応じて、地域毎の事故数や自動車台数が多い程、事故に遭遇する更新リスクが高いとみなすようにしてもよい。
 この場合、グルーピング部232は、地域毎の事故数や自動車台数が多い地域の車両1ほど低くなるようにスコアを設定し、このように設定されたスコアに応じて、順位を設定して、上位からグループG1乃至Gxを設定するようにしてもよい。
 また、グルーピング部232は、各車両1の位置情報と、それぞれの地域の現在地の天候に応じて、物体認識による認識精度が低下し易い、例えば、荒天状態の天候の地域に存在する車両1ほどスコアを低く設定し、逆に、認識精度の低下があまりないと考えられる、例えば、晴天状態の天候の地域に存在する車両1ほどスコアを高く設定し、グルーピングするようにしてもよい。
 さらに、グルーピング部232は、各車両1の動作履歴などから、走行距離に応じて、例えば、走行距離が少ない程、事故との遭遇確率が低く、更新リスクが低いものとみなし、スコアを高く設定し、逆に、走行距離が多い程、事故との遭遇確率が高く、更新リスクが高いものとみなし、スコアを高く設定するようにして、グルーピングしてもよい。
 また、グルーピング部232は、各車両1の動作履歴(外部認識センサ25のセンシング結果)などから加減速の傾向、速度域、および使用する道路などの運転状況を取得して、例えば、加減速の変化が大きい、速度域が高速域である、または事故の発生頻度の高い道路の使用頻度が高いなどのときには、更新リスクが高いものとみなしてスコアを低く設定し、逆に、加減速の変化が小さい、速度域が低速域である、事故の発生頻度の高い道路の使用頻度が低いときには、更新リスクが低いものとみなしてスコアを高く設定するようにしてグルーピングしてもよい。
 さらに、グルーピング部232は、車両1の車種に応じて、例えば、ゆったりとした走行を好む購入者層が所定数より多く購入していることがわかっている車種、所定寸法よりも小さな寸法の車種、所定の走行性能よりも高い走行性能を備えた車種、安全装備が所定数よりも多く装備された車種、商用目的の走行であるので無理な走行をしないことが分かっている商用車などについては、更新リスクが低いものとみなして、スコアを高く設定するようにして、グルーピングするようにしてもよい。
 逆に、グルーピング部232は、ゆったりとした走行を好む購入者層が所定数より少なく購入していることがわかっている車種、所定寸法よりも大きな寸法の車種、所定の走行性能よりも高い走行性能を備えていない車種、安全装備が所定数よりも多く装備されていない車種、商用車と比較すると無理な走行をする可能性のある自家用車などについては、更新リスクが高いものとみなして、スコアを低く設定してグルーピングするようにしてもよい。
 また、グルーピング部232は、車両1について、上述した要素を考慮したスコアの組み合わせによりグルーピングするようにしてもよい。
 グルーピング部232は、グルーピングに当たり、まず、車両1についてスコアを設定した後、順位を求めて、所定の分割数で上位からグループを設定する。
 この際、各グループに属する車両1の数については、均等でなくてもよく、例えば、上位のグループほど少数にして、下位のグループほど多数となるようにしてもよい。また、各グループに属する車両1の数については、固定しなくてもよく、例えば、各グループに属するスコアの幅を決めておき、スコアに応じてグループが設定されるようにしてもよい。
 ただし、更新SWが最初に配信されるグループに属する車両1の数は、少ない方が更新リスクによる影響も小さく、また、更新リスクの確認も簡単になる。
 また、安全性の高さに応じてグルーピングされればよいので、その他の基準でグルーピングされるようにしてもよく、例えば、MaaS(Mobility as a Service)用車両や限定領域などを走行する車両については、安全性が高いので、これらのグループから更新SWが配信されるようにして、安全が確認された後に、一般車に配信されるようにしてもよい。
 さらに、乗用車とバス等とを比較した場合、乗用車の乗車人数に比べてバスの方が、乗車人数が多く、事故が発生した場合の影響が大きいため、乗用車から更新SWが配信されるようにして、安全が確認された後、バス等に配信されるようにしてもよい。
 また、自動運転については、レベル3、4に比べると、レベル2であれば、運転者が運転に介入しているため、認識部73の更新に不具合があっても対応可能であると考えられるので、レベル2の車両1から配信されるようにして、安全が確認された後、順次、レベル3、レベル4の車両に配信されるようにしてもよい。
 <<8.グルーピング処理>>
 次に、図9のフローチャートを参照して、グルーピング処理について説明する。
 ステップS11において、車両情報収集部231は、通信部115を制御して、車両1-1乃至1-nに対して車両情報を要求する。
 ステップS31において、制御部201は、通信部22を制御して、サーバ2より車両情報が要求されてきたか否かを判定し、要求されるまで、同様の処理を繰り返す。
 ステップS31において、サーバ2より車両情報が要求されてきた場合、ステップS32において、制御部201は、通信部22を制御して、車両1をグルーピングするために必要とされる、例えば、車種、GNSS信号に基づいた位置情報、外部認識センサ25の検出履歴や過去に走行した経路などを含む走行履歴、総走行距離、現在の車両1の位置情報に対応する天候情報等の車両情報をサーバ2に送信する。
 ステップS33において、制御部201は、処理の終了が指示されたか否かを判定し、終了が指示されない場合、処理は、ステップS31に戻る。
 すなわち、処理の終了が指示されるまで、ステップS31乃至S33の処理が繰り返される。
 そして、ステップS33において、処理の終了が指示されると、処理は、終了する。
 一方、ステップS32の処理により、車両情報がサーバ2に送信されると、ステップS12において、サーバ2の車両情報収集部231は、通信部115を制御して、車両1より送信されてきた車両情報を取得し、収集する。
 この際、車両情報収集部231は、例えば、車両1を個別に識別する情報に対応付けて、車両1の車両情報のそれぞれをデータベース化して収集し続けてもよい。
 尚、ここでは、ステップS12,S32の処理により、車両1-1乃至1-nの全ての車両情報がデータベース化されるものとして、説明を進めるものとするが、一部の車両1のみがデータベース化されている状態でもよい。
 ステップS13において、グルーピング部232は、車両情報収集部231においてデータベース化されている車両1-1乃至1-nのうち、未処理のいずれかの車両1を処理対象車両に設定する。
 ステップS14において、グルーピング部232は、処理対象車両の車両情報に基づいて、グルーピングを実現するためのスコアを設定する。
 すなわち、グルーピング部232は、更新リスク(更新SWにより認識部73が更新されることにより不具合が生じた場合のリスク)が小さいほど、高いスコアが設定されるように、車両情報に基づいて車両1毎のスコアを設定する。
 ステップS15において、グルーピングに必要なスコアが設定されていない、未処理の車両1が存在するか否かを判定し、未処理の車両1が存在する場合、処理は、ステップS13に戻る。
 すなわち、車両情報収集部231において記憶されている、車両情報がデータベース化された全ての車両1にグルーピングをするためのスコアが設定されるまで、ステップS13乃至15の処理が繰り返される。
 そして、ステップS15において、車両情報収集部231において記憶されている、車両情報がデータベース化された全ての車両1にグルーピングをするためのスコアが設定され、グルーピングに必要なスコアが設定されていない、未処理の車両1が存在しないとみなされた場合、処理は、ステップS16に進む。
 ステップS16において、グルーピング部232は、求められたスコアに基づいて、車両1-1乃至1-nの順位を求める(ソートする)。
 ステップS17において、グルーピング部232は、グループ数を設定する。尚、グループ数については、固定値に設定されていてもよいし、動的に設定されてもよい。
 ステップS18において、グルーピング部232は、スコアに応じた順位に基づいて、設定されたグループ数となるように車両1-1乃至1-nをグループ分けし、結果を配信順序決定部233に出力する。
 ステップS19において、配信順序決定部233は、グルーピング部232より供給されてくるグループのスコアに応じて、グループ単位での配信順序を決定する。
 ステップS20において、車両情報収集部231は、処理の終了が指示されたか否かを判定し、終了が指示されない場合、処理は、ステップS21に進む。
 ステップS21において、車両情報収集部231は、所定の時間が経過したか否かを判定し、所定の時間が経過するまで、同様の処理を繰り返す。
 そして、ステップS21において、所定の時間が経過したとみなされた場合、処理は、ステップS11に戻り、それ以降の処理が繰り返される。
 すなわち、所定の時間が経過するごとに、車両情報が各車両1より取得されて、車両情報に基づいたグルーピングが繰り返されることにより、車両1の車種などの固定された情報と、位置情報や天候などの車両1周辺の変化する情報とに基づいたグルーピングがリアルタイムで変化しながら設定され続ける。
 そして、ステップS20において、処理の終了が指示されると、処理が終了する。
 すなわち、以上の処理により、サーバ2においては、車両1の固定された情報と、変化する情報とを含む車両情報に基づいて、グルーピングが繰り返されて、更新SWが配信される順序が車両1のグループ単位で設定される処理が繰り返される。
 これにより、更新SWによる更新リスクに応じた、車両1のグルーピングがなされ、更新SWの配信順序が、車両1のグループ単位で設定される。
 <<9.再学習処理>>
 次に、図10のフローチャートを参照して、認識部73の再学習処理について説明する。
 ステップS51において、車両1の認識部73は、カメラ51により撮像された画像に基づいて物体を認識し、物体認識結果を画像と併せて制御部201に出力する。
 ステップS52において、制御部201は、物体認識結果に基づいて、車両制御部32を制御して、車両1の動作を制御する。例えば、物体認識結果に基づいて、走行している正面に歩行者が存在することが認識されるような場合、制御部201は、制御信号を車両制御部32に供給し、歩行者との接触を回避するような動作がなされるように制御させる。
 ステップS53において、制御部201は、通信部22を制御して、認識部73の物体認識結果と、そのときのカメラ51の画像とを併せて車両蓄積情報として蓄積し、サーバ2に送信する。この際、例えば、制御部201は、車両1を識別する識別子や、その他の車両情報と併せてサーバ2に送信するようにしてもよい。
 ステップS71において、サーバ2の再学習部237は、通信部115を制御して、認識部73の物体認識結果と、そのときのカメラ51の画像とを併せた車両蓄積情報が送信されてきたか否かを判定する。
 ステップS71において、認識部73の物体認識結果と、そのときのカメラ51の画像とが併せた車両蓄積情報が送信されてこないと判定された場合、処理は、ステップS75に進む。
 一方、ステップS71において、認識部73の物体認識結果と、そのときのカメラ51の画像とが併せた車両蓄積情報が送信されてきたと判定された場合、処理は、ステップS72に進む。
 ステップS72において、再学習部237は、送信されてきた認識部73の物体認識結果と、そのときのカメラ51の画像とを併せて、再学習用の車両蓄積情報として受信し、蓄積する。
 このとき、車両1を識別する識別子や、その他の車両蓄積情報が送信されてきている場合は、再学習部237は、それらを併せて受信し、蓄積する。
 尚、ここでは、ステップS71,S72の処理により、全ての車両1から再学習用の車両蓄積情報が受信されて蓄積されたものとして説明を進めるものとするが、一部であってもよい。
 ステップS73において、再学習部237は、蓄積した再学習用の車両蓄積情報を用いて、認識部73を再学習し、再学習結果を更新SWリリース部238に供給する。
 ステップS74において、更新SWリリース部238は、再学習された認識部73を用いたシミュレーションを実行して、認識精度を検証する。
 ステップS75において、再学習部237は、処理の終了が指示されたか否かを判定し、処理の終了が指示されない場合、処理は、ステップS71に戻り、それ以降の処理が繰り返される。
 すなわち、処理の終了が指示されるまで、認識部73の認識結果と画像とからなる再学習用の車両蓄積情報が車両1より収集されて、再学習が繰り返されて、再学習がなされた認識部73の認識精度がシミュレーションにより求められる処理が繰り返される。
 そして、ステップS75において、処理の終了が指示されると、処理が終了する。
 以上の処理により、認識部73の認識結果と画像とからなる再学習用の車両蓄積情報が車両1より収集されて、再学習が繰り返されて、再学習がなされた認識部73の認識精度がシミュレーションにより求められる処理を繰り返すことが可能となる。
 <<10.更新処理>>
 次に、図11のフローチャートを参照して、更新処理について説明する。
 ステップS91において、更新SWリリース部238は、上述した再学習処理により求められている再学習された認識部73が、配信するべき状態になったか否かに基づいて、更新SWとして配信して更新ありとするか否かを判定し、更新ありであると判定するまで、同様の処理を繰り返す。
 更新SWリリース部238は、例えば、再学習された認識部73の認識精度が、再学習される前の認識部73の認識精度よりも所定の割合だけ向上している場合については、更新するべき状態になっていると判定するようにしてもよい。
 ステップS91において、再学習された認識部73により、更新するべき状態になったと判定された場合、処理は、ステップS92に進む。
 ステップS92において、配信計画部235は、グルーピングされたグループを識別する識別子のカウンタiを1に初期化する。
 ステップS93において、配信計画部235は、配信順序決定部233により決定されたグループ単位での配信順序の情報のうち、グループiに属する車両1の車両情報を取得する。
 例えば、カウンタi=1となる最初の処理の場合、図8を参照して説明した、更新SWが最初に配信されるグループG1に属する、認識部73の更新に不具合があっても、安全が確保された車両1群の車両情報が取得される。
 ステップS94において、配信計画部235は、グループiに属する車両1のうち、未処理の車両1を処理対象車両に設定する。
 ステップS95において、配信計画部235は、配信タイミング設定処理を実行し、処理対象車両の更新SWによる認識部73の更新タイミングを設定する。
 更新SWを配信して認識部73の更新にあたっては、更新中の認識部73の動作が停止されるので、車両1の移動が停止しているタイミングや、更新に係る認識部73による認識処理が不要となるタイミングが、更新SWが配信されるタイミングとして設定される。
 尚、配信タイミング設定処理については、図12,図13のフローチャートを参照して、詳細を後述する。
 ステップS96において、配信計画部235は、グループiに属する車両1のうち、配信タイミングが設定されていない未処理の車両1が存在するか否かを判定し、未処理の車両1が存在する場合、処理は、ステップS94に戻る。
 すなわち、グループiに属する車両1の全てについて、配信タイミングが設定されるまで、ステップS94乃至S96の処理が繰り返される。
 そして、ステップS96において、グループiに属する車両1の全てについて、配信タイミングが設定されたとみなされた場合、処理は、ステップS97に進む。
 すなわち、この時点で、グループiに属する車両1の全ての配信タイミングが計画されることにより、更新SWの配信計画が完成する。
 ステップS97において、配信計画部235は、配信計画に基づいて、グループiに属するいずれかの車両1の配信タイミングとなったか否かを判定する。
 ステップS97において、配信計画に基づいて、グループiに属するいずれかの車両1の配信タイミングとなったと判定された場合、処理は、ステップS98に進む。尚、ステップS97において、グループiに属する車両1のいずれの配信タイミングでもない場合、処理は、ステップS103に進む。
 ステップS98において、配信計画部235は、配信部236を制御して、更新SWリリース部238より供給される、再学習により生成された認識部73を更新させる更新SWを取得させて、通信部115より配信タイミングとなった車両1に対して配信させる。
 このとき、配信状況確認部234は、通信部115を制御して、配信された更新SWのバージョンや、配信先となる車両1の情報を配信状況として取得する。
 ステップS121において、車両1の更新部204は、通信部22を制御して、サーバ2より更新SWが送信されてきたか否かを判定する。
 配信タイミングとなったグループiに属する車両1の場合、ステップS121において、サーバ2より更新SWが送信されてきたと判定され、処理は、ステップS122に進む。
 ステップS122において、更新部204は、認識部73の物体認識処理に係る動作、および、制御部201における認識部73の認識結果に基づいた動作制御の少なくともいずれかを停止させる。
 ステップS123において、更新部204は、通信部22を制御して、送信されてきた更新SWを取得して、認識部73を更新する。このとき、更新部204は、更新SWによる更新を行う前に、更新前の認識部73をバックアップのため保持する。
 ステップS124において、更新部204は、認識部73を試験的に動作させて、動作状態を確認し、更新SWによる更新が適切に完了されたことを確認する。
 ここで更新SWによる更新が完了していない場合については、更新部204は、更新が適切に完了するまで、更新SWによる更新を繰り返し、更新を適切な状態で完了させる。
 この時点で、更新が適切に完了できない場合、更新部204は、更新処理を終了させ、バックアップとして保持している更新前の認識部73を再び動作させる。
 ステップS125において、認識部73は、更新SWによる更新が完了した後、カメラ51により撮像された画像に基づいて、物体を認識し、認識結果を稼働状況認識部202に出力する。
 ステップS126において、稼働状況認識部202は、カメラ51により撮像された画像、およびカメラ51により撮像された画像に応じた認識部73の物体認識結果を取得する。
 ステップS127において、稼働状況認識部202は、取得した物体認識結果に基づいて、認識部73の稼働状況が適切であるか否かを判定し、物体認識結果および画像と対応付けて判定結果を稼働状況報告部203に出力する。
 すなわち、稼働状況認識部202は、例えば、カメラ51により撮像された画像、およびカメラ51により撮像された画像に基づいた認識部73の物体認識結果に加えて、地図情報蓄積部23の地図情報、GNSS受信部24、および外部認識センサ25からの信号に基づいた位置情報に基づいて、現在の位置情報に対応する地図情報から認識されうる物体を特定し、物体認識結果との比較により適切に認識部73が稼働しているか否かを判定する。
 ステップS128において、稼働状況報告部203は、稼働状況の報告が必要であるか否かを判定する。すなわち、稼働状況の報告の要否は、例えば、稼働状態が不適切である場合である。しかしながら、稼働状況の報告の要否は、稼働状況が適切である場合でも、稼働状況が適切であるか否かにかかわらず、稼働状況が求められた場合のいずれであってもよい。
 ステップS128において、稼働状況の報告が必要であると判定された場合、処理は、ステップS129に進む。
 ステップS129において、稼働状況報告部203は、通信部22を制御して、稼働状況をサーバ2に報告する。
 尚、ステップS128において、稼働状況の報告が不要であると判定された場合、ステップS129の処理はスキップされる。
 ステップS130において、稼働状況認識部202は、更新後の認識部73の稼働状況の判定が十分であるか否かを判定し、十分ではないと判定された場合、処理は、ステップS124に戻る。
 すなわち、更新後の認識部73の稼働状況の判定が十分であると判定されるまで、ステップS125乃至S130の処理が繰り返される。
 尚、更新後の認識部73の稼働状況の判定が十分であるか否かの判定については、例えば、所定回数以上、稼働状況の認識がなされたか否かにより判定されるようにしてもよい。
 ステップS130において、更新後の認識部73の稼働状況の判定が十分であると判定された場合、処理は、ステップS131に進む。
 ステップS131において、更新部204は、更新SWによる認識部73の更新が適切であるか否かを判定する。
 すなわち、直前の処理で更新後の認識部73の稼働状況の判定が十分であると判定された後のタイミングであるので、更新部204は、例えば、稼働状況認識部202の稼働状況が認識された所定回数に対して、稼働状況が適切ではないと認識された回数の割合が所定の割合よりも高いか否かにより、更新SWによる認識部73の更新が適切であるか否かを判定するようにしてもよい。
 ステップS131において、更新SWによる認識部73の更新が適切であると判定された場合、処理は、ステップS132に進む。
 ステップS132において、更新部204は、更新後の認識部73の物体認識処理に係る動作、および、制御部201における更新後の認識部73の認識結果に基づいた動作制御を再開させる。このとき、更新部204は、バックアップのために保持していた更新前の認識部73を破棄する。
 ステップS131において、更新SWによる認識部73の更新が適切ではないと判定された場合、処理は、ステップS133に進む。
 ステップS133において、更新部204は、バックアップのために保持していた更新前の認識部73の状態に戻し、更新前の認識部73の物体認識処理に係る動作、および、制御部201における更新前の認識部73の認識結果に基づいた動作制御を再開させる。すなわち、この場合、認識部73の更新はなされず、更新前の状態のままの動作が継続される。
 すなわち、この場合、認識部73の更新SWによる更新が適切ではないので、更新後の認識部73の認識結果の信頼性が低いと考えられる。このため、更新後の認識部73の認識結果に基づいた処理を行うと誤検出に基づいた誤った処理がなされて、危険な動作を起こす恐れがあるので、更新前の認識部73の認識結果に基づいた動作に戻す。
 また、更新SWによる認識部73の更新が適切ではないとみなされた場合、ステップS133の処理に代えて、更新SWによる更新後の認識部73の認識結果に基づいた処理が制御部201においてなされない状態にしてもよい。
 このとき、更新SWによる認識部73の更新が不適切な状態であり、認識結果に基づいた動作制御の信頼性が低いので、認識部73の認識結果を用いた自動運転等の動作を停止させていることを、ユーザである運転者に認識させるようにしてもよい。
 ステップS134において、処理の終了が指示されたか否かを判定し、終了が指示されない場合、処理は、ステップS121に戻る。
 すなわち、処理の終了が指示されるまで、ステップS121乃至S134の処理が繰り返されて、更新SWの配信がなされると、認識部73による動作の停止、認識部73の更新、および認識部73の稼働状況の認識が繰り返されて、必要に応じてサーバ2に対して稼働状況が報告される処理が繰り返される。
 一方、ステップS99において、サーバ2の配信状況確認部234は、通信部115を制御して、いずれかの車両1から更新SWにより更新された認識部73の稼働状況の報告があったか否かを判定し、稼働状況の報告があった場合、処理は、ステップS100に進む。尚、ステップS99において、いずれの車両1からも更新SWにより更新された認識部73の稼働状況の報告がない場合、処理は、ステップS103に進む。
 ステップS100において、配信状況確認部234は、報告のあった更新SWにより更新された認識部73の稼働状況の情報を取得する。
 ステップS101において、配信状況確認部234は、報告のあった更新SWにより更新された認識部73の稼働状況の情報を集計する。より詳細には、配信状況確認部234は、例えば、更新SWにより更新された認識部73の認識処理が不適切であるとみなされた割合を集計する。
 ステップS102において、配信状況確認部234は、集計結果に基づいて、更新SWによる認識部73の更新が不適切であるか否かを判定する。
 より詳細には、配信状況確認部234は、例えば、更新SWにより更新された認識部73の認識処理が不適切であるとみなされた割合が、所定の割合よりも高いか否かにより、更新SWによる認識部73の更新が不適切であるか否かを判定する。
 ステップS102において、更新SWによる認識部73の更新が不適切であると判定されない場合、処理は、ステップS103に進む。
 ステップS103において、配信状況確認部234は、グループiの全ての車両1において、更新SWに配信がなされて、認識部73の更新がなされたか否かを判定する。
 ステップS103において、グループiの全ての車両1において、更新SWの配信がなされず、また、認識部73の更新がなされていない場合、処理は、ステップS97に戻る。
 すなわち、グループiの全ての車両1において、更新SWの配信がなされて、認識部73の更新がなされるまで、ステップS97乃至S103の処理が繰り返される。
 そして、ステップS103において、グループiの全ての車両1において、更新SWに配信がなされて、認識部73の更新がなされたと判定された場合、処理は、ステップS104に進む。
 ステップS104において、配信計画部235は、カウンタiを1インクリメントする。
 ステップS105において、配信計画部235は、カウンタiがグループ数である最大値よりも大きく、全てのグループに対して更新処理が完了したか否かを判定する。
 ステップS105において、カウンタiがグループ数である最大値以下であり、全てのグループに対して更新処理が完了していないとみなされた場合、処理は、ステップS93に戻り、それ以降の処理が繰り返される。
 すなわち、更新された認識部73に不具合があった場合での安全性の高いグループの各車両1から、順番に、グループ単位で更新SWが配信されて認識部73の更新がなされる処理が繰り返され、全てのグループの車両1に対して、更新SWによる認識部73の更新がなされるまで、ステップS93乃至S105の処理が繰り返される。
 そして、ステップS105において、カウンタiがグループ数である最大値よりも大きく、全てのグループに対して処理が完了したと判定された場合、処理は、ステップS106に進む。
 ステップS106において、処理の終了が指示されたか否かを判定し、終了が指示されていない場合、処理は、ステップS91に戻り、それ以降の処理が繰り返される。
 そして、ステップS106において、処理の終了が指示された場合、処理は、終了する。
 また、ステップS102において、更新SWによる認識部73の更新が不適切であると判定された場合、処理は、ステップS107に進む。
 ステップS107において、配信状況確認部234は、現状の更新SWによる認識部73の更新においては、不具合が生じてしまうことが確認されたので、以降の更新SWの配信を停止する旨を、配信計画部235に通知する。
 これにより配信計画部235は、配信計画を破棄して、以降におけるグループiの更新SWの配信を停止させる。
 以上の処理により、再学習により求められた更新SWにより認識部73の更新が必要であるとみなされると、車両1のグループ毎に、更新リスクの低いグループから順番に更新SWが配信されて、稼働状況が確認されていき、稼働状況に基づいて、更新後の認識部73により認識処理が適切であるとみなされると、順次、更新リスクの高いグループの車両1へと段階的に更新SWを配信して、認識部73を更新させることが可能となる。
 これにより、認識部73の更新SWの配信は、更新リスクの低い車両1のグループから順番になされることになるので、万が一、更新後の認識部73の稼働状況から不具合が認識されても、誤認識による致命的な問題の発生を抑制させながら、安全に認識部73を更新することが可能となる。
 また、完全な再学習がなされていない状態でも、更新リスクの低い車両1から順番に更新SWにより認識部73を更新させて、その稼働状況を確認しながら更新SWの配信を、徐々に更新リスクの高いグループの車両1に広げていくことが可能となる。これにより、再学習に係る時間的コストを低減させることが可能となり、迅速な更新SWの配信を実現することが可能となる。
 結果として、更新SWによる認識部73などのSWを、迅速で、かつ、安全に更新させることが可能となる。
 <<11.更新タイミング設定処理(その1)>>
 次に、図12のフローチャートを参照して、図11の更新タイミング設定処理(その1)について説明する。
 ステップS151において、配信計画部235は、配信順序決定部233により決定された配信順序の情報に含まれる車両1の車両情報を読み出して、処理対象車両の動作実績を読み出す。ここでいう動作実績とは、例えば、車両1の日々の稼働時間帯などである。
 ステップS152において、配信計画部235は、読み出した処理対象車両の動作実績に基づいて、処理対象車両の停止している時間帯を推定する。
 ステップS153において、配信計画部235は、処理対象車両が停止している時間帯のうち、最も停止している可能性の高いタイミングを配信タイミングに設定する。
 すなわち、以上の処理により、動作実績から最も停止している可能性の高い、認識部73が更新に伴った機能できない状態になっても、安全なタイミングを、更新SWによる認識部73の更新タイミングとして設定することが可能となる。
 尚、この他にも夜間などで停車状態である可能性の高い時間帯を設定するようにしてもよい。
 <<12.更新タイミング設定処理(その2)>>
 次に、図13のフローチャートを参照して、図11の更新タイミング設定処理(その2)について説明する。
 以上においては、動作実績から最も停止している可能性の高いタイミングが更新タイミングとして設定される例について説明してきたが、カーシェアリングなどに使用される車両1については、使用者が同一ではないので、動作実績からでは停止されているタイミングが推定し難く適切に更新タイミングが設定できない恐れがある。また、配送などに使用される車両1の場合、そもそも停止しているタイミングが少ない可能性がある。
 そこで、認識部73の認識対象が認識される可能性が低いタイミングが更新タイミングに設定されるようにすることで、更新処理の間、認識部73が機能しない状態になっても影響が少ないタイミングが更新タイミングとして設定されるようにしてもよい。
 例えば、認識部73の認識対象が歩行者のみであり、歩行者が認識されるとき、制御部201が、例えば、歩行者との接触を回避するように動作を制御するときには、例えば、高速道路の走行中など、歩行者が認識されることがないので、歩行者との接触を回避するような動作が必要とされることがない。
 そこで、動作実績や運転経路計画に基づいて、認識部73により認識される認識対象が検出されないことが推定される、認識部73による認識機能が停止していても問題のないタイミングが更新タイミングとして設定されてもよい。
 そこで、更新タイミング設定処理(その2)においては、認識部73の認識対象が歩行者のみである場合、運転経路計画に基づいて、高速道路など、認識部73により歩行者が検出される可能性が低く、認識部73の認識機能が停止していても問題のないタイミングが更新タイミングとして設定される処理について説明する。
 ステップS171は、配信計画部235は、行動計画部62により計画された運転経路の情報を取得する。
 ステップS172において、配信計画部235は、取得した運転経路の情報に基づいて、運転経路上の認識対象となるデータの変動を推定する。
 すなわち、例えば、認識対象が歩行者である場合、配信計画部235は、計画された運転経路を処理対象車両が移動する際、カメラ51により撮像された画像に基づいて認識部73により歩行者として認識されるデータが存在しない(可能性の高い)運転経路上の位置を推定する。
 ステップS173において、配信計画部235は、推定した運転経路上の認識対象となるデータの変動の情報に基づいて、認識対象となるデータが存在しない(可能性の高い)運転経路上の区間を特定する。
 すなわち、認識対象が歩行者である場合、配信計画部235は、計画された運転経路上において、歩行者のデータが存在しない(可能性の高い)区間を特定する。計画された運転経路上において、歩行者のデータが存在しない区間は、例えば、高速道路上や自動車専用道路上などである。
 ステップS174において、配信計画部235は、推定した運転経路上の認識対象となるデータが存在しない(可能性の高い)区間を通過するタイミングを更新タイミングに設定する。
 すなわち、この場合、計画された運転経路上において、歩行者のデータが存在しない(可能性の高い)区間を通行するタイミング、例えば、高速道路上などを走行するタイミングが、更新タイミングとして設定される。
 このように更新タイミングが設定されることにより、更新SWにより認識部73が更新されるとき、認識部73の認識結果に基づいた動作が停止して、すなわち、歩行者を認識する機能が停止する状態になっても、更新中は高速道路上を走行しており、歩行者が認識されることがないタイミングであり、歩行者が認識されるといった誤認識に起因する誤動作が発生するような状態とならないので、認識部73の更新を安全に実現することが可能となる。
 尚、リアカメラにより撮像される画像に基づいて物体認識処理を実行する認識部73の更新については、前進走行しているタイミングであれば、物体認識処理が停止しても問題がないので、前進走行中に更新タイミングが設定されるようにしてもよい。
 また、以上においては、更新タイミングの設定は、サーバ2が行う例について説明してきたが、車両1が行うようにしてもよい。
 すなわち、この場合、図9のフローチャートを参照して説明したグルーピング処理において、例えば、ステップS31,S32の間に、車両1の更新部204が、稼働状況に基づいて、図12や図13のフローチャートを参照して説明した更新タイミング設定処理を実行して、更新タイミングを設定する。そして、ステップS32の処理においては、制御部201が、車両情報に更新タイミングの情報を含めて、通信部22を制御して、サーバ2に送信する。
 また、図11のフローチャートを参照して説明した更新処理においては、グルーピング処理において、既に、車両1側で更新タイミングが設定されているので、ステップS94乃至S96の処理がスキップされて、車両1側で設定された更新タイミングにおいて、サーバ2より更新SWが配信されるようにする。
 <<13.処理単位毎の更新>>
 <コンポーネント単位での更新>
 以上においては、認識部73の更新については、認識部73による動作を停止させて、更新SWにより更新される例について説明してきたが、認識処理がなされる動作中に認識部73を更新SWにより更新されるようにしてもよい。
 認識部73による認識処理は、コンポーネント単位で時系列に処理がなされている。コンポーネントとは、例えば、認識対象毎の認識処理を示すものであり、例えば、踏切を認識する、信号を認識する、歩行者を認識するといった認識対象毎に設定される。したがって、認識部73による物体認識処理は、認識対象が異なるコンポーネント単位の物体認識処理が時系列に順次実行されていると考えることができる。
 すなわち、例えば、図14で示されるように、コンポーネントC1,C2が時系列に実行される場合について考える。図14においては、時刻t11乃至t15において、コンポーネントC1の処理がなされ、時刻t15乃至t19において、コンポーネントC2の処理がなされる。
 また、各コンポーネントの処理は、カメラ51において撮像される画像のフレーム単位での処理がなされる。
 すなわち、図14のコンポーネントC1の処理においては、時刻t11乃至t12において、フレームF1の処理がなされ、時刻t12乃至t13において、フレームF2の処理がなされ、時刻t13乃至t14において、フレームF3の処理がなされ、時刻t14乃至t15において、フレームF4の処理がなされることが示されている。
 また、図14のコンポーネントC2の処理においては、時刻t15乃至t16において、フレームF5の処理がなされ、時刻t16乃至t17において、フレームF6の処理がなされ、時刻t17乃至t18において、フレームF7の処理がなされ、時刻t18乃至t19において、フレームF8の処理がなされていることが示されている。
 尚、図14では、コンポーネントC1,C2のいずれにおいても、4フレーム分の処理例が示されているが、その他の数のフレーム分の処理がなされてもよいし、コンポーネント毎に同一のフレーム数でなくてもよい。
 コンポーネントC1が、踏切を認識する物体認識処理である場合、例えば、高速道路を走行中のときには、踏切が存在せず、認識結果として踏切が検出されることはないため、コンポーネントC1の物体認識処理は、実質的に不要な状態となる。
 このため、コンポーネントC1の認識結果の精度が極端に低下するような状態になっても、認識結果による誤動作が発生することはない。
 そこで、踏切を認識するようなコンポーネントC1については、踏切が存在しない高速道路を走行している状態であれば、コンポーネントC1の物体認識処理の動作(または認識部73の認識結果に基づいた制御部201の動作制御)を停止させることなく、更新SWによる認識部73の更新処理がなされても問題がない。
 このため、認識対象が認識されることがない(認識される可能性が極めて低い)タイミングにおいて、認識部73の動作を停止させることなく、コンポーネント単位での更新SWによる認識部73の更新がなされるようにしてもよい。
 <フレーム間での更新>
 さらに、各フレームにおいては、撮像処理、転送処理、および認識処理が時系列になされる。
 すなわち、例えば、フレームF1,F2においては、図15で示されるように、時刻t11乃至t31において、カメラ51により撮像処理がなされ、時刻t31乃至t32において、カメラ51により撮像データの転送処理がなされ、時刻t32乃至t33において、認識部73により認識処理がなされる。
 また、フレームF2においては、時刻t12乃至t34において、カメラ51により撮像処理がなされ、時刻t34乃至t35において、カメラ51により撮像データの転送処理がなされ、時刻t35乃至t36において、認識部73により認識処理がなされる。
 このため、一連の認識処理の中で、現実に、認識部73による認識処理がなされていないタイミングにおいては、実質的に動作停止状態であるため、更新SWによる認識部73の更新がなされても認識結果に基づいた動作制御には影響がない。
 そこで、図15で示されるように、フレームF1の認識部73の認識処理が終了する時刻t33のタイミングから、フレームF2の認識部73の認識処理が開始する時刻t35のタイミングまでの期間T11においては、認識部73の処理がなされないので、更新が可能なタイミングとされる。
 このように、一連の認識処理を継続する中で、現実には、認識部73が機能していないフレーム間のタイミングにおいて、更新SWによる認識部73の更新がなされるように更新タイミングが設定されるようにしてもよい。
 <処理ブロック単位での更新>
 また、認識部73による認識処理は、複数の処理ブロックから構成されるため、処理ブロック単位で処理がなされないブロック間のタイミングにおいて、更新SWによる処理ブロック単位での更新がなされるようにしてもよい。
 すなわち、例えば、図16で示されるように、認識部73によるフレームF1の認識処理が、処理ブロックB1乃至B4から構成される場合、時刻t32乃至t51において、処理ブロックB1の処理がなされ、時刻t52乃至t53において、処理ブロックB2の処理がなされ、時刻t54乃至t55において、処理ブロックB3の処理がなされ、時刻t56乃至t33において、処理ブロックB4の処理がなされるものとする。
 また、認識部73によるフレームF2の認識処理においては、時刻t35乃至t57において、処理ブロックB1の処理がなされ、時刻t58乃至t59において、処理ブロックB2の処理がなされ、時刻t60乃至t61において、処理ブロックB3の処理がなされ、時刻t62乃至t36において、処理ブロックB4の処理がなされるものとする。
 この場合、フレームF1の処理ブロックB1の処理が終了した時刻t51から、フレームF2の処理ブロックB1の処理が開始するまでの期間T31においては、処理ブロックB1の処理はなされないので、処理ブロックB1の動作は実質的に停止した状態となるため、更新が可能なタイミングとなる。
 このように、一連の認識処理を継続する中で、現実には、認識部73が機能していない処理ブロック間のタイミングにおいて、更新SWによる認識部73の処理ブロック単位での更新がなされるようにしてもよい。
 <レイヤ単位での更新>
 認識部73の認識処理を構成する処理ブロックが、それぞれニューラルネットワークにより構成されている場合については、処理ブロックにおける特定のレイヤ単位で更新するようにしてもよい。
 すなわち、図17で示されるように、処理ブロックB1乃至B4のそれぞれが、例えば、レイヤL1乃至Lxより構成されるニューラルネットワークで構成されている場合、処理ブロックB1の更新について考える。
 この場合、処理ブロックB1の場合、処理ブロック間の更新可能タイミングと同様の期間T31において、最初のタイミングにおいて、図17で示されるように、処理ブロックB1のレイヤLxについてレイヤ単位で更新し、以降、同様のタイミングにおいて、レイヤLx-1,Lx-2,・・・L1のように順次、レイヤ単位で更新させるようにしてもよい。尚、図17においては、1レイヤ単位で更新SWによる更新がなされる例が示されているが、複数レイヤ単位で更新SWによる更新がなされるようにしてもよい。
 ニューラルネットワークより構成される処理ブロックの場合については、さらに、レイヤ内におけるチャンネル単位で更新SWによる更新がなされるようにしてもよく、この場合においても、1チャンネル単位の更新でもよいし、複数チャンネル単位の更新であってもよい。
 また、この場合、レイヤ単位またはチャンネル単位での更新となるため、同一処理ブロック内において、バージョンの異なるレイヤまたはチャンネルが混在することもある。
 <<14.処理単位毎の更新処理>>
 次に、図18のフローチャートを参照して、応用例における処理単位毎の更新処理について説明する。
 尚、図18のフローチャートにおけるステップS201乃至S204,S206,S207,S209乃至S217、およびステップS234乃至S240,S242の処理は、図11のフローチャートにおけるステップS91乃至S94,S96,S97,S99乃至S107、およびステップS125乃至S131,S134の処理と同様であるので、その説明は省略する。
 すなわち、ステップS204において、グループiの車両1のうち、未処理の車両が、処理対象車両に設定されると、ステップS205において、配信計画部235は、処理単位設定処理を実行し、処理対象車両の更新SWによる認識部73の更新を行う更新単位を設定し、更新単位に応じた更新タイミングを設定する。
 <処理単位決定処理>
 ここで、図19のフローチャートを参照して、処理単位決定処理について説明する。
 ステップS271において、配信計画部235は、更新SWにより更新される処理単位が、チャンネル単位の更新処理であるか否かを判定する。
 ステップS271において、更新SWにより更新される処理単位が、チャンネル単位の更新処理である場合、処理は、ステップS272に進む。
 ステップS272において、配信計画部235は、処理単位がチャンネル単位であるときの更新タイミングを設定する。
 ステップS271において、更新SWにより更新される処理単位が、チャンネル単位の更新処理ではない場合、処理は、ステップS273に進む。
 ステップS273において、配信計画部235は、更新SWにより更新される処理単位が、レイヤ単位の更新処理であるか否かを判定する。
 ステップS273において、更新SWにより更新される処理単位が、レイヤ単位の更新処理である場合、処理は、ステップS274に進む。
 ステップS274において、配信計画部235は、図17を参照して説明したように、処理単位がレイヤ単位であるときの更新タイミングを設定する。
 ステップS273において、更新SWにより更新される処理単位が、レイヤ単位の更新処理ではない場合、処理は、ステップS275に進む。
 ステップS275において、配信計画部235は、更新SWにより更新される処理単位が、ブロック単位の更新処理であるか否かを判定する。
 ステップS275において、更新SWにより更新される処理単位が、ブロック単位の更新処理である場合、処理は、ステップS276に進む。
 ステップS276において、配信計画部235は、図16を参照して説明したように、処理単位がブロック単位であるときの更新タイミングを設定する。
 ステップS275において、更新SWにより更新される処理単位が、ブロック単位の更新処理ではない場合、処理は、ステップS277に進む。
 ステップS277において、配信計画部235は、更新SWにより更新される処理単位が、フレーム間の更新処理であるか否かを判定する。
 ステップS277において、更新SWにより更新される処理単位が、フレーム単位の更新処理である場合、処理は、ステップS278に進む。
 ステップS278において、配信計画部235は、図15を参照して説明したように、処理単位がフレーム間であるときの更新タイミングを設定する。
 ステップS277において、更新SWにより更新される処理単位が、フレーム間の更新処理ではない場合、処理は、ステップS279に進む。
 ステップS279において、配信計画部235は、更新SWにより更新される処理単位が、コンポーネント単位の更新処理であるか否かを判定する。
 ステップS279において、更新SWにより更新される処理単位が、コンポーネント単位の更新処理である場合、処理は、ステップS280に進む。
 ステップS280において、配信計画部235は、図14を参照して説明したように、処理単位がコンポーネント単位であるときの更新タイミングを設定する。
 ステップS279において、更新SWにより更新される処理単位が、コンポーネント単位の更新処理ではない場合、処理は、ステップS281に進む。
 ステップS281における処理は、チャンネル単位、レイヤ単位、ブロック単位、フレーム間、コンポーネント単位のいずれの処理単位の更新ではないので、通常の認識部73の全体を単位とした、認識部73が停止した状態を想定した処理となるので、配信計画部235は、図11のフローチャートにおけるステップS99と同様の更新タイミング設定処理を実行して更新タイミングを設定する。
 ここで、図18のフローチャートの説明に戻る。
 そして、ステップS207において、処理単位毎に設定された更新SWによる更新処理がなされるタイミングになると、ステップS208の処理において、それぞれの処理単位での認識部73の更新を実行させるための更新SWが車両1に送信される。
 ステップS231において、更新SWが送信されてきたと判定されると、ステップS232において、更新部204は、通信部22を制御して、送信されてきた処理単位に応じた更新SWを取得して、認識部73を更新する。このとき、更新部204は、更新SWによる更新を行う前に、更新前の認識部73をバックアップのため保持する。
 尚、図18の更新処理においては、図11の更新処理におけるステップS122の処理のように、認識部73の物体認識処理に係る動作、および、制御部201における認識部73の認識結果に基づいた動作制御はいずれも停止されることなく、動作が継続された状態となる。
 ステップS233において、更新部204は、認識部73が確実に更新されたことを確認する。
 このとき、例えば、コンポーネント単位、フレーム間、ブロック単位、レイヤ単位、または、チャンネル単位での更新処理がなされる場合、更新部204は、更新前の認識部73の認識結果と、更新後の認識部73の認識結果とを比較することにより、所定のレベル以上の変化がないか否かを判定することで、適切に更新がなされたか否かを判定するようにしてもよい。
 また、この後、更新後の認識部73の稼働状況が認識されて、必要に応じて稼働状況がサーバ2に送信されて、稼働状況の判定が十分であるとみなされると、処理は、ステップS240に進む。
 ステップS240において、更新部204は、更新SWによる認識部73の更新が適切であるか否かを判定する。
 ステップS240において、更新SWによる認識部73の更新が適切ではないと判定された場合、処理は、ステップS241に進む。
 ステップS241において、更新部204は、バックアップのために保持していた更新前の認識部73の状態に戻し、更新前の認識部73の物体認識処理に係る動作、および、制御部201における更新前の認識部73の認識結果に基づいた動作制御を、更新前の状態にする。すなわち、この場合、認識部73の更新はなされず、更新前の状態のままの動作が継続される。
 すなわち、この場合、認識部73の更新SWによる更新が適切ではないので、更新後の認識部73の認識結果の信頼性が低いと考えられる。このため、更新後の認識部73の認識結果に基づいた処理を行うと誤検出に基づいた誤った処理がなされて、危険な動作を起こす恐れがあるので、更新前の認識部73の認識結果に基づいた動作に戻す。
 また、更新SWによる認識部73の更新が適切ではないとみなされた場合、ステップS241の処理に代えて、更新SWによる更新後の認識部73の認識結果に基づいた処理が制御部201においてなされない状態にしてもよい。
 一方、ステップS240において、更新SWによる認識部73の更新が適切であると判定された場合、ステップS241の処理がスキップされる。
 すなわち、認識部73の動作は停止されることなく更新がなされ、更新も適切になされているので、そのままの状態で動作が継続される。
 以上の一連の処理により、更新SWによる認識部73の更新処理を処理単位毎にタイミングを設定して実行することが可能となるので、認識部73における物体認識処理の動作を停止させることなく、適切に更新させることが可能となる。
 尚、以上においては、図11のフローチャートを参照して説明した、認識部73における物体認識処理を停止させた状態で更新SWにより更新処理を実現させる更新処理(以下、非動作更新処理とも称する)と、図18のフローチャートを参照して説明した、認識部73における物体認識処理を停止させた状態で更新SWにより更新処理を実現させる更新処理(以下、動作更新処理とも称する)とを説明してきた。
 非動作更新処理と、動作更新処理については、一般的に、非動作更新処理の方が安全性は高いと考えらえるが、動作更新処理については、ほぼいつでも更新が可能である。そこで、非動作更新処理と動作更新処理とが切り替えられるようにしてもよい。
 例えば、更新SWの配信が始まってから所定期間内においては、非動作更新処理がなされるようにして、所定期間内に更新ができなかった場合については、動作更新処理が実行されるようにしてもよい。
 また、例えば、更新SWによる認識部73の更新内容に応じた緊急性や優先度を示すスコアを設定し、所定のスコアよりも低い緊急性や優先度の低い更新である場合については、非動作更新処理がなされるようにして、所定のスコアよりも高い緊急性や優先度の高い更新である場合については、動作更新処理が実行されるようにしてもよい。
 さらに、緊急性や優先度を示すスコアについては、自動運転計画などに応じて変化させるようにしてもよく、例えば、自動運転計画において使用が予定されていない機能に係る認識部73の更新処理については緊急性や優先度を示すスコアを低く設定して非動作更新処理がなされるようにし、自動運転計画において使用が予定されている機能に係る認識部73の更新処理については緊急性や優先度を示すスコアを高く設定して動作更新処理がなされるようにしてもよい。
 さらに、自動運転計画においてなされた計画が変更されることにより、例えば、自動運転計画の変更に応じて使用が予定されなくなった機能に係る認識部73の更新処理については緊急性や優先度を示すスコアが低くなるように設定が変更されるようにして非動作更新処理がなされるようにし、自動運転計画の変更に応じて使用が予定されることになった機能に係る認識部73の更新処理については緊急性や優先度を示すスコアを高くなるように設定が変更されるようにして動作更新処理がなされるようにしてもよい。
 尚、以上においては、管理されるSW(ソフトウェアプログラム)が、物体認識処理を実行して物体を認識する認識部73である例について説明してきたが、機械学習などにより生成されるSWであれば、その他の処理を実行するものであってもよく、例えば、機械学習により形成される経路探索を実行するSWや、バッテリーマネージメントを実現するSWであってもよい。
 <<15.ソフトウェアにより実行させる例>>
 ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータなどに、記録媒体からインストールされる。
 図20は、汎用のコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)1001を内蔵している。CPU1001にはバス1004を介して、入出力インタフェース1005が接続されている。バス1004には、ROM(Read Only Memory)1002およびRAM(Random Access Memory)1003が接続されている。
 入出力インタフェース1005には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部1006、処理操作画面や処理結果の画像を表示デバイスに出力する出力部1007、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部1008、LAN(Local Area Network)アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部1009が接続されている。また、磁気ディスク(フレキシブルディスクを含む)、光ディスク(CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む)、光磁気ディスク(MD(Mini Disc)を含む)、もしくは半導体メモリなどのリムーバブル記憶媒体1011に対してデータを読み書きするドライブ1010が接続されている。
 CPU1001は、ROM1002に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブル記憶媒体1011ら読み出されて記憶部1008にインストールされ、記憶部1008からRAM1003にロードされたプログラムに従って各種の処理を実行する。RAM1003にはまた、CPU1001が各種の処理を実行する上において必要なデータなども適宜記憶される。
 以上のように構成されるコンピュータでは、CPU1001が、例えば、記憶部1008に記憶されているプログラムを、入出力インタフェース1005及びバス1004を介して、RAM1003にロードして実行することにより、上述した一連の処理が行われる。
 コンピュータ(CPU1001)が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記憶媒体1011に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
 コンピュータでは、プログラムは、リムーバブル記憶媒体1011をドライブ1010に装着することにより、入出力インタフェース1005を介して、記憶部1008にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部1009で受信し、記憶部1008にインストールすることができる。その他、プログラムは、ROM1002や記憶部1008に、あらかじめインストールしておくことができる。
 なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
 尚、図20におけるCPU1001が、図3のプロセッサ21、および図5のプロセッサ111の機能を実現させる。
 また、本明細書において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。
 なお、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
 例えば、本開示は、1つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
 また、上述のフローチャートで説明した各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。
 さらに、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。
 尚、本開示は、以下のような構成も取ることができる。
<1> SW(ソフトウェアプログラム)を更新する更新部と、
 前記更新部により更新された前記SWの稼働状況を認識する稼働状況認識部と
 を備えた情報処理装置。
<2> 前記SWは、機械学習により形成され、
 前記更新部は、前記SWを前記機械学習により再学習された前記SWに更新するための更新SWを用いて、前記SWを更新する
 <1>に記載の情報処理装置。
<3> 前記更新部は、前記SWの更新に当たって、更新前の前記SWをバックアップした後、前記更新SWを用いて、前記SWを更新し、
 前記稼働状況認識部は、前記更新部により更新された前記SWの処理結果と、前記更新前のバックアップされたSWの処理結果との比較により、更新された前記SWの稼働状況を認識する
 <2>に記載の情報処理装置。
<4> 前記SWは、機械学習により形成され、画像に基づいた物体認識処理を実行する物体認識部として機能するSWである
 <1>乃至<3>のいずれかに記載の情報処理装置。
<5> 前記稼働状況認識部は、前記更新部により更新された前記物体認識部として機能する前記SWの物体認識結果と、現在の位置情報に基づいた周囲に存在する物体の情報との比較により、更新された前記SWの稼働状況を認識する
 <4>に記載の情報処理装置。
<6> 前記SWの物体認識結果に基づいて、動作を制御する制御部をさらに含み、
 前記制御部は、前記稼働状況に基づいて、前記更新された前記物体認識部として機能する前記SWの物体認識結果に基づいた、前記動作の制御を停止する
 <5>に記載の情報処理装置。
<7> 前記制御部は、前記稼働状況に基づいて、更新前の前記物体認識部として機能するSWの前記物体認識結果に基づいて、前記動作を制御する
 <6>に記載の情報処理装置。
<8> 前記更新部は、サーバより配信される前記SWを更新するための更新SWを取得して、前記更新SWに基づいて、前記SWを更新し、
 前記稼働状況認識部による稼働状況の認識結果である稼働状況認識結果を、前記サーバに送信する稼働状況認識結果送信部をさらに含む
 <6>に記載の情報処理装置。
<9> 前記更新SWは、前記更新SWにより前記SWが適切に更新されなかった場合に、前記SWの処理結果に基づいた、前記制御部により制御される動作の安全性に基づいて、前記更新SWが配信される前記情報処理装置がグルーピングされたとき、最も安全なグループの前記情報処理装置から、グループ単位で順次段階的に配信される
 <8>に記載の情報処理装置。
<10> 前記サーバは、前記物体認識部として機能する前記SWの物体認識結果に基づいた、前記制御部による動作の制御が不要となるタイミングを推定し、前記制御部による動作の制御が不要となるタイミングを、前記更新SWを配信するタイミングとする配信計画が生成される
 <9>に記載の情報処理装置。
<11> 前記物体認識部として機能する前記SWの物体認識結果に基づいた、前記制御部による動作の制御が不要となるタイミングを、前記更新SWを配信するタイミングとする配信計画が、前記安全性に基づいてグルーピングされた前記グループ単位で生成される
 <9>に記載の情報処理装置。
<12> 前記物体認識部として機能する前記SWの物体認識結果として、所定の物体が認識されることがないタイミングが、前記物体認識部として機能する前記SWの物体認識結果に基づいた、前記制御部による動作の制御が不要となるタイミングとして推定され、推定された前記制御部による動作の制御が不要となるタイミングを、前記更新SWを配信するタイミングとする配信計画が生成される
 <10>に記載の情報処理装置。
<13> 前記制御部は、前記物体認識結果に基づいて、車両の自動運転を制御し、
 前記車両の走行が計画される経路上において、前記所定の物体が前記物体認識結果として認識されることがない経路上を走行するタイミングを、前記更新SWを配信するタイミングとする配信計画が生成される
 <12>に記載の情報処理装置。
<14> 前記サーバは、前記稼働状況認識結果送信部より送信されてくる前記稼働状況認識結果に基づいて、前記SWの前記情報処理装置への配信を停止する
 <8>に記載の情報処理装置。
<15> 前記サーバは、前記稼働状況認識結果送信部より送信されてくる前記稼働状況認識結果に基づいて、更新された前記SWによる物体認識精度が、更新前の前記SWによる物体認識精度よりも低い場合、前記SWの前記情報処理装置への配信を停止する
 <14>に記載の情報処理装置。
<16> 前記稼働状況認識結果送信部は、前記稼働状況認識部による稼働状況の認識結果である稼働状況認識結果と共に、前記画像と対応する物体認識結果とを、前記サーバに送信し、
 前記サーバは、前記画像と対応する物体認識結果とに基づいて、前記SWを再学習させ、前記SWを再学習された状態に更新するための前記更新SWを生成する
 <8>に記載の情報処理装置。
<17> 前記サーバは、前記画像と対応する物体認識結果とに基づいて、再学習された前記SWが所定認識精度になったとき、前記SWを再学習された状態に更新するための前記更新SWを配信する
 <16>に記載の情報処理装置。
<18> 更新部と、
 稼働状況認識部とを備える情報処理装置の情報処理方法において、
 前記更新部は、SW(ソフトウェアプログラム)を更新し、
 前記稼働状況認識部は、更新された前記SWの稼働状況を認識する
 ステップを含む情報処理方法。
<19> SW(ソフトウェアプログラム)を更新する更新部と、
 前記更新部により更新されたSWの稼働状況を認識する稼働状況認識部と
 してコンピュータを機能させるプログラム。
<20> SW(ソフトウェアプログラム)を更新する更新部と、
 前記更新部により更新されたSWの稼働状況を認識する稼働状況認識部と
 を含む情報処理システム。
 1 車両, 2 サーバ, 21 プロセッサ, 22 通信部, 23 地図情報蓄積部, 24 GNSS受信部, 25 外部認識センサ, 32 車両制御部, 51 カメラ, 73 認識部, 201 制御部, 202 稼働状況認識部, 203 稼働状況報告部, 204 更新部, 231 車両情報収集部, 232 グルーピング部, 233 配信順序決定部, 234 配信状況確認部, 235 配信計画部, 236 配信部, 237 再学習部, 238 更新SWリリース部

Claims (20)

  1.  SW(ソフトウェアプログラム)を更新する更新部と、
     前記更新部により更新された前記SWの稼働状況を認識する稼働状況認識部と
     を備えた情報処理装置。
  2.  前記SWは、機械学習により形成され、
     前記更新部は、前記SWを前記機械学習により再学習された前記SWに更新するための更新SWを用いて、前記SWを更新する
     請求項1に記載の情報処理装置。
  3.  前記更新部は、前記SWの更新に当たって、更新前の前記SWをバックアップした後、前記更新SWを用いて、前記SWを更新し、
     前記稼働状況認識部は、前記更新部により更新された前記SWの処理結果と、前記更新前のバックアップされたSWの処理結果との比較により、更新された前記SWの稼働状況を認識する
     請求項2に記載の情報処理装置。
  4.  前記SWは、機械学習により形成され、画像に基づいた物体認識処理を実行する物体認識部として機能するSWである
     請求項1に記載の情報処理装置。
  5.  前記稼働状況認識部は、前記更新部により更新された前記物体認識部として機能する前記SWの物体認識結果と、現在の位置情報に基づいた周囲に存在する物体の情報との比較により、更新された前記SWの稼働状況を認識する
     請求項4に記載の情報処理装置。
  6.  前記SWの物体認識結果に基づいて、動作を制御する制御部をさらに含み、
     前記制御部は、前記稼働状況に基づいて、前記更新された前記物体認識部として機能する前記SWの物体認識結果に基づいた、前記動作の制御を停止する
     請求項5に記載の情報処理装置。
  7.  前記制御部は、前記稼働状況に基づいて、更新前の前記物体認識部として機能するSWの前記物体認識結果に基づいて、前記動作を制御する
     請求項6に記載の情報処理装置。
  8.  前記更新部は、サーバより配信される前記SWを更新するための更新SWを取得して、前記更新SWに基づいて、前記SWを更新し、
     前記稼働状況認識部による稼働状況の認識結果である稼働状況認識結果を、前記サーバに送信する稼働状況認識結果送信部をさらに含む
     請求項6に記載の情報処理装置。
  9.  前記更新SWは、前記更新SWにより前記SWが適切に更新されなかった場合に、前記SWの処理結果に基づいた、前記制御部により制御される動作の安全性に基づいて、前記更新SWが配信される前記情報処理装置がグルーピングされたとき、最も安全なグループの前記情報処理装置から、グループ単位で順次段階的に配信される
     請求項8に記載の情報処理装置。
  10.  前記物体認識部として機能する前記SWの物体認識結果に基づいた、前記制御部による動作の制御が不要となるタイミングを、前記更新SWを配信するタイミングとする配信計画が生成される
     請求項9に記載の情報処理装置。
  11.  前記物体認識部として機能する前記SWの物体認識結果に基づいた、前記制御部による動作の制御が不要となるタイミングを、前記更新SWを配信するタイミングとする配信計画が、前記安全性に基づいてグルーピングされた前記グループ単位で生成される
     請求項9に記載の情報処理装置。
  12.  前記物体認識部として機能する前記SWの物体認識結果として、所定の物体が認識されることがないタイミングが、前記物体認識部として機能する前記SWの物体認識結果に基づいた、前記制御部による動作の制御が不要となるタイミングとして推定され、推定された前記制御部による動作の制御が不要となるタイミングを、前記更新SWを配信するタイミングとする配信計画が生成される
     請求項10に記載の情報処理装置。
  13.  前記制御部は、前記物体認識結果に基づいて、車両の自動運転を制御し、
     前記車両の走行が計画される経路上において、前記所定の物体が前記物体認識結果として認識されることがない経路上を走行するタイミングを、前記更新SWを配信するタイミングとする配信計画が生成される
     請求項12に記載の情報処理装置。
  14.  前記サーバは、前記稼働状況認識結果送信部より送信されてくる前記稼働状況認識結果に基づいて、前記SWの前記情報処理装置への配信を停止する
     請求項8に記載の情報処理装置。
  15.  前記サーバは、前記稼働状況認識結果送信部より送信されてくる前記稼働状況認識結果に基づいて、更新された前記SWによる物体認識精度が、更新前の前記SWによる物体認識精度よりも低い場合、前記SWの前記情報処理装置への配信を停止する
     請求項14に記載の情報処理装置。
  16.  前記稼働状況認識結果送信部は、前記稼働状況認識部による稼働状況の認識結果である稼働状況認識結果と共に、前記画像と対応する物体認識結果とを、前記サーバに送信し、
     前記サーバは、前記画像と対応する物体認識結果とに基づいて、前記SWを再学習させ、前記SWを再学習された状態に更新するための前記更新SWを生成する
     請求項8に記載の情報処理装置。
  17.  前記サーバは、前記画像と対応する物体認識結果とに基づいて、再学習された前記SWが所定認識精度になったとき、前記SWを再学習された状態に更新するための前記更新SWを配信する
     請求項16に記載の情報処理装置。
  18.  更新部と、
     稼働状況認識部とを備える情報処理装置の情報処理方法において、
     前記更新部は、SW(ソフトウェアプログラム)を更新し、
     前記稼働状況認識部は、更新された前記SWの稼働状況を認識する
     ステップを含む情報処理方法。
  19.  SW(ソフトウェアプログラム)を更新する更新部と、
     前記更新部により更新されたSWの稼働状況を認識する稼働状況認識部と
     してコンピュータを機能させるプログラム。
  20.  SW(ソフトウェアプログラム)を更新する更新部と、
     前記更新部により更新されたSWの稼働状況を認識する稼働状況認識部と
     を含む情報処理システム。
PCT/JP2021/023308 2020-07-03 2021-06-21 情報処理装置、および情報処理方法、情報処理システム、並びにプログラム WO2022004446A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP21832905.0A EP4177733A4 (en) 2020-07-03 2021-06-21 INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING METHOD, INFORMATION PROCESSING SYSTEM AND PROGRAM
US18/003,211 US20230244471A1 (en) 2020-07-03 2021-06-21 Information processing apparatus, information processing method, information processing system, and program
CN202180045785.2A CN115997193A (zh) 2020-07-03 2021-06-21 信息处理装置、信息处理方法、信息处理系统和程序

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-115427 2020-07-03
JP2020115427 2020-07-03

Publications (1)

Publication Number Publication Date
WO2022004446A1 true WO2022004446A1 (ja) 2022-01-06

Family

ID=79316126

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/023308 WO2022004446A1 (ja) 2020-07-03 2021-06-21 情報処理装置、および情報処理方法、情報処理システム、並びにプログラム

Country Status (4)

Country Link
US (1) US20230244471A1 (ja)
EP (1) EP4177733A4 (ja)
CN (1) CN115997193A (ja)
WO (1) WO2022004446A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011081604A (ja) 2009-10-07 2011-04-21 Toyota Motor Corp 車両用プログラム更新装置
JP2013148957A (ja) 2012-01-17 2013-08-01 Toyota Motor Corp 安全制御装置及び安全制御方法
JP2014092878A (ja) * 2012-11-01 2014-05-19 Nippon Telegr & Teleph Corp <Ntt> 分類モデル更新支援装置及び方法及びプログラム
JP2018005894A (ja) * 2016-06-23 2018-01-11 住友電気工業株式会社 プログラム配信システム、サーバ、プログラム配信方法、およびコンピュータプログラム
JP2019175349A (ja) * 2018-03-29 2019-10-10 Kddi株式会社 配信装置
JP2020060987A (ja) * 2018-10-11 2020-04-16 みこらった株式会社 移動装置及び移動装置用プログラム
WO2020095545A1 (ja) * 2018-11-05 2020-05-14 日本電気株式会社 物体認識システム、認識装置、物体認識方法および物体認識プログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7405072B2 (ja) * 2018-02-28 2023-12-26 ソニーグループ株式会社 移動制御システム、移動制御方法、及びプログラム
JP7130984B2 (ja) * 2018-03-01 2022-09-06 日本電気株式会社 画像判定システム、モデル更新方法およびモデル更新プログラム
KR102287460B1 (ko) * 2019-08-16 2021-08-10 엘지전자 주식회사 인공지능 무빙 에이전트

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011081604A (ja) 2009-10-07 2011-04-21 Toyota Motor Corp 車両用プログラム更新装置
JP2013148957A (ja) 2012-01-17 2013-08-01 Toyota Motor Corp 安全制御装置及び安全制御方法
JP2014092878A (ja) * 2012-11-01 2014-05-19 Nippon Telegr & Teleph Corp <Ntt> 分類モデル更新支援装置及び方法及びプログラム
JP2018005894A (ja) * 2016-06-23 2018-01-11 住友電気工業株式会社 プログラム配信システム、サーバ、プログラム配信方法、およびコンピュータプログラム
JP2019175349A (ja) * 2018-03-29 2019-10-10 Kddi株式会社 配信装置
JP2020060987A (ja) * 2018-10-11 2020-04-16 みこらった株式会社 移動装置及び移動装置用プログラム
WO2020095545A1 (ja) * 2018-11-05 2020-05-14 日本電気株式会社 物体認識システム、認識装置、物体認識方法および物体認識プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4177733A4

Also Published As

Publication number Publication date
CN115997193A (zh) 2023-04-21
US20230244471A1 (en) 2023-08-03
EP4177733A1 (en) 2023-05-10
EP4177733A4 (en) 2023-11-22

Similar Documents

Publication Publication Date Title
JPWO2019077999A1 (ja) 撮像装置、画像処理装置、及び、画像処理方法
WO2021241189A1 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2022138123A1 (en) Available parking space identification device, available parking space identification method, and program
WO2021060018A1 (ja) 信号処理装置、信号処理方法、プログラム、及び、移動装置
WO2020241303A1 (ja) 自動走行制御装置、および自動走行制御システム、並びに自動走行制御方法
WO2022158185A1 (ja) 情報処理装置、情報処理方法、プログラムおよび移動装置
US20230289980A1 (en) Learning model generation method, information processing device, and information processing system
WO2022004448A1 (ja) 情報処理装置、および情報処理方法、情報処理システム、並びにプログラム
WO2022004446A1 (ja) 情報処理装置、および情報処理方法、情報処理システム、並びにプログラム
WO2022004423A1 (ja) 情報処理装置、情報処理方法、及び、プログラム
WO2022004447A1 (ja) 情報処理装置、および情報処理方法、情報処理システム、並びにプログラム
WO2023171401A1 (ja) 信号処理装置、信号処理方法、および記録媒体
WO2022113772A1 (ja) 情報処理装置、情報処理方法、及び、情報処理システム
WO2023063199A1 (ja) 情報処理装置、および情報処理方法、並びにプログラム
WO2023074419A1 (ja) 情報処理装置、情報処理方法、及び、情報処理システム
WO2022259621A1 (ja) 情報処理装置、情報処理方法、コンピュータプログラム
WO2022024569A1 (ja) 情報処理装置と情報処理方法およびプログラム
WO2023032276A1 (ja) 情報処理装置、情報処理方法、及び、移動装置
WO2022014327A1 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2024024471A1 (ja) 情報処理装置、情報処理方法、及び、情報処理システム
WO2023053498A1 (ja) 情報処理装置、情報処理方法、記録媒体、および車載システム
WO2023054090A1 (ja) 認識処理装置、認識処理方法、および認識処理システム
WO2023149089A1 (ja) 学習装置、学習方法及び学習プログラム
JP7367014B2 (ja) 信号処理装置、信号処理方法、プログラム、及び、撮像装置
US20230410486A1 (en) Information processing apparatus, information processing method, and program

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21832905

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2021832905

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

NENP Non-entry into the national phase

Ref country code: JP