WO2023063199A1 - 情報処理装置、および情報処理方法、並びにプログラム - Google Patents

情報処理装置、および情報処理方法、並びにプログラム Download PDF

Info

Publication number
WO2023063199A1
WO2023063199A1 PCT/JP2022/037377 JP2022037377W WO2023063199A1 WO 2023063199 A1 WO2023063199 A1 WO 2023063199A1 JP 2022037377 W JP2022037377 W JP 2022037377W WO 2023063199 A1 WO2023063199 A1 WO 2023063199A1
Authority
WO
WIPO (PCT)
Prior art keywords
sensor
subsystem
sensing
unit
sensing result
Prior art date
Application number
PCT/JP2022/037377
Other languages
English (en)
French (fr)
Inventor
康平 小島
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Publication of WO2023063199A1 publication Critical patent/WO2023063199A1/ja

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/029Adapting to failures or work around with other constraints, e.g. circumvention by avoiding use of failed parts
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/035Bringing the control units into a predefined state, e.g. giving priority to particular actuators
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions

Definitions

  • the present disclosure relates to an information processing device, an information processing method, and a program, and particularly relates to an information processing device, an information processing method, and a program that can improve the stability of automatic driving control using a plurality of sensors.
  • An automatic driving control system has been proposed that realizes automatic driving by performing distributed processing of multiple processes with multiple control devices based on the sensing results of multiple sensors (see Patent Document 1).
  • sensing results that can be shared among a plurality of control devices are distributed with tags indicating that they are sharable sensing results. It is designed to
  • a plurality of control devices shall be able to obtain normally used sensing results necessary for their own processing, execute processing, and substitute normally used sensing results which are not normally used. , that is, the sensing result with a tag indicating that it can be shared is also acquired.
  • each of the controllers should be able to detect the failure of a particular sensor that supplies the sensing results it normally uses, and the other sensors that have not failed, tagged as being available for shared use. By using the sensing result, normal operation can be maintained.
  • sensing results with a tag indicating that they can be shared which are normally not used unless a sensor failure occurs, always circulate within the automated driving control system, resulting in unnecessary sensing results.
  • the present disclosure has been made in view of such circumstances, and in particular, improves the stability of operations in automatic driving control using multiple sensors.
  • An information processing device and a program include a sensor that detects a sensing result related to control of automatic driving, and a predetermined process related to automatic driving based on the sensing result detected by the sensor. and a first subsystem of the plurality of subsystems, when a malfunction of the sensor is detected, a sensing result of the sensor of the first subsystem and A sensor resource management that causes a second subsystem, different from the first subsystem, having the sensor that detects an alternative sensing result to transfer the sensing result of the sensor to the first subsystem.
  • An information processing device and a program comprising:
  • An information processing method includes a sensor that detects a sensing result related to control of automatic driving, and a process of executing a predetermined process related to automatic driving based on the sensing result detected by the sensor. and a first subsystem of the plurality of subsystems, when a malfunction of the sensor is detected, the sensing result of the sensor of the first subsystem can be substituted.
  • a sensor resource management unit for transferring the sensing result of the sensor to the first subsystem, which is different from the first subsystem and has the sensor that detects the sensing result of the
  • the information processing method for an information processing apparatus comprising A second subsystem, different from the first subsystem, which has the sensor for detecting a sensing result that is alternative to the sensing result of the sensor, transmits the sensing result of the sensor to the first subsystem.
  • a sensor that detects a sensing result related to control of automatic driving, and a processing unit that executes a predetermined process related to automatic driving based on the sensing result detected by the sensor. and a sensing result substitutable for the sensing result of the sensor of the first subsystem when a malfunction of the sensor is detected in a first subsystem of the plurality of subsystems For a second subsystem, different from the first subsystem, having the sensor for detecting the sensor, the sensing result of the sensor is forwarded to the first subsystem.
  • FIG. 1 is a block diagram illustrating a configuration example of a split type control system
  • FIG. 1 is a block diagram illustrating a configuration example of a centralized control system
  • FIG. It is a figure explaining the concept of the control system of this indication. It is a figure explaining the outline of the control system of this indication. It is a figure explaining the outline of the control system of this indication.
  • 1 is a block diagram showing a configuration example of a vehicle control system of the present disclosure
  • FIG. 4 is a diagram showing an example of a sensing area
  • It is a figure explaining the structural example of a sensor resource management table.
  • FIG. 10 is a diagram illustrating a configuration example of an interchangeability map
  • FIG. 7 is a flowchart for explaining activation processing by the vehicle control system of FIG.
  • FIG. 7 is a flowchart for explaining sensor resource management processing by the vehicle control system of FIG. 6;
  • FIG. 2 is a diagram illustrating an outline of a first application example of the present disclosure;
  • FIG. 1 is a block diagram showing a configuration example of a first application example of a vehicle control system of the present disclosure;
  • FIG. 14 is a flowchart illustrating sensing result storage processing by the vehicle control system of FIG. 13;
  • 14 is a flowchart for explaining correlation analysis processing by the vehicle control system of FIG. 13;
  • FIG. 10 is a diagram illustrating an overview of a second application example of the present disclosure;
  • FIG. 11 is a block diagram showing a configuration example of a second application example of the vehicle control system of the present disclosure;
  • FIG. 18 is a flowchart for explaining failure detection processing by the vehicle control system of FIG. 17;
  • FIG. It is a block diagram explaining the structural example of a general-purpose computer.
  • a system that controls autonomous driving is equipped with multiple sensors, and based on the sensing results of the multiple sensors, multiple processes required for autonomous driving are implemented.
  • the control system 11 is composed of subsystems 21-1 and 21-2 and implements multiple processes required for automatic operation.
  • subsystems 21-1 and 21-2 when there is no need to distinguish between the subsystems 21-1 and 21-2, they will simply be referred to as the subsystem 21, and the same applies to other configurations.
  • the subsystems 21-1 and 21-2 are equipped with sensors 31-1 and 31-2 and processing units 32-1 and 32-2 required for their respective processing. Then, the processing unit 32-1 implements the first processing using the sensing result of the sensor 31-1, and similarly, the processing unit 32-2 implements the second processing using the sensing result of the sensor 31-2. 2 is implemented.
  • the control system 11 is configured to execute various processes required for automatic operation based on the first processing result and the second processing result by the subsystems 21-1 and 21-2.
  • the first process and the second process are individually divided in units of subsystems 21 and are executed independently. Therefore, the control system 11 has a split type configuration in which a plurality of processes are split and executed.
  • the control system 11 of FIG. 1 has such a split-type configuration, and even if a failure occurs in one of the sensors 31-1 and 31-2, the subsystem 21 having the sensor 31 in which no failure has occurred
  • the processing units 32-1 and 32-2 in -1 and 21-2 can independently realize normal processing.
  • the operation confirmation test of the control system 11 can be performed individually for each of the subsystems 21-1 and 21-2. Since the division of labor becomes possible, it is possible to implement an operation check test efficiently and early.
  • control system 11 since it is possible to develop each of the subsystems 21-1 and 21-2 individually, the development of the control system 11 is easy to construct a division of labor development system with each subsystem 21 as a unit. Early development is often possible.
  • the first processing can be performed by only one of the processing units 32-1 and 32-2 based on the sensing results of the sensors 31-1 and 31-2.
  • two processing units 32 are provided although one processing unit 32 is sufficient, which may increase the cost of the apparatus.
  • the sensing results of the sensors 31-1 and 31-2 are used to perform the first processing and the second processing in the processing units 32-1 and 32-2 described above.
  • a centralized control system 51 has been proposed in which a processing unit 61 is provided for integrated implementation.
  • the processing unit 61 is independent, and two pieces of hardware, such as the processing units 32-1 and 32-2 of FIG. 1, can be integrated into one. can be reduced.
  • control system 51 of FIG. 2 when a safety test is performed, verification of the entire control system 51 is required, and like the control system 11 of FIG. The scale of verification increases and becomes more complicated than the process of performing safety tests for each of the above.
  • control system 11 of FIG. 1 it was possible to develop each of the subsystems 21-1 and 21-2 individually, and it was possible to set up a division of labor development system.
  • the system 51 requires integrated development as a whole, which complicates the construction of the development system and increases the degree of difficulty.
  • control system 11 of FIG. Consider a case where the first process and the second process can be realized by obtaining .
  • control system 11 shown in FIG. 3 we propose a control system represented by
  • control system 101 of FIG. 1 More specifically, the control system 101 of FIG. 1
  • subsystems 121-1 and 121-2 are configured corresponding to the subsystems 21-1 and 21-2 of FIG.
  • This configuration corresponds to the processing units 32-1 and 32-2 in FIG. That is, each of the processing units 132-1 and 132-2 executes the first process and the second process based on the sensing results of the sensors 131-1 and 131-2.
  • the control system 101 implements processes required for automatic operation based on the first and second processing results of the subsystems 121-1 and 121-2.
  • the processing units 132-1 and 132-2 are provided with management units 132a-1 and 132a-2 for executing the processing of the processing units 32-1 and 32-2 and managing sensor resources, respectively.
  • the management units 132a-1 and 132a-2 for example, when starting a vehicle whose automatic driving is controlled, the sensor type, data type, installation position (sensing area) of the sensors 131-1 and 131-2, The measurement characteristics and information serving as substitutable conditions are supplied to the sensor resource management unit 122 as sensor resource information.
  • management units 132a-1 and 132a-2 detect the occurrence of failures and abnormalities in the sensors 131-1 and 131-2, respectively. Request to transfer alternative sensing results from subsystem 121 .
  • the sensor 131 is collectively referred to as malfunction including failure and abnormality.
  • the management units 132a-1 and 132a-2 obtain the sensing results of the sensors 131-1 and 131-2, respectively, and use the other subsystems 121 as alternatives. -1 and 121-2 to the management units 132a-1 and 132a-2.
  • the sensor resource management unit 122 acquires the sensor resource information supplied from the subsystems 121-1 and 121-2, it registers it in the sensor resource management table 123.
  • the sensor resource management table 123 is the same as the sensor resource management table 291, which will be described later, and the details will be described later with reference to FIG.
  • the sensor resource management unit 122 reads the sensor resource information of each sensor from the sensor resource management table 123, sets sensors that detect alternatively usable sensing results as a sensor pair between the subsystems 121, and sets the sensor pair and the sensor pair.
  • the information of the sensors 131 is mapped to generate the substitutable map 124 .
  • the sensor resource management unit 122 refers to the replacement map 124 and refers to the requested subsystem. A search is made for other subsystems 121 that can transfer alternative sensing results to the system 121 .
  • the sensor resource management unit 122 causes the retrieved other subsystems 121 to transfer the sensing results to the subsystem 121 that requested alternative sensing results.
  • the management unit 132a-1 of the processing unit 132-1 in the subsystem 121-1 sends a sensor transfer request for the sensing result of the alternative sensor 131 because the sensor 131-1 has failed.
  • the resource management unit 122 is notified.
  • the sensor resource management unit 122 refers to the substitutability map 124 generated based on the sensor resource management table 123, and performs processing corresponding to the sensing result of the sensor 131-1 of the requested subsystem 121-1.
  • a sub-system 121 having a sensor 131 that outputs a substitutable sensing result is specified in the section 132-1.
  • a subsystem 121 having a sensor 131 that outputs an alternative sensing result in a processing unit 132-1 corresponding to the sensing result of the sensor 131-1 of the subsystem 121-1 for example, the subsystem 121
  • the sensor resource management unit 122 sends the sensing result of the sensor 131-2 to the management unit 132a-2 of the processing unit 132-2 in the identified subsystem 121-2. -1 to send a transfer instruction.
  • the management section 132a-2 Upon receiving a transfer instruction from the sensor resource management section 122, the management section 132a-2 transfers the sensing result of the sensor 131-2 to the requested subsystem 121-1, as indicated by the dotted arrow.
  • the sensing result of the sensor 131-1 and the sensing result of the alternative sensor 131-2 are supplied from the subsystem 121-2.
  • the processing unit 132-1 can continue to execute the first processing based on the sensing result transferred from the subsystem 121-2 even when the sensor 131-1 is in a failure state. It becomes possible.
  • the management unit 132a-1 of the processing unit 132-1 in the subsystem 121-1 transfers the sensing result of the sensor 131-1 to the subsystem 121-2.
  • the processing unit 132-2 can continue to execute the second processing based on the sensing result transferred from the subsystem 121-1 even when the sensor 131-2 is in a failed state. It becomes possible.
  • control system 101 even if a failure occurs in the sensor 131 within the control system 101, the control system 101 as a whole can continue the processing necessary for automatic operation.
  • the sensing result is not transferred to other subsystems 121. Therefore, as long as the sensor 131 is operating normally, Since unnecessary sensing results are not transferred and are not circulated within the control system 101, there is no unnecessary load increase associated with the transfer of sensing results. Therefore, the overall operation of the control system 101 does not become unstable due to an increase in the transfer of sensing results.
  • the number of subsystems 121 may be three or more. However, in this case, if the number of subsystems 121 is 10, 20, or more, and if there is only one sensor resource management unit 122 and one sensor resource management unit 122 malfunctions, the control system 101 is disabled.
  • a plurality of sensor resource management units 122 may be configured for a plurality of subsystems 121 so that malfunctions in the sensor resource management units 122 can be dealt with.
  • the number of sensor resource management units 122 must correspond to the number of subsystems 121 . That is, for example, two or three sensor resource management units 122 are provided for ten subsystems 121 . Therefore, when the number of subsystems 121 is 100, for example, 20 to 30 sensor resource management units 122 may be provided in a similar ratio.
  • the number of subsystems 121 and the number of sensor resource management units 122 may be set according to the importance of the processing realized by the control system 101 .
  • the accuracy may be sacrificed to some extent, and the number of sensor resource management units 122 may be smaller than the number of subsystems 121 when processing that does not require severe safety or the like is performed. In such a case, for example, two or three sensor resource management units 122 may be provided for twenty subsystems.
  • the number of sensor resource management units 122 for the number of subsystems 121 is reduced. make the number larger. In such a case, for example, 5 to 10 sensor resource management units 122 may be provided for 20 subsystems.
  • FIG. 6 is a block diagram showing a configuration example of a vehicle control system 211, which is an example of a mobile device control system to which the present technology is applied.
  • the vehicle control system 211 is provided in the vehicle 201 and performs processing related to driving support and automatic driving of the vehicle 201 .
  • the vehicle control system 211 includes a vehicle control ECU (Electronic Control Unit) 221, a communication unit 222, a map information accumulation unit 223, a position information acquisition unit 224, an external recognition sensor 225, an in-vehicle sensor 226, a vehicle sensor 227, a storage unit 228, a running It has a support/automatic driving control unit 229 , DMS (Driver Monitoring System) 230 , HMI (Human Machine Interface) 231 , vehicle control unit 232 , and sensor resource management unit 233 .
  • vehicle control ECU Electronic Control Unit
  • communication unit 222 includes a communication unit 222, a map information accumulation unit 223, a position information acquisition unit 224, an external recognition sensor 225, an in-vehicle sensor 226, a vehicle sensor 227, a storage unit 228, a running It has a support/automatic driving control unit 229 , DMS (Driver Monitoring System) 230 , HMI (Human Machine Interface) 231 , vehicle control unit 232 , and
  • Vehicle control ECU 221, communication unit 222, map information accumulation unit 223, position information acquisition unit 224, external recognition sensor 225, vehicle interior sensor 226, vehicle sensor 227, storage unit 228, driving support/automatic driving control unit 229, driver monitoring system ( DMS) 230 , human machine interface (HMI) 231 , and vehicle control unit 232 are connected via a communication network 241 so as to be able to communicate with each other.
  • the communication network 241 is, for example, a CAN (Controller Area Network), LIN (Local Interconnect Network), LAN (Local Area Network), FlexRay (registered trademark), Ethernet (registered trademark), and other digital two-way communication standards. It is composed of a communication network, a bus, and the like.
  • the communication network 241 may be used properly depending on the type of data to be transmitted. For example, CAN may be applied to data related to vehicle control, and Ethernet may be applied to large-capacity data. Note that each unit of the vehicle control system 211 performs wireless communication assuming relatively short-range communication such as near-field wireless communication (NFC (Near Field Communication)) or Bluetooth (registered trademark) without going through the communication network 241. may be connected directly using NFC (Near Field Communication)) or Bluetooth (registered trademark) without going through the communication network 241.
  • NFC Near Field Communication
  • Bluetooth registered trademark
  • the vehicle control ECU 221 is composed of various processors such as a CPU (Central Processing Unit) and an MPU (Micro Processing Unit).
  • the vehicle control ECU 221 controls the functions of the entire vehicle control system 211 or a part thereof.
  • the communication unit 222 communicates with various devices inside and outside the vehicle, other vehicles, servers, base stations, etc., and transmits and receives various data. At this time, the communication unit 222 can perform communication using a plurality of communication methods.
  • the communication with the outside of the vehicle that can be performed by the communication unit 222 will be described schematically.
  • the communication unit 222 is, for example, 5G (5th generation mobile communication system), LTE (Long Term Evolution), DSRC (Dedicated Short Range Communications), etc., via a base station or access point, on the external network communicates with a server (hereinafter referred to as an external server) located in the external network.
  • the external network with which the communication unit 222 communicates is, for example, the Internet, a cloud network, or a provider's own network.
  • the communication method that the communication unit 222 performs with the external network is not particularly limited as long as it is a wireless communication method that enables digital two-way communication at a communication speed of a predetermined value or more and a distance of a predetermined value or more.
  • the communication unit 222 can communicate with a terminal existing in the vicinity of the own vehicle using P2P (Peer To Peer) technology.
  • Terminals in the vicinity of one's own vehicle are, for example, terminals worn by pedestrians, bicycles, and other moving objects that move at relatively low speeds, terminals installed at fixed locations in stores, etc., or MTC (Machine Type Communication) terminal.
  • the communication unit 222 can also perform V2X communication.
  • V2X communication includes, for example, vehicle-to-vehicle communication with other vehicles, vehicle-to-infrastructure communication with roadside equipment, etc., and vehicle-to-home communication , and communication between the vehicle and others, such as vehicle-to-pedestrian communication with a terminal or the like possessed by a pedestrian.
  • the communication unit 222 can, for example, receive from the outside a program for updating the software that controls the operation of the vehicle control system 211 (Over The Air).
  • the communication unit 222 can also receive map information, traffic information, information around the vehicle 201, and the like from the outside. Further, for example, the communication unit 222 can transmit information about the vehicle 201, information about the surroundings of the vehicle 201, and the like to the outside.
  • the information about the vehicle 201 that the communication unit 222 transmits to the outside includes, for example, data indicating the state of the vehicle 201, recognition results by the recognition unit 273, and the like. Furthermore, for example, the communication unit 222 performs communication corresponding to a vehicle emergency notification system such as e-call.
  • the communication unit 222 receives electromagnetic waves transmitted by a road traffic information communication system (VICS (Vehicle Information and Communication System) (registered trademark)) such as radio wave beacons, optical beacons, and FM multiplex broadcasting.
  • VICS Vehicle Information and Communication System
  • radio wave beacons such as radio wave beacons, optical beacons, and FM multiplex broadcasting.
  • the communication with the inside of the vehicle that can be performed by the communication unit 222 will be described schematically.
  • the communication unit 222 can communicate with each device in the vehicle using, for example, wireless communication.
  • the communication unit 222 communicates with in-vehicle devices wirelessly using a communication method such as wireless LAN, Bluetooth (registered trademark), NFC, and WUSB (Wireless USB) that enables digital two-way communication at a communication speed above a predetermined level. can communicate.
  • the communication unit 222 can also communicate with each device in the vehicle using wired communication.
  • the communication unit 222 can communicate with each device in the vehicle by wired communication via a cable connected to a connection terminal (not shown).
  • the communication unit 222 performs digital two-way communication at a predetermined communication speed or higher by wired communication such as USB (Universal Serial Bus), HDMI (High-Definition Multimedia Interface) (registered trademark), and MHL (Mobile High-definition Link). can communicate with each device in the vehicle.
  • wired communication such as USB (Universal Serial Bus), HDMI (High-Definition Multimedia Interface) (registered trademark), and MHL (Mobile High-definition Link).
  • equipment in the vehicle refers to equipment not connected to the communication network 241 in the vehicle, for example.
  • in-vehicle devices include mobile devices and wearable devices possessed by passengers such as drivers, information devices that are brought into the vehicle and temporarily installed, and the like.
  • the map information accumulation unit 223 accumulates one or both of the map obtained from the outside and the map created by the vehicle 201 .
  • the map information accumulation unit 223 accumulates a three-dimensional high-precision map, a global map covering a wide area, and the like, which is lower in precision than the high-precision map.
  • High-precision maps are, for example, dynamic maps, point cloud maps, vector maps, etc.
  • the dynamic map is, for example, a map consisting of four layers of dynamic information, semi-dynamic information, semi-static information, and static information, and is provided to the vehicle 201 from an external server or the like.
  • a point cloud map is a map composed of a point cloud (point cloud data).
  • a vector map is, for example, a map adapted to ADAS (Advanced Driver Assistance System) and AD (Autonomous Driving) by associating traffic information such as lane and traffic signal positions with a point cloud map.
  • the point cloud map and the vector map may be provided from an external server or the like, or as a map for matching with a local map described later based on the sensing results of the camera 251, radar 252, LiDAR 253, etc. It may be created by the vehicle 201 and stored in the map information storage unit 223 . Further, when a high-precision map is provided from an external server or the like, in order to reduce the communication capacity, map data of, for example, several hundred meters square, regarding the planned route that the vehicle 201 will travel from now on, is acquired from the external server or the like. .
  • the position information acquisition unit 224 receives GNSS signals from GNSS (Global Navigation Satellite System) satellites and acquires position information of the vehicle 201 .
  • the acquired position information is supplied to the driving support/automatic driving control unit 229 .
  • the location information acquisition unit 224 is not limited to the method using GNSS signals, and may acquire location information using beacons, for example.
  • the external recognition sensor 225 includes various sensors used for recognizing situations outside the vehicle 201 and supplies sensor data from each sensor to each part of the vehicle control system 211 .
  • the type and number of sensors included in the external recognition sensor 225 are arbitrary.
  • the external recognition sensor 225 includes a camera 251, a radar 252, a LiDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging) 253, and an ultrasonic sensor 254.
  • the external recognition sensor 225 may be configured to include one or more types of sensors among the camera 251 , radar 252 , LiDAR 253 and ultrasonic sensor 254 .
  • the numbers of cameras 251 , radars 252 , LiDARs 253 , and ultrasonic sensors 254 are not particularly limited as long as they are realistically installable in the vehicle 201 .
  • the type of sensor provided by the external recognition sensor 225 is not limited to this example, and the external recognition sensor 225 may be provided with other types of sensors. An example of the sensing area of each sensor included in the external recognition sensor 225 will be described later.
  • the imaging method of the camera 251 is not particularly limited.
  • cameras of various types such as a ToF (Time Of Flight) camera, a stereo camera, a monocular camera, and an infrared camera, which are capable of distance measurement, can be applied to the camera 251 as necessary.
  • the camera 251 is not limited to this, and may simply acquire a photographed image regardless of distance measurement.
  • the external recognition sensor 225 can include an environment sensor for detecting the environment with respect to the vehicle 201 .
  • the environment sensor is a sensor for detecting the environment such as weather, climate, brightness, etc., and can include various sensors such as raindrop sensors, fog sensors, sunshine sensors, snow sensors, and illuminance sensors.
  • the external recognition sensor 225 includes a microphone used for detecting sounds around the vehicle 201 and the position of the sound source.
  • the in-vehicle sensor 226 includes various sensors for detecting information inside the vehicle, and supplies sensor data from each sensor to each part of the vehicle control system 211 .
  • the types and number of various sensors included in the in-vehicle sensor 226 are not particularly limited as long as they are the types and number that can be installed in the vehicle 201 in practice.
  • the in-vehicle sensor 226 may comprise one or more sensors among cameras, radar, seating sensors, steering wheel sensors, microphones, and biosensors.
  • the camera provided in the vehicle interior sensor 226 may simply acquire a captured image regardless of distance measurement.
  • a biosensor included in the in-vehicle sensor 226 is provided, for example, in a seat, a steering wheel, or the like, and detects various biometric information of a passenger such as a driver.
  • the vehicle sensor 227 includes various sensors for detecting the state of the vehicle 201, and supplies sensor data from each sensor to each section of the vehicle control system 211.
  • the types and number of various sensors included in the vehicle sensor 227 are not particularly limited as long as the types and number of sensors can be realistically installed in the vehicle 201 .
  • the vehicle sensor 227 includes a velocity sensor, an acceleration sensor, an angular velocity sensor (gyro sensor), and an inertial measurement unit (IMU (Inertial Measurement Unit)) integrating them.
  • the vehicle sensor 227 includes a steering angle sensor that detects the steering angle of the steering wheel, a yaw rate sensor, an accelerator sensor that detects the amount of operation of the accelerator pedal, and a brake sensor that detects the amount of operation of the brake pedal.
  • the vehicle sensor 227 includes a rotation sensor that detects the number of rotations of an engine or a motor, an air pressure sensor that detects tire air pressure, a slip rate sensor that detects a tire slip rate, and a wheel speed sensor that detects the rotational speed of a wheel.
  • a sensor is provided.
  • the vehicle sensor 227 includes a battery sensor that detects the remaining battery level and temperature, and an impact sensor that detects external impact.
  • the storage unit 228 includes at least one of a nonvolatile storage medium and a volatile storage medium, and stores data and programs.
  • the storage unit 228 is used as, for example, EEPROM (Electrically Erasable Programmable Read Only Memory) and RAM (Random Access Memory), and storage media include magnetic storage devices such as HDD (Hard Disc Drive), semiconductor storage devices, optical storage devices, And a magneto-optical storage device can be applied.
  • the storage unit 228 stores various programs and data used by each unit of the vehicle control system 211 .
  • the storage unit 228 includes an EDR (Event Data Recorder) and a DSSAD (Data Storage System for Automated Driving), and stores information of the vehicle 201 before and after an event such as an accident and information acquired by the in-vehicle sensor 226.
  • EDR Event Data Recorder
  • DSSAD Data Storage System for Automated Driving
  • the storage unit 228 also stores a sensor resource management table 291 and interchangeability maps 292-1 to 292-x.
  • the sensor resource management table 291 and the substitutability map 292 are configurations corresponding to the sensor resource management table 123 and the substitutability map 124 described with reference to FIGS. 4 and 5, respectively. Details of the sensor resource management table 291 and the substitutability map 292 will be described later with reference to FIGS. 8 and 9. FIG.
  • the driving support/automatic driving control unit 229 controls driving support and automatic driving of the vehicle 201 .
  • the driving support/automatic driving control unit 229 includes a management unit 260 , an analysis unit 261 , an action planning unit 262 and an operation control unit 263 .
  • the management unit 260 has a configuration corresponding to the management unit 132a-1 described with reference to FIGS. to the sensor resource management unit 233 .
  • the management unit 260 checks whether any of the external recognition sensor 225, the in-vehicle sensor 226, and the vehicle sensor 227 has a failure in the sensor used when the function realized by the driving support/automatic driving control unit 229 functions as a subsystem. To detect.
  • the management unit 260 When the management unit 260 detects a failure of the sensor to be used, it requests the sensor resource management unit 233 to transfer alternative sensing results from other subsystems.
  • the driving support/automatic driving control unit 229 and the vehicle control unit 232 are configured to correspond to the processing units 132-1 and 132-2, respectively.
  • the subsystems in which the driving support/automatic driving control unit 229 and the vehicle control unit 232 function as the processing units 132-1 and 132-2, respectively, are the subsystems 121-1 and 121- 2.
  • the external recognition sensor 225 and the vehicle sensor 227 correspond to the sensor 131-1.
  • the in-vehicle sensor 226 corresponds to the sensor 131-2.
  • the driving support/automatic driving control unit 229 corresponds to the sensor 131-1, the external recognition sensor 225 and Based on the sensing result of the vehicle sensor 227, driving support and automatic driving shall be controlled.
  • the vehicle control unit 232 controls the vehicle 201 based on the sensing result of the in-vehicle sensor 226 corresponding to the sensor 131-2. do.
  • the management unit 260 is configured to detect failures of the external recognition sensor 225 and the vehicle sensor 227 corresponding to the sensor 131-1 when causing the driving support/automatic driving control unit 229 to function. Detect presence/absence.
  • the management unit 260 When the management unit 260 detects a failure of the external recognition sensor 225 and the vehicle sensor 227, the management unit 260 sends the sensor resource management unit 233 to another subsystem (here, the subsystem 121 realized by the vehicle control unit 232). -2) to transfer alternative sensing results.
  • the sensor resource management unit 233 to another subsystem (here, the subsystem 121 realized by the vehicle control unit 232). -2) to transfer alternative sensing results.
  • the management unit 260 responds to a request to the sensor resource management unit 233 by a management unit (here Then, an alternative sensing result supplied from the management unit 280 corresponding to the management unit 132a-2 is acquired, and the driving support/automatic driving control unit 229 is made to function as the processing unit 132-1.
  • the management unit 260 configures another subsystem (here, the subsystem 121-2 realized by the vehicle control unit 232).
  • the management unit 280 corresponding to the unit 132a-2 transfers the sensing result obtained by itself.
  • the analysis unit 261 performs analysis processing of the vehicle 201 and its surroundings.
  • the analysis unit 261 includes a self-position estimation unit 271 , a sensor fusion unit 272 and a recognition unit 273 .
  • the self-position estimation unit 271 estimates the self-position of the vehicle 201 based on the sensor data from the external recognition sensor 225 and the high-precision map accumulated in the map information accumulation unit 223. For example, the self-position estimation unit 271 generates a local map based on sensor data from the external recognition sensor 225, and estimates the self-position of the vehicle 201 by matching the local map and the high-precision map.
  • the position of the vehicle 201 is based on, for example, the center of the rear wheels versus the axle.
  • a local map is, for example, a three-dimensional high-precision map created using techniques such as SLAM (Simultaneous Localization and Mapping), an occupancy grid map, or the like.
  • the three-dimensional high-precision map is, for example, the point cloud map described above.
  • the occupancy grid map is a map that divides the three-dimensional or two-dimensional space around the vehicle 201 into grids (lattice) of a predetermined size and shows the occupancy state of objects in grid units.
  • the occupancy state of an object is indicated, for example, by the presence or absence of the object and the existence probability.
  • the local map is also used, for example, by the recognizing unit 273 for detecting and recognizing the situation outside the vehicle 201 .
  • the self-position estimation unit 271 may estimate the self-position of the vehicle 201 based on the position information acquired by the position information acquisition unit 224 and the sensor data from the vehicle sensor 227.
  • the sensor fusion unit 272 combines a plurality of different types of sensor data (for example, image data supplied from the camera 251 and sensor data supplied from the radar 252) to perform sensor fusion processing to obtain new information.
  • Methods for combining different types of sensor data include integration, fusion, federation, and the like.
  • the recognition unit 273 executes detection processing for detecting the situation outside the vehicle 201 and recognition processing for recognizing the situation outside the vehicle 201 .
  • the recognition unit 273 performs detection processing and recognition processing of the situation outside the vehicle 201 based on information from the external recognition sensor 225, information from the self-position estimation unit 271, information from the sensor fusion unit 272, and the like. .
  • the recognition unit 273 performs detection processing and recognition processing of objects around the vehicle 201 .
  • Object detection processing is, for example, processing for detecting the presence or absence, size, shape, position, movement, and the like of an object.
  • Object recognition processing is, for example, processing for recognizing an attribute such as the type of an object or identifying a specific object.
  • detection processing and recognition processing are not always clearly separated, and may overlap.
  • the recognition unit 273 detects objects around the vehicle 201 by clustering the point cloud based on sensor data from the radar 252 or the LiDAR 253 or the like for each point group cluster. As a result, presence/absence, size, shape, and position of objects around the vehicle 201 are detected.
  • the recognition unit 273 detects the movement of objects around the vehicle 201 by performing tracking that follows the movement of the cluster of points classified by clustering. As a result, the speed and traveling direction (movement vector) of objects around the vehicle 201 are detected.
  • the recognition unit 273 detects or recognizes vehicles, people, bicycles, obstacles, structures, roads, traffic lights, traffic signs, road markings, etc. based on image data supplied from the camera 251 .
  • the recognition unit 273 may also recognize types of objects around the vehicle 201 by performing recognition processing such as semantic segmentation.
  • the recognition unit 273 can recognize the position and state of traffic lights, the content of traffic signs and road markings, the content of traffic restrictions, and the lanes in which the vehicle can travel.
  • the recognition unit 273 can perform recognition processing of the environment around the vehicle 201 .
  • the surrounding environment to be recognized by the recognition unit 273 includes the weather, temperature, humidity, brightness, road surface conditions, and the like.
  • the action plan unit 262 creates an action plan for the vehicle 201.
  • the action planning unit 262 creates an action plan by performing route planning and route following processing.
  • trajectory planning is the process of planning a rough path from the start to the goal. This route planning is referred to as trajectory planning, and in the planned route, trajectory generation (local path planning) that can proceed safely and smoothly in the vicinity of the vehicle 201 in consideration of the motion characteristics of the vehicle 201 is performed. It also includes the processing to be performed.
  • Route following is the process of planning actions to safely and accurately travel the route planned by route planning within the planned time.
  • the action planning unit 262 can, for example, calculate the target velocity and the target angular velocity of the vehicle 201 based on the result of this route following processing.
  • the motion control unit 263 controls the motion of the vehicle 201 in order to implement the action plan created by the action planning unit 262.
  • the operation control unit 263 controls the steering control unit 281, the brake control unit 282, and the drive control unit 283 included in the vehicle control unit 232, which will be described later, so that the vehicle 201 can control the trajectory calculated by the trajectory plan. Acceleration/deceleration control and direction control are performed so as to advance.
  • the operation control unit 263 performs cooperative control aimed at realizing ADAS functions such as collision avoidance or shock mitigation, follow-up driving, vehicle speed maintenance driving, collision warning of own vehicle, and lane deviation warning of own vehicle.
  • the operation control unit 263 performs cooperative control aimed at automatic driving in which the vehicle autonomously travels without depending on the operation of the driver.
  • the DMS 230 performs driver authentication processing, driver state recognition processing, etc., based on sensor data from the in-vehicle sensor 226 and input data input to the HMI 231, which will be described later.
  • As the state of the driver to be recognized for example, physical condition, wakefulness, concentration, fatigue, gaze direction, drunkenness, driving operation, posture, etc. are assumed.
  • the DMS 230 may perform authentication processing for passengers other than the driver and processing for recognizing the state of the passenger. Further, for example, the DMS 230 may perform a process of recognizing the situation inside the vehicle based on the sensor data from the sensor 226 inside the vehicle. Conditions inside the vehicle to be recognized include temperature, humidity, brightness, smell, and the like, for example.
  • the HMI 231 inputs various data, instructions, etc., and presents various data to the driver.
  • the HMI 231 includes an input device for human input of data.
  • the HMI 231 generates an input signal based on data, instructions, etc. input from an input device, and supplies the input signal to each section of the vehicle control system 211 .
  • the HMI 231 includes operators such as touch panels, buttons, switches, and levers as input devices.
  • the HMI 231 is not limited to this, and may further include an input device capable of inputting information by a method other than manual operation using voice, gestures, or the like.
  • the HMI 231 may use, as an input device, a remote control device using infrared rays or radio waves, or an external connection device such as a mobile device or wearable device corresponding to the operation of the vehicle control system 211 .
  • the presentation of data by the HMI 231 will be briefly explained.
  • the HMI 231 generates visual information, auditory information, and tactile information for the passenger or outside the vehicle.
  • the HMI 231 also performs output control for controlling the output of each generated information, the content of the output, the timing of output, the method of output, and the like.
  • the HMI 231 generates and outputs visual information such as an operation screen, a status display of the vehicle 201, a warning display, and information indicated by images and lights such as monitor images showing the surrounding conditions of the vehicle 201, for example.
  • the HMI 231 also generates and outputs information indicated by sounds such as voice guidance, warning sounds, and warning messages as auditory information.
  • the HMI 231 generates and outputs, as tactile information, information given to the passenger's tactile sense by force, vibration, movement, or the like.
  • a display device that presents visual information by displaying an image by itself or a projector device that presents visual information by projecting an image can be applied.
  • the display device displays visual information within the passenger's field of view, such as a head-up display, a transmissive display, and a wearable device with an AR (Augmented Reality) function. It may be a device.
  • the HMI 231 can also use a display device provided in the vehicle 201, such as a navigation device, an instrument panel, a CMS (Camera Monitoring System), an electronic mirror, a lamp, etc., as an output device for outputting visual information.
  • audio speakers, headphones, and earphones can be applied as output devices for the HMI 231 to output auditory information.
  • a haptic element using haptic technology can be applied as an output device for the HMI 231 to output tactile information.
  • a haptic element is provided at a portion of the vehicle 201 that is in contact with a passenger, such as a steering wheel or a seat.
  • the vehicle control unit 232 controls each unit of the vehicle 201 .
  • the vehicle control section 232 includes a management section 280 , a steering control section 281 , a brake control section 282 , a drive control section 283 , a body system control section 284 , a light control section 285 and a horn control section 286 .
  • the management unit 280 has a configuration corresponding to the management unit 132a-2 described with reference to FIGS. It supplies the sensor resource management unit 233 with the sensor resource information of the sensors used in the subsystem.
  • the management unit 280 detects whether or not a sensor among the external recognition sensor 225, the vehicle interior sensor 226, and the vehicle sensor 227 that is used when the function realized by the vehicle control unit 232 functions as a subsystem has a failure.
  • the management unit 280 detects a failure of the sensor to be used, it requests the sensor resource management unit 233 to transfer alternative sensing results from other subsystems.
  • the management unit 280 detects the presence or absence of failure of the in-vehicle sensor 226 corresponding to the sensor 131-2 when the vehicle control unit 232 functions.
  • the management unit 280 detects a failure of the in-vehicle sensor 226, the sensor resource management unit 233 receives another subsystem (here, the subsystem 121 realized by the driving support/automatic driving control unit 229- 1) requests to transfer alternative sensing results.
  • the sensor resource management unit 233 receives another subsystem (here, the subsystem 121 realized by the driving support/automatic driving control unit 229- 1) requests to transfer alternative sensing results.
  • Management unit 280 in response to a request to sensor resource management unit 233, a management unit (here , and the management unit 260 corresponding to the management unit 132a-1) to obtain an alternative sensing result, and cause the vehicle control unit 232 to function as the processing unit 132-2.
  • a management unit here , and the management unit 260 corresponding to the management unit 132a-1
  • Management unit 280 in response to a transfer instruction from sensor resource management unit 233, a management unit ( Here, the sensing result obtained by itself is transferred to the management unit 260 corresponding to the management unit 132a-1.
  • the steering control unit 281 detects and controls the state of the steering system of the vehicle 201 .
  • the steering system includes, for example, a steering mechanism including a steering wheel, an electric power steering, and the like.
  • the steering control unit 281 includes, for example, a steering ECU that controls the steering system, an actuator that drives the steering system, and the like.
  • the brake control unit 282 detects and controls the state of the brake system of the vehicle 201 .
  • the brake system includes, for example, a brake mechanism including a brake pedal, an ABS (Antilock Brake System), a regenerative brake mechanism, and the like.
  • the brake control unit 282 includes, for example, a brake ECU that controls the brake system, an actuator that drives the brake system, and the like.
  • the drive control unit 283 detects and controls the state of the drive system of the vehicle 201 .
  • the drive system includes, for example, an accelerator pedal, a driving force generator for generating driving force such as an internal combustion engine or a driving motor, and a driving force transmission mechanism for transmitting the driving force to the wheels.
  • the drive control unit 283 includes, for example, a drive ECU that controls the drive system, an actuator that drives the drive system, and the like.
  • the body system control unit 284 detects and controls the state of the body system of the vehicle 201 .
  • the body system includes, for example, a keyless entry system, smart key system, power window device, power seat, air conditioner, air bag, seat belt, shift lever, and the like.
  • the body system control unit 284 includes, for example, a body system ECU that controls the body system, an actuator that drives the body system, and the like.
  • the light control unit 285 detects and controls the states of various lights of the vehicle 201 .
  • Lights to be controlled include, for example, headlights, backlights, fog lights, turn signals, brake lights, projections, bumper displays, and the like.
  • the light control unit 285 includes a light ECU that controls lights, an actuator that drives lights, and the like.
  • the horn control unit 286 detects and controls the state of the car horn of the vehicle 201 .
  • the horn control unit 286 includes, for example, a horn ECU that controls the car horn, an actuator that drives the car horn, and the like.
  • the sensor resource management unit 233 has a configuration corresponding to the sensor resource management unit 122 in FIGS. Information is acquired, and a sensor resource management table 291 is generated and stored in the storage unit 228 .
  • the sensor resource management unit 233 reads out the sensor resource management table 291, and substitutes information indicating sensor pairs (hereinafter also referred to as sensor pairs) capable of obtaining alternate sensing results between different subsystems.
  • a possible map 292 is generated and stored in the storage unit 228 for each sensor pair.
  • the substitutable maps 292-1 to 292-x in the storage unit 228 indicate that the substitutable map 292 is generated for every x number of sensor pairs.
  • the sensor resource management unit 233 requests that the management units 260 and 280 that make up the subsystems transfer alternative sensing results from other subsystems because a failure has occurred in the sensor that supplies the sensing results that the sensor resource management unit 233 uses.
  • the replaceability maps 292-1 to 292-x are searched, and the replaceability map 292 of the sensing result of the failed sensor and the sensor pair capable of obtaining the replaceable sensing result is retrieved.
  • the sensor resource management unit 233 acquires a sensing result that can be substituted for the sensing result used by the subsystem that has notified that the sensor has failed, based on the information in the searched substitute map 292. A transfer request is sent to other subsystems to transfer the acquired sensing results to the subsystem in which the failure has occurred, so that alternative sensing results are transferred.
  • FIG. 7 is a diagram showing an example of sensing areas by the camera 251, the radar 252, the LiDAR 253, the ultrasonic sensor 254, etc. of the external recognition sensor 225 in FIG. 7 schematically shows the vehicle 201 viewed from above, the left end side is the front end (front) side of the vehicle 201, and the right end side is the rear end (rear) side of the vehicle 201.
  • a sensing area 301F and a sensing area 301B are examples of sensing areas of the ultrasonic sensor 254.
  • the sensing area 301 ⁇ /b>F covers the periphery of the front end of the vehicle 201 with a plurality of ultrasonic sensors 254 .
  • the sensing area 301B covers the periphery of the rear end of the vehicle 201 with a plurality of ultrasonic sensors 254 .
  • the sensing results in the sensing area 301F and the sensing area 301B are used, for example, for parking assistance of the vehicle 201, and the like.
  • Sensing areas 302F to 302B show examples of sensing areas of the radar 252 for short or medium range.
  • the sensing area 302F covers the front of the vehicle 201 to a position farther than the sensing area 301F.
  • Sensing area 302B covers the rear of vehicle 201 to a position farther than sensing area 301B.
  • the sensing area 302L covers the rear periphery of the left side surface of the vehicle 201 .
  • the sensing area 302R covers the rear periphery of the right side surface of the vehicle 201 .
  • the sensing result in the sensing area 302F is used, for example, to detect vehicles, pedestrians, and the like existing in front of the vehicle 201.
  • the sensing result in the sensing area 302B is used, for example, for the rear collision prevention function of the vehicle 201 or the like.
  • the sensing results in the sensing area 302L and the sensing area 302R are used, for example, to detect an object in the side blind spot of the vehicle 201, or the like.
  • Sensing areas 303F to 303B show examples of sensing areas by the camera 251.
  • the sensing area 303F covers the front of the vehicle 201 to a position farther than the sensing area 302F.
  • Sensing area 303B covers the rear of vehicle 201 to a position farther than sensing area 302B.
  • Sensing area 303L covers the periphery of the left side of vehicle 201 .
  • the sensing area 303R covers the periphery of the right side surface of the vehicle 201 .
  • the sensing results in the sensing area 303F can be used, for example, for recognition of traffic lights and traffic signs, lane departure prevention support systems, and automatic headlight control systems.
  • Sensing results in the sensing area 303B can be used, for example, for parking assistance and surround view systems.
  • Sensing results in the sensing area 303L and the sensing area 303R can be used, for example, in a surround view system.
  • a sensing area 304 shows an example of the sensing area of the LiDAR 253.
  • the sensing area 304 covers the front of the vehicle 201 to a position farther than the sensing area 303F.
  • the sensing area 304 has a narrower lateral range than the sensing area 303F.
  • the sensing results in the sensing area 304 are used, for example, to detect objects such as surrounding vehicles.
  • a sensing area 305 shows an example of a sensing area of the long-range radar 252 .
  • Sensing area 305 covers the front of vehicle 201 to a position farther than sensing area 304 .
  • the sensing area 305 has a narrower range in the horizontal direction than the sensing area 304 .
  • the sensing results in the sensing area 305 are used, for example, for ACC (Adaptive Cruise Control), emergency braking, and collision avoidance.
  • ACC Adaptive Cruise Control
  • emergency braking emergency braking
  • collision avoidance collision avoidance
  • the sensing regions of the camera 251, the radar 252, the LiDAR 253, and the ultrasonic sensor 254 included in the external recognition sensor 225 may have various configurations other than those shown in FIG. Specifically, the ultrasonic sensor 254 may sense the sides of the vehicle 201 , and the LiDAR 253 may sense the rear of the vehicle 201 . Moreover, the installation position of each sensor is not limited to each example mentioned above. Also, the number of each sensor may be one or plural.
  • the LiDAR 253 of the external recognition sensor 225 and the vehicle sensor 227 correspond to the sensor 131-1 in FIG. 1, and the driving support/automatic driving control subsystem 331 (FIG. 9) having them has a configuration corresponding to the subsystem 121-1 in FIG.
  • the driving support/automatic driving control subsystem 331 corresponds to the subsystem 121-1, and includes the LiDAR 253 of the external recognition sensor 225 and the vehicle sensor 227 as a configuration corresponding to the sensor 131-1, A driving support/automatic driving control unit 229 is provided as a configuration corresponding to the processing unit 132-1.
  • the camera 251 of the external recognition sensor 225 corresponds to the sensor 131-2 in FIG. 4, the vehicle control unit 232 corresponds to the processing unit 132-2 in FIG. 9) is the configuration corresponding to the subsystem 121-2 in FIG.
  • the camera 251 of the external recognition sensor 225 corresponding to the sensor 131-2 is a depth camera capable of measuring depth information.
  • the vehicle control subsystem 332 corresponds to the subsystem 121-2
  • the camera 251 of the external recognition sensor 225 is provided as a configuration corresponding to the sensor 131-2
  • the vehicle control unit 232 It shall be provided as a configuration corresponding to -2.
  • the sensor resource management unit 233 uses sensors supplied from the management units 260 and 280 of the driving support/automatic driving control subsystem 331 and the vehicle control subsystem 332 corresponding to the subsystems 121-1 and 121-2 in FIG. It acquires resource information and generates a sensor resource management table 291 as shown in FIG.
  • the sensor resource information includes the sensor type, data type, installation position (sensing area), measurement characteristics, substitutable conditions, etc., and the corresponding information is registered in the sensor resource management table 291.
  • the sensor type is specific type information that constitutes the sensor 131 in FIG. 4, and in FIG. Vehicle sensors 227 (IMU) are registered.
  • the camera 251 (Depth Camera) of the external recognition sensor 225 is registered as the type of sensor provided in the vehicle control subsystem 332 .
  • the data type is information indicating the data format of the sensing result detected by the configuration corresponding to the sensor 133 in FIG.
  • the data type of the LiDAR 253 of the external recognition sensor 225 is Point Cloud
  • the data type of the vehicle sensor 227 (IMU) is Analog
  • the data type of the camera 251 (Depth Camera) of the external recognition sensor 225 is is shown to be a Point Cloud.
  • the installation position is information indicating the position where the configuration corresponding to the sensor 131 is installed and the sensing area.
  • the LiDAR 253 of the external recognition sensor 225 is indicated as Front Body (Front), is installed in the front part (Front Body) of the main body of the vehicle 201, and has a sensing area in front of the vehicle 201 (Front). It has been shown that
  • the vehicle sensor 227 is denoted as Front Body (Body Center), is installed in the front part (Front Body) of the main body of the vehicle 201, and has a sensing area at the main body center position (Body Center). It is shown that there is
  • the camera 251 (Depth Camera) of the external recognition sensor 225 is described as Front Body, Rear Body, LR side Body (Front, Rear, LR side), and the front body (Front Body) and rear ( It is installed on the left and right sides (LR side Body), and the sensing areas are front, rear, left and right sides (Front, Rear, LR side).
  • the measurement accuracy is information indicating the characteristics of the sensing result measured by the configuration corresponding to the sensor 131.
  • the measurement period is period T1
  • the accuracy is accuracy A1
  • the number of measurement points is P1.
  • the measurement cycle is cycle T2 and the accuracy is accuracy A2.
  • the measurement cycle is cycle T3
  • the accuracy is accuracy A3
  • the number of measurement points is P3.
  • Substitutable conditions indicate conditions for identifying sensors that can be used as substitutes for sensing results.
  • the combination conditions of sensor characteristics such as sensor type, data type, installation position, and measurement characteristics described above are AND (logical AND). It is represented by what is combined with /or (logical sum).
  • the LiDAR 253 of the external recognition sensor 225 is described as "DataType: Point Cloud and Location: Front Body and Period > ⁇ and Accuracy > ⁇ and Number of measurement points > ⁇ ", and the data type is Point Cloud.
  • the installation location is the front portion of the main body of the vehicle 201, the period is greater than ⁇ , the accuracy is greater than ⁇ , and the number of measurement points is greater than ⁇ .
  • vehicle sensor 227 is described as "SensorType: IMU and DataType: Analog", indicating that the sensor type is IMU and the data type is analog.
  • the sensor resource management unit 233 assigns the sensing results to the substitutable sensor 131 in FIG. 4 for each configuration corresponding to the sensor 131 in FIG.
  • Corresponding sensors are searched, the searched sensors are regarded as substitutable sensor pairs, and the sensor pair information is expressed as a substitutable map 292 .
  • the sensor pair refers to a sensor that has a malfunction such as a malfunction (malfunction sensor) and a normally operating sensor that detects a sensing result that can be substituted for the sensing result of the malfunctioning sensor (normal sensor). ) means a pair with a malfunction such as a malfunction (malfunction sensor) and a normally operating sensor that detects a sensing result that can be substituted for the sensing result of the malfunctioning sensor (normal sensor). ) means a pair with
  • one of the sensors registered in the sensor resource management table 291 is set as the target sensor, and based on the data type, installation position (sensing area), and measurement characteristic information, Substitutable sensors other than the target sensor that can form a sensor pair are retrieved based on whether they are the same, similar, or inclusive.
  • the LiDAR 253 of the external recognition sensor 225 is the sensor of interest, based on the data type, installation position (sensing area), and measurement characteristics described in the replaceable conditions of the sensor of interest, the data type of the other sensor, By comparing the installation position (sensing area) and the measurement characteristics, a search is made for a sensor that detects an alternative sensing result.
  • LiDAR 253 of the external recognition sensor 225 can be replaced by the condition that the data type is Point Cloud, the sensing area is front (Front), and the cycle, accuracy, and number of measurement points are above a certain level, but the camera 251 of the external recognition sensor 225 For (Depth Camera), the data type is Point Cloud, the sensing area includes the front (Front), and the measurement characteristics also satisfy the standards.
  • the LiDAR 253 of the external recognition sensor 225 and the camera 251 can be considered sensors that can form a sensor pair that detects alternative sensing results.
  • the sensor resource management unit 233 treats the camera 251 (Depth Camera) of the external recognition sensor 225 that detects an alternative sensing result as a sensor that can be a sensor pair of the LiDAR 253 of the external recognition sensor 225, which is a sensor of interest. I reckon.
  • the sensor resource management unit 233 provides information indicating that the camera 251 (Depth Camera) of the external recognition sensor 225 is an alternative sensor pair when the LiDAR 253 of the external recognition sensor 225 fails.
  • the substitutability map 292 is graph type data representing information of the subsystem 121 having each sensor 131 together with the sensors 131 in FIG.
  • the substitutable map 292 of FIG. 9 corresponds to the subsystem 121 of FIG. Configurations of a driving support/automatic driving control subsystem 331 and a vehicle control subsystem 332 are shown.
  • the driving support/automatic driving control subsystem 331 equipped with the LiDAR 253 of the external recognition sensor 225, which is the sensor of interest, and the camera of the external recognition sensor 225, which is the sensor pair of the sensor of interest
  • Each configuration of the vehicle control subsystem 332 with 251 (Depth Camera) is labeled.
  • the driving support/automatic driving control unit 229 corresponding to the processing unit 132 in FIG. 225 LiDAR 253 and vehicle sensor 227 (IMU).
  • the vehicle control unit 232 corresponding to the processing unit 132 in FIG. It is expressed that it is acquired from
  • a dotted arrow is shown with the camera 251 (Depth Camera) of the external recognition sensor 225 as the starting point and the LiDAR 253 of the external recognition sensor 225 as the end point, and a sensor pair that can be replaced when the LiDAR 253 of the external recognition sensor 225 fails. , is the camera 251 (Depth Camera) of the external recognition sensor 225 .
  • the dotted arrow indicates that when the LiDAR 253 of the external recognition sensor 225 fails, the source of the sensing result that can be replaced with respect to the sensing result of the LiDAR 253 of the external recognition sensor 225 is the external recognition sensor 225. is the camera 251 (Depth Camera), and the destination is the driving support/automatic driving control unit 229 that uses the sensing result of the LiDAR 253 of the external recognition sensor 225 when it is not broken.
  • the sensor resource management unit 233 creates an interchangeability map 292 as shown in FIG. search for.
  • the sensor resource management unit 233 sends the sensing result of the camera 251 (Depth Camera) of the external recognition sensor 225 to the management unit 280 of the vehicle control unit 232 based on the information of the substitutable map 292 of FIG.
  • a transfer instruction is supplied to the management unit 260 of the driving support/automatic driving control unit 229 as a sensing result that can be replaced by the LiDAR 253 of the malfunctioning external recognition sensor 225 .
  • the management unit 280 of the vehicle control unit 232 transfers the sensing result of the camera 251 (Depth Camera) of the external recognition sensor 225 to the management unit 260 of the driving support/automatic driving control unit 229.
  • the management unit 260 of the driving support/automatic driving control unit 229 transfers the sensing result of the camera 251 (Depth Camera) of the external recognition sensor 225 transferred from the management unit 280 of the vehicle control unit 232 to the failed external recognition sensor 225. It performs its own processing by substituting the sensing result of LiDAR 253 instead.
  • the driving support/automatic driving control unit 229 constituting the driving support/automatic driving control subsystem 331 can continue processing. Become.
  • substitutable conditions are only examples, and other substitutable conditions may be set, and various variations of substitutable conditions are conceivable.
  • substitutable map 292 configured when the LiDAR 253 of the external recognition sensor 225 is the sensor of interest has been described. , it may be considered impossible to form the substitutability map 292 in which the directions of the dotted arrows in FIG. 9 are reversed.
  • the sensing area of the camera 251 (Depth Camera) is the front, rear, left and right sides ( Front, Rear, LR side), but the sensing area of the LiDAR 253 of the external recognition sensor 225 is only the front of the vehicle 201 (Front).
  • the sensing results of the LiDAR 253 of the external recognition sensor 225 alone cannot cover the entire sensing area.
  • the sensing area in the sensing result of the LiDAR 253 of the external recognition sensor 225 is part of the sensing result of the camera 251 (Depth Camera) of the external recognition sensor 225 and does not cover the entire range.
  • the sensing result of the camera 251 (Depth Camera) of the external recognition sensor 225 covers the entire sensing area of the sensing result of the LiDAR 253 of the external recognition sensor 225 in the sensing area.
  • the sensor resource management unit 233 compares the LiDAR 253 of the external recognition sensor 225 with the camera 251 (Depth Camera) of the external recognition sensor 225 as a target sensor in terms of data type, installation position (sensing area), and measurement characteristics.
  • the camera 251 Depth Camera
  • sensing results between sensors depends on whether the data type, installation position, measurement characteristics, etc. are the same or similar. For example, it may be set to change whether or not it is substitutable.
  • the vehicle control unit 232 may execute processing using only the sensing result of only the front of the vehicle 201 obtained from the LiDAR 253 of the external recognition sensor 225 .
  • the LiDAR 253 of the external recognition sensor 225 is regarded as a sensor pair of the camera 251 (Depth Camera) of the external recognition sensor 225.
  • a substitutability map 292 may be generated in which .
  • the measurement characteristics of the camera 251 (Depth Camera) of the external recognition sensor 225 are the same or similar within a predetermined range. It is assumed that
  • the camera 251 (Depth Camera) can be considered a sensor pair, but it can also be considered that the camera 251 (Depth Camera) cannot be considered a sensor pair when either has low accuracy.
  • the driving support / automatic driving control subsystem This is because the processing accuracy in H.331 may decrease.
  • the sensing result of the camera 251 (Depth Camera) of the external recognition sensor 225 can be used instead. Therefore, there may be cases where it is better to perform processing even if the accuracy is low.
  • the camera 251 (Depth Camera) of the external recognition sensor 225 is regarded as a sensor pair of the LiDAR 253 of the external recognition sensor 225, for example, the start point and end point of the arrow indicated by the dotted line in FIG.
  • a substitutability map 292 may be generated. In this way, various variations are conceivable for the substitutable condition.
  • the configuration example of the substitutability map 292 in FIG. 9 is a configuration example of graph type data. may be represented by data other than graph type data, as long as it is possible to show
  • the startup process which is the startup process in which the sensor resource management table 291 and the interchangeability map 292 are generated.
  • the sensor resource management table 291 and the substitutability map 292 are generated at startup will be described, but they may be generated at other timings.
  • the process of generating the sensor resource management table 291 and the interchangeability map 292 is performed for a predetermined period of time. It may be repeated at intervals.
  • step S31 the sensor resource management unit 233 determines whether or not the vehicle 201 has started, and repeats the same processing until it is determined that it has started. Then, when it is determined in step S31 that it has started, the process proceeds to step S32.
  • the sensor resource management unit 233 inquires sensor resource information to the management units of all subsystems.
  • the sensor resource management unit 233 includes the driving support/automatic driving control subsystem 331 and the vehicle control subsystem 332.
  • step S51 the management units 260 and 280 of the driving support/automatic driving control subsystem 331 and the vehicle control subsystem 332 determine whether or not there is an inquiry about sensor resource information from the sensor resource management unit 233. Repeat the same process until
  • step S51 for example, if there is an inquiry about sensor resource information through the process of step S32, the process proceeds to step S52.
  • step S52 the management units 260 and 280 read the pre-stored resource information of the sensors that constitute the driving support/automatic driving control subsystem 331 and the vehicle control subsystem 332, respectively.
  • the management unit 260 uses the LiDAR 253 of the external recognition sensor 225 and the sensor resource information of the vehicle sensor 227 (IMU) that constitutes the pre-stored driving support/automatic driving control subsystem 331. Read out certain data types, installation locations (sensing areas), and measurement characteristics.
  • IMU vehicle sensor 227
  • the management unit 280 stores the data type, installation position ( sensing area), and read out the measurement characteristics.
  • step S ⁇ b>53 the management units 260 and 280 each transmit the read sensor resource information to the sensor resource management unit 233 .
  • the sensor resource management unit 233 acquires sensor resource information from all subsystems. That is, in FIG. 6, the sensor resource management unit 233 includes the driving support/automatic driving control subsystem 331 and the management unit 260 of the driving support/automatic driving control unit 229 that constitutes the vehicle control subsystem 332, and the vehicle The sensor resource information supplied from the management unit 280 of the control unit 232 is acquired.
  • step S34 the sensor resource management unit 233 generates the sensor resource management table 291 described with reference to FIG. 8 based on the acquired sensor resource information and registers it in the storage unit 228.
  • step S35 the sensor resource management unit 233 reads out the registered sensor resource management table 291 from the storage unit 228, and as described above, for each sensor pair capable of acquiring alternative sensing results, for example, the table shown in FIG.
  • the substitutable map 292 is generated and registered in the storage unit 228 .
  • the sensor resource information of the sensors constituting all the subsystems is acquired each time the vehicle 201 is started, and the sensor resource management table 291 is generated. Furthermore, based on the information in the sensor resource management table 291, a substitutability map 292 is generated for each sensor pair that is a pair of substitutable sensors.
  • step S71 the management unit 260 of the driving support/automatic driving control unit 229 in the driving support/automatic driving control subsystem 331 detects the sensing results used by itself for processing, the LiDAR 253 of the external recognition sensor 225, and It is determined whether or not it is detected that the vehicle sensor 227 (IMU) is malfunctioning.
  • the vehicle sensor 227 IMU
  • step S71 for example, if it is detected that the LiDAR 253 of the external recognition sensor 225 has failed, the process proceeds to step S72.
  • step S72 the management unit 260 notifies the sensor resource management unit 233 that the LiDAR 253 of the external recognition sensor 225 has failed, and transfers alternative sensing results from other subsystems. Submit your request.
  • step S91 the sensor resource management unit 233 determines whether or not there is a request from any subsystem to transfer alternative sensing results from another subsystem.
  • step S91 for example, by the processing in step S72, the driving support/automatic driving control subsystem 331 detects a failure of the LiDAR 253 of the external recognition sensor 225, and there is a transfer request for an alternative sensing result from another subsystem. If so, the process proceeds to step S92.
  • step S92 the sensor resource management unit 233 accesses the storage unit 228, and retrieves sensor pair information of the failed sensor from the replaceability maps 292-1 to 292-x (replacement information for the sensing result of the failed sensor).
  • the substitutability map 292 including the information of the sensor detecting the sensing result) is searched.
  • step S93 the sensor resource management unit 233 determines whether or not the replaceability map 292 consisting of the sensor pair of the failed sensor has been retrieved.
  • step S93 for example, when the substitutable map 292 of FIG. 9 including information of the camera 251 (Depth Camera) of the external recognition sensor 225 that forms a sensor pair with the LiDAR 253 of the external recognition sensor 225 is retrieved, the failed sensor , the process proceeds to step S94.
  • step S94 the sensor resource management unit 233 sends information indicating that there is an alternative sensor resource and from which subsystem the alternative sensing result is to be transferred.
  • the existing subsystem is notified, and the process proceeds to step S96.
  • the driving support/automatic driving control subsystem 331 requests the transfer of sensing results that can be substituted for the sensing results of the LiDAR 253 of the external recognition sensor 225, so the sensor resource management unit 233 replaces the Based on the possible map 292, the sensing result of the camera 251 (Depth Camera) of the external recognition sensor 225 can be substituted by the vehicle control subsystem 322 for the management unit 260 of the driving support/automatic driving control subsystem 331. Notify that it will be transferred as
  • step S96 the sensor resource management unit 233, based on the information of the searched replaceability map 292, determines whether the other subsystems with replaceable sensor resources, the subsystem with the failed sensor, to assign the corresponding sensing result to be transferred and request the transfer.
  • the replaceable sensor resource is the camera 251 (Depth Camera) of the external recognition sensor 225 of the vehicle control subsystem 332 based on the information of the replaceable map 292 of FIG. Therefore, the sensor resource management unit 233 sends the sensing result of the camera 251 (Depth Camera) of the external recognition sensor 225 to the management unit 280 of the vehicle control unit 232 in the vehicle control subsystem 332.
  • the LiDAR 253 is requested to transfer to the management unit 260 of the driving support/automatic driving control unit 229 in the driving support/automatic driving control subsystem 331 .
  • step S93 if the replaceability map 292 consisting of the sensor pair of the failed sensor cannot be retrieved, the process proceeds to step S95.
  • step S95 the sensor resource management unit 233 sends information indicating that there is no substitute sensor resource, and the driving support/automatic driving control subsystem, which is a subsystem that has transmitted a request to transfer the substitute sensing result. 331, and the process proceeds to step S97.
  • step S73 the management unit 260 of the driving support/automatic driving control subsystem 331 acquires the notification from the sensor resource management unit 233, and determines whether or not the notification indicates that an alternative sensor resource exists. .
  • step S73 for example, by the processing in step S94, information indicating that there is an alternative sensor resource and from which subsystem the sensing result is transferred is acquired, and the sensing data transferred from another subsystem is acquired. Get the result and execute the processing.
  • step S73 for example, if it is determined that a notification indicating that there is no substitute sensor resource has been sent by the process of step S95, the process proceeds to step S75.
  • step S75 the management unit 260 stops the processing of the driving support/automatic driving control unit 229, and if necessary, displays on the HMI 230 or the like that an abnormality has occurred in the sensor and processing has become impossible.
  • step S71 determines whether sensor failure has been detected. If it is determined in step S71 that no sensor failure has been detected, the processes of steps S72 to S75 are skipped, and the process proceeds to step S76.
  • step S76 it is determined whether or not a transfer request has been sent to transfer the sensing results to another subsystem.
  • the management unit 280 of the vehicle control unit 232 in the vehicle control subsystem 332, which is another subsystem is requested by the sensor resource management unit 233 to transfer the sensing results of its own sensors. determine whether
  • step S76 for example, by the processing in step S96, the sensing result of the camera 251 (Depth Camera) of the external recognition sensor 225 is detected in the driving support / automatic driving control subsystem 331 in which the LiDAR 253 of the external recognition sensor 225 If there is a request to transfer to the management unit 260 of the driving support/automatic driving control unit 229, the process proceeds to step S77.
  • the sensing result of the camera 251 (Depth Camera) of the external recognition sensor 225 is detected in the driving support / automatic driving control subsystem 331 in which the LiDAR 253 of the external recognition sensor 225 If there is a request to transfer to the management unit 260 of the driving support/automatic driving control unit 229, the process proceeds to step S77.
  • step S77 the management unit 280 detects the sensing result of the camera 251 (Depth Camera) of the external recognition sensor 225 as the driving support/automatic driving control subsystem 331 in which the LiDAR 253 of the external recognition sensor 225 is out of order. It transfers to the management part 260 of the automatic operation control part 229.
  • the camera 251 Depth Camera
  • step S76 determines that there is no request to transfer the sensing results of the sensors provided by itself to other subsystems. It should be noted that if it is determined in step S76 that there is no request to transfer the sensing results of the sensors provided by itself to other subsystems, the process of step S77 is skipped.
  • steps S78 and S97 it is determined whether or not an instruction to end the process has been given, and if it is determined that an instruction to end the process has not been given, the process returns to steps S71 and S91, respectively. That is, when the end is not instructed, the processes of steps S71 to S78 and steps S91 to S97 are repeated.
  • steps S78 and S97 if it is determined that the end of the process has been instructed, the process ends.
  • the faulty sensor and sensor pair that can be replaced based on the replacement possibility map 292 generated by the above-described processing are formed.
  • a substitutable map 292 containing information of the sensors of the other subsystems is retrieved, and based on the retrieved substitutable map 292, the sensing results of the sensors of the other subsystems are transferred.
  • the vehicle control system 211 constructed from a plurality of subsystems such as the driving support/automatic driving control subsystem 331 and the vehicle control subsystem 332, even if the sensor of one of the subsystems fails, it can be replaced. In addition, since the sensing results of the sensors of other subsystems are transferred, the stability of the overall operation of the vehicle control system 211 can be improved, and highly safe and stable automated driving can be realized. becomes.
  • the vehicle control system 211 as a whole is composed of a plurality of subsystems, operation tests can be performed on a subsystem-by-subsystem basis, so that operation tests can be simplified. becomes possible.
  • a sensor pair which is a combination of sensors forming the interchangeability map 292
  • a sensor pair is established if there is a correlation between the mutual sensing results.
  • a possibility map 292 may be generated.
  • an alternative map generation block 341 as shown in FIG. 12 can be considered.
  • the substitutable map generation block 341 of FIG. 1 The substitutable map generation block 341 of FIG.
  • the sensor recording unit 351 reads the sensing results of various sensors provided in the vehicle control system 211 while the vehicle 201 is running, such as the external recognition sensor 225, the in-vehicle sensor 226, and the vehicle sensor 227, and stores them in the sensing result storage unit 352. be memorized.
  • the correlation analysis unit 353 uses, for example, similarity Calculate degrees.
  • the index indicating the correlation may be an index other than the degree of similarity as long as it is an index that can indicate the mutual correlation.
  • a correlation coefficient may be used.
  • the correlation analysis unit 353 selects a sensor whose sensing result is considered to have a high correlation as a sensor pair candidate.
  • the correlation analysis unit 353 outputs the information of the highly correlated sensor pair candidates to the output unit 231a of the HMI 231, for example, the display unit, and presents it to the passenger, the driver, or the automobile system administrator. It prompts the user to determine whether or not the candidate sensors are regarded as a sensor pair.
  • the sensor resource management unit 233 regards the sensors that have been made as sensor pair candidates as a sensor pair, reads the sensor resource information from the sensor resource management table 291 for the corresponding sensors, and creates a substitute map 292′. is generated and stored in the storage unit 228 .
  • the substitutable map based on the sensor pair set based on the correlation of the sensing results is referred to as the "substitutable map 292'" with "'” appended.
  • the substitutable map 292 ′ is generated separately from the substitutable map 292 , but is used in the same way as the substitutable map 292 when a failure (malfunction) occurs in the sensor. Also, the substitutable maps 292 and 292' may coexist, or only one of them may be used.
  • the sensors Even if the sensors cannot be regarded as a sensor pair that can obtain an alternative sensing result when one of the sensors fails from the sensor resource information, the sensors have a high correlation in terms of sensing results. are considered sensor pairs, it is possible to form more alternative maps 292'.
  • the vehicle control system 211 shown in FIG. 13 differs from the vehicle control system 211 shown in FIG. 292'-1 to 292'-y are stored.
  • the sensor recording unit 371 has a configuration corresponding to the sensor recording unit 351 in FIG. is stored in the sensing result storage unit 372 of the .
  • the sensing result storage unit 372 has a configuration corresponding to the sensing result storage unit 352 in FIG. 12, and stores various sensing results supplied from the sensor recording unit 371.
  • the correlation analysis unit 373 has a configuration corresponding to the correlation analysis unit 353 in FIG. are obtained, and the sensors whose sensing results have a correlation higher than a predetermined threshold value are taken as sensor pair candidates.
  • the correlation analysis unit 373 presents the information indicating the correlation based on the sensor pair candidates and the sensing results to the output unit 231a such as the display unit of the HMI 231, and determines whether or not to regard them as a sensor pair. Presents information to ask passengers or drivers.
  • the correlation analysis unit 373 detects the sensor pair candidates.
  • the information is supplied to the sensor resource management unit 233 as sensor pair information.
  • the sensor resource management unit 233 acquires the sensor information of the sensor pair supplied from the correlation analysis unit 373, the sensor resource management unit 233 accesses the sensor resource management table 291, generates the substitutability map 292' by the method described above, and creates the substitutability map. 292′-1 to 292′-y are stored in the storage unit 228. FIG.
  • the interchangeability maps 292'-1 to 292'-y shown in FIG. , y are stored.
  • the sensor resource management unit 233 selects at least one of the interchangeability maps 292 and 292' generated based on the failed sensor and sensor pair information. Instruct to retrieve and transfer alternative sensing results to the failed sensor.
  • sensing result storage processing by the vehicle control system 211 of FIG. 13 will be described with reference to the flowchart of FIG.
  • step S111 the sensor recording unit 371 determines whether or not the vehicle has started running, and repeats the same processing until the vehicle starts running. Then, when it is determined in step S111 that the vehicle has started running, the process proceeds to step S112.
  • step S112 the sensor recording unit 371 acquires sensing results of various sensors such as the external recognition sensor 225, the vehicle interior sensor 226, and the vehicle sensor 227.
  • step S113 the sensor recording unit 371 causes the sensing result storage unit 372 to store the acquired sensing results of the various sensors.
  • step S114 the sensor recording unit 371 determines whether or not the running has ended, and if not, the process returns to step S112.
  • steps S112 to S114 are repeated from the start to the end of running, and the sensor recording unit 371 detects various sensors such as the external recognition sensor 225, the vehicle interior sensor 226, and the vehicle sensor 227.
  • the sensing result is kept stored in the sensing result storage unit 372 .
  • step S114 if it is determined in step S114 that the vehicle has finished running, the process ends.
  • the sensing results of various sensors such as the external recognition sensor 225, the vehicle interior sensor 226, and the vehicle sensor 227 continue to be stored in the sensing result storage unit 372 while the vehicle is running.
  • step S131 the correlation analysis unit 373 determines whether or not the vehicle 201 has stopped running, and repeats the same processing until it is determined that it has stopped.
  • step S131 determines whether the vehicle 201 has stopped running. If it is determined in step S131 that the vehicle 201 has stopped running, the process proceeds to step S132.
  • step S132 the correlation analysis unit 373 selects one of various sensors such as the external recognition sensor 225, the vehicle interior sensor 226, and the vehicle sensor 227 provided in the vehicle control system 211, which has not been set as a target sensor. Set as the target sensor.
  • step S133 the correlation analysis unit 373 accesses the sensing result storage unit 372 stored in the storage unit 228 and reads out the sensing result of the sensor of interest.
  • step S134 the correlation analysis unit 373 selects various sensors, such as the external recognition sensor 225, the vehicle interior sensor 226, and the vehicle sensor 227, which are provided in the vehicle control system 211, except for the sensor of interest. Any sensor that has not been set as a comparison target sensor is set as a comparison target sensor.
  • step S135 the correlation analysis unit 373 accesses the sensing result storage unit 372 stored in the storage unit 228 and reads the sensing result of the comparison target sensor.
  • step S136 the correlation analysis unit 373 calculates an index indicating the correlation between the sensing results of the sensor of interest and the sensor to be compared.
  • the correlation analysis unit 373 calculates, for example, the degree of similarity between the sensing results of the sensor of interest and the comparison target sensor as an index of correlation.
  • step S137 the correlation analysis unit 373 determines whether the correlation (here, similarity) between the target sensor and the comparison target sensor is higher than a predetermined threshold based on the correlation index.
  • step S137 If it is determined in step S137 that the correlation between the sensor of interest and the sensor to be compared is higher than the predetermined threshold value, the process proceeds to step S138.
  • step S138 the correlation analysis unit 373 determines that the correlation between the sensor of interest and the sensor to be compared is higher than a predetermined threshold, the sensing result of the sensor of interest can be substituted with the sensing result of the sensor to be compared, and the sensor pair Along with the information indicating that it is a candidate, the HMI 231 is presented with information inquiring whether or not to generate an interchangeability map 292' regarding the sensor pair and register it.
  • step S139 the correlation analysis unit 373 generates the substitutability map 292′ and generates the substitutability map 292′ by operating the HMI 231 within a predetermined time after inquiring whether or not to register the substitutability map 292′. It is determined whether or not registration has been instructed.
  • step S139 If it is determined in step S139 that the HMI 231 has been operated to generate and register the substitutability map 292', the process proceeds to step S140.
  • step S140 the correlation analysis unit 373 supplies the sensor resource management unit 233 with information on the sensor of interest and the sensor to be compared, and requests that the substitutability map 292' be generated and registered.
  • the sensor resource management unit 233 accesses the sensor resource management table 291 of the storage unit 228, reads out the sensor resource information of the attention sensor and the comparison target sensor, and creates an alternative map of the attention sensor and the comparison target sensor. 292′ and registered in the storage unit 228.
  • step S137 if the correlation is lower than a predetermined threshold in step S137, or if it is determined in step S139 that an instruction to generate and register the substitutability map 292′ within a predetermined time has not been given, The process proceeds to step S141.
  • step S141 the correlation analysis unit 373 determines whether or not there is an unset sensor among the sensors excluding the target sensor, and if it is determined that there is an unset sensor, The process returns to step S134.
  • steps S134 to S141 is repeated until all sensors other than the target sensor are set as comparison target sensors.
  • step S141 if it is determined that there is no sensor that has not been set as a comparison target sensor, excluding the target sensor, that is, it is determined that all the sensors excluding the target sensor have been set as comparison target sensors. If so, the process proceeds to step S142.
  • step S142 the correlation analysis unit 373 sets all sensors to unset sensors as comparison target sensors.
  • step S143 the correlation analysis unit 373 determines whether or not there is a sensor that has not been set as the sensor of interest among all the sensors. back to
  • steps S132 to S143 is repeated until all sensors are set as sensors of interest and correlations between all sensors are confirmed.
  • step S143 if it is determined that all sensors have been set as sensors of interest and that correlations have been confirmed between all sensors, the process proceeds to step S144.
  • step S144 the correlation analysis unit 373 discards all sensing results stored in the sensing result storage unit 372, and the process ends.
  • the correlation between all the sensors stored in the sensing result storage unit 372 is confirmed, and when the correlation is higher than the predetermined threshold value, the target sensor and the comparison target sensor are set as sensor pair candidates, and the sensor pair Information for inquiring whether or not to generate and register the substitutable map 292' as a passenger or driver is presented.
  • the interchangeability map 292' is generated and registered. .
  • the sensors are not recognized as a sensor pair based on the sensor resource information registered in the sensor resource management table 291, the sensors having correlation in sensing results are regarded as a sensor pair, and the substitutability map 292' is generated. It is possible to register.
  • the sensing result storage unit 372 and the correlation analysis unit 373 are provided in the vehicle control system 211 . It may be realized by cloud computing.
  • the sensing results of various sensors are stored in the sensing result storage unit 372 while driving, the correlation between the sensors is obtained, and the sensors whose correlation is higher than a predetermined threshold can be substituted as a sensor pair.
  • An example of registering as map 292' has been described.
  • the sensing results of various sensors are stored in the sensing result storage unit 372, and the sensing results of the paired sensors in the registered substitute maps 292 and 292' are compared to determine the correlation. It may be determined whether or not an abnormality or failure (malfunction) has occurred in one of the sensors of the sensor pair based on whether or not it has become lower than the threshold value of .
  • the failure detection unit 391 in FIG. 16 reads the sensor pair based on the substitutability map 292 while driving, and reads the sensing results of each of the two sensors that make up the read sensor pair from the sensing result storage unit 352. Then, the failure detection unit 391 obtains the correlation between the read sensing results of the two sensors, and compares it with a predetermined threshold value.
  • a predetermined threshold value whether or not the correlation is lower than a predetermined threshold value, and whether or not the sensing results of the sensor pair, which should have been provided with a correlation value equal to or greater than the predetermined threshold value, has lost its correlation, the occurrence of a failure or anomaly can be determined. Determine presence/absence.
  • the correlation between the two sensing results of the sensor pair is lower than a predetermined threshold as indicated by waveforms W11 and W12 in FIG. If there is no correlation between the sensing results, the failure detection unit 391 determines that an abnormality or failure has occurred in one of the sensors of the sensor pair, and notifies the subsystem 401 of the failure.
  • the subsystem 401 referred to here is, for example, the driving support/automatic driving control subsystem 331 and the vehicle control subsystem 332 described above. , to stop processing.
  • the vehicle control system 211 of FIG. 17 differs from the vehicle control system 211 of FIG. 13 in that a failure detection unit 411 is newly provided.
  • the failure detection unit 411 has a configuration corresponding to the failure detection unit 391 in FIG. 16, reads out the sensor pair based on the interchangeability maps 292 and 292′ during running, and senses each of the two sensors that constitute the read sensor pair. The result is read out from the sensing result storage unit 372 .
  • the failure detection unit 411 obtains an index of the correlation between the sensing results of the two sensors that constitute the read sensor pair, and the correlation is lower than a predetermined threshold value and should be equal to or greater than the predetermined threshold value. Whether or not a failure or abnormality has occurred is determined based on whether or not there is no correlation between the sensing results of the supposed sensor pair.
  • the index of correlation is, for example, similarity or correlation coefficient.
  • the failure detection unit 411 determines that an abnormality or failure has occurred in one of the sensors of the sensor pair, and notifies the subsystem. More specifically, the failure detection unit 411 includes, for example, the driving support/automatic driving control subsystem 331 and the driving support/automatic driving control unit 229 of the vehicle control subsystem 332, which constitute the subsystems, and the vehicle control unit. 232 management units 260 and 280 are notified.
  • the management units 260 and 280 stop the processing of the driving support/automatic driving control unit 229 and the vehicle control unit 232 when notified of information indicating a sensor failure or abnormality.
  • step S151 the failure detection unit 411 accesses the storage unit 228 and selects the unprocessed replaceability maps 292 and 292' that are not set in the focused replaceability map 292 or 292' among the replaceability maps 292 and 292'. is set in the noted substitutable map 292 or 292'.
  • step S152 the failure detection unit 411 accesses the sensing result storage unit 372 and reads out the sensing results of the two sensors of the sensor pair of the attention replaceability map 292 or 292'.
  • the failure detection unit 411 calculates an index indicating the correlation between the sensing results of the two sensors in the attentional replaceability map 292 or 292'. As an index of correlation, the failure detection unit 411 calculates, for example, the degree of similarity between the sensing results of the sensor of interest and the sensor to be compared.
  • step S154 the failure detection unit 411 determines whether or not the correlation between the two sensors in the attentional interchangeability map 292 or 292' is lower than a predetermined threshold based on the correlation index.
  • step S154 If it is determined in step S154 that the correlation between the two sensors of the attention interchangeability map 292 or 292' is low, the process proceeds to step S155.
  • step S155 the failure detection unit 411 determines that the correlation between the sensing results of the two sensors in the attention replaceability map 292 or 292' is lower than a predetermined threshold, and it is possible that an abnormality or failure has occurred in one of the sensors.
  • the HMI 231 is presented with information indicating that there is a possibility.
  • step S156 the failure detection unit 411 detects the driving support/automatic driving control subsystem 331 and the vehicle control subsystem 332 that constitute a subsystem equipped with two sensors of the attention replaceable map 292 or 292′.
  • the automatic driving control unit 229 and the management units 260 and 280 of the vehicle control unit 232 are notified.
  • the management units 260 and 280 of the subsystems equipped with sensors that may be malfunctioning or malfunctioning stop the processing of the driving support/automatic driving control unit 229 and the vehicle control unit 232 .
  • step S154 If it is determined in step S154 that the correlation between the two sensors in the attention replaceability map 292 or 292' is not low, that is, if it is determined that there is no possibility of sensor abnormality or failure, steps S155 and S156 are processed. Skipped.
  • step S157 the failure detection unit 411 determines whether or not there is an unprocessed replaceability map 292 or 292' as the noted replaceability map 292 or 292'. In that case, the process returns to step S151.
  • step S157 there is no substitute map 292 or 292′ that has not been set, and all substitute maps 292 or 292′ are set as the attention substitute map 292 or 292′, and the correlation of the sensing results of the sensor pair is determined. is obtained, and if it is determined that the presence or absence of a failure has been determined, the process proceeds to step S158.
  • step S158 the failure detection unit 411 determines whether or not an instruction to end the operation has been given, and if no instruction to end the operation has been given, the process proceeds to step S159.
  • step S159 the failure detection unit 411 restores the substitutable map 292 or 292' to an unprocessed state that is not set in the focused substitutable map 292 or 292', and the process returns to step S151.
  • step S159 when the operation of the vehicle control system 211 ends, the process ends.
  • the above processing makes it possible to detect sensor abnormalities and failures at an early stage, and by suppressing processing that uses failed sensing results, it is possible to improve the safety and stability of autonomous driving. .
  • the sensing result storage unit 372, the replaceable maps 292 and 292', and the failure detection unit 411 are provided in the vehicle control system 211. It may be implemented by a server computer existing on a network or by cloud computing.
  • Example of execution by software By the way, the series of processes described above can be executed by hardware, but can also be executed by software. When a series of processes is executed by software, the programs that make up the software are built into dedicated hardware, or various functions can be executed by installing various programs. installed from a recording medium, for example, on a general-purpose computer.
  • FIG. 19 shows a configuration example of a general-purpose computer.
  • This computer incorporates a CPU (Central Processing Unit) 1001 .
  • An input/output interface 1005 is connected to the CPU 1001 via a bus 1004 .
  • a ROM (Read Only Memory) 1002 and a RAM (Random Access Memory) 1003 are connected to the bus 1004 .
  • the input/output interface 1005 includes an input unit 1006 including input devices such as a keyboard and a mouse for the user to input operation commands, an output unit 1007 for outputting a processing operation screen and images of processing results to a display device, and programs and various data.
  • LAN Local Area Network
  • magnetic discs including flexible discs
  • optical discs including CD-ROM (Compact Disc-Read Only Memory), DVD (Digital Versatile Disc)), magneto-optical discs (including MD (Mini Disc)), or semiconductors
  • a drive 1010 that reads and writes data from a removable storage medium 1011 such as a memory is connected.
  • the CPU 1001 reads a program stored in the ROM 1002 or a removable storage medium 1011 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, installs the program in the storage unit 1008, and loads the RAM 1003 from the storage unit 1008. Various processes are executed according to the program.
  • the RAM 1003 also appropriately stores data necessary for the CPU 1001 to execute various processes.
  • the CPU 1001 loads, for example, a program stored in the storage unit 1008 into the RAM 1003 via the input/output interface 1005 and the bus 1004, and executes the above-described series of programs. is processed.
  • a program executed by the computer (CPU 1001) can be provided by being recorded on a removable storage medium 1011 such as a package medium, for example. Also, the program can be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be installed in the storage section 1008 via the input/output interface 1005 by loading the removable storage medium 1011 into the drive 1010 . Also, the program can be received by the communication unit 1009 and installed in the storage unit 1008 via a wired or wireless transmission medium. In addition, programs can be installed in the ROM 1002 and the storage unit 1008 in advance.
  • the program executed by the computer may be a program that is processed in chronological order according to the order described in this specification, or may be executed in parallel or at a necessary timing such as when a call is made. It may be a program in which processing is performed.
  • the CPU 1001 in FIG. 19 includes the driving support/automatic driving control unit 229, the vehicle control unit 232, and the sensor resource management unit 233 in FIG. 6, the sensor recording unit 371 and the correlation analysis unit 373 in FIG. , the function of the failure detection unit 411 is realized.
  • a system means a set of multiple components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a single device housing a plurality of modules in one housing, are both systems. .
  • the present disclosure can take the configuration of cloud computing in which a single function is shared by multiple devices via a network and processed jointly.
  • each step described in the flowchart above can be executed by a single device, or can be shared by a plurality of devices.
  • one step includes multiple processes
  • the multiple processes included in the one step can be executed by one device or shared by multiple devices.
  • a sensor that detects sensing results related to automatic driving control; a plurality of subsystems having a processing unit that executes a predetermined process related to the automatic driving based on the sensing result detected by the sensor; A first subsystem among the plurality of subsystems has the sensor that detects a sensing result that can be substituted for the sensing result of the sensor of the first subsystem when a malfunction of the sensor is detected. and a sensor resource management unit that causes a second subsystem different from the first subsystem to transfer the sensing result of the sensor to the first subsystem.
  • the processing units in the plurality of subsystems notifies the sensor resource management unit of sensor resource information of the sensors provided in the respective subsystems;
  • the sensor resource management unit has the first sensor that detects a sensing result that can be substituted for the sensing result of the sensor of the first subsystem based on the sensor resource information of the plurality of subsystems.
  • the information processing apparatus according to ⁇ 1>, wherein a sensing result of the sensor is transferred to the first subsystem with respect to a second subsystem different from the subsystem of (1).
  • the sensor resource management unit based on the sensor resource information, sets the sensors for which the sensing results are interchangeable between the sensors of the plurality of subsystems as sensor pairs, and for each sensor pair, generating a substitutable map indicating that the sensing result is substitutable; For a second subsystem different from the first subsystem, having the sensor that detects a sensing result that is alternative to the sensing result of the sensor of the first subsystem based on the alternative map.
  • the information processing apparatus according to ⁇ 2>, wherein the sensing result of the sensor is transferred to the first subsystem.
  • the sensor resource information includes sensor type, data type, installation position, sensing area, and measurement characteristics for each sensor, Based on the sensor resource information, the sensor resource management unit determines whether the sensor type, data type, installation position, sensing area, and measurement characteristics are the same or similar. , setting the sensors whose sensing results are interchangeable to each other as a sensor pair, and generating an interchangeability map indicating that the sensing results are interchangeable between the sensors forming the set sensor pair. information processing equipment.
  • the sensor resource management unit generates a sensor resource management table including the sensor type, the data type, the installation position, the sensing area, and the measurement characteristics of the sensor in the sensor resource information
  • the information processing apparatus according to ⁇ 4> wherein the sensor pairs are set based on the sensor resource management table, and the substitutability map is generated for each of the set sensor pairs.
  • the alternative map uses the sensor that is the transfer source of the alternative sensing result and the sensing result transferred from the transfer source as the alternative sensing result, and the automatic driving
  • a sensing result storage unit that stores the sensing results of each of the sensors of the plurality of subsystems during traveling by the automatic operation; a correlation analysis unit that analyzes the correlation of the sensing results between the sensors stored in the sensing result storage unit;
  • the sensor resource management unit sets sensors for which the sensing results can be substituted as a sensor pair based on the correlation that is the analysis result of the correlation analysis unit, and the sensing results are substituted for each of the set sensor pairs.
  • generate a substitutability map showing that it is possible
  • a second subsystem different from the first subsystem comprising the sensor that detects the sensing result that is alternative to the sensing result of the sensor of the first subsystem based on the alternative map.
  • the information processing apparatus according to any one of ⁇ 1> to ⁇ 6>, wherein the sensing result of the sensor is transferred to the first subsystem.
  • the sensor resource management unit sets sensors whose correlation analyzed by the correlation analysis unit is higher than a predetermined threshold as sensor pairs in which the sensing results are interchangeable, and for each of the set sensor pairs , the information processing apparatus according to ⁇ 7>, which generates a substitutability map indicating that the sensing result is substitutable.
  • the correlation analysis unit analyzes the correlation based on the similarity or correlation coefficient of the sensing results between the sensors stored in the sensing result storage unit. .
  • ⁇ 10> analyzing the correlation of the sensing results stored in the sensing result storage unit of the sensor pair in which the sensing results are interchangeable in the interchangeability map;
  • the information processing apparatus according to ⁇ 7>, further including a malfunction detection unit that detects a malfunction of the sensors set in the sensor pair based on the sensor pair.
  • the malfunction detection unit detects a malfunction of at least one of the sensors set in the sensor pair in which the correlation, which is the analysis result, is lower than a predetermined threshold.
  • the malfunction detection unit determines the similarity or correlation coefficient of the sensing results stored in the sensing result storage unit of the sensor pair for which the sensing results are interchangeable in the interchangeability map.
  • the information processing apparatus wherein the correlation is analyzed based on and the malfunction of the sensor set in the sensor pair is detected based on the correlation that is the analysis result.
  • the processing unit in the first subsystem detects a malfunction of the sensor, the processing unit instructs the sensor resource management unit to perform sensing that can be substituted for the sensing result of the sensor in the first subsystem. requesting to transfer to the first subsystem sensing results of the sensors of a second subsystem, different from the first subsystem, having the sensors detecting results;
  • the sensor resource management unit causes the second subsystem to transfer the sensing result of the sensor to the first subsystem in response to a request from the processing unit of the first subsystem.
  • the information processing apparatus according to any one of ⁇ 1> to ⁇ 12>.
  • the sensor resource management unit transmits the sensing result of the sensor to the second subsystem in response to a request from the processing unit of the first subsystem. request to be transferred to The information processing device according to ⁇ 13>, wherein the processing unit in the second subsystem transfers the sensing result of the sensor to the first subsystem in response to a request from the sensor resource management unit.
  • a sensor that detects sensing results related to control of automatic driving; a plurality of subsystems having a processing unit that executes a predetermined process related to the automatic driving based on the sensing result detected by the sensor;
  • a first subsystem among the plurality of subsystems has the sensor that detects a sensing result that can be substituted for the sensing result of the sensor of the first subsystem when a malfunction of the sensor is detected. and a sensor resource management unit that causes a second subsystem different from the first subsystem to transfer the sensing result of the sensor to the first subsystem.
  • the sensor resource management unit When a malfunction of the sensor is detected in a first subsystem among the plurality of subsystems, the sensor resource management unit provides a sensing result substitutable for the sensing result of the sensor of the first subsystem. and causing a second subsystem different from the first subsystem, having the sensor for detecting to transfer the sensing result of the sensor to the first subsystem.
  • a sensor that detects sensing results related to control of automatic driving; a plurality of subsystems having a processing unit that executes predetermined processing related to the automatic driving based on the sensing result detected by the sensor;
  • a first subsystem among the plurality of subsystems has the sensor that detects a sensing result that can be substituted for the sensing result of the sensor of the first subsystem when a malfunction of the sensor is detected.
  • a program for causing a computer to function as a sensor resource manager for transferring the sensing result of the sensor to the first subsystem for a second subsystem different from the first subsystem.
  • 101 control system 121, 121-1, 121-2 subsystem, 122 sensor resource management unit, 123 sensor resource management table, 124 interchangeable map, 131, 131-1, 131-2 sensor, 132, 132-1, 132-2 processing unit, 132a, 132a-1, 132a-2 management unit, 201 vehicle, 211 vehicle control system, 225 external recognition sensor, 226 vehicle interior sensor, 227 vehicle sensor, 228 storage unit, 229 driving support/automatic driving control section, 231 HMI, 231a output section, 231b input section, 232 vehicle control section, 233 sensor resource management section, 251 camera, 252 radar, 253 LiDAR, 254 ultrasonic sensor, 260, 280 management section, 291 sensor resource management table, 292, 292-1 to 292-x, 292', 292'-1 to 292'-y interchangeable maps, 331 driving support/automatic driving control subsystem, 332 vehicle control subsystem, 351 sensor recording unit, 352 sensing results Recording unit, 353 Correlation analysis unit, 371 Sensor

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)

Abstract

本開示は、複数のセンサを用いた自動運転制御にあたって、センサに異常がない場合の通信負荷を増大させることなく、特定のセンサの故障時には、代替可能なセンシング結果を他のセンサから適切に取得できるようにすることで、自動運転制御の安定性を向上させるようにする情報処理装置、および情報処理方法、並びにプログラムに関する。 複数のサブシステムのうちの第1のサブシステムにおいて、センサの不調が検出された場合、第1のサブシステムのセンサのセンシング結果と代替可能なセンシング結果を検出するセンサを有する第2のサブシステムに対して、センサのセンシング結果を、第1のサブシステムに転送させる。本開示は、自動運転する車両の車両制御システムに適用することができる。

Description

情報処理装置、および情報処理方法、並びにプログラム
 本開示は、情報処理装置、および情報処理方法、並びにプログラムに関し、特に、複数のセンサを用いた自動運転制御の安定性を向上できるようにした情報処理装置、および情報処理方法、並びにプログラムに関する。
 複数のセンサのセンシング結果に基づいて、複数の制御装置により、複数の処理を分散処理することで自動運転を実現する自動運転制御システムが提案されている(特許文献1参照)。
 この自動運転制御システムにおいては、複数のセンサのセンシング結果のうち、複数の制御装置間で、共有使用可能なセンシング結果については、共有可能なセンシング結果であることを示すタグが付されて流通されるようになされている。
 複数の制御装置は、それぞれ自らの処理で必要な、通常使用するセンシング結果を取得して、処理を実行すると共に、通常使用することはないが、通常使用するセンシング結果の代用が可能であること、すなわち、共有使用可能なことを示すタグが付されたセンシング結果も併せて取得する。
 このため、制御装置のそれぞれは、通常使用するセンシング結果を供給する特定のセンサで故障が発生しても、共有使用可能であることを示すタグが付された、故障していない他のセンサのセンシング結果を利用することで、正常な動作を維持することができる。
特開平10-243004号公報
 しかしながら、特許文献1に記載の技術では、複数のセンサのセンシング結果について、センサの異常がない場合にも、共有使用可能であることを示すタグが付されたセンシング結果が、複数の制御装置間で取得できるように流通している。
 このため、通常、センサで故障が発生しない限り使用されることのない共有使用可能なことを示すタグが付されたセンシング結果が、自動運転制御システム内を常に流通するため、不要なセンシング結果の通信負荷を増大させ、動作全体が不安定になる恐れがあった。
 本開示は、このような状況に鑑みてなされたものであり、特に、複数のセンサを用いた自動運転制御における動作の安定性を向上させるものである。
 本開示の一側面の情報処理装置およびプログラムは、自動運転の制御に係るセンシング結果を検出するセンサと、前記センサにより検出される前記センシング結果に基づいて、前記自動運転に係る所定の処理を実行する処理部とを有する複数のサブシステムと、前記複数のサブシステムのうちの第1のサブシステムにおいて、前記センサの不調が検出された場合、前記第1のサブシステムの前記センサのセンシング結果と代替可能なセンシング結果を検出する前記センサを有する、前記第1のサブシステムとは異なる第2のサブシステムに対して、前記センサのセンシング結果を、前記第1のサブシステムに転送させるセンサリソース管理部とを備える情報処理装置およびプログラムである。
 本開示の一側面の情報処理方法は、自動運転の制御に係るセンシング結果を検出するセンサと、前記センサにより検出される前記センシング結果に基づいて、前記自動運転に係る所定の処理を実行する処理部とを有する複数のサブシステムと、前記複数のサブシステムのうちの第1のサブシステムにおいて、前記センサの不調が検出された場合、前記第1のサブシステムの前記センサのセンシング結果と代替可能なセンシング結果を検出する前記センサを有する、前記第1のサブシステムとは異なる第2のサブシステムに対して、前記センサのセンシング結果を、前記第1のサブシステムに転送させるセンサリソース管理部とを備える情報処理装置の情報処理方法において、前記センサリソース管理部は、前記複数のサブシステムのうちの第1のサブシステムにおいて、前記センサの不調が検出された場合、前記第1のサブシステムの前記センサのセンシング結果と代替可能なセンシング結果を検出する前記センサを有する、前記第1のサブシステムとは異なる第2のサブシステムに対して、前記センサのセンシング結果を、前記第1のサブシステムに転送させる情報処理方法である。
 本開示の一側面においては、自動運転の制御に係るセンシング結果を検出するセンサと、前記センサにより検出される前記センシング結果に基づいて、前記自動運転に係る所定の処理を実行する処理部とを有する複数のサブシステムと、前記複数のサブシステムのうちの第1のサブシステムにおいて、前記センサの不調が検出された場合、前記第1のサブシステムの前記センサのセンシング結果と代替可能なセンシング結果を検出する前記センサを有する、前記第1のサブシステムとは異なる第2のサブシステムに対して、前記センサのセンシング結果が、前記第1のサブシステムに転送される。
分割型の制御システムの構成例を説明するブロック図である。 中央集権型の制御システムの構成例を説明するブロック図である。 本開示の制御システムの概念を説明する図である。 本開示の制御システムの概要を説明する図である。 本開示の制御システムの概要を説明する図である。 本開示の車両制御システムの構成例を示すブロック図である。 センシング領域の例を示す図である。 センサリソース管理テーブルの構成例を説明する図である。 代替可能マップの構成例を説明する図である。 図6の車両制御システムによる起動処理を説明するフローチャートである。 図6の車両制御システムによるセンサリソース管理処理を説明するフローチャートである。 本開示の第1の応用例の概要を説明する図である。 本開示の車両制御システムの第1の応用例の構成例を示すブロック図である。 図13の車両制御システムによるセンシング結果記憶処理を説明するフローチャートである。 図13の車両制御システムによる相関解析処理を説明するフローチャートである。 本開示の第2の応用例の概要を説明する図である。 本開示の車両制御システムの第2の応用例の構成例を示すブロック図である。 図17の車両制御システムによる故障検知処理を説明するフローチャートである。 汎用のコンピュータの構成例を説明するブロック図である。
 以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
 以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
 1.好適な実施の形態
 2.第1の応用例
 3.第2の応用例
 4.ソフトウェアにより実行させる例
 <<1.好適な実施の形態>>
 <本開示の概要>
 本開示は、複数のセンサのセンシング結果に基づいた自動運転の制御にあたって、センサに異常がない場合の通信負荷を増大させることなく、特定のセンサの故障時には、代替利用可能なセンシング結果を他のセンサから適切に取得できるようにすることで、動作全体の安定性を向上させるものである。
 一般に、自動運転の制御を実現するシステムは、複数のセンサが設けられており、複数のセンサのセンシング結果に基づいて、自動運転に必要とされる複数の処理が実現されている。
 この場合、自動運転に必要とされる複数の処理は、複数のサブシステムにより個別に実現される。
 より詳細には、自動運転に必要とされる複数の処理は、例えば、図1で示されるような制御システム11により実現される。
 制御システム11は、サブシステム21-1,21-2より構成され、自動運転に必要とされる複数の処理を実現する。以降において、サブシステム21-1,21-2を区別する必要がない場合、単にサブシステム21と称するものとし、その他の構成についても同様とする。
 尚、図1の制御システム11において、サブシステム21-1,21-2のそれぞれにおいて、2つの異なる処理が実現される例について説明するものとするが、自動運転に必要とされる処理は、現実には2つ以上あり、従って、現実のサブシステム21についても、2以上が存在することが前提となる。
 サブシステム21-1,21-2は、それぞれの処理に必要とされるセンサ31-1,31-2および処理部32-1,32-2を備えている。そして、処理部32-1が、センサ31-1のセンシング結果を使用して第1の処理を実現し、同様に、処理部32-2が、センサ31-2のセンシング結果を使用して第2の処理を実現する。
 制御システム11は、サブシステム21-1,21-2による第1の処理結果、および第2の処理結果に基づいて、自動運転に必要とされる各種の処理を実行する構成とされている。ここで、第1の処理および第2の処理は、サブシステム21を単位として個別に分割されており、独立して実行される。したがって、制御システム11は、複数の処理を分割して実行する、分割型の構成とされている。
 図1の制御システム11は、このような分割型の構成により、センサ31-1,31-2のいずれかに故障が発生した場合でも、故障が発生していないセンサ31を備えたサブシステム21-1,21-2における、処理部32-1,32-2は、独立して正常な処理を実現することができる。
 また、制御システム11の動作確認テストについては、サブシステム21-1,21-2のそれぞれを個別に実施することが可能であるので、制御システム11の動作確認テストについては、サブシステム21を単位とした分業が可能となるので、効率よく早期に動作確認テストを実現することが可能となる。
 さらに、サブシステム21-1,21-2のそれぞれを個別に開発することが可能であるので、制御システム11の開発については、サブシステム21を単位とした分業開発体制を構築し易いので、効率よく早期開発を実現することが可能となる。
 しかしながら、図1で示される分割型の制御システム11においては、センサ31-1,31-2のセンシング結果に基づいて、処理部32-1,32-2のいずれかだけでも第1の処理も第2の処理も実現できるような構成の場合、処理部32は、1個あれば足りるにも拘わらず、2個設けられることになり、装置コストを増大させる恐れがある。
 また、センサ31-1,31-2のいずれかに故障が発生した場合、対応する処理部232-1,32-2は、処理を実行できない状態となるため、制御システム11により実現される処理全体おける正常な処理が実現できなくなる恐れがある。
 そこで、図2で示されるように、センサ31-1,31-2のそれぞれのセンシング結果を用いて、上述した処理部32-1,32-2における第1の処理と第2の処理とを統括して実現する処理部61が設けられるようにした、中央集権型の制御システム51が提案されている。
 図2の制御システム51においては、処理部61が単独であり、図1の処理部32-1,32-2のような2個のハードウェアを1個に集約できることから、ハードウェアのコストを低減させることが可能となる。
 しかしながら、図2の制御システム51においては、処理部61が故障するような場合、第1の処理、および第2の処理のいずれも正常な処理を実現できない状態となる。
 また、図2の制御システム51の場合、安全性テストが行われるときには、制御システム51の全体での検証が必要となり、図1の制御システム11のように、サブシステム21-1,21-2のそれぞれを単位とした安全性テストを行うような処理に比べて、検証の規模が増大し、複雑化する。
 さらに、図1の制御システム11においては、サブシステム21-1,21-2のそれぞれを個別に開発することが可能であり、分業開発体制を組むことが可能であったが、図2の制御システム51においては、全体として統括した開発が必須となるため、開発体制の構築が複雑化し、難易度が増大する。
 このようなことから、上述した、図1を参照して説明した分割型の制御システム11と、図2を参照して説明した中央集権型の制御システム51との、双方のメリットとなる構成を併せ持ち、デメリットとなる構成を排除するような、双方の中間的な制御システムを構築できれば、制御システム11の動作の安定性を向上させることが可能となる。
 例えば、図1の制御システム11において、サブシステム21-1,21-2のそれぞれを構成する処理部32-1,32-2が、センサ31-1,31-2の少なくともいずれかのセンシング結果を取得すれば、それぞれ第1の処理および第2の処理を実現できる場合について考える。
 この場合、例えば、図3のバツ印で示されるように、センサ31-1において故障が発生したときには、処理部32-1は、点線の矢印で示されるように、代替使用可能なセンサ31-2のセンシング結果を取得することで、処理を継続することが可能となる。
 そこで、本開示においては、図3で示されるような処理を実現するため、分割型の制御システム11と、中央集権型の制御システム51との双方のメリットとなる構成を併せ持つような、図4で示される制御システムを提案する。
 より詳細には、図4の制御システム101は、サブシステム121-1,121-2、センサリソース管理部122、センサリソース管理テーブル123、および代替可能マップ124を備えている。
 図4の制御システム101においては、サブシステム121-1,121-2は、図1のサブシステム21-1,21-2に対応する構成であり、処理部132-1,132-2は、図1の処理部32-1,32-2に対応する構成である。すなわち、処理部132-1,132-2のそれぞれが、センサ131-1,131-2のそれぞれのセンシング結果に基づいて、第1の処理、および第2の処理を実行する。
 制御システム101は、サブシステム121-1,121-2の第1の処理結果、および第2の処理結果のそれぞれに基づいて、自動運転に必要とされる処理を実現する。
 処理部132-1,132-2は、処理部32-1,32-2の処理を実行すると共に、センサリソースを管理するための管理部132a-1,132a-2をそれぞれ備えている。
 管理部132a-1,132a-2は、例えば、自動運転が制御される車両などが起動する際などに、センサ131-1,131-2のセンサ種別、データ型、設置位置(センシングエリア)、計測特性、および代替可能条件となる情報をセンサリソース情報としてセンサリソース管理部122に供給する。
 また、管理部132a-1,132a-2は、それぞれセンサ131-1,131-2の故障や異常の発生を検出し、不調が検出された場合、センサリソース管理部122に対して、他のサブシステム121から代替可能なセンシング結果を転送するように要求する。尚、以降において、センサ131について、故障や異常を含めたその他の不具合を統括して不調とも称する。
 さらに、管理部132a-1,132a-2は、センサリソース管理部122からの指示に基づいて、それぞれが取得するセンサ131-1,131-2のセンシング結果を代替利用可能な他のサブシステム121-1,121-2の管理部132a-1,132a-2に転送する。
 センサリソース管理部122は、サブシステム121-1,121-2より供給されるセンサリソース情報を取得すると、センサリソース管理テーブル123に登録する。
 尚、センサリソース管理テーブル123については、後述するセンサリソース管理テーブル291と同様であり、図8を参照して、詳細を後述する。
 また、センサリソース管理部122は、センサリソース管理テーブル123より、各センサのセンサリソース情報を読み出し、サブシステム121間において、代替利用可能なセンシング結果を検出するセンサ同士をセンサペアに設定し、センサペアとなるセンサ131の情報をマップ化して、代替可能マップ124を生成する。
 尚、代替可能マップ124については、後述する代替可能マップ292として、図9を参照して、詳細を後述する。
 そして、センサリソース管理部122は、サブシステム121よりセンサ131の故障の発生に起因する、代替可能なセンシング結果の転送要求があった場合、代替可能マップ124を参照して、要求のあったサブシステム121に対して代替可能なセンシング結果を転送可能な、他のサブシステム121を検索する。
 センサリソース管理部122は、検索した他のサブシステム121に対して、代替可能なセンシング結果の要求があったサブシステム121に向けてセンシング結果を転送させる。
 一連の処理の流れは、例えば、図5で示されるようなものとなる。尚、図5では、サブシステム121-1において、バツ印で示されるように、センサ131-1に故障が発生した場合について考える。
 このような場合、サブシステム121-1における処理部132-1の管理部132a-1は、センサ131-1に故障が発生したので、代替可能な他のセンサ131のセンシング結果の転送要求をセンサリソース管理部122に通知する。
 センサリソース管理部122は、センサリソース管理テーブル123に基づいて生成されている代替可能マップ124を参照して、要求のあったサブシステム121-1のセンサ131-1のセンシング結果と対応する、処理部132-1おいて代用可能なセンシング結果を出力するセンサ131を備えたサブシステム121を特定する。
 ここでは、サブシステム121-1のセンサ131-1のセンシング結果と対応する、処理部132-1おいて代替可能なセンシング結果を出力するセンサ131を備えたサブシステム121が、例えば、サブシステム121-2である場合を考える。この場合、センサリソース管理部122は、特定したサブシステム121-2における処理部132-2の管理部132a-2に対して、センサ131-2のセンシング結果を、転送要求のあったサブシステム121-1に転送する旨の転送指示を送信する。
 管理部132a-2は、センサリソース管理部122より転送指示を取得すると、点線の矢印で示されるように、センサ131-2のセンシング結果を、要求のあったサブシステム121-1に転送する。
 以上の構成により、センサ131-1において故障が発生したサブシステム121-1においては、サブシステム121-2より、センサ131-1のセンシング結果と代替可能なセンサ131-2のセンシング結果が供給されることになる。
 これにより、処理部132-1は、センサ131-1が故障した状態であっても、サブシステム121-2から転送されるセンシング結果に基づいて、第1の処理を継続して実行することが可能となる。
 尚、以上においては、センサ131-1において故障が発生した例について説明してきたが、センサ131-2において故障が発生した場合については、センサ131-2のセンシング結果が、サブシステム121-2においても代替可能であるときには、サブシステム121-1における処理部132-1の管理部132a-1が、センサ131-1のセンシング結果を、サブシステム121-2に転送する。
 これにより、処理部132-2は、センサ131-2が故障した状態であっても、サブシステム121-1から転送されるセンシング結果に基づいて、第2の処理を継続して実行することが可能となる。
 いずれにおいても、結果として、制御システム101内におけるセンサ131において故障が発生しても、制御システム101は全体として、自動運転に必要な処理を継続することが可能となる。
 また、センサ131に故障が発生していない状態、すなわち、正常状態では、他のサブシステム121に対して、センシング結果が転送されることがないので、センサ131が正常に動作している限り、不要なセンシング結果の転送が転送されず、制御システム101内では流通しないので、センシング結果の転送に係る不要な負荷の増大がない。このため、センシング結果の転送の増大に起因して、制御システム101の全体の動作を不安定にすることがない。
 尚、図5においては、サブシステム121が2個に対して、センサリソース管理部122が1個設けられる例について説明してきたが、サブシステム121は、3個以上でもよい。ただし、この場合、サブシステム121が10個や20個など、さらにそれ以上といった場合、センサリソース管理部122が1個であると、1個のセンサリソース管理部122に不調が発生すると、制御システム101の動作が不能となる。
 そこで、複数のサブシステム121に対して、複数のセンサリソース管理部122を構成するようにして、センサリソース管理部122における不調に対応できるようにしてもよい。ただし、複数のサブシステム121について、同数のセンサリソース管理部122を設けると過剰装備となるため、センサリソース管理部122の数は、サブシステム121の数に応じたものとする必要がある。すなわち、例えば、サブシステム121が10個に対して、2または3個のセンサリソース管理部122が設けられるようにする。したがって、サブシステム121が、例えば、100個であるときには、同様な比率で設けるようにして、例えば、20個乃至30個程度のセンサリソース管理部122が設けられるようにしてもよい。
 また、サブシステム121の数と、センサリソース管理部122の数については、制御システム101により実現される処理の重要度に応じたものとしてもよい。
 例えば、多少精度を犠牲にしてもよく、安全性などにシビアな要求がない処理がなされるときは、サブシステム121の数に対して、センサリソース管理部122の数が少なくてもよい。このような場合、例えば、サブシステム20個に対して、2個乃至3個程度のセンサリソース管理部122が設けられるような構成でもよい。
 逆に、制御システム101により実現される処理の重要度が高く、例えば、安全性などにシビアな要求がある処理がなされるときは、サブシステム121の数に対して、センサリソース管理部122の数が多くなるようにする。このような場合、例えば、サブシステム20個に対して、5個乃至10個程度のセンサリソース管理部122が設けられるような構成にしてもよい。
 <車両制御システムの構成例>
 図6は、本技術が適用される移動装置制御システムの一例である車両制御システム211の構成例を示すブロック図である。
 車両制御システム211は、車両201に設けられ、車両201の走行支援及び自動運転に関わる処理を行う。
 車両制御システム211は、車両制御ECU(Electronic Control Unit)221、通信部222、地図情報蓄積部223、位置情報取得部224、外部認識センサ225、車内センサ226、車両センサ227、記憶部228、走行支援・自動運転制御部229、DMS(Driver Monitoring System)230、HMI(Human Machine Interface)231、車両制御部232、及びセンサリソース管理部233を備える。
 車両制御ECU221、通信部222、地図情報蓄積部223、位置情報取得部224、外部認識センサ225、車内センサ226、車両センサ227、記憶部228、走行支援・自動運転制御部229、ドライバモニタリングシステム(DMS)230、ヒューマンマシーンインタフェース(HMI)231、及び、車両制御部232は、通信ネットワーク241を介して相互に通信可能に接続されている。通信ネットワーク241は、例えば、CAN(Controller Area Network)、LIN(Local Interconnect Network)、LAN(Local Area Network)、FlexRay(登録商標)、イーサネット(登録商標)といったディジタル双方向通信の規格に準拠した車載通信ネットワークやバス等により構成される。通信ネットワーク241は、伝送されるデータの種類によって使い分けられてもよい。例えば、車両制御に関するデータに対してCANが適用され、大容量データに対してイーサネットが適用されるようにしてもよい。なお、車両制御システム211の各部は、通信ネットワーク241を介さずに、例えば近距離無線通信(NFC(Near Field Communication))やBluetooth(登録商標)といった比較的近距離での通信を想定した無線通信を用いて直接的に接続される場合もある。
 なお、以下、車両制御システム211の各部が、通信ネットワーク241を介して通信を行う場合、通信ネットワーク241の記載を省略するものとする。例えば、車両制御ECU221と通信部222が通信ネットワーク241を介して通信を行う場合、単に車両制御ECU221と通信部222とが通信を行うと記載する。
 車両制御ECU221は、例えば、CPU(Central Processing Unit)、MPU(Micro Processing Unit)といった各種のプロセッサにより構成される。車両制御ECU221は、車両制御システム211全体又は一部の機能の制御を行う。
 通信部222は、車内及び車外の様々な機器、他の車両、サーバ、基地局等と通信を行い、各種のデータの送受信を行う。このとき、通信部222は、複数の通信方式を用いて通信を行うことができる。
 通信部222が実行可能な車外との通信について、概略的に説明する。通信部222は、例えば、5G(第5世代移動通信システム)、LTE(Long Term Evolution)、DSRC(Dedicated Short Range Communications)等の無線通信方式により、基地局又はアクセスポイントを介して、外部ネットワーク上に存在するサーバ(以下、外部のサーバと呼ぶ)等と通信を行う。通信部222が通信を行う外部ネットワークは、例えば、インターネット、クラウドネットワーク、又は、事業者固有のネットワーク等である。通信部222が外部ネットワークに対して行う通信方式は、所定以上の通信速度、且つ、所定以上の距離間でディジタル双方向通信が可能な無線通信方式であれば、特に限定されない。
 また例えば、通信部222は、P2P(Peer To Peer)技術を用いて、自車の近傍に存在する端末と通信を行うことができる。自車の近傍に存在する端末は、例えば、歩行者や自転車等の比較的低速で移動する移動体が装着する端末、店舗等に位置が固定されて設置される端末、又は、MTC(Machine Type Communication)端末である。さらに、通信部222は、V2X通信を行うこともできる。V2X通信とは、例えば、他の車両との間の車車間(Vehicle to Vehicle)通信、路側器等との間の路車間(Vehicle to Infrastructure)通信、家との間(Vehicle to Home)の通信、及び、歩行者が所持する端末等との間の歩車間(Vehicle to Pedestrian)通信等の、自車と他との通信をいう。
 通信部222は、例えば、車両制御システム211の動作を制御するソフトウェアを更新するためのプログラムを外部から受信することができる(Over The Air)。通信部222は、さらに、地図情報、交通情報、車両201の周囲の情報等を外部から受信することができる。また例えば、通信部222は、車両201に関する情報や、車両201の周囲の情報等を外部に送信することができる。通信部222が外部に送信する車両201に関する情報としては、例えば、車両201の状態を示すデータ、認識部273による認識結果等がある。さらに例えば、通信部222は、eコール等の車両緊急通報システムに対応した通信を行う。
 例えば、通信部222は、電波ビーコン、光ビーコン、FM多重放送等の道路交通情報通信システム(VICS(Vehicle Information and Communication System)(登録商標))により送信される電磁波を受信する。
 通信部222が実行可能な車内との通信について、概略的に説明する。通信部222は、例えば無線通信を用いて、車内の各機器と通信を行うことができる。通信部222は、例えば、無線LAN、Bluetooth(登録商標)、NFC、WUSB(Wireless USB)といった、無線通信により所定以上の通信速度でディジタル双方向通信が可能な通信方式により、車内の機器と無線通信を行うことができる。これに限らず、通信部222は、有線通信を用いて車内の各機器と通信を行うこともできる。例えば、通信部222は、図示しない接続端子に接続されるケーブルを介した有線通信により、車内の各機器と通信を行うことができる。通信部222は、例えば、USB(Universal Serial Bus)、HDMI(High-Definition Multimedia Interface)(登録商標)、MHL(Mobile High-definition Link)といった、有線通信により所定以上の通信速度でディジタル双方向通信が可能な通信方式により、車内の各機器と通信を行うことができる。
 ここで、車内の機器とは、例えば、車内において通信ネットワーク241に接続されていない機器を指す。車内の機器としては、例えば、運転者等の搭乗者が所持するモバイル機器やウェアラブル機器、車内に持ち込まれ一時的に設置される情報機器等が想定される。
 地図情報蓄積部223は、外部から取得した地図及び車両201で作成した地図の一方又は両方を蓄積する。例えば、地図情報蓄積部223は、3次元の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップ等を蓄積する。
 高精度地図は、例えば、ダイナミックマップ、ポイントクラウドマップ、ベクターマップ等である。ダイナミックマップは、例えば、動的情報、準動的情報、準静的情報、静的情報の4層からなる地図であり、外部のサーバ等から車両201に提供される。ポイントクラウドマップは、ポイントクラウド(点群データ)により構成される地図である。ベクターマップは、例えば、車線や信号機の位置といった交通情報等をポイントクラウドマップに対応付け、ADAS(Advanced Driver Assistance System)やAD(Autonomous Driving)に適合させた地図である。
 ポイントクラウドマップ及びベクターマップは、例えば、外部のサーバ等から提供されてもよいし、カメラ251、レーダ252、LiDAR253等によるセンシング結果に基づいて、後述するローカルマップとのマッチングを行うための地図として車両201で作成され、地図情報蓄積部223に蓄積されてもよい。また、外部のサーバ等から高精度地図が提供される場合、通信容量を削減するため、車両201がこれから走行する計画経路に関する、例えば数百メートル四方の地図データが外部のサーバ等から取得される。
 位置情報取得部224は、GNSS(Global Navigation Satellite System)衛星からGNSS信号を受信し、車両201の位置情報を取得する。取得した位置情報は、走行支援・自動運転制御部229に供給される。なお、位置情報取得部224は、GNSS信号を用いた方式に限定されず、例えば、ビーコンを用いて位置情報を取得してもよい。
 外部認識センサ225は、車両201の外部の状況の認識に用いられる各種のセンサを備え、各センサからのセンサデータを車両制御システム211の各部に供給する。外部認識センサ225が備えるセンサの種類や数は任意である。
 例えば、外部認識センサ225は、カメラ251、レーダ252、LiDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)253、及び、超音波センサ254を備える。これに限らず、外部認識センサ225は、カメラ251、レーダ252、LiDAR253、及び、超音波センサ254のうち1種類以上のセンサを備える構成でもよい。カメラ251、レーダ252、LiDAR253、及び、超音波センサ254の数は、現実的に車両201に設置可能な数であれば特に限定されない。また、外部認識センサ225が備えるセンサの種類は、この例に限定されず、外部認識センサ225は、他の種類のセンサを備えてもよい。外部認識センサ225が備える各センサのセンシング領域の例は、後述する。
 なお、カメラ251の撮影方式は、特に限定されない。例えば、測距が可能な撮影方式であるToF(Time Of Flight)カメラ、ステレオカメラ、単眼カメラ、赤外線カメラといった各種の撮影方式のカメラを、必要に応じてカメラ251に適用することができる。これに限らず、カメラ251は、測距に関わらずに、単に撮影画像を取得するためのものであってもよい。
 また、例えば、外部認識センサ225は、車両201に対する環境を検出するための環境センサを備えることができる。環境センサは、天候、気象、明るさ等の環境を検出するためのセンサであって、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ、照度センサ等の各種センサを含むことができる。
 さらに、例えば、外部認識センサ225は、車両201の周囲の音や音源の位置の検出等に用いられるマイクロフォンを備える。
 車内センサ226は、車内の情報を検出するための各種のセンサを備え、各センサからのセンサデータを車両制御システム211の各部に供給する。車内センサ226が備える各種センサの種類や数は、現実的に車両201に設置可能な種類や数であれば特に限定されない。
 例えば、車内センサ226は、カメラ、レーダ、着座センサ、ステアリングホイールセンサ、マイクロフォン、生体センサのうち1種類以上のセンサを備えることができる。車内センサ226が備えるカメラとしては、例えば、ToFカメラ、ステレオカメラ、単眼カメラ、赤外線カメラといった、測距可能な各種の撮影方式のカメラを用いることができる。これに限らず、車内センサ226が備えるカメラは、測距に関わらずに、単に撮影画像を取得するためのものであってもよい。車内センサ226が備える生体センサは、例えば、シートやステアリングホイール等に設けられ、運転者等の搭乗者の各種の生体情報を検出する。
 車両センサ227は、車両201の状態を検出するための各種のセンサを備え、各センサからのセンサデータを車両制御システム211の各部に供給する。車両センサ227が備える各種センサの種類や数は、現実的に車両201に設置可能な種類や数であれば特に限定されない。
 例えば、車両センサ227は、速度センサ、加速度センサ、角速度センサ(ジャイロセンサ)、及び、それらを統合した慣性計測装置(IMU(Inertial Measurement Unit))を備える。例えば、車両センサ227は、ステアリングホイールの操舵角を検出する操舵角センサ、ヨーレートセンサ、アクセルペダルの操作量を検出するアクセルセンサ、及び、ブレーキペダルの操作量を検出するブレーキセンサを備える。例えば、車両センサ227は、エンジンやモータの回転数を検出する回転センサ、タイヤの空気圧を検出する空気圧センサ、タイヤのスリップ率を検出するスリップ率センサ、及び、車輪の回転速度を検出する車輪速センサを備える。例えば、車両センサ227は、バッテリの残量及び温度を検出するバッテリセンサ、並びに、外部からの衝撃を検出する衝撃センサを備える。
 記憶部228は、不揮発性の記憶媒体及び揮発性の記憶媒体のうち少なくとも一方を含み、データやプログラムを記憶する。記憶部228は、例えばEEPROM(Electrically Erasable Programmable Read Only Memory)及びRAM(Random Access Memory)として用いられ、記憶媒体としては、HDD(Hard Disc Drive)といった磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、及び、光磁気記憶デバイスを適用することができる。記憶部228は、車両制御システム211の各部が用いる各種プログラムやデータを記憶する。例えば、記憶部228は、EDR(Event Data Recorder)やDSSAD(Data Storage System for Automated Driving)を備え、事故等のイベントの前後の車両201の情報や車内センサ226によって取得された情報を記憶する。
 また、記憶部228は、センサリソース管理テーブル291、および代替可能マップ292-1乃至292-xを記憶している。センサリソース管理テーブル291、および代替可能マップ292は、それぞれ図4,図5を参照して説明してきた、センサリソース管理テーブル123、および代替可能マップ124に対応する構成である。尚、センサリソース管理テーブル291、および代替可能マップ292の詳細については、図8,図9を参照して詳細を後述する。
 走行支援・自動運転制御部229は、車両201の走行支援及び自動運転の制御を行う。例えば、走行支援・自動運転制御部229は、管理部260、分析部261、行動計画部262、及び、動作制御部263を備える。
 管理部260は、図4,図5を参照して説明した管理部132a-1に対応する構成であり、外部認識センサ225、車内センサ226、および車両センサ227のうち、自らが管理するサブシステムを機能させる上で必要とされるセンサのセンサリソース情報をセンサリソース管理部233に供給する。
 管理部260は、外部認識センサ225、車内センサ226、および車両センサ227のうち、走行支援・自動運転制御部229により実現される機能をサブシステムとして機能させる際に使用するセンサの故障の有無を検出する。
 管理部260は、使用するセンサの故障を検出した場合、センサリソース管理部233に対して、他のサブシステムから代替可能なセンシング結果を転送するように要求する。
 以降においては、説明を簡単にするため、走行支援・自動運転制御部229と、車両制御部232とが、それぞれ処理部132-1,132-2に対応する構成であるものとする。そして、走行支援・自動運転制御部229と、車両制御部232とが、それぞれ処理部132-1,132-2として機能するサブシステムが、図4,図5のサブシステム121-1,121-2であるものとする。
 ここで、走行支援・自動運転制御部229を処理部132-1として機能させるサブシステム121-1においては、外部認識センサ225および車両センサ227が、センサ131-1に対応するものとする。
 また、車両制御部232を処理部132-2として機能させるサブシステム121-2においては、車内センサ226が、センサ131-2に対応するものとする。
 すなわち、走行支援・自動運転制御部229を処理部132-1として機能させるサブシステム121-1においては、走行支援・自動運転制御部229が、センサ131-1に対応する、外部認識センサ225および車両センサ227のセンシング結果に基づいて、走行支援および自動運転を制御するものとする。
 また、車両制御部232を処理部132-2として機能させるサブシステム121-2においては、車両制御部232が、センサ131-2に対応する車内センサ226のセンシング結果に基づいて、車両201を制御する。
 管理部260は、サブシステム121-1の処理部132-1として、走行支援・自動運転制御部229を機能させるときの、センサ131-1に対応する外部認識センサ225および車両センサ227の故障の有無を検出する。
 そして、管理部260は、外部認識センサ225および車両センサ227の故障を検出した場合、センサリソース管理部233に対して、他のサブシステム(ここでは、車両制御部232により実現されるサブシステム121-2に対応するサブシステム)から代替可能なセンシング結果を転送するように要求する。
 管理部260は、センサリソース管理部233に対する要求に応じて、他のサブシステム(ここでは、車両制御部232により実現されるサブシステム121-2に対応するサブシステム)を構成する管理部(ここでは、管理部132a-2に対応する管理部280)より供給される、代替可能なセンシング結果を取得して、走行支援・自動運転制御部229を処理部132-1として機能させる。
 管理部260は、センサリソース管理部233からの転送指示に応じて、他のサブシステム(ここでは、車両制御部232により実現されるサブシステム121-2)を構成する管理部(ここでは、管理部132a-2に対応する管理部280)に、自ら取得するセンシング結果を転送させる。
 分析部261は、車両201及び周囲の状況の分析処理を行う。分析部261は、自己位置推定部271、センサフュージョン部272、及び、認識部273を備える。
 自己位置推定部271は、外部認識センサ225からのセンサデータ、及び、地図情報蓄積部223に蓄積されている高精度地図に基づいて、車両201の自己位置を推定する。例えば、自己位置推定部271は、外部認識センサ225からのセンサデータに基づいてローカルマップを生成し、ローカルマップと高精度地図とのマッチングを行うことにより、車両201の自己位置を推定する。車両201の位置は、例えば、後輪対車軸の中心が基準とされる。
 ローカルマップは、例えば、SLAM(Simultaneous Localization and Mapping)等の技術を用いて作成される3次元の高精度地図、占有格子地図(Occupancy Grid Map)等である。3次元の高精度地図は、例えば、上述したポイントクラウドマップ等である。占有格子地図は、車両201の周囲の3次元又は2次元の空間を所定の大きさのグリッド(格子)に分割し、グリッド単位で物体の占有状態を示す地図である。物体の占有状態は、例えば、物体の有無や存在確率により示される。ローカルマップは、例えば、認識部273による車両201の外部の状況の検出処理及び認識処理にも用いられる。
 なお、自己位置推定部271は、位置情報取得部224により取得される位置情報、及び、車両センサ227からのセンサデータに基づいて、車両201の自己位置を推定してもよい。
 センサフュージョン部272は、複数の異なる種類のセンサデータ(例えば、カメラ251から供給される画像データ、及び、レーダ252から供給されるセンサデータ)を組み合わせて、新たな情報を得るセンサフュージョン処理を行う。異なる種類のセンサデータを組合せる方法としては、統合、融合、連合等がある。
 認識部273は、車両201の外部の状況の検出を行う検出処理、及び、車両201の外部の状況の認識を行う認識処理を実行する。
 例えば、認識部273は、外部認識センサ225からの情報、自己位置推定部271からの情報、センサフュージョン部272からの情報等に基づいて、車両201の外部の状況の検出処理及び認識処理を行う。
 具体的には、例えば、認識部273は、車両201の周囲の物体の検出処理及び認識処理等を行う。物体の検出処理とは、例えば、物体の有無、大きさ、形、位置、動き等を検出する処理である。物体の認識処理とは、例えば、物体の種類等の属性を認識したり、特定の物体を識別したりする処理である。ただし、検出処理と認識処理とは、必ずしも明確に分かれるものではなく、重複する場合がある。
 例えば、認識部273は、レーダ252又はLiDAR253等によるセンサデータに基づくポイントクラウドを点群の塊毎に分類するクラスタリングを行うことにより、車両201の周囲の物体を検出する。これにより、車両201の周囲の物体の有無、大きさ、形状、位置が検出される。
 例えば、認識部273は、クラスタリングにより分類された点群の塊の動きを追従するトラッキングを行うことにより、車両201の周囲の物体の動きを検出する。これにより、車両201の周囲の物体の速度及び進行方向(移動ベクトル)が検出される。
 例えば、認識部273は、カメラ251から供給される画像データに基づいて、車両、人、自転車、障害物、構造物、道路、信号機、交通標識、道路標示等を検出又は認識する。また、認識部273は、セマンティックセグメンテーション等の認識処理を行うことにより、車両201の周囲の物体の種類を認識してもよい。
 例えば、認識部273は、地図情報蓄積部223に蓄積されている地図、自己位置推定部271による自己位置の推定結果、及び、認識部273による車両201の周囲の物体の認識結果に基づいて、車両201の周囲の交通ルールの認識処理を行うことができる。認識部273は、この処理により、信号機の位置及び状態、交通標識及び道路標示の内容、交通規制の内容、並びに、走行可能な車線等を認識することができる。
 例えば、認識部273は、車両201の周囲の環境の認識処理を行うことができる。認識部273が認識対象とする周囲の環境としては、天候、気温、湿度、明るさ、及び、路面の状態等が想定される。
 行動計画部262は、車両201の行動計画を作成する。例えば、行動計画部262は、経路計画、経路追従の処理を行うことにより、行動計画を作成する。
 なお、経路計画(Global path planning)とは、スタートからゴールまでの大まかな経路を計画する処理である。この経路計画には、軌道計画と言われ、計画した経路において、車両201の運動特性を考慮して、車両201の近傍で安全かつ滑らかに進行することが可能な軌道生成(Local path planning)を行う処理も含まれる。
 経路追従とは、経路計画により計画された経路を計画された時間内で安全かつ正確に走行するための動作を計画する処理である。行動計画部262は、例えば、この経路追従の処理の結果に基づき、車両201の目標速度と目標角速度を計算することができる。
 動作制御部263は、行動計画部262により作成された行動計画を実現するために、車両201の動作を制御する。
 例えば、動作制御部263は、後述する車両制御部232に含まれる、ステアリング制御部281、ブレーキ制御部282、及び、駆動制御部283を制御して、軌道計画により計算された軌道を車両201が進行するように、加減速制御及び方向制御を行う。例えば、動作制御部263は、衝突回避又は衝撃緩和、追従走行、車速維持走行、自車の衝突警告、自車のレーン逸脱警告等のADASの機能実現を目的とした協調制御を行う。例えば、動作制御部263は、運転者の操作によらずに自律的に走行する自動運転等を目的とした協調制御を行う。
 DMS230は、車内センサ226からのセンサデータ、及び、後述するHMI231に入力される入力データ等に基づいて、運転者の認証処理、及び、運転者の状態の認識処理等を行う。認識対象となる運転者の状態としては、例えば、体調、覚醒度、集中度、疲労度、視線方向、酩酊度、運転操作、姿勢等が想定される。
 なお、DMS230が、運転者以外の搭乗者の認証処理、及び、当該搭乗者の状態の認識処理を行うようにしてもよい。また、例えば、DMS230が、車内センサ226からのセンサデータに基づいて、車内の状況の認識処理を行うようにしてもよい。認識対象となる車内の状況としては、例えば、気温、湿度、明るさ、臭い等が想定される。
 HMI231は、各種のデータや指示等の入力と、各種のデータの運転者等への提示を行う。
 HMI231によるデータの入力について、概略的に説明する。HMI231は、人がデータを入力するための入力デバイスを備える。HMI231は、入力デバイスにより入力されたデータや指示等に基づいて入力信号を生成し、車両制御システム211の各部に供給する。HMI231は、入力デバイスとして、例えばタッチパネル、ボタン、スイッチ、及び、レバーといった操作子を備える。これに限らず、HMI231は、音声やジェスチャ等により手動操作以外の方法で情報を入力可能な入力デバイスをさらに備えてもよい。さらに、HMI231は、例えば、赤外線又は電波を利用したリモートコントロール装置や、車両制御システム211の操作に対応したモバイル機器又はウェアラブル機器等の外部接続機器を入力デバイスとして用いてもよい。
 HMI231によるデータの提示について、概略的に説明する。HMI231は、搭乗者又は車外に対する視覚情報、聴覚情報、及び、触覚情報の生成を行う。また、HMI231は、生成された各情報の出力、出力内容、出力タイミング及び出力方法等を制御する出力制御を行う。HMI231は、視覚情報として、例えば、操作画面、車両201の状態表示、警告表示、車両201の周囲の状況を示すモニタ画像等の画像や光により示される情報を生成及び出力する。また、HMI231は、聴覚情報として、例えば、音声ガイダンス、警告音、警告メッセージ等の音により示される情報を生成及び出力する。さらに、HMI231は、触覚情報として、例えば、力、振動、動き等により搭乗者の触覚に与えられる情報を生成及び出力する。
 HMI231が視覚情報を出力する出力デバイスとしては、例えば、自身が画像を表示することで視覚情報を提示する表示装置や、画像を投影することで視覚情報を提示するプロジェクタ装置を適用することができる。なお、表示装置は、通常のディスプレイを有する表示装置以外にも、例えば、ヘッドアップディスプレイ、透過型ディスプレイ、AR(Augmented Reality)機能を備えるウエアラブルデバイスといった、搭乗者の視界内に視覚情報を表示する装置であってもよい。また、HMI231は、車両201に設けられるナビゲーション装置、インストルメントパネル、CMS(Camera Monitoring System)、電子ミラー、ランプ等が有する表示デバイスを、視覚情報を出力する出力デバイスとして用いることも可能である。
 HMI231が聴覚情報を出力する出力デバイスとしては、例えば、オーディオスピーカ、ヘッドホン、イヤホンを適用することができる。
 HMI231が触覚情報を出力する出力デバイスとしては、例えば、ハプティクス技術を用いたハプティクス素子を適用することができる。ハプティクス素子は、例えば、ステアリングホイール、シートといった、車両201の搭乗者が接触する部分に設けられる。
 車両制御部232は、車両201の各部の制御を行う。車両制御部232は、管理部280、ステアリング制御部281、ブレーキ制御部282、駆動制御部283、ボディ系制御部284、ライト制御部285、及び、ホーン制御部286を備える。
 管理部280は、図4,図5を参照して説明した管理部132a-2に対応する構成であり、外部認識センサ225、車内センサ226、および車両センサ227のうち、自らが機能を実現させるサブシステムにおいて使用するセンサのセンサリソース情報をセンサリソース管理部233に供給する。
 管理部280は、外部認識センサ225、車内センサ226、および車両センサ227のうち車両制御部232により実現される機能をサブシステムとして機能させる際に使用するセンサの故障の有無を検出する。
 そして、管理部280は、使用するセンサの故障を検出した場合、センサリソース管理部233に対して、他のサブシステムから代替可能なセンシング結果を転送するように要求する。
 管理部280は、サブシステム121-2の処理部132-2として、車両制御部232を機能させるときの、センサ131-2に対応する車内センサ226の故障の有無を検出する。
 そして、管理部280は、車内センサ226の故障を検出した場合、センサリソース管理部233に対して、他のサブシステム(ここでは、走行支援・自動運転制御部229により実現されるサブシステム121-1)から代替可能なセンシング結果を転送するように要求する。
 管理部280は、センサリソース管理部233に対する要求に応じて、他のサブシステム(ここでは、走行支援・自動運転制御部229により実現されるサブシステム121-1)を構成する管理部(ここでは、管理部132a-1に対応する管理部260)より供給される、代替可能なセンシング結果を取得して、車両制御部232を処理部132-2として機能させる。
 管理部280は、センサリソース管理部233からの転送指示に応じて、他のサブシステム(ここでは、走行支援・自動運転制御部229により実現されるサブシステム121-1)を構成する管理部(ここでは、管理部132a-1に対応する管理部260)に、自ら取得するセンシング結果を転送させる。
 ステアリング制御部281は、車両201のステアリングシステムの状態の検出及び制御等を行う。ステアリングシステムは、例えば、ステアリングホイール等を備えるステアリング機構、電動パワーステアリング等を備える。ステアリング制御部281は、例えば、ステアリングシステムの制御を行うステアリングECU、ステアリングシステムの駆動を行うアクチュエータ等を備える。
 ブレーキ制御部282は、車両201のブレーキシステムの状態の検出及び制御等を行う。ブレーキシステムは、例えば、ブレーキペダル等を含むブレーキ機構、ABS(Antilock Brake System)、回生ブレーキ機構等を備える。ブレーキ制御部282は、例えば、ブレーキシステムの制御を行うブレーキECU、ブレーキシステムの駆動を行うアクチュエータ等を備える。
 駆動制御部283は、車両201の駆動システムの状態の検出及び制御等を行う。駆動システムは、例えば、アクセルペダル、内燃機関又は駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構等を備える。駆動制御部283は、例えば、駆動システムの制御を行う駆動ECU、駆動システムの駆動を行うアクチュエータ等を備える。
 ボディ系制御部284は、車両201のボディ系システムの状態の検出及び制御等を行う。ボディ系システムは、例えば、キーレスエントリシステム、スマートキーシステム、パワーウインドウ装置、パワーシート、空調装置、エアバッグ、シートベルト、シフトレバー等を備える。ボディ系制御部284は、例えば、ボディ系システムの制御を行うボディ系ECU、ボディ系システムの駆動を行うアクチュエータ等を備える。
 ライト制御部285は、車両201の各種のライトの状態の検出及び制御等を行う。制御対象となるライトとしては、例えば、ヘッドライト、バックライト、フォグライト、ターンシグナル、ブレーキライト、プロジェクション、バンパーの表示等が想定される。ライト制御部285は、ライトの制御を行うライトECU、ライトの駆動を行うアクチュエータ等を備える。
 ホーン制御部286は、車両201のカーホーンの状態の検出及び制御等を行う。ホーン制御部286は、例えば、カーホーンの制御を行うホーンECU、カーホーンの駆動を行うアクチュエータ等を備える。
 センサリソース管理部233は、図4,図5のセンサリソース管理部122に対応する構成であり、サブシステムを構成する管理部260,280より、それぞれが使用するセンシング結果を供給するセンサのセンサリソース情報を取得して、センサリソース管理テーブル291を生成して記憶部228に記憶させる。
 センサリソース管理部233は、センサリソース管理テーブル291を読み出して、異なるサブシステム間で、代替可能なセンシング結果を取得することが可能なセンサのペア(以降において、センサペアとも称する)の情報を示す代替可能マップ292を生成し、センサペアごとに記憶部228に記憶させる。尚、記憶部228における代替可能マップ292-1乃至292-xは、x個のセンサペア毎に代替可能マップ292が生成されていることを示している。
 センサリソース管理部233は、サブシステムを構成する管理部260,280から自らが使用するセンシング結果を供給するセンサにおいて故障が生じたため、代替可能なセンシング結果を他のサブシステムから転送するように要求を受けると、代替可能マップ292-1乃至292-xを検索して、故障が生じたセンサのセンシング結果と代替可能なセンシング結果を取得可能なセンサとのセンサペアの代替可能マップ292を検索する。
 センサリソース管理部233は、検索された代替可能マップ292の情報に基づいて、センサが故障したことを通知してきたサブシステムで使用されるセンシング結果に対して代替可能なセンシング結果を取得している他のサブシステムに対して、取得しているセンシング結果を、故障が生じたサブシステムに対して転送するように要求する転送要求を送信して、代替可能なセンシング結果を転送させる。
 図7は、図6の外部認識センサ225のカメラ251、レーダ252、LiDAR253、及び、超音波センサ254等によるセンシング領域の例を示す図である。なお、図7において、車両201を上面から見た様子が模式的に示され、左端側が車両201の前端(フロント)側であり、右端側が車両201の後端(リア)側となっている。
 センシング領域301F及びセンシング領域301Bは、超音波センサ254のセンシング領域の例を示している。センシング領域301Fは、複数の超音波センサ254によって車両201の前端周辺をカバーしている。センシング領域301Bは、複数の超音波センサ254によって車両201の後端周辺をカバーしている。
 センシング領域301F及びセンシング領域301Bにおけるセンシング結果は、例えば、車両201の駐車支援等に用いられる。
 センシング領域302F乃至センシング領域302Bは、短距離又は中距離用のレーダ252のセンシング領域の例を示している。センシング領域302Fは、車両201の前方において、センシング領域301Fより遠い位置までカバーしている。センシング領域302Bは、車両201の後方において、センシング領域301Bより遠い位置までカバーしている。センシング領域302Lは、車両201の左側面の後方の周辺をカバーしている。センシング領域302Rは、車両201の右側面の後方の周辺をカバーしている。
 センシング領域302Fにおけるセンシング結果は、例えば、車両201の前方に存在する車両や歩行者等の検出等に用いられる。センシング領域302Bにおけるセンシング結果は、例えば、車両201の後方の衝突防止機能等に用いられる。センシング領域302L及びセンシング領域302Rにおけるセンシング結果は、例えば、車両201の側方の死角における物体の検出等に用いられる。
 センシング領域303F乃至センシング領域303Bは、カメラ251によるセンシング領域の例を示している。センシング領域303Fは、車両201の前方において、センシング領域302Fより遠い位置までカバーしている。センシング領域303Bは、車両201の後方において、センシング領域302Bより遠い位置までカバーしている。センシング領域303Lは、車両201の左側面の周辺をカバーしている。センシング領域303Rは、車両201の右側面の周辺をカバーしている。
 センシング領域303Fにおけるセンシング結果は、例えば、信号機や交通標識の認識、車線逸脱防止支援システム、自動ヘッドライト制御システムに用いることができる。センシング領域303Bにおけるセンシング結果は、例えば、駐車支援、及び、サラウンドビューシステムに用いることができる。センシング領域303L及びセンシング領域303Rにおけるセンシング結果は、例えば、サラウンドビューシステムに用いることができる。
 センシング領域304は、LiDAR253のセンシング領域の例を示している。センシング領域304は、車両201の前方において、センシング領域303Fより遠い位置までカバーしている。一方、センシング領域304は、センシング領域303Fより左右方向の範囲が狭くなっている。
 センシング領域304におけるセンシング結果は、例えば、周辺車両等の物体検出に用いられる。
 センシング領域305は、長距離用のレーダ252のセンシング領域の例を示している。センシング領域305は、車両201の前方において、センシング領域304より遠い位置までカバーしている。一方、センシング領域305は、センシング領域304より左右方向の範囲が狭くなっている。
 センシング領域305におけるセンシング結果は、例えば、ACC(Adaptive Cruise Control)、緊急ブレーキ、衝突回避等に用いられる。
 なお、外部認識センサ225が含むカメラ251、レーダ252、LiDAR253、及び、超音波センサ254の各センサのセンシング領域は、図7以外に各種の構成をとってもよい。具体的には、超音波センサ254が車両201の側方もセンシングするようにしてもよいし、LiDAR253が車両201の後方をセンシングするようにしてもよい。また、各センサの設置位置は、上述した各例に限定されない。また、各センサの数は、1つでもよいし、複数であってもよい。
 <センサリソース管理テーブルと代替可能マップの構成例>
 (センサリソース管理テーブル)
 次に、図8,図9を参照して、センサリソース管理テーブル291および代替可能マップ292の構成例について説明する。
 ここでは、外部認識センサ225のLiDAR253および車両センサ227(の、例えば、IMU)が、図4のセンサ131-1に対応し、走行支援・自動運転制御部229が、図4の処理部132-1に対応し、それらを備えた走行支援・自動運転制御サブシステム331(図9)が、図4のサブシステム121-1に対応する構成であるものとする。
 すなわち、走行支援・自動運転制御サブシステム331(図9)が、サブシステム121-1に対応し、外部認識センサ225のLiDAR253、および車両センサ227を、センサ131-1に対応する構成として備え、走行支援・自動運転制御部229を、処理部132-1に対応する構成として備えるものとする。
 また、外部認識センサ225のカメラ251が、図4のセンサ131-2に対応し、車両制御部232が、図4の処理部132-2に対応し、それらを備えた車両制御サブシステム332(図9)が、図4のサブシステム121-2に対応する構成であるものとする。尚、ここで、センサ131-2に対応する外部認識センサ225のカメラ251は、特に、深度情報も測定可能なDepth Cameraであることを前提とする。
 すなわち、車両制御サブシステム332(図9)がサブシステム121-2に対応し、外部認識センサ225のカメラ251を、センサ131-2に対応する構成として備え、車両制御部232を、処理部132-2に対応する構成として備えるものとする。
 センサリソース管理部233は、図4のサブシステム121-1,121-2に対応する走行支援・自動運転制御サブシステム331および車両制御サブシステム332のそれぞれの管理部260,280より供給されるセンサリソース情報を取得して、図8で示されるようなセンサリソース管理テーブル291を生成する。
 センサリソース情報には、センサ種別、データ型、設置位置(センシングエリア)、および計測特性、並びに代替可能条件等が含まれており、対応する情報がセンサリソース管理テーブル291に登録される。
 センサ種別は、図4におけるセンサ131を構成する具体的な種別の情報であり、図8においては、走行支援・自動運転制御サブシステム331が備えるセンサの種別として、外部認識センサ225のLiDAR253と、車両センサ227(IMU)とが登録されている。
 また、車両制御サブシステム332が備えるセンサの種別として、外部認識センサ225のカメラ251(Depth Camera)が登録されている。
 データ型は、図4のセンサ133に対応する構成により検出されるセンシング結果のデータの形式を示す情報である。
 図8においては、外部認識センサ225のLiDAR253のデータ型が、Point Cloudであり、車両センサ227(IMU)のデータ型が、Analogであり、外部認識センサ225のカメラ251(Depth Camera)のデータ型が、Point Cloudであることが示されている。
 設置位置(センシングエリア)は、センサ131に対応する構成が設置される位置と、センシングエリアを示す情報である。
 図8において、外部認識センサ225のLiDAR253は、Front Body(Front)と表記されており、車両201の本体の前部(Front Body)に設置されており、センシングエリアが車両201の前方(Front)であることが示されている。
 また、車両センサ227(IMU)は、Front Body(Body Center)と表記されており、車両201の本体の前部(Front Body)に設置されており、センシングエリアが本体中心位置(Body Center)であることが示されている。
 さらに、外部認識センサ225のカメラ251(Depth Camera)は、Front Body,Rear Body,LRside Body(Front,Rear,LRside)と表記されており、車両201の本体の前部(Front Body)、後部(Rear Body)および、左右側面部(LRside Body)に設置されており、センシングエリアが、前方、後方、左右側面(Front,Rear,LRside)であることが示されている。
 計測精度は、センサ131に対応する構成により計測されるセンシング結果の特性を示す情報である。
 図8においては、外部認識センサ225のLiDAR253については、計測周期が周期T1であり、精度が精度A1であり、計測点数が計測点数P1であることが示されている。
 車両センサ227(IMU)については、計測周期が周期T2であり、精度が精度A2であることが示されている。
 外部認識センサ225のカメラ251(Depth Camera)については、計測周期が周期T3であり、精度が精度A3であり、計測点数が計測点数P3であることが示されている。
 代替可能条件は、センシング結果を代替利用可能なセンサを特定する条件を示すものであり、例えば、前述のセンサ種別・データ型・設置位置・計測特性といったセンサ特性の組合せ条件についてand(論理積)/or(論理和)で結合したものによって表記される。
 図8では、外部認識センサ225のLiDAR253については、「DataType: Point Cloud and Location: Front Body and 周期>α and 精度>β and 計測点数>γ」と記載されており、データ型がPoint Cloudであり、設置場所が、車両201の本体の前部であり、周期がαより大きく、精度がβよりも大きく、計測点数がγよりも多いことが条件であることが示されている。
 また、車両センサ227(IMU)については、「SensorType: IMU and DataType: Analog」と記載されており、センサタイプがIMUであり、データ型が、アナログであることが条件であることが示されている。
 さらに、外部認識センサ225のカメラ251(Depth Camera)については、「DataType: Point Cloud and 周期>α’」と記載されており、データ型がPoint Cloudであり、周期がα’より大きいことが条件であることが示されている。
 (代替可能マップ)
 次に、図9を参照して、代替可能マップ292の構成例について説明する。
 センサリソース管理部233は、センサリソース管理テーブル291の情報に基づいて、センサ種別として登録された、図4のセンサ131に相当する構成のそれぞれについて、センシング結果を代替可能な図4のセンサ131に相当するセンサを検索し、検索できたセンサを、代替可能なセンサペアとみなし、センサペアの情報を代替可能マップ292として表現する。ここでいう、センサペアは、故障等の不調が生じたセンサ(不調センサ)と、不調が生じたセンサのセンシング結果と代替可能なセンシング結果を検出している正常に動作しているセンサ(正常センサ)とのペアを意味する。
 図8のセンサリソース管理テーブル291の場合、センサリソース管理テーブル291に登録されるいずれかのセンサが注目センサとして設定され、データ型、設置位置(センシングエリア)、および計測特性の情報に基づいて、それぞれが同一であるか、類似するか、包含関係にあるか等により、代替可能な、センサペアとなり得る注目センサ以外のセンサが検索される。
 例えば、外部認識センサ225のLiDAR253が注目センサとされる場合、注目センサの代替可能条件に記載されたデータ型、設置位置(センシングエリア)、および計測特性を基準として、他のセンサのデータ型、設置位置(センシングエリア)、および計測特性と比較して、代替可能なセンシング結果が検出されるセンサが検索される。
 外部認識センサ225のLiDAR253の代替可能条件はデータ型はPoint Cloudかつ、センシングエリアが前方(Front)、かつ一定以上の周期・精度・計測点数を有することであるが、外部認識センサ225のカメラ251(Depth Camera)については、データ型がPoint Cloudであり、センシングエリアに前方(Front)が含まれており、計測特性についても基準を満たしているものとする。
 このため、外部認識センサ225のLiDAR253と、カメラ251(Depth Camera)とについては、代替可能なセンシング結果を検出するセンサペアとなり得るセンサであると考えることができる。
 そこで、センサリソース管理部233は、このように代替可能なセンシング結果を検出する外部認識センサ225のカメラ251(Depth Camera)を、注目センサである、外部認識センサ225のLiDAR253のセンサペアとなりうるセンサとみなす。
 このような場合、センサリソース管理部233は、外部認識センサ225のLiDAR253が故障した場合に代替可能なセンサペアが、外部認識センサ225のカメラ251(Depth Camera)であることを示す情報として、例えば、図9で示されるような代替可能マップ292を生成する。
 代替可能マップ292は、センサペアとなる図4におけるセンサ131と共に、それぞれのセンサ131を備えたサブシステム121の情報を表記するグラフ型データである。
 すなわち、外部認識センサ225のカメラ251(Depth Camera)が、外部認識センサ225のLiDAR253のセンサペアである場合、図9の代替可能マップ292においては、それぞれを備えた図4のサブシステム121に対応する走行支援・自動運転制御サブシステム331と、車両制御サブシステム332の構成が表記される。
 すなわち、図9の代替可能マップ292においては、注目センサである、外部認識センサ225のLiDAR253を備えた走行支援・自動運転制御サブシステム331と、注目センサのセンサペアである、外部認識センサ225のカメラ251(Depth Camera)を備えた車両制御サブシステム332のそれぞれの構成が表記される。
 図9の代替可能マップ292においては、走行支援・自動運転制御サブシステム331について、図4の処理部132に対応する走行支援・自動運転制御部229を起点とした2つの矢印が、外部認識センサ225のLiDAR253と、車両センサ227(IMU)とをそれぞれ終点として接続されている。
 すなわち、これにより、走行支援・自動運転制御サブシステム331における、図4の処理部132に相当する走行支援・自動運転制御部229が、処理を実行する上で必要なセンシング結果を、外部認識センサ225のLiDAR253と、車両センサ227(IMU)とから取得していることが表現される。
 同様に、車両制御サブシステム332について、図4の処理部132に対応する車両制御部232を起点とした1つの矢印が、外部認識センサ225のカメラ251(Depth Camera)を終点として接続されている。
 すなわち、これにより、車両制御サブシステム332における、図4の処理部132に相当する車両制御部232が、処理を実行する上で必要なセンシング結果を、外部認識センサ225のカメラ251(Depth Camera)から取得していることが表現される。
 さらに、外部認識センサ225のカメラ251(Depth Camera)を起点とし、外部認識センサ225のLiDAR253を終点とする点線の矢印が表記され、外部認識センサ225のLiDAR253が故障した場合に代替可能なセンサペアが、外部認識センサ225のカメラ251(Depth Camera)であることが表現されている。
 代替可能マップ292においては、点線の矢印により、外部認識センサ225のLiDAR253が故障した場合、外部認識センサ225のLiDAR253のセンシング結果に対して、代替可能なセンシング結果の送信元が、外部認識センサ225のカメラ251(Depth Camera)であり、送信先が、故障していない状態であるときに外部認識センサ225のLiDAR253のセンシング結果を使用する走行支援・自動運転制御部229であることが特定されている。
 センサリソース管理部233は、外部認識センサ225のLiDAR253の故障が発生した場合については、外部認識センサ225のLiDAR253のセンサペアの情報が記録されている、図9で示されるような代替可能マップ292を検索する。
 そして、センサリソース管理部233は、図9の代替可能マップ292の情報に基づいて、車両制御部232の管理部280に対して、外部認識センサ225のカメラ251(Depth Camera)のセンシング結果を、故障している外部認識センサ225のLiDAR253の代替可能なセンシング結果として、走行支援・自動運転制御部229の管理部260に対して転送させるように転送指示を供給する。
 この転送指示に基づいて、車両制御部232の管理部280は、外部認識センサ225のカメラ251(Depth Camera)のセンシング結果を走行支援・自動運転制御部229の管理部260に転送する。
 走行支援・自動運転制御部229の管理部260は、車両制御部232の管理部280より転送されてくる外部認識センサ225のカメラ251(Depth Camera)のセンシング結果を、故障した外部認識センサ225のLiDAR253のセンシング結果の代わりに代替使用することで、自らの処理を実行する。
 このような処理により、外部認識センサ225のLiDAR253に故障が発生しても、走行支援・自動運転制御サブシステム331を構成する走行支援・自動運転制御部229は、処理を継続することが可能となる。
 尚、以上の代替可能条件は、一例であり、その他の代替可能条件が設定されてもよく、代替可能条件については様々なバリエーションが考えられる。例えば、以上においては、外部認識センサ225のLiDAR253が注目センサであるときに構成される代替可能マップ292の例について説明してきたが、例えば、注目センサが外部認識センサ225のカメラ251(Depth Camera)である場合には、図9の点線の矢印の向きを逆にしたような代替可能マップ292を形成することはできないと考えることもできる。
 すなわち、図8のセンサリソース管理テーブル291において、注目センサを外部認識センサ225のカメラ251(Depth Camera)であるとすれば、カメラ251(Depth Camera)のセンシングエリアは、前方、後方、左右側面(Front,Rear,LRside)であるが、外部認識センサ225のLiDAR253のセンシングエリアは、センシングエリアが車両201の前方(Front)のみである。
 外部認識センサ225のカメラ251(Depth Camera)が故障した場合、外部認識センサ225のLiDAR253のセンシング結果のみでは、全てのセンシングエリアをカバーできない。
 すなわち、外部認識センサ225のLiDAR253のセンシング結果におけるセンシングエリアは、外部認識センサ225のカメラ251(Depth Camera)のセンシング結果の一部であり、全範囲を網羅していない。
 逆に、外部認識センサ225のカメラ251(Depth Camera)のセンシング結果は、センシングエリアにおいて、外部認識センサ225のLiDAR253のセンシング結果のセンシングエリアの全てを網羅している。
 したがって、センサリソース管理部233は、外部認識センサ225のカメラ251(Depth Camera)を注目センサとして、外部認識センサ225のLiDAR253と、データ型、設置位置(センシングエリア)、および計測特性のそれぞれについて比較しても、代替可能なセンサ、すなわち、センサペアと認識できないと考えることもできる。
 このようにセンサ間におけるセンシング結果が、代替可能であるか否かについては、データ型、設置位置、および計測特性等が、同一であるか、または、類似していても、センシングエリアの包含関係などにより、代替可能であるか否かが変わるように設定されてもよい。
 しかしながら、外部認識センサ225のLiDAR253より得られる、車両201の前方(Front)のみのセンシング結果だけを用いて、車両制御部232による処理を実行させた方がよい場合も考えられる。
 このような場合については、外部認識センサ225のLiDAR253が、外部認識センサ225のカメラ251(Depth Camera)のセンサペアとしてみなされるようにして、例えば、図9における点線で示される矢印の始点と終点とが入れ替えられた、代替可能マップ292が生成されてもよい。
 また、上述の例においては、外部認識センサ225のLiDAR253を注目センサとしたとき、外部認識センサ225のカメラ251(Depth Camera)の計測特性が同一であるか、または、所定の範囲内で類似していることを前提としている。
 しかしながら、外部認識センサ225のLiDAR253と、カメラ251(Depth Camera)との計測特性の比較において、周期、精度、および計測点数の全てにおいて、カメラ251(Depth Camera)の方が高精度であるときには、カメラ251(Depth Camera)をセンサペアとみなすことができるが、いずれかが低精度であるときには、カメラ251(Depth Camera)をセンサペアとみなすことができないと考えることもできる。
 すなわち、外部認識センサ225LiDAR253が故障した際に、低精度なセンシング結果しか得られない外部認識センサ225のカメラ251(Depth Camera)のセンシング結果を代替使用しても、走行支援・自動運転制御サブシステム331における処理精度が低下する恐れがあるからである。
 しかしながら、外部認識センサ225のLiDAR253の故障に伴って、走行支援・自動運転制御サブシステム331の処理を停止させるよりも、外部認識センサ225のカメラ251(Depth Camera)のセンシング結果を代替使用することで、低精度であっても処理がなされている方がよい場合も考えられる。
 このような場合については、外部認識センサ225のカメラ251(Depth Camera)を外部認識センサ225のLiDAR253のセンサペアとみなすようにして、例えば、図9における点線で示される矢印の始点と終点とが入れ替えられた、代替可能マップ292が生成されてもよい。このように代替可能条件は、様々なバリエーションが考えられる。
 尚、図9の代替可能マップ292の構成例は、グラフ型データの構成例であるが、代替可能なセンシング結果の、転送元となるサブシステムやセンサと、転送先となるサブシステムやセンサとを示すことが可能な構成であれば、グラフ型データ以外で表現されていてもよい。
 <起動処理>
 次に、図10のフローチャートを参照して、センサリソース管理テーブル291と、代替可能マップ292とが生成される起動時の処理である、起動処理について説明する。尚、この例においては、起動時にセンサリソース管理テーブル291と、代替可能マップ292とが生成される例について説明するものとするが、それ以外のタイミングでなされてもよい。例えば、センサ類がホットスワップ可能な構成であり、任意のタイミングで着脱が可能な構成であるような場合については、センサリソース管理テーブル291と、代替可能マップ292とが生成される処理が所定時間間隔で繰り返しなされてもよい。
 ステップS31において、センサリソース管理部233は、車両201が起動したか否かを判定し、起動したと判定されるまで、同様の処理を繰り返す。そして、ステップS31において、起動したと判定された場合、処理は、ステップS32に進む。
 ステップS32において、センサリソース管理部233は、全てのサブシステムの管理部に対してセンサリソース情報を問い合わせる。図6の車両201においては、センサリソース管理部233は、走行支援・自動運転制御サブシステム331、および車両制御サブシステム332のそれぞれを構成する走行支援・自動運転制御サブシステム331の管理部260、および車両制御サブシステム332の管理部280に対してセンサリソース情報を問い合わせる。
 ステップS51において、走行支援・自動運転制御サブシステム331、および車両制御サブシステム332の管理部260,280は、センサリソース管理部233よりセンサリソース情報の問い合わせがあったか否かを判定し、問い合わせがあるまで、同様の処理を繰り返す。
 ステップS51において、例えば、ステップS32の処理により、センサリソース情報の問い合わせがあった場合、処理は、ステップS52に進む。
 ステップS52において、管理部260,280は、予め記憶しているそれぞれ走行支援・自動運転制御サブシステム331、および車両制御サブシステム332を構成するセンサのリソース情報を読み出す。
 すなわち、図6の例においては、管理部260は、予め記憶している走行支援・自動運転制御サブシステム331を構成する外部認識センサ225のLiDAR253と、車両センサ227(IMU)のセンサリソース情報であるデータ型、設置位置(センシングエリア)、および計測特性を読み出す。
 また、図6の例においては、管理部280は、予め記憶している車両制御サブシステム332を構成する外部認識センサ225のカメラ251(Depth Camera)のセンサリソース情報であるデータ型、設置位置(センシングエリア)、および計測特性を読み出す。
 ステップS53において、管理部260,280は、それぞれ読み出したセンサリソース情報をセンサリソース管理部233に送信する。
 ステップS33において、センサリソース管理部233は、全サブシステムからのセンサリソース情報を取得する。すなわち、図6においては、センサリソース管理部233は、走行支援・自動運転制御サブシステム331、および車両制御サブシステム332のそれぞれを構成する走行支援・自動運転制御部229の管理部260、および車両制御部232の管理部280より供給されるセンサリソース情報を取得する。
 ステップS34において、センサリソース管理部233は、取得したセンサリソース情報に基づいて、図8を参照して説明したセンサリソース管理テーブル291を生成し、記憶部228に登録する。
 ステップS35において、センサリソース管理部233は、記憶部228より登録したセンサリソース管理テーブル291を読み出し、上述したように、代替可能なセンシング結果を取得可能なセンサペア毎に、例えば、図9で示されるような代替可能マップ292を生成し、記憶部228に登録する。
 以上の一連の処理により、車両201が起動される度に、全てのサブシステムを構成するセンサのセンサリソース情報が取得されて、センサリソース管理テーブル291が生成される。さらに、センサリソース管理テーブル291の情報に基づいて、代替可能マップ292が、代替可能なセンサをペアとするセンサペア毎に生成される。
 <センサリソース管理処理>
 次に、図11のフローチャートを参照して、記憶部228に登録されたセンサリソース管理テーブル291と代替可能マップ292とを用いて、センサの故障が生じたときに、センサペアとなる他のセンサのセンシング結果を転送させる処理を実現するセンサリソース管理処理について説明する。
 ここでは、サブシステムの処理を説明するに当たっては、具体例として、走行支援・自動運転制御サブシステム331における、外部認識センサ225のLiDAR253に故障が発生し、上述した図9の代替可能マップ292に基づいて、車両制御部232の外部認識センサ225のカメラ251(Depth Camera)のセンシング結果を転送させる場合の処理について説明する。
 しかしながら、これは、代表的なセンサリソース管理処理を説明するものであって、他のサブシステムにおける他のセンサが故障した場合についても、基本的には同様の処理となる。
 ステップS71において、走行支援・自動運転制御サブシステム331における、走行支援・自動運転制御部229の管理部260は、自らが処理に利用するセンシング結果を検出する、外部認識センサ225のLiDAR253、および、車両センサ227(IMU)に故障(不調)が発生していることを検出したか否かを判定する。
 例えば、外部認識センサ225のLiDAR253、および、車両センサ227(IMU)のいずれかからセンシング結果の出力がないといった場合、故障が発生していることが検出されることになる。
 このとき、他のサブシステムにおいても同様の処理がなされ、例えば、車両制御サブシステム332においては、車両制御部232の管理部280が、自らが処理に利用するセンシング結果を検出する、外部認識センサ225のカメラ251(Depth Camera)に故障が発生していることを検出したか否かを判定する。
 ステップS71において、例えば、外部認識センサ225のLiDAR253に故障が発生していることが検出された場合、処理は、ステップS72に進む。
 ステップS72において、管理部260は、センサリソース管理部233に対して、外部認識センサ225のLiDAR253に故障が発生していることを通知して、他のサブシステムからの代替可能なセンシング結果の転送要求を送信する。
 ステップS91において、センサリソース管理部233は、いずれかのサブシステムから、他のサブシステムからの代替可能なセンシング結果の転送要求があったかか否かを判定する。
 ステップS91において、例えば、ステップS72の処理により、走行支援・自動運転制御サブシステム331から外部認識センサ225のLiDAR253の故障が検出され、他のサブシステムからの代替可能なセンシング結果の転送要求があると判定された場合、処理は、ステップS92に進む。
 ステップS92において、センサリソース管理部233は、記憶部228にアクセスし、代替可能マップ292-1乃至292-xより、故障したセンサのセンサペアの情報(故障したセンサのセンシング結果に対して代替可能なセンシング結果を検出しているセンサの情報)を含む代替可能マップ292を検索する。
 ステップS93において、センサリソース管理部233は、故障したセンサのセンサペアからなる代替可能マップ292を検索できたか否かを判定する。
 ステップS93において、例えば、外部認識センサ225のLiDAR253とセンサペアとなる外部認識センサ225のカメラ251(Depth Camera)の情報を含む、例えば、図9の代替可能マップ292が検索されると、故障したセンサのセンサペアからなる代替可能マップ292が検索されたものとみなし、処理は、ステップS94に進む。
 ステップS94において、センサリソース管理部233は、代替可能なセンサリソースが存在し、どのサブシステムから代替可能なセンシング結果が転送されるかを示す情報を、転送要求を送信してきたセンサが故障しているサブシステムに通知し、処理は、ステップS96に進む。
 今の場合、走行支援・自動運転制御サブシステム331から、外部認識センサ225のLiDAR253のセンシング結果に代替可能なセンシング結果の転送が要求されていたので、センサリソース管理部233は、図9の代替可能マップ292に基づいて、走行支援・自動運転制御サブシステム331の管理部260に対して、車両制御サブシステム322より外部認識センサ225のカメラ251(Depth Camera)のセンシング結果が代替可能なセンシング結果として転送されることを通知する。
 さらに、ステップS96において、センサリソース管理部233は、検索された代替可能マップ292の情報に基づいて、代替可能なセンサリソースを備えた他のサブシステムに対して、センサが故障したサブシステムに対して、対応するセンシング結果を転送するように割り当てて、転送を要求する。
 この例においては、図9の代替可能マップ292の情報に基づいて、代替可能なセンサリソースは、車両制御サブシステム332の外部認識センサ225のカメラ251(Depth Camera)であることが特定されることになるので、センサリソース管理部233は、車両制御サブシステム332における車両制御部232の管理部280に対して、外部認識センサ225のカメラ251(Depth Camera)のセンシング結果を、外部認識センサ225のLiDAR253が故障している、走行支援・自動運転制御サブシステム331における走行支援・自動運転制御部229の管理部260に転送するように要求する。
 また、ステップS93において、故障したセンサのセンサペアからなる代替可能マップ292を検索できなかった場合、処理は、ステップS95に進む。
 ステップS95において、センサリソース管理部233は、代替可能なセンサリソースが存在しないことを示す情報を、代替可能なセンシング結果の転送要求を送信してきたサブシステムである、走行支援・自動運転制御サブシステム331の管理部260に通知し、処理は、ステップS97に進む。
 ステップS73において、走行支援・自動運転制御サブシステム331の管理部260は、センサリソース管理部233からの通知を取得し、代替可能なセンサリソースが存在することを示す通知であったか否かを判定する。
 ステップS73において、例えば、ステップS94の処理により、代替可能なセンサリソースが存在し、どのサブシステムからセンシング結果が転送されてくるのかを示す情報を取得し、他のサブシステムから転送されてくるセンシング結果を取得して、処理を実行する。
 また、ステップS73において、例えば、ステップS95の処理により、代替可能なセンサリソースが存在しないことを示す通知が送信されてきたと判定された場合、処理は、ステップS75に進む。
 ステップS75において、管理部260は、走行支援・自動運転制御部229の処理を停止させ、必要に応じて、HMI230等に、センサに異常が発生して処理不能となったことを表示する。
 また、ステップS71において、センサの故障が検出されないと判定された場合、ステップS72乃至S75の処理がスキップされて、処理は、ステップS76に進む。
 ステップS76において、他のサブシステムにセンシング結果を転送するように転送要求が送信されてきたか否かが判定される。この例においては、他のサブシステムとなる車両制御サブシステム332における車両制御部232の管理部280が、センサリソース管理部233より、自らが備えるセンサのセンシング結果を転送するように要求されたか否かを判定する。
 ステップS76において、例えば、ステップS96の処理により、外部認識センサ225のカメラ251(Depth Camera)のセンシング結果を、外部認識センサ225のLiDAR253が故障している、走行支援・自動運転制御サブシステム331における走行支援・自動運転制御部229の管理部260に転送するように要求があった場合、処理は、ステップS77に進む。
 ステップS77において、管理部280は、外部認識センサ225のカメラ251(Depth Camera)のセンシング結果を、外部認識センサ225のLiDAR253が故障している、走行支援・自動運転制御サブシステム331における走行支援・自動運転制御部229の管理部260に転送する。
 尚、ステップS76において、他のサブシステムに自らが備えるセンサのセンシング結果を転送するように要求されないと判定され場合、ステップS77の処理はスキップされる。
 そして、ステップS78,S97において、処理の終了が指示されたか否かが判定され、終了が指示されていないと判定された場合、それぞれ処理は、ステップS71,S91に戻る。すなわち、終了が指示されていない場合、ステップS71乃至S78、およびステップS91乃至S97の処理が繰り返される。
 そして、ステップS78,S97において、処理の終了が指示されたと判定された場合、処理は、終了する。
 以上の処理により、サブシステムを単位として、それぞれにおいて備えるセンサに故障が発生した場合、上述した処理により生成された代替可能マップ292に基づいて、代替可能な、故障したセンサとセンサペアとなる、他のサブシステムのセンサの情報を含む代替可能マップ292が検索されて、検索された代替可能マップ292に基づいて、他のサブシステムのセンサのセンシング結果が転送されることになる。
 結果として、走行支援・自動運転制御サブシステム331や車両制御サブシステム332等の複数のサブシステムから構築される車両制御システム211においては、いずれかのサブシステムのセンサが故障しても、代替可能な、他のサブシステムのセンサのセンシング結果が転送されるので、車両制御システム211の全体の動作の安定性を向上させることができ、安全性と安定性の高い自動運転を実現することが可能となる。
 この際、いずれかのサブシステムにおいてセンサが故障しない限り、代替可能なセンシング結果が他のサブシステムに転送されることがないので、不要な代替可能なセンシング結果の流通に伴った通信負荷の増大が抑制される。
 また、車両制御システム211の全体としては、複数のサブシステムから構成されることになるので、動作テスト等については、サブシステムを単位として実施させることができるので、動作テストの簡素化を図ることが可能となる。
 さらに、車両制御システム211を開発するに当たって、サブシステムを単位として開発することができるので、開発体制をサブシステム単位にすることができ、開発に係るコストを低減し、開発速度を向上させることが可能となる。
 <<2.第1の応用例>>
 以上においては、代替可能マップ292を作成するに当たって、センサ毎のセンサリソース情報に基づいて、センサリソース管理テーブル291を生成し、センサリソース管理テーブル291に登録された情報に基づいて、代替可能マップ292を生成する例について説明してきた。
 しかしながら、代替可能マップ292を構成するセンサ同士の組み合わせであるセンサペアについては、相互のセンシング結果に相関があれば成立すると考えることができる。
 そこで、走行中のセンサ毎のセンシング結果を記録しておき、走行が終了した停止中に、センサ間のセンシング結果の相関性を求めるようにして、相関性の高いセンサ同士をセンサペアとみなし、代替可能マップ292が生成されてもよい。
 より具体的には、図12で示されるような代替可能マップ生成ブロック341が考えられる。
 図12の代替可能マップ生成ブロック341は、センサ記録部351、センシング結果記憶部352、および相関解析部353より構成され、車両制御システム211に組み込まれる。
 センサ記録部351は、外部認識センサ225、車内センサ226、および車両センサ227など、車両201が走行中の車両制御システム211に設けられた各種のセンサのセンシング結果を読み込んで、センシング結果記憶部352に記憶させる。
 相関解析部353は、車両201の走行が終了した後、停車中において、センシング結果記憶部352に記憶されている、各種のセンサのセンシング結果のセンサ間の相関性を示す指標として、例えば、類似度を算出する。尚、相関性を示す指標は、相互の相関を示すことができる指標であれば、類似度以外の指標が求められてもよく、例えば、相関係数などでもよい。
 例えば、図12のセンサ記録部351の上部で示される波形W1,W2で示される2つのセンサのセンシング結果の波形のように、相互に類似度が高く、相関性が高いとみなされるセンサの組み合わせが検出されると、相関解析部353は、センシング結果の相関性が高いとみなされるセンサをセンサペア候補とする。
 そして、相関解析部353は、HMI231の、例えば、表示部などからなる出力部231aに相関性が高いセンサペア候補の情報を出力して、搭乗者や運転者または自動車システム管理者に提示し、センサペア候補となるセンサ同士をセンサペアとみなすか否かの判断を促す。
 これに応じて、HMI231の操作ボタンやタッチパネルなどからなる入力部231bが操作されて、提示されたセンサペア候補となる2つのセンサをセンサペアとみなすことを容認するような情報が入力されると、相関解析部353は、例えば、センサリソース管理部233に対して、センサペアとみなされたことを通知する。
 この通知に応じて、センサリソース管理部233は、センサペア候補とされていたセンサ同士をセンサペアとみなして、対応するセンサについて、センサリソース管理テーブル291よりセンサリソース情報を読み出して、代替可能マップ292’を生成して、記憶部228に記憶させる。
 尚、センシング結果の相関に基づいて設定されたセンサペアに基づいた代替可能マップについては、符号に「’」を付して、「代替可能マップ292’」と称する。代替可能マップ292’については、代替可能マップ292と別途生成されるようにするが、センサに故障(不調)が生じたときの利用方法は、代替可能マップ292と同様である。また、代替可能マップ292,292’は、共存するようにしてもよいし、いずれか一方だけを使用してもよい。
 このような構成により、センサリソース情報からでは、いずれかのセンサで故障が発生したときに代替可能なセンシング結果が得られるセンサペアとみなせないセンサ同士であっても、センシング結果について相関の高いセンサ同士がセンサペアにみなされることになるので、より多くの代替可能マップ292’を形成させることが可能となる。
 結果として、センサの故障が発生した際でも、代替可能なセンサリソースを増大させることができ、センサの故障に適切に対応することが可能となり、安全性と安定性より向上させた自動運転を実現することができる。
 <代替可能マップ生成ブロックを組み込んだ車両制御システムの構成例>
 次に、図13を参照して、図6の車両制御システム211に、図12の代替可能マップ生成ブロック341を組み込んだ場合の車両制御システム211の構成例について説明する。
 尚、図13の車両制御システム211において、図6の車両制御システム211と同一の機能を備えた構成については、同一の符号を付しており、その説明は適宜省略する。
 図13の車両制御システム211において、図6の車両制御システム211と異なる点は、新たに、センサ記録部371、センシング結果記憶部372、および相関解析部373が設けられ、記憶部228に、上述した代替可能マップ292’-1乃至292’-yが記憶されている点である。
 センサ記録部371は、図12のセンサ記録部351に対応する構成であり、走行中に、外部認識センサ225、車内センサ226、および車両センサ227より各種のセンシング結果を取得して、記憶部228のセンシング結果記憶部372に記憶させる。
 センシング結果記憶部372は、図12のセンシング結果記憶部352に対応する構成であり、センサ記録部371より供給される、各種のセンシング結果を記憶する。
 相関解析部373は、図12の相関解析部353に対応する構成であり、記憶部228に記憶されているセンシング結果記憶部372にアクセスし、各種のセンサのセンシング結果について、センサ間の相関性を求めて、相関性が所定の閾値よりも高いセンシング結果となるセンサ同士をセンサペア候補とする。
 相関解析部373は、センサペア候補となるセンサとセンシング結果に基づいた相関性を示す情報をHMI231の表示部などからなる出力部231aに提示して、センサペアとみなすようにしてもよいか否かを搭乗者や運転者に問い合わせる情報を提示する。
 これに応じて、HMI231の操作部などからなる入力部231bが操作されて、センサペアとみなすことを容認する旨の情報が入力されると、相関解析部373は、センサペア候補とされていたセンサの情報をセンサペアの情報として、センサリソース管理部233に供給する。
 センサリソース管理部233は、相関解析部373より供給されるセンサペアとなるセンサの情報を取得すると、センサリソース管理テーブル291にアクセスし、上述した手法により代替可能マップ292’を生成し、代替可能マップ292’-1乃至292’-yとして記憶部228に記憶させる。
 尚、図13に表記される代替可能マップ292’-1乃至292’-yは、図12を参照して説明した代替可能マップ生成ブロック341に対応する構成により生成された代替可能マップ292’が、y個記憶されていることが表現されている。
 この場合、いずれかのセンサに故障(不調)が発生した場合、センサリソース管理部233は、故障したセンサとセンサペアとなる情報に基づいて生成された代替可能マップ292,292’の少なくともいずれかを検索して、代替可能なセンシング結果を故障したセンサに転送させるように指示する。
 <センシング結果記憶処理>
 次に、図14のフローチャートを参照して、図13の車両制御システム211によるセンシング結果記憶処理について説明する。
 ステップS111において、センサ記録部371は、走行を開始したか否かを判定し、走行が開始されるまで同様の処理を繰り返す。そして、ステップS111において、走行を開始したと判定された場合、処理は、ステップS112に進む。
 ステップS112において、センサ記録部371は、外部認識センサ225、車内センサ226、および車両センサ227など、各種センサのセンシング結果を取得する。
 ステップS113において、センサ記録部371は、取得した各種センサのセンシング結果をセンシング結果記憶部372に記憶させる。
 ステップS114において、センサ記録部371は、走行が終了したか否かを判定し、終了していない場合、処理は、ステップS112に戻る。
 すなわち、走行を開始してから終了するまでの間、ステップS112乃至S114の処理が繰り返されて、センサ記録部371が、外部認識センサ225、車内センサ226、および車両センサ227等の各種のセンサのセンシング結果をセンシング結果記憶部372に記憶し続ける。
 そして、ステップS114において、走行が終了したと判定された場合、処理は、終了する。
 以上の処理により、走行中には、外部認識センサ225、車内センサ226、および車両センサ227等の各種センサのセンシング結果がセンシング結果記憶部372に記憶され続ける。
 <相関解析処理>
 次に、図15のフローチャートを参照して、センシング結果記憶部372に記憶されている各種センサのセンシング結果の相関性を求め、相関性の高さに応じて、代替可能マップを登録する、図13の車両制御システム211による相関解析処理について説明する。
 ステップS131において、相関解析部373は、車両201の走行が停止したか否かを判定し、停止したと判定されるまで、同様の処理を繰り返す。
 そして、ステップS131において、車両201の走行が停止したと判定された場合、処理は、ステップS132に進む。
 ステップS132において、相関解析部373は、車両制御システム211に設けられている、外部認識センサ225、車内センサ226、および車両センサ227など、各種センサのうち、いずれか注目センサに未設定のセンサを注目センサに設定する。
 ステップS133において、相関解析部373は、記憶部228に記憶されているセンシング結果記憶部372にアクセスし、注目センサのセンシング結果を読み出す。
 ステップS134において、相関解析部373は、車両制御システム211に設けられている、外部認識センサ225、車内センサ226、および車両センサ227など、各種センサであって、注目センサを除いたセンサのうち、いずれか比較対象センサに未設定のセンサを比較対象センサに設定する。
 ステップS135において、相関解析部373は、記憶部228に記憶されているセンシング結果記憶部372にアクセスし、比較対象センサのセンシング結果を読み出す。
 ステップS136において、相関解析部373は、注目センサと比較対象センサとのセンシング結果の相関性を示す指標を算出する。相関解析部373は、相関性の指標として、例えば、注目センサと比較対象センサとのセンシング結果の類似度を算出する。
 ステップS137において、相関解析部373は、相関性の指標に基づいて、注目センサと比較対象センサとの相関性(ここでは、類似度)が所定の閾値よりも高いか否かを判定する。
 ステップS137において、注目センサと比較対象センサとの相関性が所定の閾値よりも高いと判定された場合、処理は、ステップS138に進む。
 ステップS138において、相関解析部373は、注目センサと比較対象センサとの相関性が所定の閾値よりも高く、注目センサのセンシング結果を、比較対象センサのセンシング結果で代替可能であり、相互がセンサペア候補であることを示す情報と共に、センサペアとみなして代替可能マップ292’を生成して、登録するか否かを問い合わせる情報をHMI231に提示する。
 ステップS139において、相関解析部373は、代替可能マップ292’を生成して、登録するか否かを問い合わせてから所定時間内に、HMI231が操作されて、代替可能マップ292’を生成して、登録することが指示されたか否かを判定する。
 ステップS139において、HMI231が操作されて、代替可能マップ292’を生成して、登録することが指示されたと判定された場合、処理は、ステップS140に進む。
 ステップS140において、相関解析部373は、注目センサと比較対象センサの情報をセンサリソース管理部233に供給し、代替可能マップ292’を生成し、登録するように要求する。この要求に応じて、センサリソース管理部233は、記憶部228のセンサリソース管理テーブル291にアクセスし、注目センサと比較対象センサのセンサリソース情報を読み出して、注目センサと比較対象センサの代替可能マップ292’を生成し、記憶部228に登録する。
 尚、ステップS137において、相関性が所定の閾値よりも低い場合、または、ステップS139において、所定時間内に代替可能マップ292’を生成して、登録することが指示されなかったとみなされた場合、処理は、ステップS141に進む。
 ステップS141において、相関解析部373は、注目センサを除いたセンサのうち、いずれか比較対象センサに未設定のセンサがあるか否かを判定し、未設定のセンサがあるとみなされた場合、処理は、ステップS134に戻る。
 すなわち、注目センサを除いた全てのセンサが比較対象センサに設定されるまで、ステップS134乃至S141の処理が繰り返される。
 そして、ステップS141において、注目センサを除いたセンサに、比較対象センサに未設定のセンサがないとみなされた場合、すなわち、注目センサを除いた全てのセンサが比較対象センサに設定されたとみなされた場合、処理は、ステップS142に進む。
 ステップS142において、相関解析部373は、全てのセンサを比較対象センサとして未設定のセンサに設定する。
 ステップS143において、相関解析部373は、全てのセンサのうち、注目センサに未設定のセンサが存在するか否かを判定し、未設定のセンサがあると判定された場合、処理は、ステップS132に戻る。
 すなわち、全てのセンサが注目センサに設定されて、全てのセンサ間で相関性が確認されるまで、ステップS132乃至S143の処理が繰り返される。
 そして、ステップS143において、全てのセンサが注目センサとして設定され、全てのセンサ間で相関性が確認されたとみなされた場合、処理は、ステップS144に進む。
 ステップS144において、相関解析部373は、センシング結果記憶部372に記憶されている、全てのセンシング結果を破棄し、処理は、終了する。
 以上の処理により、センシング結果記憶部372に記憶されている全てのセンサ間で相関性が確認されて、所定の閾値よりも高いときには、注目センサと比較対象センサとをセンサペア候補として設定し、センサペアとして代替可能マップ292’を生成して登録するか否かを問い合わせる情報を搭乗者や運転者に提示する。
 そして、問い合わせに応じて、代替可能マップ292’の登録が指示されると、相関性の高い注目センサと比較対象センサが、センサペアとみなされて、代替可能マップ292’が生成されて登録される。
 これにより、センサリソース管理テーブル291に登録されたセンサリソース情報からではセンサペアとして認められないセンサ同士であっても、センシング結果に相関性のあるセンサ同士をセンサペアとみなして、代替可能マップ292’を登録することが可能となる。
 結果として、センサの故障が発生した際でも、代替可能なセンサリソースを増大させることができ、センサの故障に適切に対応することが可能となり、より安全性の高い、より安定性の高い自動運転を実現することが可能となる。
 尚、図15のフローチャートを参照して説明した相関解析処理において、注目センサと比較対象センサとの相関性が高く、センサペア候補とみなされた場合でも、起動処理により、センサペアとしてみなされて、代替可能マップ292として既に登録されているときには、ステップS138乃至S140の処理はスキップするようにしてもよい。
 また、以上の例においては、センシング結果記憶部372および相関解析部373は、車両制御システム211内に設けられる例について説明してきたが、通信部222を介した通信ネットワーク上に存在するサーバコンピュータやクラウドコンピューティングにより実現されるようにしてもよい。
 <<3.第2の応用例>>
 以上においては、走行中に各種のセンサのセンシング結果をセンシング結果記憶部372に記憶して、センサ間の相関性を求め、相関性が所定の閾値よりも高いセンサ同士を、センサペアとして、代替可能マップ292’として登録するようにする例について説明してきた。
 しかしながら、走行中に各種のセンサのセンシング結果をセンシング結果記憶部372に記憶して、登録された代替可能マップ292や292’においてセンサペアとされたセンサ間のセンシング結果を比較し、相関性が所定の閾値よりも低くなったか否かにより、センサペアのいずれかのセンサにおいて、異常や故障(不調)の発生の有無を判定するようにしてもよい。
 より具体的には、例えば、図16で示されるような故障検知部391を設けることが考えられる。
 すなわち、図16の故障検知部391は、走行中に代替可能マップ292に基づいてセンサペアを読み出し、読み出したセンサペアを構成する2つのセンサのそれぞれのセンシング結果を、センシング結果記憶部352より読み出す。そして、故障検知部391は、読み出した2つのセンサのセンシング結果の相関性を求めて、所定の閾値と比較する。ここで、相関性が所定の閾値よりも低く、本来ならば所定の閾値以上の相関性を備えているはずのセンサペアのセンシング結果に相関性がなくなっているか否かにより、故障や異常の発生の有無を判定する。
 センサペアの2つのセンシング結果が、例えば、図16の波形W11,W12で示されるように相関性が所定の閾値よりも低くなっており、所定の閾値以上の相関性を備えているはずのセンサペアのセンシング結果に相関性がなくなっている場合、故障検知部391は、センサペアのいずれかのセンサに異常や故障が発生していると判定し、サブシステム401に故障を通知する。
 ここでいうサブシステム401は、例えば、上述した走行支援・自動運転制御サブシステム331、および車両制御サブシステム332であり、センサの異常や故障が通知されると、それぞれの管理部260,280は、処理を停止させる。
 このような構成により、センサの異常や故障を早期に発見することが可能となり、故障したセンシング結果を用いた処理を抑制することで、自動運転における安全性と安定性を向上させることが可能となる。
 <故障検知部を組み込んだ車両制御システムの構成例>
 次に、図17を参照して、図16の故障検知部391に対応する構成を組み込んだ車両制御システム211の構成例について説明する。
 尚、図17の車両制御システム211において、図13の車両制御システム211と同一の機能を備えた構成については、同一の符号を付しており、その説明は適宜省略する。
 図17の車両制御システム211において、図13の車両制御システム211と異なる点は、新たに、故障検知部411が設けられている点である。
 故障検知部411は、図16の故障検知部391に対応する構成であり、走行中に代替可能マップ292および292’に基づいてセンサペアを読み出し、読み出したセンサペアを構成する2つのセンサのそれぞれのセンシング結果をセンシング結果記憶部372から読み出す。
 そして、故障検知部411は、読み出したセンサペアを構成する2つのセンサのセンシング結果の相関性の指標を求めて、所定の閾値よりも低く、本来ならば所定の閾値以上の相関性を備えているはずのセンサペアのセンシング結果に相関性がなくなっているか否かにより、故障や異常の発生の有無を判定する。相関性の指標は、例えば、類似度や相関係数である。
 センサペアの2つのセンシング結果の相関性が所定の閾値よりも低くなっており、所定の閾値以上の相関性を備えているはずのセンサペアのセンシング結果に相関性がなくなっている場合、故障検知部411は、センサペアのいずれかのセンサに異常や故障が発生していると判定し、サブシステムに通知する。より具体的には、故障検知部411は、例えば、サブシステムを構成する、走行支援・自動運転制御サブシステム331、および車両制御サブシステム332の走行支援・自動運転制御部229、および車両制御部232の管理部260,280に通知する。
 管理部260,280は、センサの故障や異常を示す情報が通知されると、走行支援・自動運転制御部229、および車両制御部232の処理を停止させる。
 このような構成により、センサの異常や故障を早期に発見することが可能となり、故障したセンシング結果を用いた処理を抑制することで、自動運転における安全性と安定性を向上させることが可能となる。
 <故障検知処理>
 次に、図18のフローチャートを参照して、図17の車両制御システム211による故障検知処理について説明する。
 ステップS151において、故障検知部411は、記憶部228にアクセスし、代替可能マップ292および292’のうち、注目代替可能マップ292または292’に設定されていない未処理の代替可能マップ292および292’のいずれかを注目代替可能マップ292または292’に設定する。
 ステップS152において、故障検知部411は、センシング結果記憶部372にアクセスし、注目代替可能マップ292または292’のセンサペアの2つのセンサのセンシング結果を読み出す。
 ステップS153において、故障検知部411は、注目代替可能マップ292または292’の2つのセンサのセンシング結果の相関性を示す指標を算出する。故障検知部411は、相関性の指標として、例えば、注目センサと比較対象センサとのセンシング結果の類似度を算出する。
 ステップS154において、故障検知部411は、相関性の指標に基づいて、注目代替可能マップ292または292’の2つのセンサの相関性が所定の閾値よりも低いか否かを判定する。
 ステップS154において、注目代替可能マップ292または292’の2つのセンサの相関性が低いと判定された場合、処理は、ステップS155に進む。
 ステップS155において、故障検知部411は、注目代替可能マップ292または292’の2つのセンサのセンシング結果の相関性が所定の閾値よりも低く、いずれかのセンサに異常や故障が発生している可能性があることを示す情報をHMI231に提示する。
 ステップS156において、故障検知部411は、注目代替可能マップ292または292’の2つのセンサを備えたサブシステムを構成する走行支援・自動運転制御サブシステム331、および車両制御サブシステム332の走行支援・自動運転制御部229、および車両制御部232の管理部260,280に通知する。これにより、故障や異常が発生している可能性があるセンサを備えたサブシステムの管理部260,280は、走行支援・自動運転制御部229、および車両制御部232の処理を停止させる。
 尚、ステップS154において、注目代替可能マップ292または292’の2つのセンサの相関性が低くない、すなわち、センサの異常や故障の可能性がないと判定された場合、ステップS155,S156の処理はスキップされる。
 ステップS157において、故障検知部411は、注目代替可能マップ292または292’として未処理の代替可能マップ292または292’があるか否かを判定し、未処理の代替可能マップ292または292’がある場合、処理は、ステップS151に戻る。
 すなわち、全ての代替可能マップ292または292’が、注目代替可能マップ292または292’に設定されて、センサペアのセンシング結果の相関性の指標が求められて、故障の有無が判定されるまで、ステップS151乃至S157の処理が繰り返される。
 そして、ステップS157において、未設定の代替可能マップ292または292’がなく、全ての代替可能マップ292または292’が、注目代替可能マップ292または292’に設定されて、センサペアのセンシング結果の相関性の指標が求められて、故障の有無が判定されたと判定された場合、処理は、ステップS158に進む。
 ステップS158において、故障検知部411は、動作の終了が指示されているか否かを判定し、終了が指示されていない場合、処理は、ステップS159に進む。
 ステップS159において、故障検知部411は、代替可能マップ292または292’を、注目代替可能マップ292または292’に設定されていない未処理の状態に戻して、処理は、ステップS151に戻る。
 すなわち、車両201の動作が停止して動作の終了が指示されるまで、全ての代替可能マップ292または292’のセンサペアのセンシング結果の相関性が求められて、故障の有無が判定される処理が繰り返される。
 そして、ステップS159において、車両制御システム211の動作が終了されるとき、処理は終了する。
 以上の処理により、センサの異常や故障を早期に発見することが可能となり、故障したセンシング結果を用いた処理を抑制することで、自動運転の安全性と安定性を向上させることが可能となる。
 尚、以上の例においては、センシング結果記憶部372、代替可能マップ292,292’および故障検知部411は、車両制御システム211内に設けられる例について説明してきたが、通信部222を介した通信ネットワーク上に存在するサーバコンピュータやクラウドコンピューティングにより実現されるようにしてもよい。
 <<4.ソフトウェアにより実行させる例>>
 ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータなどに、記録媒体からインストールされる。
 図19は、汎用のコンピュータの構成例を示している。このコンピュータは、CPU(Central Processing Unit)1001を内蔵している。CPU1001にはバス1004を介して、入出力インタフェース1005が接続されている。バス1004には、ROM(Read Only Memory)1002およびRAM(Random Access Memory)1003が接続されている。
 入出力インタフェース1005には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部1006、処理操作画面や処理結果の画像を表示デバイスに出力する出力部1007、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部1008、LAN(Local Area Network)アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部1009が接続されている。また、磁気ディスク(フレキシブルディスクを含む)、光ディスク(CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む)、光磁気ディスク(MD(Mini Disc)を含む)、もしくは半導体メモリなどのリムーバブル記憶媒体1011に対してデータを読み書きするドライブ1010が接続されている。
 CPU1001は、ROM1002に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブル記憶媒体1011ら読み出されて記憶部1008にインストールされ、記憶部1008からRAM1003にロードされたプログラムに従って各種の処理を実行する。RAM1003にはまた、CPU1001が各種の処理を実行する上において必要なデータなども適宜記憶される。
 以上のように構成されるコンピュータでは、CPU1001が、例えば、記憶部1008に記憶されているプログラムを、入出力インタフェース1005及びバス1004を介して、RAM1003にロードして実行することにより、上述した一連の処理が行われる。
 コンピュータ(CPU1001)が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記憶媒体1011に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、ディジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
 コンピュータでは、プログラムは、リムーバブル記憶媒体1011をドライブ1010に装着することにより、入出力インタフェース1005を介して、記憶部1008にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部1009で受信し、記憶部1008にインストールすることができる。その他、プログラムは、ROM1002や記憶部1008に、あらかじめインストールしておくことができる。
 なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
 尚、図19におけるCPU1001が、図6の走行支援・自動運転制御部229、車両制御部232、およびセンサリソース管理部233、図13のセンサ記録部371、および相関解析部373、並びに、図16の故障検知部411の機能を実現させる。
 また、本明細書において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。
 なお、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
 例えば、本開示は、1つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
 また、上述のフローチャートで説明した各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。
 さらに、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。
<1>  自動運転の制御に係るセンシング結果を検出するセンサと、
  前記センサにより検出される前記センシング結果に基づいて、前記自動運転に係る所定の処理を実行する処理部と
 を有する複数のサブシステムと、
 前記複数のサブシステムのうちの第1のサブシステムにおいて、前記センサの不調が検出された場合、前記第1のサブシステムの前記センサのセンシング結果と代替可能なセンシング結果を検出する前記センサを有する、前記第1のサブシステムとは異なる第2のサブシステムに対して、前記センサのセンシング結果を、前記第1のサブシステムに転送させるセンサリソース管理部と
 を備える情報処理装置。
<2> 前記複数のサブシステムにおける前記処理部は、それぞれのサブシステムに設けられる前記センサのセンサリソース情報を前記センサリソース管理部に通知し、
 前記センサリソース管理部は、前記複数のサブシステムの前記センサリソース情報に基づいて、前記第1のサブシステムの前記センサのセンシング結果と代替可能なセンシング結果を検出する前記センサを有する、前記第1のサブシステムとは異なる第2のサブシステムに対して、前記センサのセンシング結果を、前記第1のサブシステムに転送させる
 <1>に記載の情報処理装置。
<3> 前記センサリソース管理部は、前記センサリソース情報に基づいて、前記複数のサブシステムのそれぞれの前記センサ間において、前記センシング結果が代替可能な前記センサ同士をセンサペアとし、前記センサペア毎に、前記センシング結果が代替可能であることを示す代替可能マップを生成し、
 前記代替可能マップに基づいて、前記第1のサブシステムの前記センサのセンシング結果と代替可能なセンシング結果を検出する前記センサを有する、前記第1のサブシステムとは異なる第2のサブシステムに対して、前記センサのセンシング結果を、前記第1のサブシステムに転送させる
 <2>に記載の情報処理装置。
<4> 前記センサリソース情報は、前記センサ毎の、センサ種別、データ型、設置位置、センシングエリア、および計測特性を含み、
 前記センサリソース管理部は、前記センサリソース情報に基づいて、前記センサ種別、前記データ型、前記設置位置、前記センシングエリア、および前記計測特性が、同一であるか、または、類似するかに応じて、前記センシング結果が代替可能な前記センサ同士をセンサペアに設定し、設定した前記センサペアとなる前記センサ間で、前記センシング結果が代替可能であることを示す代替可能マップを生成する
 <3>に記載の情報処理装置。
<5> 前記センサリソース管理部は、前記センサリソース情報における、前記センサの、前記センサ種別、前記データ型、前記設置位置、前記センシングエリア、および前記計測特性からなるセンサリソース管理テーブルを生成し、
 前記センサリソース管理テーブルに基づいて、前記センサペアを設定し、設定した前記センサペア毎に、前記代替可能マップを生成する
 <4>に記載の情報処理装置。
<6> 前記代替可能マップは、代替可能な前記センシング結果の転送元となる前記センサと、前記転送元から転送される前記センシング結果を、代替可能な前記センシング結果として利用し、前記自動運転に係る所定の処理を実行する、転送先となる前記処理部とを特定するグラフ型のデータである
 <5>に記載の情報処理装置。
<7> 前記自動運転による走行中の前記複数のサブシステムの前記センサのそれぞれのセンシング結果を記憶するセンシング結果記憶部と、
 前記センシング結果記憶部に記憶された前記センサ間のセンシング結果の相関性を解析する相関解析部とをさらに含み、
 前記センサリソース管理部は、前記相関解析部の解析結果となる相関性に基づいて、前記センシング結果が代替可能となるセンサ同士をセンサペアとして設定し、設定した前記センサペア毎に、前記センシング結果が代替可能であることを示す代替可能マップを生成し、
 前記代替可能マップに基づいて、前記第1のサブシステムの前記センサの前記センシング結果と代替可能な前記センシング結果を検出する前記センサを有する、前記第1のサブシステムとは異なる第2のサブシステムに対して、前記センサのセンシング結果を、前記第1のサブシステムに転送させる
 <1>乃至<6>のいずれかに記載の情報処理装置。
<8> 前記センサリソース管理部は、前記相関解析部により解析された相関性が、所定の閾値よりも高いセンサ同士を、前記センシング結果が代替可能なセンサペアに設定し、設定した前記センサペア毎に、前記センシング結果が代替可能であることを示す代替可能マップを生成する
 <7>に記載の情報処理装置。
<9> 前記相関解析部は、前記センシング結果記憶部に記憶された前記センサ間のセンシング結果の類似度、または相関係数に基づいて、相関性を解析する
 <7>に記載の情報処理装置。
<10> 前記代替可能マップにおいて、前記センシング結果が代替可能である、前記センサペアの、前記センシング結果記憶部に記憶された前記センシング結果の相関性を解析し、前記解析結果である前記相関性に基づいて、前記センサペアに設定された前記センサの不調を検出する不調検出部をさらに含む
 <7>に記載の情報処理装置。
<11> 前記不調検出部は、前記解析結果である相関性が、所定の閾値よりも低い、前記センサペアに設定された前記センサの少なくともいずれかの不調を検出する
 <10>に記載の情報処理装置。
<12> 前記不調検出部は、前記代替可能マップにおいて、前記センシング結果が代替可能である、前記センサペアの、前記センシング結果記憶部に記憶された前記センシング結果の、類似度、または、相関係数に基づいて、相関性を解析し、前記解析結果である前記相関性に基づいて、前記センサペアに設定された前記センサの不調を検出する
 <10>に記載の情報処理装置。
<13> 前記第1のサブシステムにおける前記処理部は、前記センサの不調を検出したとき、前記センサリソース管理部に対して、前記第1のサブシステムの前記センサのセンシング結果と代替可能なセンシング結果を検出する前記センサを有する、前記第1のサブシステムとは異なる第2のサブシステムの前記センサのセンシング結果を、前記第1のサブシステムへと転送するように要求し、
 前記センサリソース管理部は、前記第1のサブシステムの前記処理部からの要求に応じて、前記第2のサブシステムに対して、前記センサのセンシング結果を、前記第1のサブシステムに転送させる
 <1>乃至<12>のいずれかに記載の情報処理装置。
<14> 前記センサリソース管理部は、前記第1のサブシステムの前記処理部からの要求に応じて、前記第2のサブシステムに対して、前記センサのセンシング結果を、前記第1のサブシステムに転送するように要求し、
 前記第2のサブシステムにおける前記処理部は、前記センサリソース管理部からの要求に応じて、前記センサのセンシング結果を、前記第1のサブシステムに転送する
 <13>に記載の情報処理装置。
<15>  自動運転の制御に係るセンシング結果を検出するセンサと、
  前記センサにより検出される前記センシング結果に基づいて、前記自動運転に係る所定の処理を実行する処理部と
 を有する複数のサブシステムと、
 前記複数のサブシステムのうちの第1のサブシステムにおいて、前記センサの不調が検出された場合、前記第1のサブシステムの前記センサのセンシング結果と代替可能なセンシング結果を検出する前記センサを有する、前記第1のサブシステムとは異なる第2のサブシステムに対して、前記センサのセンシング結果を、前記第1のサブシステムに転送させるセンサリソース管理部とを備える情報処理装置の情報処理方法において、
 前記センサリソース管理部は、前記複数のサブシステムのうちの第1のサブシステムにおいて、前記センサの不調が検出された場合、前記第1のサブシステムの前記センサのセンシング結果と代替可能なセンシング結果を検出する前記センサを有する、前記第1のサブシステムとは異なる第2のサブシステムに対して、前記センサのセンシング結果を、前記第1のサブシステムに転送させる
 情報処理方法。
<16>  自動運転の制御に係るセンシング結果を検出するセンサと、
  前記センサにより検出される前記センシング結果に基づいて、前記自動運転に係る所定の処理を実行する処理部と
 を有する複数のサブシステムと、
 前記複数のサブシステムのうちの第1のサブシステムにおいて、前記センサの不調が検出された場合、前記第1のサブシステムの前記センサのセンシング結果と代替可能なセンシング結果を検出する前記センサを有する、前記第1のサブシステムとは異なる第2のサブシステムに対して、前記センサのセンシング結果を、前記第1のサブシステムに転送させるセンサリソース管理部と
 してコンピュータを機能させるプログラム。
 101 制御システム, 121,121-1,121-2 サブシステム, 122 センサリソース管理部, 123 センサリソース管理テーブル, 124 代替可能マップ, 131,131-1,131-2 センサ, 132,132-1,132-2 処理部, 132a,132a-1,132a-2 管理部, 201 車両, 211 車両制御システム, 225 外部認識センサ, 226 車内センサ, 227 車両センサ, 228 記憶部, 229 走行支援・自動運転制御部, 231 HMI, 231a 出力部, 231b 入力部, 232 車両制御部, 233 センサリソース管理部, 251 カメラ, 252 レーダ, 253 LiDAR, 254 超音波センサ, 260,280 管理部, 291 センサリソース管理テーブル, 292,292-1乃至292-x,292’,292’-1乃至292’-y 代替可能マップ, 331 走行支援・自動運転制御サブシステム, 332 車両制御サブシステム, 351 センサ記録部, 352 センシング結果記録部, 353 相関解析部, 371 センサ記録部, 372 センシング結果記録部, 373 相関解析部, 391 故障検知部, 401 サブシステム, 411 故障検知部

Claims (16)

  1.   自動運転の制御に係るセンシング結果を検出するセンサと、
      前記センサにより検出される前記センシング結果に基づいて、前記自動運転に係る所定の処理を実行する処理部と
     を有する複数のサブシステムと、
     前記複数のサブシステムのうちの第1のサブシステムにおいて、前記センサの不調が検出された場合、前記第1のサブシステムの前記センサのセンシング結果と代替可能なセンシング結果を検出する前記センサを有する、前記第1のサブシステムとは異なる第2のサブシステムに対して、前記センサのセンシング結果を、前記第1のサブシステムに転送させるセンサリソース管理部と
     を備える情報処理装置。
  2.  前記複数のサブシステムにおける前記処理部は、それぞれのサブシステムに設けられる前記センサのセンサリソース情報を前記センサリソース管理部に通知し、
     前記センサリソース管理部は、前記複数のサブシステムの前記センサリソース情報に基づいて、前記第1のサブシステムの前記センサのセンシング結果と代替可能なセンシング結果を検出する前記センサを有する、前記第1のサブシステムとは異なる第2のサブシステムに対して、前記センサのセンシング結果を、前記第1のサブシステムに転送させる
     請求項1に記載の情報処理装置。
  3.  前記センサリソース管理部は、前記センサリソース情報に基づいて、前記複数のサブシステムのそれぞれの前記センサ間において、前記センシング結果が代替可能な前記センサ同士をセンサペアとし、前記センサペア毎に、前記センシング結果が代替可能であることを示す代替可能マップを生成し、
     前記代替可能マップに基づいて、前記第1のサブシステムの前記センサのセンシング結果と代替可能なセンシング結果を検出する前記センサを有する、前記第1のサブシステムとは異なる第2のサブシステムに対して、前記センサのセンシング結果を、前記第1のサブシステムに転送させる
     請求項2に記載の情報処理装置。
  4.  前記センサリソース情報は、前記センサ毎の、センサ種別、データ型、設置位置、センシングエリア、および計測特性を含み、
     前記センサリソース管理部は、前記センサリソース情報に基づいて、前記センサ種別、前記データ型、前記設置位置、前記センシングエリア、および前記計測特性が、同一であるか、または、類似するかに応じて、前記センシング結果が代替可能な前記センサ同士をセンサペアに設定し、設定した前記センサペアとなる前記センサ間で、前記センシング結果が代替可能であることを示す代替可能マップを生成する
     請求項3に記載の情報処理装置。
  5.  前記センサリソース管理部は、前記センサリソース情報における、前記センサの、前記センサ種別、前記データ型、前記設置位置、前記センシングエリア、および前記計測特性からなるセンサリソース管理テーブルを生成し、
     前記センサリソース管理テーブルに基づいて、前記センサペアを設定し、設定した前記センサペア毎に、前記代替可能マップを生成する
     請求項4に記載の情報処理装置。
  6.  前記代替可能マップは、代替可能な前記センシング結果の転送元となる前記センサと、前記転送元から転送される前記センシング結果を、代替可能な前記センシング結果として利用し、前記自動運転に係る所定の処理を実行する、転送先となる前記処理部とを特定するグラフ型のデータである
     請求項5に記載の情報処理装置。
  7.  前記自動運転による走行中の前記複数のサブシステムの前記センサのそれぞれのセンシング結果を記憶するセンシング結果記憶部と、
     前記センシング結果記憶部に記憶された前記センサ間のセンシング結果の相関性を解析する相関解析部とをさらに含み、
     前記センサリソース管理部は、前記相関解析部の解析結果となる相関性に基づいて、前記センシング結果が代替可能となるセンサ同士をセンサペアとして設定し、設定した前記センサペア毎に、前記センシング結果が代替可能であることを示す代替可能マップを生成し、
     前記代替可能マップに基づいて、前記第1のサブシステムの前記センサの前記センシング結果と代替可能な前記センシング結果を検出する前記センサを有する、前記第1のサブシステムとは異なる第2のサブシステムに対して、前記センサのセンシング結果を、前記第1のサブシステムに転送させる
     請求項1に記載の情報処理装置。
  8.  前記センサリソース管理部は、前記相関解析部により解析された相関性が、所定の閾値よりも高いセンサ同士を、前記センシング結果が代替可能なセンサペアに設定し、設定した前記センサペア毎に、前記センシング結果が代替可能であることを示す代替可能マップを生成する
     請求項7に記載の情報処理装置。
  9.  前記相関解析部は、前記センシング結果記憶部に記憶された前記センサ間のセンシング結果の類似度、または相関係数に基づいて、相関性を解析する
     請求項7に記載の情報処理装置。
  10.  前記代替可能マップにおいて、前記センシング結果が代替可能である、前記センサペアの、前記センシング結果記憶部に記憶された前記センシング結果の相関性を解析し、前記解析結果である前記相関性に基づいて、前記センサペアに設定された前記センサの不調を検出する不調検出部をさらに含む
     請求項7に記載の情報処理装置。
  11.  前記不調検出部は、前記解析結果である相関性が、所定の閾値よりも低い、前記センサペアに設定された前記センサの少なくともいずれかの不調を検出する
     請求項10に記載の情報処理装置。
  12.  前記不調検出部は、前記代替可能マップにおいて、前記センシング結果が代替可能である、前記センサペアの、前記センシング結果記憶部に記憶された前記センシング結果の、類似度、または、相関係数に基づいて、相関性を解析し、前記解析結果である前記相関性に基づいて、前記センサペアに設定された前記センサの不調を検出する
     請求項10に記載の情報処理装置。
  13.  前記第1のサブシステムにおける前記処理部は、前記センサの不調を検出したとき、前記センサリソース管理部に対して、前記第1のサブシステムの前記センサのセンシング結果と代替可能なセンシング結果を検出する前記センサを有する、前記第1のサブシステムとは異なる第2のサブシステムの前記センサのセンシング結果を、前記第1のサブシステムへと転送するように要求し、
     前記センサリソース管理部は、前記第1のサブシステムの前記処理部からの要求に応じて、前記第2のサブシステムに対して、前記センサのセンシング結果を、前記第1のサブシステムに転送させる
     請求項1に記載の情報処理装置。
  14.  前記センサリソース管理部は、前記第1のサブシステムの前記処理部からの要求に応じて、前記第2のサブシステムに対して、前記センサのセンシング結果を、前記第1のサブシステムに転送するように要求し、
     前記第2のサブシステムにおける前記処理部は、前記センサリソース管理部からの要求に応じて、前記センサのセンシング結果を、前記第1のサブシステムに転送する
     請求項13に記載の情報処理装置。
  15.   自動運転の制御に係るセンシング結果を検出するセンサと、
      前記センサにより検出される前記センシング結果に基づいて、前記自動運転に係る所定の処理を実行する処理部と
     を有する複数のサブシステムと、
     前記複数のサブシステムのうちの第1のサブシステムにおいて、前記センサの不調が検出された場合、前記第1のサブシステムの前記センサのセンシング結果と代替可能なセンシング結果を検出する前記センサを有する、前記第1のサブシステムとは異なる第2のサブシステムに対して、前記センサのセンシング結果を、前記第1のサブシステムに転送させるセンサリソース管理部とを備える情報処理装置の情報処理方法において、
     前記センサリソース管理部は、前記複数のサブシステムのうちの第1のサブシステムにおいて、前記センサの不調が検出された場合、前記第1のサブシステムの前記センサのセンシング結果と代替可能なセンシング結果を検出する前記センサを有する、前記第1のサブシステムとは異なる第2のサブシステムに対して、前記センサのセンシング結果を、前記第1のサブシステムに転送させる
     情報処理方法。
  16.   自動運転の制御に係るセンシング結果を検出するセンサと、
      前記センサにより検出される前記センシング結果に基づいて、前記自動運転に係る所定の処理を実行する処理部と
     を有する複数のサブシステムと、
     前記複数のサブシステムのうちの第1のサブシステムにおいて、前記センサの不調が検出された場合、前記第1のサブシステムの前記センサのセンシング結果と代替可能なセンシング結果を検出する前記センサを有する、前記第1のサブシステムとは異なる第2のサブシステムに対して、前記センサのセンシング結果を、前記第1のサブシステムに転送させるセンサリソース管理部と
     してコンピュータを機能させるプログラム。
PCT/JP2022/037377 2021-10-15 2022-10-06 情報処理装置、および情報処理方法、並びにプログラム WO2023063199A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021169342 2021-10-15
JP2021-169342 2021-10-15

Publications (1)

Publication Number Publication Date
WO2023063199A1 true WO2023063199A1 (ja) 2023-04-20

Family

ID=85988643

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/037377 WO2023063199A1 (ja) 2021-10-15 2022-10-06 情報処理装置、および情報処理方法、並びにプログラム

Country Status (1)

Country Link
WO (1) WO2023063199A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10243004A (ja) 1997-02-21 1998-09-11 Honda Motor Co Ltd 車両用ネットワークシステムと車載用オペレーティングシステム
JP2011161956A (ja) * 2010-02-04 2011-08-25 Honda Motor Co Ltd 中央制御装置
DE102016215213A1 (de) * 2016-08-16 2018-02-22 Bayerische Motoren Werke Aktiengesellschaft Vorrichtung, Steuergerät, Verfahren, Fahrzeug und Computerprogramm zum Bestimmen von Information über einen Ersatzwert für einen Sensorwert
WO2020016622A1 (ja) * 2018-07-16 2020-01-23 日産自動車株式会社 運転支援車両の制御方法及び制御システム
JP2020055526A (ja) * 2019-11-29 2020-04-09 株式会社日立製作所 自動運転制御システム
JP2020082855A (ja) * 2018-11-19 2020-06-04 日立オートモティブシステムズ株式会社 車両制御装置及び車両制御方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10243004A (ja) 1997-02-21 1998-09-11 Honda Motor Co Ltd 車両用ネットワークシステムと車載用オペレーティングシステム
JP2011161956A (ja) * 2010-02-04 2011-08-25 Honda Motor Co Ltd 中央制御装置
DE102016215213A1 (de) * 2016-08-16 2018-02-22 Bayerische Motoren Werke Aktiengesellschaft Vorrichtung, Steuergerät, Verfahren, Fahrzeug und Computerprogramm zum Bestimmen von Information über einen Ersatzwert für einen Sensorwert
WO2020016622A1 (ja) * 2018-07-16 2020-01-23 日産自動車株式会社 運転支援車両の制御方法及び制御システム
JP2020082855A (ja) * 2018-11-19 2020-06-04 日立オートモティブシステムズ株式会社 車両制御装置及び車両制御方法
JP2020055526A (ja) * 2019-11-29 2020-04-09 株式会社日立製作所 自動運転制御システム

Similar Documents

Publication Publication Date Title
JP7314798B2 (ja) 撮像装置、画像処理装置、及び、画像処理方法
WO2021241189A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US20240054793A1 (en) Information processing device, information processing method, and program
US20220383749A1 (en) Signal processing device, signal processing method, program, and mobile device
WO2020241303A1 (ja) 自動走行制御装置、および自動走行制御システム、並びに自動走行制御方法
WO2022158185A1 (ja) 情報処理装置、情報処理方法、プログラムおよび移動装置
WO2022075133A1 (ja) 撮像装置、情報処理装置、撮像システム及び撮像方法
WO2022004448A1 (ja) 情報処理装置、および情報処理方法、情報処理システム、並びにプログラム
US20230289980A1 (en) Learning model generation method, information processing device, and information processing system
WO2023063199A1 (ja) 情報処理装置、および情報処理方法、並びにプログラム
WO2022004423A1 (ja) 情報処理装置、情報処理方法、及び、プログラム
JP2023062484A (ja) 情報処理装置、情報処理方法及び情報処理プログラム
US20240160467A1 (en) Information processing system, information processing method, program, and cluster system
WO2023074419A1 (ja) 情報処理装置、情報処理方法、及び、情報処理システム
WO2022004447A1 (ja) 情報処理装置、および情報処理方法、情報処理システム、並びにプログラム
WO2022004446A1 (ja) 情報処理装置、および情報処理方法、情報処理システム、並びにプログラム
CN118103270A (zh) 信息处理设备、信息处理方法和程序
JP2022028989A (ja) 情報処理装置、および情報処理方法、並びにプログラム
WO2022024569A1 (ja) 情報処理装置と情報処理方法およびプログラム
WO2023149089A1 (ja) 学習装置、学習方法及び学習プログラム
WO2022259621A1 (ja) 情報処理装置、情報処理方法、コンピュータプログラム
US20230418586A1 (en) Information processing device, information processing method, and information processing system
WO2023063145A1 (ja) 情報処理装置、情報処理方法および情報処理プログラム
WO2024024471A1 (ja) 情報処理装置、情報処理方法、及び、情報処理システム
WO2023106235A1 (ja) 情報処理装置、情報処理方法、および車両制御システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22880894

Country of ref document: EP

Kind code of ref document: A1