WO2024080090A1 - 情報出力装置、情報出力方法、及び、プログラム - Google Patents

情報出力装置、情報出力方法、及び、プログラム Download PDF

Info

Publication number
WO2024080090A1
WO2024080090A1 PCT/JP2023/034110 JP2023034110W WO2024080090A1 WO 2024080090 A1 WO2024080090 A1 WO 2024080090A1 JP 2023034110 W JP2023034110 W JP 2023034110W WO 2024080090 A1 WO2024080090 A1 WO 2024080090A1
Authority
WO
WIPO (PCT)
Prior art keywords
monitoring
information
log
reliability
devices
Prior art date
Application number
PCT/JP2023/034110
Other languages
English (en)
French (fr)
Inventor
唯之 鳥崎
薫 横田
Original Assignee
パナソニックオートモーティブシステムズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックオートモーティブシステムズ株式会社 filed Critical パナソニックオートモーティブシステムズ株式会社
Publication of WO2024080090A1 publication Critical patent/WO2024080090A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment

Definitions

  • This disclosure relates to an information output device, an information output method, and a program.
  • Patent Document 1 discloses a technology in which a monitoring unit in a non-secure area monitors an electronic control device and generates logs, and a log collection unit in a secure area collects the generated logs. It also discloses that the collected logs are transferred to a Security Operation Center (SOC).
  • SOC Security Operation Center
  • the present disclosure provides an information output device that outputs monitoring information that allows a device that receives a monitoring log to easily determine whether the monitoring log is trustworthy.
  • An information output device is an information output device that receives monitoring logs generated by a plurality of monitoring devices, including a first monitoring device and a second monitoring device that monitors the first monitoring device and has higher security authority than the first monitoring device, and outputs monitoring information including the monitoring logs, and includes a receiving unit that sequentially receives monitoring logs including device information indicating one of the plurality of monitoring devices and a monitoring result indicating whether or not an abnormality has occurred in the monitored object of the one monitoring device, a management unit that manages a first status, which is the occurrence status of an abnormality in the monitored object in each of the plurality of monitoring devices, based on the monitoring result included in the sequentially received monitoring log, and
  • the system includes a storage unit that stores route information indicating a plurality of transmission routes indicated by one or more devices through which the monitoring log transmitted from the transmission source passes, the plurality of transmission routes being the transmission source of the monitoring log, a first transmission route that corresponds to the monitoring target of the monitoring device indicated by device information included in the received
  • An information output method for receiving monitoring logs generated by a plurality of monitoring devices including a first monitoring device and a second monitoring device that monitors the first monitoring device and has higher security authority than the first monitoring device, and outputting monitoring information including the monitoring logs, the information output method comprising: sequentially receiving a monitoring log including device information indicating one of the plurality of monitoring devices and a monitoring result indicating whether or not an abnormality exists in a monitored object of the one monitoring device, managing a first status, which is an occurrence status of an abnormality in the monitored object in each of the plurality of monitoring devices, based on the monitoring result included in the sequentially received monitoring log, and outputting monitoring information including the plurality of monitoring devices.
  • the method acquires route information indicating a plurality of transmission routes indicated by one or more devices through which the monitoring log transmitted from each of the monitoring devices is passed, and identifies a second situation, which is an occurrence situation of an abnormality in each of the monitoring targets of the one or more monitoring devices indicated by the first transmission route, based on a first transmission route corresponding to the monitoring target of the monitoring device indicated by the device information included in the received monitoring log and the first situation in the route information, determines a reliability of the received monitoring log based on the identified second situation, and outputs monitoring information including the monitoring log based on the reliability.
  • a system a method, an integrated circuit, a computer program, or a recording medium such as a computer-readable CD-ROM, or may be realized by any combination of a system, a method, an integrated circuit, a computer program, and a recording medium.
  • the recording medium may be a non-transitory recording medium.
  • the information output device disclosed herein can output monitoring information that allows a device that receives a monitoring log to easily determine whether the monitoring log is trustworthy.
  • FIG. 1 is a diagram showing the overall configuration of a monitoring system according to an embodiment of the present invention.
  • FIG. 2 is a diagram showing the configuration of the monitoring server and the in-vehicle system according to the embodiment.
  • FIG. 3 is a diagram showing a configuration of an information output device according to an embodiment.
  • FIG. 4 is a diagram showing an example of abnormality information before a monitoring log is generated.
  • FIG. 5 is a diagram showing an example of abnormality information after a monitoring log is generated.
  • FIG. 6 is a diagram showing another example of anomaly information after a monitoring log is generated.
  • FIG. 7 is a diagram illustrating an example of route information according to the embodiment.
  • FIG. 8 is a diagram illustrating an example of relationship information according to the embodiment.
  • FIG. 9 is a diagram illustrating an example of a format of a monitoring log according to the embodiment.
  • FIG. 10 is a diagram illustrating an example of a format of the monitoring information according to the embodiment.
  • FIG. 11 is a flowchart showing an example of the operation of the information output device according to the embodiment.
  • FIG. 12 is a flowchart showing an example of a reset operation of the information output device according to the embodiment.
  • FIG. 13 is a diagram for explaining the state of the monitoring result when the in-vehicle system is attacked.
  • FIG. 14 is a diagram showing the configuration of a monitoring server and an in-vehicle system in the first modification.
  • FIG. 15 is a diagram showing the configuration of a monitoring server and an in-vehicle system in the second modification.
  • FIG. 16 is a diagram showing a configuration of an information output device in the second modification.
  • FIG. 17 is a diagram showing a configuration of an information output device in the third modification.
  • the inventors have discovered that in order to ensure the accuracy and reliability of the analysis of monitoring logs in an SOC, it is necessary not only to protect the monitoring logs (e.g., to keep them secret and tamper-resistant), but also to guarantee the integrity of the monitoring operations, the operations of storing the monitoring logs, and the operations of transmitting the monitoring logs.
  • the information output device is an information output device that receives monitoring logs generated by a plurality of monitoring devices, including a first monitoring device and a second monitoring device that monitors the first monitoring device and has higher security authority than the first monitoring device, and outputs monitoring information including the monitoring logs, and includes a receiving unit that sequentially receives monitoring logs including device information indicating one of the plurality of monitoring devices and a monitoring result indicating whether or not an abnormality has occurred in the monitored object of the one monitoring device, a management unit that manages a first status, which is the occurrence status of an abnormality in the monitored object in each of the plurality of monitoring devices, based on the monitoring result included in the sequentially received monitoring log, and
  • the system includes a storage unit that stores route information indicating a plurality of transmission routes, each of which is a source of a monitoring log, and each of which is indicated by one or more devices through which the monitoring log transmitted from the source passes; a determination unit that, based on a first transmission route in the route information that correspond
  • the reliability of the monitoring log is determined based on the second status, which is the occurrence status of an abnormality in each of the one or more devices indicated on the transmission path, so that, for example, if there is an abnormality in any of the one or more devices through which the monitoring log passes, the reliability can be determined so that the reliability of the monitoring log is low. Therefore, monitoring information can be output that allows the device that receives the log to easily determine whether or not the log is reliable.
  • the information output device is the information output device according to the first aspect, wherein the multiple devices including the multiple monitoring devices form multiple monitoring relationships, each of the multiple monitoring relationships indicates a pair of a monitoring source and a monitoring target, the storage unit stores relationship information indicating the multiple monitoring relationships, and the determination unit determines, based on the first transmission path, the first status, and the relationship information, whether the second status is (i) normal, (ii) abnormal, or (iii) under the monitoring of an abnormal device among the multiple devices in which an abnormality has occurred.
  • the reliability of the monitoring log is determined based on the second status indicating whether (i) it is normal, (ii) it is abnormal, or (iii) it is under the monitoring of an abnormal device. Therefore, for example, if there is an abnormality in any of the one or more devices through which the monitoring log has passed, or if any of the one or more devices through which the monitoring log has passed is under the monitoring of an abnormal device, the reliability can be determined so that the reliability of the monitoring log is low. Therefore, it is possible to output monitoring information that allows the device that has received the log to easily determine whether the log is reliable or not.
  • the information output device is the information output device according to the second aspect, in which the first reliability of the first monitoring log that has passed through a device under the monitoring of the abnormal device is determined to be higher than the second reliability of the second monitoring log that has passed through the abnormal device.
  • the reliability of the monitoring log can be determined with high accuracy by determining the first reliability to be higher than the second reliability. This makes it possible, for example, to use the reliability in analyzing the monitoring log, thereby obtaining multifaceted analysis results.
  • the reliability can be used to extract the monitoring log to be used in the analysis, which may reduce the processing load associated with analyzing the monitoring log.
  • the information output device is an information output device according to any one of the first to third aspects, in which the determination unit calculates an anomaly level for each of the one or more devices indicated on the first transmission path, and determines the reliability of the received monitoring log based on the sum of the calculated one or more anomaly levels.
  • reliability can be determined based on the occurrence of abnormalities in all devices that the monitoring log passes through.
  • the information output device is an information output device according to any one of the first to fourth aspects, in which the management unit determines whether a predetermined reset condition is satisfied, and if it determines that the reset condition is satisfied, normally updates the occurrence status of an abnormality in one or more specific devices identified by the reset condition among one or more devices shown to be abnormal in the first situation.
  • the occurrence status of an abnormality in one or more specific devices can be updated normally, so that even if the device operation returns to normal, the reliability of the monitoring log can be determined with high accuracy.
  • the information output device is an information output device according to any one of the first to fifth aspects, in which the monitoring information further includes reliability information indicating the reliability.
  • a device that receives monitoring information can determine whether the monitoring log contained in the received monitoring information is reliable by referring to the reliability information.
  • the information output device is the information output device according to the sixth aspect, in which the reliability information is information indicating whether or not the monitoring log contained in the monitoring information is reliable.
  • the information output device is the information output device according to the seventh aspect, and the reliability information indicates that the monitoring log of the monitoring information is unreliable by invalidating the monitoring log.
  • the information output device is the information output device according to the sixth aspect, in which the reliability indicated by the reliability information is indicated by a numerical value that indicates a higher reliability as the reliability is increased.
  • the information output device is an information output device according to any one of the first to ninth aspects, in which the output unit determines whether the monitoring log is reliable based on the reliability, and does not output the monitoring information if the monitoring log is not reliable.
  • the device that receives the monitoring logs can determine that all of the received monitoring logs are trustworthy.
  • An information output device is an information output device according to any one of the first to tenth aspects, in which the output unit determines whether the monitoring log is reliable based on the reliability, and if the monitoring log is not reliable, outputs the monitoring information to a storage device that stores a history of abnormality occurrences.
  • monitoring information including unreliable monitoring logs can be stored in the storage device.
  • the information output method is an information output method for receiving monitoring logs generated by a plurality of monitoring devices including a first monitoring device and a second monitoring device that monitors the first monitoring device and has higher security authority than the first monitoring device, and outputting monitoring information including the monitoring logs, the information output method including: sequentially receiving a monitoring log including device information indicating one of the plurality of monitoring devices and a monitoring result indicating whether or not an abnormality exists in an object monitored by the one monitoring device, managing a first status, which is an occurrence status of an abnormality in the object monitored by each of the plurality of monitoring devices, based on the monitoring result included in the sequentially received monitoring log, and outputting monitoring information including the plurality of monitoring devices.
  • the method acquires route information indicating a plurality of transmission routes indicated by one or more devices through which the monitoring log transmitted from each of the monitoring devices is passed, and identifies a second situation, which is an occurrence situation of an abnormality in each of the monitoring targets of the one or more monitoring devices indicated by the first transmission route, based on a first transmission route corresponding to the monitoring target of the monitoring device indicated by the device information included in the received monitoring log and the first situation in the route information, determines a reliability of the received monitoring log based on the identified second situation, and outputs monitoring information including the monitoring log based on the reliability.
  • the reliability of the monitoring log is determined based on the second status, which is the occurrence status of an abnormality in each of the one or more devices indicated on the transmission path, so that, for example, if there is an abnormality in any of the one or more devices through which the monitoring log passes, the reliability can be determined so that the reliability of the monitoring log is low. Therefore, monitoring information can be output that allows the device that receives the log to easily determine whether or not the log is reliable.
  • the program according to the thirteenth aspect of the present disclosure is a program for causing a computer to execute the information output method according to the twelfth aspect.
  • FIG. 1 is a diagram showing the overall configuration of a monitoring system according to an embodiment of the present invention.
  • the monitoring system includes a monitoring server 10 and an in-vehicle system 20.
  • the monitoring server 10 and the in-vehicle system 20 are connected via an external network 30.
  • the external network 30 is, for example, the Internet.
  • the communication method of the external network 30 may be wired or wireless.
  • the wireless communication method may be existing technology such as Wi-Fi (registered trademark), 3G/LTE (Long Term Evolution), Bluetooth (registered trademark), or a V2X communication method, or a combination of these.
  • the monitoring server 10 is a device that acquires monitoring results, which are information related to the security status of the in-vehicle system 20, from the in-vehicle system 20, and displays and analyzes the monitoring results using a graphical user interface.
  • the monitoring server 10 is used, for example, by a security analyst at the SOC to check the monitoring results and consider countermeasures such as program updates if an abnormality occurs in the in-vehicle system 20.
  • the in-vehicle system 20 is a device that performs communication control, vehicle control, video output, etc., monitors the security status of the in-vehicle system 20, and notifies the monitoring server 10 of the security status monitoring results. Although only one in-vehicle system 20 is shown in FIG. 1, one or more in-vehicle systems 20 each transmit the security status monitoring results to the monitoring server 10. Details of the in-vehicle system 20 will be described later.
  • FIG. 2 is a diagram showing the configuration of the monitoring server and the in-vehicle system according to the embodiment.
  • SIEM 11 is an integrated monitoring system that collects logs or data output from multiple systems, and analyzes and visualizes these logs or data to monitor the network and detect incidents such as cyber attacks or malware infections.
  • the in-vehicle system 20 includes multiple in-vehicle devices 210, 220 and an information output device 100.
  • the in-vehicle system 20 may include other in-vehicle devices in addition to the in-vehicle devices 210 and 220.
  • the in-vehicle device 210 includes a monitored object 211, a monitoring device 212, a Runtime Integrity (RI) monitoring device 213, a monitoring root 214, and a transmission device 215.
  • RI Runtime Integrity
  • the monitored object 211, the monitoring device 212, the RI monitoring device 213, the monitoring root 214, and the transmission device 215 may be referred to as multiple devices.
  • the monitored object 211 is realized by an application, and its integrity is monitored by the monitoring device 212.
  • the monitoring device 212 may monitor the operation and communication of the application of the monitored object 211.
  • the application of the monitored object 211 is, for example, an external communication application, a control application, a video application, etc.
  • the external communication application is an application that communicates with the monitoring server 10 via the external network 30.
  • the control application is an application that controls the operation related to the driving of the vehicle equipped with the in-vehicle system 20.
  • the video application is an application that acquires images from a camera, etc., and outputs the images to an infotainment system, an instrument panel, or a head-up display.
  • the monitoring device 212 monitors the monitored object 211. Specifically, the monitoring device 212 monitors whether or not an abnormality has occurred in the monitored object 211 by verifying the integrity of the program of the application that realizes the monitored object 211. The monitoring device 212 may monitor communication data sent and received by the application that realizes the monitored object 211, or may monitor memory and files accessed by the application. The monitoring device 212 transmits a monitoring log including the monitoring results to the transmitting device 215 via the RI monitoring device 213.
  • the monitoring device 212 reads data from a memory area of a storage device in which a program that realizes the monitored object 211 is stored, generates a verification value by performing a predetermined calculation on the data, and verifies the integrity of the program of the monitored object 211 by comparing the verification value with an expected value previously stored in the storage device. If the verification value matches the expected value, the monitoring device 212 determines that the monitored object 211 is normal, and if the verification value does not match the expected value, the monitoring device 212 determines that the monitored object 211 is abnormal.
  • the expected value is a value that is generated by performing a predetermined calculation on the data of a normal program that is not under attack and that is a program that realizes the monitored target 211.
  • the expected value may be generated when the program is generated, or when the program is started for the first time.
  • the expected value may also be generated from a portion of the normal data of the program that realizes the monitored target 211, or may be generated from configuration data referenced by the program that realizes the monitored target 211 or a portion of that configuration data, or the expected value may be generated by a combination of these.
  • the specified operation may be, for example, a hash operation for calculating a hash value.
  • the expected value may be a hash value obtained by performing a hash operation on a normal program.
  • the verification value may be a hash value obtained by performing a hash operation on data in a storage area in which the program of the monitoring target 211 is stored at the time of verification.
  • the specified operation is not limited to a hash operation as long as it is a reproducible operation that uniquely converts a first value into a second value that is paired with the first value.
  • the monitoring device 212 may be realized, for example, by a virtual machine. Alternatively, it may be realized as a program that operates in the same execution environment as the monitored object 211, or that operates in the kernel space of the same execution environment.
  • the monitoring device 212 is an example of one of multiple monitoring devices.
  • the RI monitoring device 213 monitors the monitoring device 212 and the transmitting device 215. Specifically, the RI monitoring device 213 monitors whether an abnormality has occurred in the monitoring device 212 by verifying the integrity of the program that realizes the monitoring device 212. The RI monitoring device 213 also monitors whether an abnormality has occurred in the transmitting device 215 by verifying the integrity of the program that realizes the transmitting device 215. The RI monitoring device 213 transmits a monitoring log including the monitoring results to the transmitting device 215.
  • the method of integrity verification by RI monitoring device 213 is the same as the method of integrity verification by monitoring device 212.
  • the method of integrity verification by RI monitoring device 213 can be explained by changing the subject of verification from monitoring device 212 to RI monitoring device 213 in the explanation of the method of integrity verification by monitoring device 212, and changing the target of verification from monitored target 211 to monitoring device 212 or transmission device 215.
  • RI monitoring device 213 may be realized by a virtual machine separate from monitoring device 212 and/or monitoring device 215, or may be realized as a program that operates in the same execution environment as drying device 212 and/or monitoring device 215, or that operates in the kernel space of the same execution environment.
  • RI monitoring device 213 is an example of one of multiple monitoring devices, and is an example of a monitoring device with higher security authority than monitoring device 212.
  • the monitoring root 214 monitors the RI monitoring device 213. Specifically, the monitoring root 214 verifies the integrity of the program that realizes the RI monitoring device 213, thereby monitoring whether an abnormality has occurred in the RI monitoring device 213. The monitoring root 214 transmits a monitoring log including the monitoring results to the transmitting device 215.
  • the method of verifying integrity by the monitoring root 214 is the same as the method of verifying integrity by the monitoring device 212.
  • the method of verifying integrity by the monitoring root 214 can be explained by changing the subject of verification from the monitoring device 212 to the monitoring root 214, and changing the target of verification from the monitoring target 211 to the RI monitoring device 213 in the explanation of the method of verifying integrity by the monitoring device 212.
  • the monitoring root 214 runs on a trusted operating system that is implemented to be free of vulnerabilities. Furthermore, since the operating system software is verified from the trusted hardware root of trust (ROT) at system startup, it can be assumed to be the most trustworthy among applications, virtual machines, and hypervisors.
  • the monitoring root 214 is realized, for example, by using control of an execution environment called a Trusted Execution Environment (TEE).
  • TEE Trusted Execution Environment
  • the monitoring root 214 can also be realized, for example, by a TrustZone mechanism, which is one of the standard functions of the Cortex-A family of ARM-based CPUs (Central Processing Units).
  • the monitoring root 214 can also be realized by Apple's Secure Enclave Processor (SEP) or Google's TitanM.
  • the monitoring root 214 is an example of one of multiple monitoring devices, and is an example of a monitoring device with higher security authority than the RI monitoring device 213.
  • the monitoring root 214 is the monitoring device with the highest security authority among the multiple monitoring devices. Alternatively, it may operate as a program with increased reliability by implementing tamper resistance in the kernel space of the same execution environment as the RI monitoring device 213.
  • the transmitting device 215 transmits the monitoring logs obtained from each of the monitoring device 212, the RI monitoring device 213, and the monitoring root 214 to the information output device 100.
  • the transmitting device 215 may be realized, for example, by a virtual machine.
  • the transmitting device 215 may be realized as a program that operates in the same execution environment as the monitored object 211 and/or the monitoring device 212 and/or the RI monitoring device 213.
  • the in-vehicle device 210 is equipped with multiple monitoring devices. As described above, the multiple monitoring devices are the monitoring device 212, the RI monitoring device 213, and the monitoring root 214.
  • in-vehicle device 220 has multiple monitoring devices with different security privileges. And, like in-vehicle device 210, each of the multiple monitoring devices in in-vehicle device 220 has a configuration (chain of trust) in which it is monitored by a monitoring device with higher security privileges.
  • FIG. 3 is a diagram showing a configuration of an information output device according to an embodiment.
  • the information output device 100 receives monitoring logs generated by multiple monitoring devices included in the in-vehicle devices 210 and 220, and outputs monitoring information including the monitoring logs.
  • the information output device 100 includes a receiving unit 101, a management unit 102, a storage unit 103, a determination unit 104, and an output unit 105.
  • the receiving unit 101 sequentially receives the monitoring logs.
  • the monitoring log includes device information indicating the monitoring source monitoring device (i.e., the monitoring device that is the main monitoring device) and the monitoring result.
  • the monitoring result is information indicating whether or not there is an abnormality in the monitoring target of one of the multiple monitoring devices (the monitoring source monitoring device).
  • the monitoring result is the result of monitoring by one monitoring device.
  • the device information is information (e.g., a device ID) that identifies the monitoring device that generated the monitoring log, that is, the monitoring device that sent the monitoring log.
  • the receiving unit 101 may also have a function of receiving an aggregated monitoring log that includes multiple monitoring logs, extracting each monitoring log included in the aggregated monitoring log, and outputting it to a subsequent processing unit as an individual monitoring log.
  • the management unit 102 manages anomaly information 111 indicating a first situation, which is the occurrence situation of an abnormality in a monitored object in each of the multiple monitoring devices, based on the monitoring results included in the monitoring logs received successively.
  • the anomaly information 111 is stored in the storage unit 103, and the management unit 102 performs a process of reflecting the monitoring results included in the monitoring logs in the anomaly information 111.
  • FIG. 4 shows an example of abnormality information before a monitoring log is generated.
  • FIG. 5 shows an example of abnormality information after a monitoring log is generated.
  • the abnormality information 111 includes information shown in two items: in-vehicle equipment and abnormal device.
  • the in-vehicle equipment item shows the in-vehicle equipment that includes the device in which the abnormality occurred.
  • the abnormal device item shows the device in which the abnormality occurred.
  • the abnormality information 111 is empty and does not contain any information, because no abnormalities have occurred in the monitored objects of each of the multiple monitoring devices and the monitored objects of each of the multiple monitoring devices are operating normally. In other words, the fact that the abnormality information 111 is empty indicates that all of the monitored objects of each of the multiple monitoring devices are operating normally. The abnormality information 111 indicates that an abnormality has occurred in the monitoring device for which information is indicated.
  • the management unit 102 reflects, based on the monitoring log, that an abnormality has occurred in the RI monitoring device 213 of the in-vehicle device 210 in the abnormality information 111.
  • information indicating the in-vehicle device 210 is added to the in-vehicle device item of the abnormality information 111
  • information indicating the RI monitoring device 213 is added to the abnormal device item of the abnormality information 111.
  • FIG. 6 shows another example of abnormality information after a monitoring log is generated.
  • the abnormality information 111 includes two items, in-vehicle equipment and abnormal device, as well as information indicated in the abnormal situation item.
  • the abnormal situation item may indicate not only that an abnormality has occurred in the monitoring device, but also that the reliability of the monitoring device is low. For example, because the reliability of the monitoring operation by the monitoring device in which an abnormality has occurred is low, there is a possibility that the operation of the target device being monitored by the monitoring device in which an abnormality has occurred is not normal. Therefore, the abnormal situation of the target device being monitored by the monitoring device in which an abnormality has occurred may indicate that the reliability is low.
  • the management unit 102 when a monitoring log generated by the monitoring root 214 indicating that an abnormality has occurred in the RI monitoring device 213 is received by the receiving unit 101, the management unit 102 reflects in the abnormality information 111 that an abnormality has occurred in the RI monitoring device 213 of the in-vehicle device 210 based on the monitoring log. In addition, the management unit 102 may reflect in the abnormality information 111 that the reliability of the operation of the monitoring device 212 and the transmission device 215 under the monitoring of the RI monitoring device 213 is low. As a result, as shown in FIG.
  • the abnormality status item of the abnormality information 111 indicates that an abnormality has occurred in the RI monitoring device 213 of the in-vehicle device 210, and also indicates that the reliability of the monitoring device 212 and the transmission device 215 of the in-vehicle device 210 is low. Note that being under the monitoring of the monitoring device in which the abnormality has occurred is identified based on the relationship information 113 described later.
  • devices under the monitoring of a monitoring device include not only the direct monitoring targets of the monitoring subject device, but also the monitoring targets that are further monitored by the direct monitoring targets. In other words, devices under the monitoring of a monitoring device are all of the one or more devices that are lower in the monitoring chain than the monitoring subject.
  • the management unit 102 may also determine whether a predetermined reset condition is satisfied, and if it determines that the reset condition is satisfied, may update to normal the occurrence status of an abnormality in one or more specific devices specified by the reset condition among one or more devices that are indicated to be abnormal in the first situation indicated by the abnormality information 111.
  • the reset condition may be associated with one or more specific devices that are to be reset (updated to normal). In other words, if the reset condition is satisfied, the occurrence status of all abnormalities in the one or more specific devices associated with the reset condition is updated to normal.
  • the one or more specific devices may be all of the monitored objects in each of the multiple monitoring devices provided in the in-vehicle devices 210 and 220, or may be one or more devices that are part of the monitored objects in each of the multiple monitoring devices.
  • the reset condition may be that a reset request has been received from an external device, that a program has been updated by a specific function (for example, OTA (Over The Air)), that a predetermined period of time has passed, or that the ignition has been turned off in a vehicle equipped with the in-vehicle system 20.
  • OTA Over The Air
  • the storage unit 103 stores anomaly information 111, route information 112, and relationship information 113.
  • the anomaly information 111 is as described above, so the following describes the route information 112 and relationship information 113.
  • FIG. 7 shows an example of route information in an embodiment.
  • Route information 112 is information indicating multiple transmission routes, each of which has multiple monitoring devices as the source of the monitoring log. Each of the multiple transmission routes is indicated by one or more devices among the multiple devices through which the monitoring log transmitted from the source passes.
  • the route information 112 includes information indicated by two items: source and transmission route.
  • the source item indicates the monitoring device that sent the monitoring log, i.e., the monitoring device that generated the monitoring log.
  • the transmission route item indicates the devices through which the monitoring log passes from the source of the monitoring log to the transmitting device 215.
  • the sending device is the monitoring device 212
  • the sending path of the monitoring log is indicated by the monitoring device 212, the RI monitoring device 213, and the sending device 215.
  • the sending device is the RI monitoring device 213
  • the sending path of the monitoring log is indicated by the RI monitoring device 213 and the sending device 215.
  • the sending device is the monitoring root 214
  • the sending path of the monitoring log is indicated by the monitoring root 214 and the sending device 215.
  • the transmission path of the monitoring log need not necessarily be determined according to the sending device, but may be determined according to both the sending device and the type of monitoring log.
  • FIG. 8 shows an example of relationship information in an embodiment.
  • the relationship information 113 indicates multiple monitoring relationships formed by multiple devices.
  • Each of the multiple monitoring relationships indicates a pair of a monitoring source and a monitoring target.
  • each of the multiple monitoring relationships indicates, among the multiple devices, a monitoring device that is the monitoring source, and a device that is the monitoring target of the monitoring device that is the monitoring source. Note that only multiple monitoring devices among the multiple devices can be the monitoring source. Also, the monitoring target can be a device among the multiple devices other than the monitoring root 214.
  • the relationship information 113 includes information indicated in four items: on-board equipment, monitoring source, monitored target, and monitored content.
  • the on-board equipment item indicates the on-board equipment in which the monitoring source and monitored target devices are installed.
  • the monitoring source item indicates the monitoring device that is the subject of monitoring.
  • the monitored target item indicates the device that is the target of monitoring by the monitoring source monitoring device.
  • the monitored content item indicates the type of monitoring operation.
  • the relationship information indicates the relationship between the monitoring source and the monitoring target of the multiple devices equipped in the in-vehicle devices 210 and 220.
  • the determination unit 104 identifies a second status, which is the occurrence status of an abnormality in each of the one or more devices indicated by the first transmission route, based on the first status and the first transmission route associated with the device information included in the received monitoring log in the route information 112.
  • the second status indicates whether each of the one or more devices indicated by the first transmission route is abnormal or normal.
  • the determination unit 104 determines the reliability of the received monitoring log based on the identified second status. Specifically, the determination unit 104 calculates the degree of abnormality of each of the one or more devices indicated by the first transmission route, and determines the reliability of the received monitoring log based on the sum of the calculated one or more degrees of abnormality.
  • the first example is an example in which, for example, the abnormality information 111 shown in FIG. 5 is stored in the storage unit 103, and the monitoring log from the monitoring device 212 is received by the receiving unit 101.
  • the determining unit 104 identifies a transmission route from which the monitoring device 212 is the sender based on the route information 112.
  • the determining unit 104 then identifies the occurrence status of an abnormality in each of the monitoring device 212, the RI monitoring device 213, and the transmitting device 215 indicated by the identified transmission route based on the abnormality information 111.
  • the determining unit 104 can identify that only the RI monitoring device 213 is abnormal in the abnormality information 111 in FIG.
  • the determining unit 104 calculates the abnormality degree of an abnormal device as 100, and the abnormality degree of a normal device as 0. Therefore, the abnormality level of the monitoring device 212 is calculated as 0, the abnormality level of the RI monitoring device 213 is calculated as 100, and the abnormality level of the transmitting device 215 is calculated as 0.
  • the determination unit 104 then subtracts the sum of the abnormality levels of these three devices (100) from the predetermined value of 100 to calculate the reliability of the monitoring log as 0. Note that the larger the abnormality level value shown as an example here, the greater the degree of abnormality. Also, the larger the reliability value shown as an example here, the higher the reliability.
  • the determination unit 104 may identify whether the second situation is (i) normal, (ii) abnormal, or (iii) unreliable (i.e., whether the device is under the monitoring of an abnormal device in which an abnormality has occurred among the multiple devices) based on the first transmission path, the first situation, and the relationship information 113.
  • the second situation indicates whether each of the one or more monitoring devices indicated by the first transmission path is (i) normal, (ii) abnormal, or (iii) unreliable.
  • the determination unit 104 determines the reliability of the received monitoring log based on the identified second situation. Specifically, the determination unit 104 calculates the degree of abnormality of each of the one or more monitoring devices indicated by the first transmission path, and determines the reliability of the received monitoring log based on the sum of the calculated one or more degrees of abnormality.
  • the determining unit 104 identifies a transmission route from which the monitoring root 214 is the sender, based on the route information 112. Then, the determining unit 104 identifies the occurrence status of an abnormality in each of the monitoring root 214 and the transmitting device 215 indicated by the identified transmission route, based on the abnormality information 111. In this case, the determining unit 104 can identify that the RI monitoring device 213 is abnormal and that the monitoring device 212 and the transmitting device 215 are low-reliable in the abnormality information 111 in FIG.
  • the determination unit 104 calculates the abnormality degree of a device that is unreliable as 30, and the abnormality degree of a device that is normal as 0. Therefore, the abnormality degree of the monitoring root 214 is calculated as 0, and the abnormality degree of the transmission device 215 is calculated as 30. The determination unit 104 then subtracts the sum of the abnormality degrees of these two devices (30) from the predetermined value of 100, thereby calculating the reliability of the monitoring log as 70.
  • the first reliability of the first monitoring log that passed through the monitoring device under monitoring of the abnormal device may be determined to be higher than the second reliability of the second monitoring log that passed through the abnormal device.
  • the first and second abnormality degrees are calculated so that the first abnormality degree of the low reliability device is higher than the second abnormality degree of the abnormal device, and the first reliability obtained by subtracting the first abnormality degree from a predetermined value is determined to be higher than the second reliability obtained by subtracting the second abnormality degree from a predetermined value.
  • the reliability may be indicated, for example, by a numerical value, and a larger numerical value indicates a higher reliability, or a smaller numerical value indicates a higher reliability.
  • the output unit 105 outputs monitoring information including a monitoring log based on the determined reliability. Specifically, the output unit 105 may generate monitoring information including reliability information indicating the reliability and a monitoring log, and output the generated monitoring information to the monitoring server 10 via the external network 30. In other words, the monitoring information in this case may include reliability information.
  • FIG. 9 is a diagram showing an example of a monitoring log format in an embodiment.
  • FIG. 10 is a diagram showing an example of a monitoring information format in an embodiment.
  • the monitoring log includes destination information indicating the destination device (e.g., the IP address and device ID of the destination device), source information indicating the source device (e.g., the IP address and device ID of the source device), a timestamp indicating the time when the monitoring log was generated, an anomaly detection ID for identifying the content of the abnormality detection (e.g., RI abnormality, memory access error, file access error, Keep Alive normal, etc.), and an anomaly detection detail log indicating data on the details of the abnormality detection (e.g., abnormal process ID, resource ID, memory address, etc.).
  • the content of the abnormality detection and the data on the details of the abnormality detection are information indicating the monitoring result.
  • the monitoring result may include information indicating the monitored object.
  • the monitoring log may include information that no abnormality was found in the monitored object device as a result of the monitoring and that the monitored object is normal, and may notify the normality of the monitored object by indicating the normal state using the anomaly detection ID and the anomaly detection detail log.
  • the monitoring information is information that includes various information contained in the monitoring log, and further includes reliability information indicating the reliability.
  • the reliability information may be expressed as a binary value indicating whether or not the information is reliable, or may be expressed as a number in which the larger the value, the higher the reliability, as described above.
  • the output unit 105 may determine that the monitoring log is reliable if the reliability of the monitoring log is equal to or greater than a predetermined threshold (e.g., 50), and may determine that the monitoring log is unreliable if the reliability of the monitoring log is less than the predetermined threshold.
  • a predetermined threshold e.g. 50
  • the output unit 105 may generate monitoring information by assigning a numerical value (e.g., 0) to the monitoring log as reliability information indicating that the monitoring log is reliable. Conversely, if the output unit 105 determines that the monitoring log is unreliable, it may generate monitoring information by assigning a numerical value (e.g., 1) to the monitoring log as reliability information indicating that the monitoring log is unreliable. Then, the output unit 105 may transmit the generated monitoring information to the monitoring server 10.
  • a numerical value e.g., 0
  • the output unit 105 may invalidate (e.g., mask) the monitoring log, thereby generating monitoring information to which reliability information indicating that the monitoring log is unreliable is attached. Conversely, when the output unit 105 determines that the monitoring log is reliable, it may not invalidate (e.g., mask) the monitoring log, thereby generating monitoring information to which reliability information indicating that the monitoring log is reliable is attached. Then, the output unit 105 may transmit the generated monitoring information to the monitoring server 10.
  • the output unit 105 may output (transmit) the monitoring information including the unreliable monitoring log to a storage device that stores the history of abnormality occurrences.
  • the storage device is a device not shown in the figure that is connected to the external network 30.
  • the output unit 105 determines that the monitoring log is unreliable, it does not have to output the monitoring information.
  • FIG. 11 is a flowchart showing an example of the operation of the information output device according to the embodiment.
  • the information output device 100 sequentially receives the multiple monitoring logs generated by the in-vehicle devices 210, 220, calculates the reliability of each of the multiple monitoring logs received, and outputs monitoring information including the monitoring logs based on the calculated reliability.
  • the in-vehicle devices 210, 220 may output each of the multiple monitoring logs generated to the information output device 100 each time they are generated, or may output to the information output device 100 multiple monitoring logs that have been accumulated and not yet output until the specified timing arrives when a specified timing arrives.
  • the operation of the information output device 100 shown in FIG. 11 shows the processing for one received monitoring log. In other words, each time the information output device 100 receives one monitoring log, it repeats the operation of FIG. 11 for that one received monitoring log.
  • the information output device 100 receives the monitoring log (S101).
  • the monitoring log includes device information indicating the monitoring device that performed the monitoring (i.e., the monitoring device that is the subject of the monitoring) and the monitoring results.
  • the information output device 100 checks the source of the monitoring log contained in the monitoring log (S102).
  • the information output device 100 checks the monitoring results contained in the monitoring log (S103). Specifically, the information output device 100 identifies the monitoring target in which the abnormality occurred based on the monitoring results, updates the abnormality information 111 so that the abnormality situation of the monitoring target in which the abnormality occurred becomes abnormal, and does not update the abnormality information 111 if the monitoring results do not include the occurrence of an abnormality.
  • a specific example of the process of step S103 is the process described as the process of the management unit 102.
  • the information output device 100 determines the reliability of the monitoring log based on the anomaly information 111, the route information 112, and the relationship information 113 (S104).
  • a specific example of the process of step S104 is the process described as the process of the determination unit 104.
  • the information output device 100 generates monitoring information including reliability information indicating the reliability and a monitoring log (S105).
  • the information output device 100 determines whether the reliability indicated by the reliability information included in the monitoring information is less than a predetermined threshold (S106).
  • the information output device 100 transmits the monitoring information generated in step S105 to the monitoring server 10 (S107).
  • the information output device 100 performs a specific process (S108).
  • the specific process is, for example, the process described in the description of the output unit 105 as being performed when it is determined that the monitoring log is unreliable.
  • steps S105 to S108 A specific example of the processing in steps S105 to S108 is the processing described as the processing of the output unit 105.
  • FIG. 12 is a flowchart showing an example of a reset operation of an information output device in an embodiment.
  • the reset operation is an operation for returning an abnormal situation of a device whose abnormal situation is recorded as abnormal or unreliable in the abnormality information 111 to normal.
  • the information output device 100 determines whether a predetermined reset condition is met (S111).
  • the information output device 100 determines whether the reset condition is satisfied (Yes in S111), it determines whether the reset target specified by the reset condition is one or more specific devices (S112). In other words, in step S112, it determines whether the reset condition specifies one or more specific devices that are a part of the multiple devices, rather than all of the multiple devices, as the reset target.
  • step S111 If the information output device 100 determines that the reset condition is not satisfied (No in S111), it returns to step S111.
  • the information output device 100 determines that the reset target is one or more specific devices (Yes in S112), it resets the abnormal state of the abnormality occurrence status of one or more specific devices specified by the reset condition among the one or more devices shown to be abnormal in the first status indicated in the abnormality information 111, and updates it to normal (S113).
  • the information output device 100 determines that the reset target is not one or more specific devices (No in S112), that is, if it determines that the reset target is all of the multiple devices, it resets the abnormal state among the abnormality occurrence statuses of all devices that are shown to be abnormal in the first status shown in the abnormality information 111, and updates them to normal (S114).
  • the information output device 100 receives monitoring logs generated by a plurality of monitoring devices including a first monitoring device and a second monitoring device that monitors the first monitoring device and has a higher security authority than the first monitoring device, and outputs monitoring information including the monitoring logs.
  • the information output device 100 includes a receiving unit 101, a management unit 102, a storage unit 103, a determination unit 104, and an output unit 105.
  • the receiving unit 101 sequentially receives monitoring logs including device information indicating one of the plurality of monitoring devices and a monitoring result indicating whether or not an abnormality exists in a monitoring target of the one monitoring device.
  • the management unit 102 manages a first situation, which is an occurrence situation of an abnormality in a monitoring target in each of the plurality of monitoring devices, based on the monitoring result included in the sequentially received monitoring log.
  • the storage unit 103 stores route information 112 indicating a plurality of transmission routes indicated by one or more devices through which a monitoring log transmitted from a transmission source passes, each of which is a plurality of transmission routes having each of the plurality of monitoring devices as a transmission source of the monitoring log.
  • the determination unit 104 identifies a second situation, which is an occurrence situation of an abnormality in each of the monitoring targets of the one or more devices indicated by the first transmission route, based on the first situation and the first transmission route associated with the monitoring targets of the monitoring device indicated by the device information included in the received monitoring log in the route information 112, and determines the reliability of the received monitoring log based on the identified second situation.
  • the output unit 105 outputs the monitoring information including the monitoring log based on the reliability.
  • the reliability of the monitoring log is determined based on the second status, which is the occurrence status of an abnormality in each of the one or more devices indicated on the transmission path, so that, for example, if there is an abnormality in any of the one or more devices through which the monitoring log passes, the reliability can be determined so that the reliability of the monitoring log is low. Therefore, monitoring information can be output that allows the device that receives the log to easily determine whether or not the log is reliable.
  • the multiple devices including the multiple monitoring devices constitute multiple monitoring relationships.
  • Each of the multiple monitoring relationships indicates a pair of a monitoring source and a monitoring target.
  • the storage unit 103 stores relationship information 113 indicating the multiple monitoring relationships.
  • the determination unit 104 determines, based on the first transmission path, the first status, and the relationship information, whether the second status is (i) normal, (ii) abnormal, or (iii) under the monitoring of an abnormal device among the multiple devices in which an abnormality has occurred.
  • the reliability of the monitoring log is determined based on the second status indicating whether (i) it is normal, (ii) it is abnormal, or (iii) it is under the monitoring of an abnormal device. Therefore, for example, if there is an abnormality in any of the one or more devices through which the monitoring log has passed, or if any of the one or more devices through which the monitoring log has passed is under the monitoring of an abnormal device, the reliability can be determined so that the reliability of the monitoring log is low. Therefore, it is possible to output monitoring information that allows the device that has received the log to easily determine whether the log is reliable or not.
  • FIG. 13 is a diagram for explaining the state of the monitoring results when the in-vehicle system is attacked.
  • an attack is made in the order of RI monitoring device 213, transmission device 215, and monitoring target 211, and the transition of the state of the monitoring results by the monitoring device 212, the monitoring results of the monitoring device 212 by the RI monitoring device 213, the monitoring results of the transmission device 215 by the RI monitoring device 213, the monitoring results of the RI monitoring device 213 by the monitoring root 214, and the Keep Alive notification by the monitoring root 214 will be explained.
  • the square marks, triangle marks, circles with diagonal hatching, and white circles in FIG. 13 indicate the timing when the monitoring log including the corresponding monitoring results or notifications was generated.
  • the horizontal axis of FIG. 13 indicates time.
  • White rectangles on the lines of the monitoring results by monitoring device 212, the monitoring results of transmission device 215 by RI monitoring device 213, and the monitoring results of RI monitoring device 213 by monitoring root 214 indicate that the target of each monitoring is under attack and an abnormality has occurred in that target.
  • the abnormality occurrence status of the RI monitoring device 213 becomes abnormal, and the abnormality occurrence status of the monitoring device 212 and the transmission device 215 that are the targets of monitoring of the RI monitoring device 213 becomes unreliable.
  • the monitoring log including the monitoring results of the RI monitoring device by the RI monitoring device 213 passes through the transmission device 215, and therefore can be transmitted as indicated by the triangle mark, but can be determined to be an unreliable log.
  • an abnormality occurs in the transmitting device 215 that outputs the monitoring log to the information output device 100, and the monitoring log generated thereafter can be determined to be a log that has been attacked and cannot be transmitted, as indicated by a square mark.
  • the first reliability of the first monitoring log that has passed through a device under the monitoring of the abnormal device is determined to be more reliable than the second reliability of the second monitoring log that has passed through the abnormal device.
  • the reliability of the monitoring log can be determined with high accuracy by determining the first reliability to be higher than the second reliability. This makes it possible, for example, to use the reliability in analyzing the monitoring log, thereby obtaining multifaceted analysis results.
  • the reliability can be used to extract the monitoring log to be used in the analysis, which may reduce the processing load associated with analyzing the monitoring log.
  • the determination unit 104 calculates the degree of abnormality of each of the one or more devices indicated by the first transmission path, and determines the reliability of the received monitoring log based on the sum of the one or more calculated degrees of abnormality. Therefore, the reliability can be determined according to the occurrence status of abnormalities in all devices through which the monitoring log has passed.
  • the management unit 102 determines whether or not a predetermined reset condition is satisfied, and if it determines that the reset condition is satisfied, normally updates the occurrence status of an abnormality in one or more specific devices identified by the reset condition among the one or more devices shown to be abnormal in the first situation.
  • the occurrence status of an abnormality in one or more specific devices can be updated normally, so that even if the device operation returns to normal, the reliability of the monitoring log can be determined with high accuracy.
  • the monitoring information further includes reliability information indicating the reliability. Therefore, the device that receives the monitoring information can determine whether or not the monitoring log included in the received monitoring information is reliable by referring to the reliability information.
  • the output unit 105 determines whether or not the monitoring log is trustworthy based on the reliability, and does not output the monitoring information if the monitoring log is not trustworthy. Therefore, the device that receives the monitoring log can determine that all the received monitoring logs are trustworthy.
  • the output unit 105 determines whether or not the monitoring log is reliable based on the reliability, and if the monitoring log is unreliable, outputs the monitoring information to a storage device that stores the history of abnormality occurrences. This makes it possible to store monitoring information including unreliable monitoring logs in the storage device.
  • the in-vehicle system 20 is described as including the information output device 100.
  • the present invention is not limited to this, and the information output device 100 may be included in a monitoring server.
  • FIG. 14 shows the configuration of the monitoring server and in-vehicle system in variant example 1.
  • the monitoring server 10A includes a SIEM 11 and an information output device 100.
  • the in-vehicle system 20A includes in-vehicle devices 210 and 220, but does not include an information output device 100.
  • the in-vehicle system 20A transmits monitoring logs generated by the in-vehicle devices 210 and 220 to the monitoring server 10A via the external network 30.
  • the information output device 100 of the monitoring server 10A performs processing on the received monitoring logs in the same manner as in the embodiment, thereby outputting the monitoring information to the SIEM 11.
  • the in-vehicle system 20 is described as including the information output device 100.
  • the present invention is not limited to this, and the information output device 100 may be included in a monitoring server.
  • FIG. 15 is a diagram showing the configuration of a monitoring server and an in-vehicle system in Modification 2.
  • FIG. 16 is a diagram showing the configuration of an information output device in Modification 2.
  • the monitoring server 10B includes a SIEM 11B, which includes an information output device 100B.
  • SIEM 11B which includes an information output device 100B.
  • variant example 2 is an example in which the SIEM 11B has the functions of the information output device 100 described in the embodiment.
  • the in-vehicle system 20B includes the in-vehicle devices 210 and 220, but does not include the information output device 100.
  • the in-vehicle system 20B transmits the monitoring logs generated by the in-vehicle devices 210 and 220 to the monitoring server 10B via the external network 30.
  • the information output device 100B of the monitoring server 10B performs processing on the received monitoring log in the same manner as in the embodiment, thereby outputting the monitoring information to the analysis unit 106.
  • the analysis unit 106 collects logs or data output from multiple systems and analyzes these logs or data to monitor the network and detect incidents such as cyber attacks or malware infections.
  • the analysis unit 106 may also have a function to display the analysis results.
  • the memory unit 103 of the information output device 100B provided in the SIEM 11B is configured to store the abnormality information 111, the route information 112, and the relationship information 113.
  • static information based on the configuration of the in-vehicle system 20B, such as the route information 112 and the relationship information 113, may be stored in the vehicle information server 120.
  • FIG. 17 shows the configuration of an information output device in variant example 3.
  • the information output device 100C according to the third modification is different from the information output device 100B according to the second modification in that it does not store the route information 112 and the relationship information 113, but has a storage unit 103C that stores the abnormality information 111.
  • the information output device 100C is also different from the information output device 100B according to the second modification in that it is communicably connected to the vehicle information server 120 and acquires the route information 112 and the relationship information 113 from the vehicle information server 120.
  • the vehicle information server 120 includes a communication unit 121 and a storage unit 122.
  • the communication unit 121 receives a request for the route information 112 and the related information 113 from the information output device 100C, it transmits the route information 112 and the related information 113 based on the request to the information output device 100C.
  • the memory unit 122 stores the route information 112 and the relationship information 113.
  • the route information 112 and the relationship information 113 may be managed for each type of vehicle and each type of in-vehicle system 20B.
  • the communication unit 121 reads out the route information 112 and the relationship information 113 corresponding to the type of vehicle or the type of in-vehicle system 20B indicated in the request from the memory unit 122, and transmits the read route information 112 and the relationship information 113 to the information output device 100C.
  • each component may be configured with dedicated hardware, or may be realized by executing a software program suitable for each component.
  • Each component may be realized by a program execution unit such as a CPU (Central Processing Unit) or processor reading and executing a software program recorded on a recording medium such as a hard disk or semiconductor memory.
  • the software that realizes the verification device of each of the above embodiments is a computer program that causes a computer to execute each step of the flowcharts or sequence diagrams shown in Figures 7 to 10, respectively.
  • the at least one device is a computer system consisting of a microprocessor, ROM, RAM, a hard disk unit, a display unit, a keyboard, a mouse, etc.
  • a computer program is stored in the RAM or hard disk unit.
  • the at least one device achieves its functions by the microprocessor operating in accordance with the computer program.
  • a computer program is composed of a combination of multiple instruction codes that indicate commands for a computer to achieve a specified function.
  • a system LSI is an ultra-multifunctional LSI manufactured by integrating multiple components on a single chip, and specifically, is a computer system comprising a microprocessor, ROM, RAM, etc.
  • a computer program is stored in the RAM. The system LSI achieves its functions when the microprocessor operates in accordance with the computer program.
  • Some or all of the components constituting at least one of the above devices may be composed of an IC card or a standalone module that is detachable from the device.
  • the IC card or module is a computer system composed of a microprocessor, ROM, RAM, etc.
  • the IC card or module may include the above-mentioned ultra-multifunction LSI.
  • the IC card or module achieves its functions when the microprocessor operates according to a computer program. This IC card or module may be tamper-resistant.
  • the present disclosure may be the methods described above. It may also be a computer program that implements these methods using a computer, or a digital signal that comprises a computer program.
  • the present disclosure may also be a computer program or digital signal recorded on a computer-readable recording medium, such as a flexible disk, a hard disk, a CD (Compact Disc)-ROM, a DVD, a DVD-ROM, a DVD-RAM, a BD (Blu-ray (registered trademark) Disc), a semiconductor memory, etc. It may also be a digital signal recorded on such a recording medium.
  • a computer-readable recording medium such as a flexible disk, a hard disk, a CD (Compact Disc)-ROM, a DVD, a DVD-ROM, a DVD-RAM, a BD (Blu-ray (registered trademark) Disc), a semiconductor memory, etc. It may also be a digital signal recorded on such a recording medium.
  • the present disclosure may also involve the transmission of computer programs or digital signals via telecommunications lines, wireless or wired communication lines, networks such as the Internet, data broadcasting, etc.
  • the program or digital signal may also be implemented by another independent computer system by recording it on a recording medium and transferring it, or by transferring the program or digital signal via a network, etc.
  • the information output device disclosed herein can be applied to, for example, electronic devices and servers mounted on vehicles.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Debugging And Monitoring (AREA)

Abstract

情報出力装置（１００）は、監視装置により生成された監視ログを含む監視情報を出力する情報出力装置（１００）であって、監視対象に異常があるか否かを示す監視結果を含む監視ログを逐次受信する受信部（１０１）と、監視ログに基づいて、複数の監視装置の監視対象の異常の発生状況である第１状況を管理する管理部（１０２）と、それぞれが送信元から送信された監視ログが経由する１以上の装置で示される複数の送信経路を示す経路情報を記憶している記憶部（１０３）と、監視ログの第１送信経路と第１状況とに基づいて、受信した監視ログの信頼度を決定する決定部（１０４）と、信頼度に基づいて、監視ログを含む監視情報を出力する出力部（１０５）と、を備える。

Description

情報出力装置、情報出力方法、及び、プログラム
　本開示は、情報出力装置、情報出力方法、及び、プログラムに関する。
　特許文献１には、非セキュア領域にある監視部が電子制御装置を監視してログを生成し、セキュア領域のログ収集部が生成されたログを収集する技術が開示されている。また、収集されたログは、ＳＯＣ（Security Operation Center）に転送されることが開示されている。
特開２０２０－１２９２３８号公報
　しかしながら、特許文献１のような従来技術では、監視動作の完全性、及び、ＳＯＣへのログの送信動作の完全性が保証されていないため、ＳＯＣへ送信されるログが信頼できないおそれがある。
　本開示は、監視ログが信頼できるか否かを、当該監視ログを受信した装置が容易に判定するための監視情報を出力する情報出力装置などを提供する。
　本開示の一態様に係る情報出力装置は、第１監視装置と、前記第１監視装置を監視し、前記第１監視装置よりもセキュリティ権限が高い第２監視装置とを含む複数の監視装置により生成された監視ログを受信し、前記監視ログを含む監視情報を出力する情報出力装置であって、前記複数の監視装置のうちの一の監視装置を示す装置情報と、前記一の監視装置の監視対象に異常があるか否かを示す監視結果とを含む監視ログを逐次受信する受信部と、逐次受信された前記監視ログに含まれる前記監視結果に基づいて、前記複数の監視装置のそれぞれにおける監視対象の異常の発生状況である第１状況を管理する管理部と、前記複数の監視装置のそれぞれを監視ログの送信元とする複数の送信経路であって、それぞれが前記送信元から送信された監視ログが経由する１以上の装置で示される複数の送信経路を示す経路情報を記憶している記憶部と、前記経路情報において、受信した前記監視ログに含まれる装置情報で示される監視装置の監視対象に対応付けられている第１送信経路と、前記第１状況とに基づいて、前記第１送信経路で示される１以上の監視装置のそれぞれの監視対象の異常の発生状況である第２状況を特定し、特定した前記第２状況に基づいて、受信した前記監視ログの信頼度を決定する決定部と、前記信頼度に基づいて、前記監視ログを含む監視情報を出力する出力部と、を備える。
　また、本開示の一態様に係る情報出力方法は、第１監視装置と、前記第１監視装置を監視し、前記第１監視装置よりもセキュリティ権限が高い第２監視装置とを含む複数の監視装置により生成された監視ログを受信し、前記監視ログを含む監視情報を出力する情報出力方法であって、前記複数の監視装置のうちの一の監視装置を示す装置情報と、前記一の監視装置の監視対象に異常があるか否かを示す監視結果とを含む監視ログを逐次受信し、逐次受信された前記監視ログに含まれる前記監視結果に基づいて、前記複数の監視装置のそれぞれにおける監視対象の異常の発生状況である第１状況を管理し、前記複数の監視装置のそれぞれを監視ログの送信元とする複数の送信経路であって、それぞれが前記送信元から送信された監視ログが経由する１以上の装置で示される複数の送信経路を示す経路情報を取得し、前記経路情報において、受信した前記監視ログに含まれる装置情報で示される監視装置の監視対象に対応付けられている第１送信経路と、前記第１状況とに基づいて、前記第１送信経路で示される１以上の監視装置のそれぞれの監視対象の異常の発生状況である第２状況を特定し、特定した前記第２状況に基づいて、受信した前記監視ログの信頼度を決定し、前記信頼度に基づいて、前記監視ログを含む監視情報を出力する。
　なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。また、記録媒体は、非一時的な記録媒体であってもよい。
　本開示の情報出力装置などによれば、監視ログが信頼できるか否かを、当該監視ログを受信した装置が容易に判定するための監視情報を出力することができる。
図１は、実施の形態における監視システムの全体構成図である。 図２は、実施の形態における監視サーバ及び車載システムの構成を示す図である。 図３は、実施の形態における情報出力装置の構成を示す図である。 図４は、監視ログ発生前の異常情報の一例を示す図である。 図５は、監視ログ発生後の異常情報の一例を示す図である。 図６は、監視ログ発生後の異常情報の他の一例を示す図である。 図７は、実施の形態における経路情報の一例を示す図である。 図８は、実施の形態における関係情報の一例を示す図である。 図９は、実施の形態における監視ログのフォーマットの一例を示す図である。 図１０は、実施の形態における監視情報のフォーマットの一例を示す図である。 図１１は、実施の形態における情報出力装置の動作の一例を示すフローチャートである。 図１２は、実施の形態における情報出力装置のリセット動作の一例を示すフローチャートである。 図１３は、車載システムが攻撃された場合の監視結果の状態について説明するための図である。 図１４は、変形例１における監視サーバ及び車載システムの構成を示す図である。 図１５は、変形例２における監視サーバ及び車載システムの構成を示す図である。 図１６は、変形例２における情報出力装置の構成を示す図である。 図１７は、変形例３における情報出力装置の構成を示す図である。
　（本開示に至った知見）
　車両のセキュリティに関する監視結果を含む監視ログは、安全に収集及び保管され、ＳＯＣに送信することが求められている。しかしながら、上記従来技術では、監視動作、ログの保管動作、及び、ログの送信動作の完全性が保証されていないため、ＳＯＣに送信されたログが信頼できるログであるか否かを判定することが難しい。つまり、監視動作、ログの保管動作、及び、ログの送信動作の完全性が保証されていない場合、これらの動作が異常な動作であることで、異常なログがＳＯＣに送信されるおそれがある。例えば、監視動作が異常であると、異常な監視動作による異常なログを生成する可能性がある。また、例えば、ログの保管動作、または、ログの送信動作が異常であると、これらの動作により、正常なログが異常なログに変更される可能性や、逆に、異常なログが正常なログに変更される可能性がある。
　以上のことから、本発明者らは、ＳＯＣでの監視ログの解析精度及び信頼度を確保するためには、監視ログの保護（例えば、秘匿、耐改ざん）だけでなく、監視動作、監視ログの保管動作、及び、監視ログの送信動作の完全性を担保することが必要となることを見出した。
　本開示の第１の態様に係る情報出力装置は、第１監視装置と、前記第１監視装置を監視し、前記第１監視装置よりもセキュリティ権限が高い第２監視装置とを含む複数の監視装置により生成された監視ログを受信し、前記監視ログを含む監視情報を出力する情報出力装置であって、前記複数の監視装置のうちの一の監視装置を示す装置情報と、前記一の監視装置の監視対象に異常があるか否かを示す監視結果とを含む監視ログを逐次受信する受信部と、逐次受信された前記監視ログに含まれる前記監視結果に基づいて、前記複数の監視装置のそれぞれにおける監視対象の異常の発生状況である第１状況を管理する管理部と、前記複数の監視装置のそれぞれを監視ログの送信元とする複数の送信経路であって、それぞれが前記送信元から送信された監視ログが経由する１以上の装置で示される複数の送信経路を示す経路情報を記憶している記憶部と、前記経路情報において、受信した前記監視ログに含まれる装置情報で示される監視装置の監視対象に対応付けられている第１送信経路と、前記第１状況とに基づいて、前記第１送信経路で示される１以上の監視装置のそれぞれの監視対象の異常の発生状況である第２状況を特定し、特定した前記第２状況に基づいて、受信した前記監視ログの信頼度を決定する決定部と、前記信頼度に基づいて、前記監視ログを含む監視情報を出力する出力部と、を備える。
　これによれば、送信経路で示される１以上の装置のそれぞれの異常の発生状況である第２状況に基づいて、監視ログの信頼度を決定するため、例えば、監視ログが経由した１以上の装置のいずれかに異常がある場合に、当該監視ログの信頼性が低くなるように信頼度を決定することができる。よって、ログが信頼できるか否かを、当該ログを受信した装置が容易に判定するための監視情報を出力することができる。
　本開示の第２の態様に係る情報出力装置は、第１の態様に係る情報出力装置であって、前記複数の監視装置を含む複数の装置は、複数の監視関係を構成し、前記複数の監視関係のそれぞれは、監視元及び監視対象の組を示し、前記記憶部は、前記複数の監視関係を示す関係情報を記憶しており、前記決定部は、前記第１送信経路、前記第１状況及び前記関係情報に基づいて、前記第２状況として、（ｉ）正常であるか、（ｉｉ）異常であるか、（ｉｉｉ）前記複数の装置のうちの異常が発生している異常装置の監視下にあるかを特定する。
　これによれば、（ｉ）正常であるか、（ｉｉ）異常であるか、（ｉｉｉ）異常装置の監視下にあるかが示される第２状況に基づいて、監視ログの信頼度を決定するため、例えば、監視ログが経由した１以上の装置のいずれかに異常がある場合や、監視ログが経由した１以上の装置のいずれかが異常装置の監視下にある場合に、当該監視ログの信頼性が低くなるように信頼度を決定することができる。よって、ログが信頼できるか否かを、当該ログを受信した装置が容易に判定するための監視情報を出力することができる。
　本開示の第３の態様に係る情報出力装置は、第２の態様に係る情報出力装置であって、前記異常装置の監視下にある装置を経由した第１監視ログの第１信頼度は、前記異常装置を経由した第２監視ログの第２信頼度よりも高くなるように決定される。
　異常装置の監視下にある装置は、異常が発生していない可能性があるため、第１信頼度を第２信頼度よりも高くなるように決定することで、監視ログの信頼度を精度よく決定することができる。これにより、例えば、監視ログの解析に信頼度を用いることができ、多角的な解析結果を得ることができる。また、信頼度を用いて解析に用いる監視ログを抽出することができ、監視ログの解析に係る処理負荷を低減できる可能性がある。
　本開示の第４の態様に係る情報出力装置は、第１の態様から第３の態様のいずれか１つの態様に係る情報出力装置であって、前記決定部は、前記第１送信経路で示される１以上の装置のそれぞれの異常度を算出し、算出された１以上の異常度の合計に基づいて、受信した前記監視ログの信頼度を決定する。
　このため、監視ログが経由した全ての装置の異常の発生状況に応じて信頼度を決定できる。
　本開示の第５の態様に係る情報出力装置は、第１の態様から第４の態様のいずれか１つの態様に係る情報出力装置であって、前記管理部は、予め定められたリセット条件が満たされたか否かを判定し、前記リセット条件が満たされたと判定した場合、前記第１状況において正常ではないことが示されている１以上の装置のうち前記リセット条件で特定される１以上の特定の装置における異常の発生状況を正常に更新する。
　このため、例えば、監視装置が正常に動作するように更新された場合に、１以上の特定の装置の異常の発生状況を正常に更新できるため、装置の動作が正常に戻った場合でも、監視ログの信頼度を精度よく決定することができる。
　本開示の第６の態様に係る情報出力装置は、第１の態様から第５の態様のいずれか１つの態様に係る情報出力装置であって、前記監視情報は、さらに、前記信頼度を示す信頼度情報を含む。
　このため、監視情報を受信した装置は、信頼度情報を参照することで受信した監視情報に含まれる監視ログが信頼できるか否かを判定することができる。
　本開示の第７の態様に係る情報出力装置は、第６の態様に係る情報出力装置であって、前記信頼度情報は、前記監視情報が含む監視ログが信頼できるか否かを示す情報である。
　本開示の第８の態様に係る情報出力装置は、第７の態様に係る情報出力装置であって、前記信頼度情報は、前記監視情報の前記監視ログが無効化されることで、前記監視ログが信頼できないことが示される。
　本開示の第９の態様に係る情報出力装置は、第６の態様に係る情報出力装置であって、前記信頼度情報で示される前記信頼度は、大きいほど信頼性が高い数値で示される。
　本開示の第１０の態様に係る情報出力装置は、第１の態様から第９の態様のいずれか１つの態様に係る情報出力装置であって、前記出力部は、前記信頼度に基づいて前記監視ログが信頼できるか否かを判定し、前記監視ログが信頼できない場合、前記監視情報を出力しない。
　このため、監視ログを受信した装置は、受信した監視ログ全てを信頼できると判定することができる。
　本開示の第１１の態様に係る情報出力装置は、第１の態様から第１０の態様のいずれか１つの態様に係る情報出力装置であって、前記出力部は、前記信頼度に基づいて前記監視ログが信頼できるか否かを判定し、前記監視ログが信頼できない場合、前記監視情報を、異常の発生状況の履歴を蓄積する蓄積装置へ出力する。
　このため、蓄積装置に信頼できない監視ログを含む監視情報を蓄積することができる。
　本開示の第１２の態様に係る情報出力方法は、第１監視装置と、前記第１監視装置を監視し、前記第１監視装置よりもセキュリティ権限が高い第２監視装置とを含む複数の監視装置により生成された監視ログを受信し、前記監視ログを含む監視情報を出力する情報出力方法であって、前記複数の監視装置のうちの一の監視装置を示す装置情報と、前記一の監視装置の監視対象に異常があるか否かを示す監視結果とを含む監視ログを逐次受信し、逐次受信された前記監視ログに含まれる前記監視結果に基づいて、前記複数の監視装置のそれぞれにおける監視対象の異常の発生状況である第１状況を管理し、前記複数の監視装置のそれぞれを監視ログの送信元とする複数の送信経路であって、それぞれが前記送信元から送信された監視ログが経由する１以上の装置で示される複数の送信経路を示す経路情報を取得し、前記経路情報において、受信した前記監視ログに含まれる装置情報で示される監視装置の監視対象に対応付けられている第１送信経路と、前記第１状況とに基づいて、前記第１送信経路で示される１以上の監視装置のそれぞれの監視対象の異常の発生状況である第２状況を特定し、特定した前記第２状況に基づいて、受信した前記監視ログの信頼度を決定し、前記信頼度に基づいて、前記監視ログを含む監視情報を出力する。
　これによれば、送信経路で示される１以上の装置のそれぞれの異常の発生状況である第２状況に基づいて、監視ログの信頼度を決定するため、例えば、監視ログが経由した１以上の装置のいずれかに異常がある場合に、当該監視ログの信頼性が低くなるように信頼度を決定することができる。よって、ログが信頼できるか否かを、当該ログを受信した装置が容易に判定するための監視情報を出力することができる。
　本開示の第１３の態様に係るプログラムは、第１２の態様に係る情報出力方法をコンピュータに実行させるためのプログラムである。
　以下、実施の形態に係る監視装置について図面を参照しながら説明する。ここで示す実施の形態は、いずれも本開示の一具体例を示すものである。従って、以下の実施の形態で示される数値、構成要素、構成要素の配置及び接続形態、並びに、処理の要素としてのステップ及びステップの順序等は、一例であって本開示を限定するものではない。以下の実施の形態における構成要素のうち、独立請求項に記載されていない構成要素については、任意に付加可能な構成要素である。また、各図は、模式図であり、必ずしも厳密に図示されたものではない。
　（実施の形態）
　［監視システムの全体構成図］
　図１は、実施の形態における監視システムの全体構成図である。
　監視システムは、監視サーバ１０と、車載システム２０とを備える。監視サーバ１０と車載システム２０とは、外部ネットワーク３０を介して接続される。
　外部ネットワーク３０は、例えば、インターネットである。外部ネットワーク３０の通信方法は、有線であっても無線であってもよい。また、無線通信方式は既存技術であるＷｉ－Ｆｉ（登録商標）や、３Ｇ／ＬＴＥ（Long Term Evolution）やＢｌｕｅｔｏｏｔｈ（登録商標）、Ｖ２Ｘ通信方式であっても、それらの組合せであってもよい。
　監視サーバ１０は、車載システム２０から車載システム２０のセキュリティ状態に関する情報である監視結果を取得して、グラフィカルユーザーインターフェースを用いた監視結果の表示や分析を行う装置である。監視サーバ１０は、例えば、ＳＯＣにて、セキュリティ分析官が監視結果を確認して、車載システム２０において異常が発生した場合にプログラム更新などの対策を検討する際に利用される。
　車載システム２０は、通信の制御、車両の制御、及び、映像の出力などを実施し、車載システム２０のセキュリティ状態を監視し、監視サーバ１０へセキュリティ状態の監視結果を通知する装置である。図１では、車載システム２０は１台のみ記載しているが、１以上の車載システム２０それぞれが、監視サーバ１０へセキュリティ状態の監視結果を送信する。車載システム２０の詳細は後述する。
　［監視サーバ１０及び車載システム２０の構成］
　図２は、実施の形態における監視サーバ及び車載システムの構成を示す図である。
　監視サーバ１０は、ＳＩＥＭ（Security Information and Event Management）１１を備える。ＳＩＥＭ１１は、複数のシステムから出力されるログまたはデータを収集し、これらのログまたはデータの分析と可視化を行うことで、ネットワークの監視を行ったり、サイバー攻撃またはマルウェアの感染などのようなインシデントの検知を行う統合監視システムである。
　車載システム２０は、複数の車載機器２１０、２２０と、情報出力装置１００とを備える。車載システム２０は、車載機器２１０及び車載機器２２０以外にも、他の車載機器を備えていてもよい。
　車載機器２１０は、監視対象２１１と、監視装置２１２と、ＲＩ（Runtime Integrity）監視装置２１３と、監視Ｒｏｏｔ２１４と、送信装置２１５とを備える。なお、監視対象２１１と、監視装置２１２と、ＲＩ監視装置２１３と、監視Ｒｏｏｔ２１４と、送信装置２１５とは、複数の装置と標記される場合がある。
　監視対象２１１は、アプリケーションにより実現され、その完全性が監視装置２１２により監視される対象である。なお、監視装置２１２は、監視対象２１１のアプリケーションの動作や通信を監視してもよい。監視対象２１１のアプリケーションは、例えば、外部通信アプリ、制御アプリ、映像アプリなどである。外部通信アプリは、外部ネットワーク３０を介して監視サーバ１０と通信するアプリケーションである。制御アプリは、車載システム２０を備える車両の走行に関する動作を制御するアプリケーションである。映像アプリは、カメラの映像などを取得し、インフォテイメントシステムやインストルメントパネル、ヘッドアップディスプレイに映像を出力するアプリケーションである。
　監視装置２１２は、監視対象２１１を監視する。具体的には、監視装置２１２は、監視対象２１１を実現するアプリケーションのプログラムの完全性を検証することで、監視対象２１１に異常が発生したか否かを監視する。なお、監視装置２１２は、監視対象２１１を実現するアプリケーションの送受信する通信データを監視してもよいし、アプリケーションのアクセスするメモリやファイルを監視してもよい。監視装置２１２は、監視結果を含む監視ログを、ＲＩ監視装置２１３を介して送信装置２１５へ送信する。
　例えば、監視装置２１２は、監視対象２１１を実現するプログラムが格納されている記憶装置の記憶領域のデータを読み出して、当該データに対して所定の演算を行うことで検証値を生成し、予め記憶装置に記憶されている期待値と、検証値とを比較することで、監視対象２１１のプログラムの完全性を検証する。監視装置２１２は、検証値と期待値とが一致していれば監視対象２１１が正常であると判定し、検証値と期待値とが一致していなければ監視対象２１１が異常であると判定する。
　なお、期待値は、監視対象２１１を実現するプログラムであって、攻撃を受けていない正常なプログラムのデータに所定の演算を行うことで生成された値である。例えば、期待値は、プログラムが生成されたときに生成されてもよいし、当該プログラムが最初に起動されるときに生成されてもよい。また、期待値は、監視対象２１１を実現するプログラムの正常なデータのうち一部から生成されてもよく、監視対象２１１を実現するプログラムが参照する設定データ、あるいはその一部から生成されてもよく、また、これらの組み合わせにより期待値を生成してもよい。
　また、所定の演算とは、例えば、ハッシュ値を算出するためのハッシュ演算であってもよい。期待値は、正常なプログラムに対してハッシュ演算を行うことで得られたハッシュ値であってもよい。また、検証値は、検証時に監視対象２１１のプログラムが格納されている記憶領域のデータに対してハッシュ演算を行うことで得られたハッシュ値であってもよい。なお、所定の演算は、第１の値を当該第１の値と対となる第２の値に一意に変換する再現性のある演算であればハッシュ演算に限らない。
　監視装置２１２は、例えば、仮想マシンによって実現されてもよい。あるいは、監視対象２１１と同じ実行環境で動作する、あるいは同じ実行環境のカーネル空間で動作するプログラムとして実現されてもよい。監視装置２１２は、複数の監視装置のうちの１つの一例である。
　ＲＩ監視装置２１３は、監視装置２１２及び送信装置２１５を監視する。具体的には、ＲＩ監視装置２１３は、監視装置２１２を実現するプログラムの完全性を検証することで、監視装置２１２に異常が発生したか否かを監視する。また、ＲＩ監視装置２１３は、送信装置２１５を実現するプログラムの完全性を検証することで、送信装置２１５に異常が発生したか否かを監視する。ＲＩ監視装置２１３は、監視結果を含む監視ログを、送信装置２１５へ送信する。
　なお、ＲＩ監視装置２１３による完全性の検証方法は、監視装置２１２による完全性の検証方法と同じである。つまり、ＲＩ監視装置２１３による完全性の検証方法は、監視装置２１２による完全性の検証方法の説明において、検証の主体を監視装置２１２からＲＩ監視装置２１３へ読み替え、検証の対象を監視対象２１１から監視装置２１２または送信装置２１５へ読み替えることで説明できる。
　ＲＩ監視装置２１３は、監視装置２１２及び、または、監視装置２１５とは別の仮想マシンにより実現されてもよいし、乾燥装置２１２及び、または、監視装置２１５と同じ実行環境で動作する、あるいは同じ実行環境のカーネル空間で動作するプログラムとして実現されてもよい。ＲＩ監視装置２１３は、複数の監視装置のうちの１つの一例であり、監視装置２１２よりもセキュリティ権限が高い監視装置の一例である。
　監視Ｒｏｏｔ２１４は、ＲＩ監視装置２１３を監視する。具体的には、監視Ｒｏｏｔ２１４は、ＲＩ監視装置２１３を実現するプログラムの完全性を検証することで、ＲＩ監視装置２１３に異常が発生したか否かを監視する。監視Ｒｏｏｔ２１４は、監視結果を含む監視ログを、送信装置２１５へ送信する。
　なお、監視Ｒｏｏｔ２１４による完全性の検証方法は、監視装置２１２による完全性の検証方法と同じである。つまり、監視Ｒｏｏｔ２１４による完全性の検証方法は、監視装置２１２による完全性の検証方法の説明において、検証の主体を監視装置２１２から監視Ｒｏｏｔ２１４へ読み替え、検証の対象を監視対象２１１からＲＩ監視装置２１３へ読み替えることで説明できる。
　監視Ｒｏｏｔ２１４は、例えば、脆弱性を含まないように実装された信頼可能なオペレーティングシステム上で動作する。さらに、システム起動時に信頼可能なハードウェアのＲＯＴ（Root Of Trust）からオペレーティングシステムのソフトウェアは検証されるため、アプリケーション、仮想マシン、及び、ハイパーバイザの中で最も信頼できると想定できる。監視Ｒｏｏｔ２１４は、例えば、ＴＥＥ（Trusted Execution Environment）と呼ばれる実行環境の制御を用いて実現される。また、監視Ｒｏｏｔ２１４は、例えば、ＡＲＭ系のＣＰＵ（Central Processing Unit）におけるＣｏｒｔｅｘ－Ａファミリでは標準機能の１つであるＴｒｕｓｔＺｏｎｅ機構により実現され得る。また、監視Ｒｏｏｔ２１４は、ＡｐｐｌｅのＳＥＰ（Secure Enclave Processor）、または、ＧｏｏｇｌｅのＴｉｔａｎＭなどによっても実現され得る。監視Ｒｏｏｔ２１４は、複数の監視装置のうちの１つの一例であり、ＲＩ監視装置２１３よりもセキュリティ権限が高い監視装置の一例である。監視Ｒｏｏｔ２１４は、複数の監視装置の中で最もセキュリティ権限が高い監視装置である。あるいは、ＲＩ監視装置２１３と同じ実行環境のカーネル空間において、耐タンパ実装を行うことで信頼度を上げたプログラムとして動作するとしてもよい。
　送信装置２１５は、監視装置２１２、ＲＩ監視装置２１３、及び、監視Ｒｏｏｔ２１４のそれぞれから得られた監視ログを情報出力装置１００へ送信する。送信装置２１５は、例えば、仮想マシンによって実現されてもよい。あるいは、送信装置２１５は、監視対象２１１及びまたは監視装置２１２及びまたはＲＩ監視装置２１３と同じ実行環境で動作するプログラムとして実現されてもよい。
　車載機器２１０は、複数の監視装置を備える。複数の監視装置は、上述したように、監視装置２１２、ＲＩ監視装置２１３、及び、監視Ｒｏｏｔ２１４である。
　車載機器２２０は、車載機器２１０と同様に、セキュリティ権限が異なる複数の監視装置を備える。そして、車載機器２１０と同様に、車載機器２２０が備える複数の監視装置のそれぞれは、セキュリティ権限がより高い監視装置によって監視されている構成（信頼の連鎖）を有する。
　［情報出力装置１００の構成］
　図３は、実施の形態における情報出力装置の構成を示す図である。
　情報出力装置１００は、車載機器２１０、２２０が備える複数の監視装置により生成された監視ログを受信し、監視ログを含む監視情報を出力する。情報出力装置１００は、受信部１０１と、管理部１０２と、記憶部１０３と、決定部１０４と、出力部１０５とを備える。
　受信部１０１は、監視ログを逐次受信する。監視ログは、監視元の監視装置（つまり、監視の主体となる監視装置）を示す装置情報と、監視結果とを含む。監視結果は、複数の監視装置のうちの一の監視装置（監視元の監視装置）の監視対象に異常があるか否かを示す情報である。監視結果は、一の監視装置による監視における結果である。装置情報は、監視ログを生成した監視装置、つまり、監視ログの送信元の監視装置を識別する情報（例えば装置ＩＤ）である。なお、受信部１０１は、複数の監視ログを包含する集約監視ログを受信し、集約監視ログに包含された各監視ログを取り出し、後続の処理部に個別の監視ログとして出力する機能を備えてもよい。
　管理部１０２は、逐次受信された監視ログに含まれる監視結果に基づいて、複数の監視装置のそれぞれにおける監視対象の異常の発生状況である第１状況を示す異常情報１１１を管理する。異常情報１１１は、記憶部１０３に記憶されており、管理部１０２は、監視ログに含まれる監視結果を異常情報１１１に反映させる処理を行う。
　図４は、監視ログ発生前の異常情報の一例を示す図である。図５は、監視ログ発生後の異常情報の一例を示す図である。
　異常情報１１１は、図４及び図５に示されるように、車載機器、及び、異常装置の２つの項目で示される情報を含む。車載機器の項目では、異常が発生した装置を備える車載機器が示される。異常装置の項目では、異常が発生した装置が示される。
　異常情報１１１は、図４に示されるように、監視ログが生成される前の時点では、複数の監視装置のそれぞれにおける監視対象に異常が発生しておらず、複数の監視装置のそれぞれにおける監視対象は正常に動作しているため、どの情報も含まれず空の状態である。つまり、異常情報１１１は、空の状態であることが複数の監視装置のそれぞれにおける監視対象の全てが正常に動作していることを示す。異常情報１１１に、情報が示される監視装置には、異常が発生していることを示す。
　例えば、監視Ｒｏｏｔ２１４が生成した監視ログであって、ＲＩ監視装置２１３に異常が発生していることを示す監視ログが受信部１０１により受信された場合、管理部１０２は、当該監視ログに基づいて、車載機器２１０のＲＩ監視装置２１３に異常が発生していることを、異常情報１１１に反映させる。その結果、図５に示されるように、異常情報１１１の車載機器の項目には車載機器２１０を示す情報が追加され、異常情報１１１の異常装置の項目にはＲＩ監視装置２１３を示す情報が追加される。
　図６は、監視ログ発生後の異常情報の他の一例を示す図である。
　この場合の異常情報１１１は、車載機器、及び、異常装置の２つの項目に加えて、さらに、異常状況の項目で示される情報を含む。異常状況の項目では、監視装置に異常が発生していることだけでなく、監視装置の信頼性が低いことが示されてもよい。例えば、異常が発生している監視装置による監視動作の信頼性は低いため、異常が発生している監視装置により監視されている対象の装置の動作が正常ではない可能性がある。よって、異常が発生している監視装置により監視されている対象の装置の異常状況として、信頼性が低いことが示されてもよい。
　例えば、監視Ｒｏｏｔ２１４が生成した監視ログであって、ＲＩ監視装置２１３に異常が発生していることを示す監視ログが受信部１０１により受信された場合、管理部１０２は、当該監視ログに基づいて、車載機器２１０のＲＩ監視装置２１３に異常が発生していることを、異常情報１１１に反映させる。これとともに、管理部１０２は、ＲＩ監視装置２１３の監視下にある監視装置２１２及び送信装置２１５の動作の信頼性が低いことを、異常情報１１１に反映させてもよい。その結果、異常情報１１１の異常状況の項目では、図６に示されるように、車載機器２１０のＲＩ監視装置２１３に異常が発生していることが示される他に、車載機器２１０の監視装置２１２及び送信装置２１５の信頼性が低いことが示される。なお、異常が発生している監視装置の監視下にあることは、後述する関係情報１１３に基づいて特定される。また、監視装置の監視下の装置とは、監視の主体の装置による直接の監視対象だけでなく、直接の監視対象によりさらに監視されている監視対象も含む。言い換えると、監視装置の監視下の装置とは、監視の連鎖において、監視の主体よりも下位に属する１以上の装置の全てである。
　また、管理部１０２は、予め定められたリセット条件が満たされたか否かを判定し、リセット条件が満たされたと判定した場合、異常情報１１１で示される第１状況において正常ではないことが示されている１以上の装置のうちリセット条件で特定される１以上の特定の装置における異常の発生状況を正常に更新してもよい。リセット条件には、リセット（正常への更新）の対象となる１以上の特定の装置が対応付けられていてもよい。つまり、リセット条件が満たされれば、当該リセット条件に対応付けられている１以上の特定の装置の全ての異常の発生状況は、正常に更新される。１以上の特定の装置は、車載機器２１０、２２０が備える複数の監視装置のそれぞれにおける監視対象の全てであってもよいし、複数の監視装置のそれぞれにおける監視対象の一部の１以上の装置であってもよい。リセット条件は、外部装置からリセット要求を受信したことであってもよいし、特定機能（例えば、ＯＴＡ（Over The Air））によるプログラムの更新が為されたことであってもよいし、所定期間が経過したことであってもよいし、車載システム２０を備える車両においてイグニッションがＯＦＦとされたことであってもよい。
　記憶部１０３は、異常情報１１１と、経路情報１１２と、関係情報１１３とを記憶している。異常情報１１１は、上述した通りであるので、以下では、経路情報１１２及び関係情報１１３について説明する。
　図７は、実施の形態における経路情報の一例を示す図である。
　経路情報１１２は、複数の監視装置のそれぞれを監視ログの送信元とする複数の送信経路を示す情報である。複数の送信経路のそれぞれは、複数の装置のうちの１以上の装置であって、送信元から送信された監視ログが経由する１以上の装置で示される。
　例えば、経路情報１１２は、図７に示されるように、送信元、及び、送信経路の２つの項目で示される情報を含む。送信元の項目では、監視ログを送信した監視装置、つまり、監視ログを生成した監視装置が示される。送信経路の項目では、監視ログの送信元から送信装置２１５に至るまでの間に監視ログが経由する装置が示される。
　例えば、送信元の装置が監視装置２１２である場合の監視ログの送信経路は、監視装置２１２、ＲＩ監視装置２１３、及び、送信装置２１５で示される。また、例えば、送信元の装置がＲＩ監視装置２１３である場合の監視ログの送信経路は、ＲＩ監視装置２１３及び送信装置２１５で示される。また、例えば、送信元の装置が監視Ｒｏｏｔ２１４である場合の監視ログの送信経路は、監視Ｒｏｏｔ２１４及び送信装置２１５で示される。
　なお、監視ログの送信経路は、送信元の装置に応じて定められることに限らずに、送信元の装置及び監視ログの種別の両方に応じて定められてもよい。
　図８は、実施の形態における関係情報の一例を示す図である。
　関係情報１１３は、複数の装置により構成される複数の監視関係を示す。複数の監視関係のそれぞれは、監視元及び監視対象の組を示す。つまり、複数の監視関係のそれぞれは、複数の装置のうちで、監視元である監視装置と、当該監視元の監視装置の監視対象である装置とを示す。なお、監視元には、複数の装置のうちの複数の監視装置のみがなりうる。また、監視対象には、複数の装置のうちの監視Ｒｏｏｔ２１４以外の装置がなりうる。
　例えば、関係情報１１３は、図８に示されるように、車載機器、監視元、監視対象、及び、監視内容の４つの項目で示される情報を含む。車載機器の項目では、監視元及び監視対象の装置が備えられる車載機器が示される。監視元の項目では、監視の主体である監視装置が示される。監視対象の項目では、監視元の監視装置による監視の対象である装置が示される。監視内容の項目では、監視の動作の種類が示される。
　関係情報により、車載機器２１０、２２０が備える複数の装置の監視元及び監視対象の関係が示される。
　決定部１０４は、経路情報１１２において、受信した監視ログに含まれる装置情報に対応付けられている第１送信経路と、第１状況とに基づいて、第１送信経路で示される１以上の装置のそれぞれの異常の発生状況である第２状況を特定する。この場合、第２状況は、第１送信経路で示される１以上の装置のそれぞれが異常であるか正常であるかを示す。そして、決定部１０４は、特定した第２状況に基づいて、受信した監視ログの信頼度を決定する。具体的には、決定部１０４は、第１送信経路で示される１以上の装置のそれぞれの異常度を算出し、算出された１以上の異常度の合計に基づいて、受信した監視ログの信頼度を決定する。
　まず、決定部１０４による信頼度の決定方法の第１の例について説明する。
　第１の例は、例えば、図５に示される異常情報１１１が記憶部１０３に格納されており、監視装置２１２からの監視ログが受信部１０１により受信された場合の例である。決定部１０４は、経路情報１１２に基づいて、監視装置２１２が送信元である送信経路を特定する。そして、決定部１０４は、特定した送信経路で示される監視装置２１２、ＲＩ監視装置２１３及び送信装置２１５のそれぞれの異常の発生状況を、異常情報１１１に基づいて特定する。この場合、決定部１０４は、図５の異常情報１１１においてＲＩ監視装置２１３のみが異常であると特定できるため、監視装置２１２が正常であり、ＲＩ監視装置２１３が異常であり、送信装置２１５が正常であることを第２状況として特定できる。決定部１０４は、例えば、異常である装置の異常度を１００として算出し、正常である装置の異常度を０として算出する。このため、監視装置２１２の異常度は０として算出され、ＲＩ監視装置２１３の異常度は１００として算出され、送信装置２１５の異常度は０として算出される。そして、決定部１０４は、これらの３つの装置の異常度の合計の１００を所定値である１００から減算することで、監視ログの信頼度を０として算出する。なお、ここで例示している異常度の数値は、大きいほど異常の度合いが大きいことを示す。また、ここで例示している信頼度の数値は、大きいほど信頼性が高いことを示す。
　次に、決定部１０４による信頼度の決定方法の第２の例について説明する。
　第２の例では、決定部１０４は、第２状況の特定する処理において、第１送信経路、第１状況及び関係情報１１３に基づいて、第２状況として、（ｉ）正常であるか、（ｉｉ）異常であるか、（ｉｉｉ）信頼性が低いか（つまり、複数の装置のうちの異常が発生している異常装置の監視下にあるか）を特定してもよい。この場合、第２状況は、第１送信経路で示される１以上の監視装置のそれぞれが（ｉ）正常であるか、（ｉｉ）異常であるか、（ｉｉｉ）信頼性が低いかを示す。そして、決定部１０４は、特定した第２状況に基づいて、受信した監視ログの信頼度を決定する。具体的には、決定部１０４は、第１送信経路で示される１以上の監視装置のそれぞれの異常度を算出し、算出された１以上の異常度の合計に基づいて、受信した監視ログの信頼度を決定する。
　例えば、図６に示される異常情報１１１が記憶部１０３に格納されており、監視Ｒｏｏｔ２１４からの監視ログが受信部１０１により受信された場合について説明する。まず、決定部１０４は、経路情報１１２に基づいて、監視Ｒｏｏｔ２１４が送信元である送信経路を特定する。そして、決定部１０４は、特定した送信経路で示される監視Ｒｏｏｔ２１４及び送信装置２１５のそれぞれの異常の発生状況を、異常情報１１１に基づいて特定する。この場合、決定部１０４は、図６の異常情報１１１においてＲＩ監視装置２１３が異常であり、監視装置２１２及び送信装置２１５が低信頼であると特定できるため、特定した送信経路で示される監視Ｒｏｏｔ２１４及び送信装置２１５の異常の発生状況である第２状況として、監視Ｒｏｏｔ２１４が正常であり、送信装置２１５が低信頼であると特定できる。決定部１０４は、例えば、低信頼である装置の異常度を３０として算出し、正常である装置の異常度を０として算出する。このため、監視Ｒｏｏｔ２１４の異常度は０として算出され、送信装置２１５の異常度は３０として算出される。そして、決定部１０４は、これらの２つの装置の異常度の合計の３０を所定値である１００から減算することで、監視ログの信頼度を７０として算出する。
　なお、第２の例の信頼度の決定方法では、異常装置の監視下にある監視装置を経由した第１監視ログの第１信頼度は、異常装置を経由した第２監視ログの第２信頼度よりも高くなるように決定されてもよい。例えば、低信頼の装置の第１異常度が異常装置の第２異常度よりも大きくなるように第１異常度及び第２異常度が算出されることで、所定値から第１異常度を減算して得られる第１信頼度は、所定値から第２異常度を減算して得られる第２信頼度よりも高くなるように決定されることとなる。なお、信頼度は、例えば数値で示され、その数値が大きいほど信頼性がより高いことを示してもよいし、その数値が小さいほど信頼性がより高いことを示してもよい。
　出力部１０５は、決定された信頼度に基づいて、監視ログを含む監視情報を出力する。具体的には、出力部１０５は、信頼度を示す信頼度情報と、監視ログとを含む監視情報を生成し、生成した監視情報を、外部ネットワーク３０を介して監視サーバ１０へ出力してもよい。つまり、この場合の監視情報は、信頼度情報を含んでいてもよい。
　図９は、実施の形態における監視ログのフォーマットの一例を示す図である。図１０は、実施の形態における監視情報のフォーマットの一例を示す図である。
　監視ログは、図９に示されるように、送信先の装置を示す送信先情報（例えば、送信先の装置のＩＰアドレス、装置ＩＤなど）と、送信元の装置を示す送信元情報（例えば、送信元の装置のＩＰアドレス、装置ＩＤなど）と、当該監視ログが生成された時刻を示すタイムスタンプと、異常検知の内容（例えば、ＲＩ異常、メモリアクセスエラー、ファイルアクセスエラー、Ｋｅｅｐ　Ａｌｉｖｅの正常など）を識別するための異常検知ＩＤと、異常検知の詳細に関するデータ（例えば、異常プロセスＩＤ、リソースＩＤ、メモリアドレスなど）を示す異常検知詳細ログとを含む。ここで、異常検知の内容、及び、異常検知の詳細に関するデータは、監視結果を示す情報である。監視結果には、監視対象を示す情報が含まれてもよい。なお、監視ログは、監視の結果として、監視対象の装置に異常が認められず正常であるという情報を含めてもよく、異常検知ＩＤや異常検知詳細ログを用いて正常状態を表すことにより監視対象の正常を通知してもよい。
　監視情報は、図１０に示されるように、監視ログに含まれる各種情報に加えて、さらに、信頼度を示す信頼度情報が追加された情報である。信頼度情報は、信頼できるか否かが２値で示されてもよいし、上述したように大きいほど信頼性が高い数値で示されてもよい。
　なお、出力部１０５は、監視ログの信頼度が所定の閾値（例えば、５０）以上である場合に、当該監視ログが信頼できると判定し、監視ログの信頼度が所定の閾値未満である場合に、当該監視ログが信頼できないと判定してもよい。
　出力部１０５は、当該監視ログが信頼できると判定した場合に、信頼度情報として信頼できることを示す数値（例えば０）を監視ログに付与することで監視情報を生成してもよい。反対に、出力部１０５は、当該監視ログが信頼できないと判定した場合に、信頼度情報として信頼できないことを示す数値（例えば１）を監視ログに付与することで監視情報を生成してもよい。そして、出力部１０５は、生成した監視情報を監視サーバ１０へ送信してもよい。
　また、出力部１０５は、当該監視ログが信頼できないと判定した場合に、監視ログを無効化（例えばマスク）することで、監視ログが信頼できないことを示す信頼度情報が付与された監視情報を生成してもよい。反対に、出力部１０５は、当該監視ログが信頼できると判定した場合に、監視ログを無効化（例えばマスク）しないことで、監視ログが信頼できることを示す信頼度情報が付与された監視情報を生成してもよい。そして、出力部１０５は、生成した監視情報を監視サーバ１０へ送信してもよい。
　また、出力部１０５は、当該監視ログが信頼できないと判定した場合に、信頼できない監視ログを含む監視情報を、異常の発生状況の履歴を蓄積する蓄積装置へ出力（送信）してもよい。蓄積装置は、図示しない装置であって、外部ネットワーク３０に接続されている装置である。
　また、出力部１０５は、監視ログが信頼できないと判定した場合、監視情報を出力しなくてもよい。
　［情報出力装置１００の動作］
　図１１は、実施の形態における情報出力装置の動作の一例を示すフローチャートである。
　情報出力装置１００は、車載機器２１０、２２０により生成された複数の監視ログを、逐次受信し、受信した複数の監視ログのそれぞれについて、当該監視ログの信頼度を算出して、算出した信頼度に基づいて当該監視ログを含む監視情報を出力する。車載機器２１０、２２０では、生成された複数の監視ログの１つ１つが生成される度に情報出力装置１００へ出力されてもよいし、所定のタイミングが到来したときに、所定のタイミングが到来するまでに蓄積され、未出力の複数の監視ログが情報出力装置１００へ出力されてもよい。
　図１１に示される情報出力装置１００の動作では、受信した１つの監視ログに対する処理が示されている。つまり、情報出力装置１００は、１つの監視ログを受信する度に、受信した監視ログ１つに対して図１１の動作を繰り返す。
　情報出力装置１００は、監視ログを受信する（Ｓ１０１）。監視ログは、監視元の監視装置（つまり、監視の主体となる監視装置）を示す装置情報と、監視結果とを含む。
　次に、情報出力装置１００は、監視ログに含まれる監視ログの送信元を確認する（Ｓ１０２）。
　次に、情報出力装置１００は、監視ログに含まれる監視結果を確認する（Ｓ１０３）。情報出力装置１００は、具体的には、監視結果に基づいて、異常が発生した監視対象を特定し、異常が発生した監視対象の異常状況が異常となるように異常情報１１１を更新し、監視結果が異常が発生したことを含んでいない場合には、異常情報１１１を更新しない。ステップＳ１０３の処理の具体例は、管理部１０２の処理として説明した処理である。
　次に、情報出力装置１００は、異常情報１１１、経路情報１１２及び関係情報１１３に基づいて、監視ログの信頼度を決定する（Ｓ１０４）。ステップＳ１０４の処理の具体例は、決定部１０４の処理として説明した処理である。
　次に、情報出力装置１００は、信頼度を示す信頼度情報と、監視ログとを含む監視情報を生成する（Ｓ１０５）。
　次に、情報出力装置１００は、監視情報に含まれる信頼度情報で示される信頼度が所定の閾値未満であるか否かを判定する（Ｓ１０６）。
　情報出力装置１００は、信頼度が所定の閾値以上である場合（Ｓ１０６でＮｏ）、ステップＳ１０５で生成した監視情報を監視サーバ１０へ送信する（Ｓ１０７）。
　情報出力装置１００は、信頼度が所定の閾値未満である場合（Ｓ１０６でＹｅｓ）、特定の処理を行う（Ｓ１０８）。特定の処理は、例えば、出力部１０５の説明において監視ログが信頼できないと判定された場合に行われると説明した処理である。
　ステップＳ１０５～Ｓ１０８の処理の具体例は、出力部１０５の処理として説明した処理である。
　図１２は、実施の形態における情報出力装置のリセット動作の一例を示すフローチャートである。リセット動作とは、異常情報１１１で異常状況が異常または低信頼と記録されている装置の異常状況を正常に復帰させるための動作である。
　情報出力装置１００は、予め定められたリセット条件が満たされたか否かを判定する（Ｓ１１１）。
　情報出力装置１００は、リセット条件が満たされたと判定した場合（Ｓ１１１でＹｅｓ）、リセット条件で特定されるリセット対象は１以上の特定の装置であるか否かを判定する（Ｓ１１２）。つまり、ステップＳ１１２では、複数の装置の全てではなく、その一部の装置である１以上の特定の装置がリセット対象としてリセット条件において指定されているか否かを判定する。
　情報出力装置１００は、リセット条件が満たされないと判定した場合（Ｓ１１１でＮｏ）、ステップＳ１１１に戻る。
　情報出力装置１００は、リセット対象が１以上の特定の装置であると判定した場合（Ｓ１１２でＹｅｓ）、異常情報１１１で示される第１状況において正常ではないことが示されている１以上の装置のうちリセット条件で特定される１以上の特定の装置の異常の発生状況のうちの異常状態をリセットして正常に更新する（Ｓ１１３）。
　情報出力装置１００は、リセット対象が１以上の特定の装置でないと判定した場合（Ｓ１１２でＮｏ）、つまり、リセット対象が複数の装置の全てであると判定した場合、異常情報１１１で示される第１状況において正常ではないことが示されている全ての装置の異常の発生状況のうちの異常状態をリセットして正常に更新する（Ｓ１１４）。
　［効果など］
　本実施の形態に係る情報出力装置１００は、第１監視装置と、第１監視装置を監視し、第１監視装置よりもセキュリティ権限が高い第２監視装置とを含む複数の監視装置により生成された監視ログを受信し、監視ログを含む監視情報を出力する。情報出力装置１００は、受信部１０１と、管理部１０２と、記憶部１０３と、決定部１０４と、出力部１０５とを備える。受信部１０１は、複数の監視装置のうちの一の監視装置を示す装置情報と、一の監視装置の監視対象に異常があるか否かを示す監視結果とを含む監視ログを逐次受信する。管理部１０２は、逐次受信された監視ログに含まれる監視結果に基づいて、複数の監視装置のそれぞれにおける監視対象の異常の発生状況である第１状況を管理する。記憶部１０３は、複数の監視装置のそれぞれを監視ログの送信元とする複数の送信経路であって、それぞれが送信元から送信された監視ログが経由する１以上の装置で示される複数の送信経路を示す経路情報１１２を記憶している。決定部１０４は、経路情報１１２において、受信した監視ログに含まれる装置情報で示される監視装置の監視対象に対応付けられている第１送信経路と、第１状況とに基づいて、第１送信経路で示される１以上の装置のそれぞれの監視対象の異常の発生状況である第２状況を特定し、特定した第２状況に基づいて、受信した監視ログの信頼度を決定する。出力部１０５は、信頼度に基づいて、監視ログを含む監視情報を出力する。
　これによれば、送信経路で示される１以上の装置のそれぞれの異常の発生状況である第２状況に基づいて、監視ログの信頼度を決定するため、例えば、監視ログが経由した１以上の装置のいずれかに異常がある場合に、当該監視ログの信頼性が低くなるように信頼度を決定することができる。よって、ログが信頼できるか否かを、当該ログを受信した装置が容易に判定するための監視情報を出力することができる。
　また、本実施の形態に係る情報出力装置１００において、複数の監視装置を含む複数の装置は、複数の監視関係を構成する。複数の監視関係のそれぞれは、監視元及び監視対象の組を示す。記憶部１０３は、複数の監視関係を示す関係情報１１３を記憶している。決定部１０４は、第１送信経路、第１状況及び関係情報に基づいて、第２状況として、（ｉ）正常であるか、（ｉｉ）異常であるか、（ｉｉｉ）複数の装置のうちの異常が発生している異常装置の監視下にあるかを特定する。
　これによれば、（ｉ）正常であるか、（ｉｉ）異常であるか、（ｉｉｉ）異常装置の監視下にあるかが示される第２状況に基づいて、監視ログの信頼度を決定するため、例えば、監視ログが経由した１以上の装置のいずれかに異常がある場合や、監視ログが経由した１以上の装置のいずれかが異常装置の監視下にある場合に、当該監視ログの信頼性が低くなるように信頼度を決定することができる。よって、ログが信頼できるか否かを、当該ログを受信した装置が容易に判定するための監視情報を出力することができる。
　これについて、図１３を用いて具体的に説明する。図１３は、車載システムが攻撃された場合の監視結果の状態について説明するための図である。この例では、まず、ＲＩ監視装置２１３、送信装置２１５、監視対象２１１の順で攻撃が行われた場合を例に、監視装置２１２による監視結果、ＲＩ監視装置２１３による監視装置２１２の監視結果、ＲＩ監視装置２１３による送信装置２１５の監視結果、監視Ｒｏｏｔ２１４によるＲＩ監視装置２１３の監視結果、及び、監視Ｒｏｏｔ２１４によるＫｅｅｐ　Ａｌｉｖｅ通知の状態の遷移について説明する。図１３中の四角印、三角印、斜線ハッチング付きの丸印、及び、白丸印は、対応する監視結果または通知を含む監視ログが生成されたタイミングを示す。図１３の横軸は時間を示す。監視装置２１２による監視結果、ＲＩ監視装置２１３による送信装置２１５の監視結果、及び、監視Ｒｏｏｔ２１４によるＲＩ監視装置２１３の監視結果の線上にある白の長方形は、それぞれの監視の監視対象が攻撃を受けており当該監視対象に異常が発生していることを示す。
　ＲＩ監視装置２１３への攻撃が行われると、ＲＩ監視装置２１３の異常の発生状況が異常となるため、ＲＩ監視装置２１３の監視対象である監視装置２１２及び送信装置２１５の異常の発生状況が低信頼となる。この場合、ＲＩ監視装置２１３によるＲＩ監視装置の監視結果を含む監視ログは、送信装置２１５を経由するため、三角印で示されるように送信できるが信頼できないログと判定できる。
　送信装置２１５への攻撃が行われると、監視ログを情報出力装置１００へ出力する送信装置２１５に異常が発生するため、その後に発生した監視ログは、四角印で示されるように攻撃されていて送信できないログと判定できる。
　また、本実施の形態に係る情報出力装置１００において、異常装置の監視下にある装置を経由した第１監視ログの第１信頼度は、異常装置を経由した第２監視ログの第２信頼度よりも信頼性が高くなるように決定される。
　異常装置の監視下にある装置は、異常が発生していない可能性があるため、第１信頼度を第２信頼度よりも信頼性が高くなるように決定することで、監視ログの信頼度を精度よく決定することができる。これにより、例えば、監視ログの解析に信頼度を用いることができ、多角的な解析結果を得ることができる。また、信頼度を用いて解析に用いる監視ログを抽出することができ、監視ログの解析に係る処理負荷を低減できる可能性がある。
　また、本実施の形態に係る情報出力装置１００において、決定部１０４は、第１送信経路で示される１以上の装置のそれぞれの異常度を算出し、算出された１以上の異常度の合計に基づいて、受信した監視ログの信頼度を決定する。このため、監視ログが経由した全ての装置の異常の発生状況に応じて信頼度を決定できる。
　また、本実施の形態に係る情報出力装置１００において、管理部１０２は、予め定められたリセット条件が満たされたか否かを判定し、リセット条件が満たされたと判定した場合、第１状況において正常ではないことが示されている１以上の装置のうちリセット条件で特定される１以上の特定の装置における異常の発生状況を正常に更新する。
　このため、例えば、監視装置が正常に動作するように更新された場合に、１以上の特定の装置の異常の発生状況を正常に更新できるため、装置の動作が正常に戻った場合でも、監視ログの信頼度を精度よく決定することができる。
　また、本実施の形態に係る情報出力装置１００において、監視情報は、さらに、信頼度を示す信頼度情報を含む。このため、監視情報を受信した装置は、信頼度情報を参照することで受信した監視情報に含まれる監視ログが信頼できるか否かを判定することができる。
　また、本実施の形態に係る情報出力装置１００において、出力部１０５は、信頼度に基づいて監視ログが信頼できるか否かを判定し、監視ログが信頼できない場合、監視情報を出力しない。このため、監視ログを受信した装置は、受信した監視ログ全てを信頼できると判定することができる。
　また、本実施の形態に係る情報出力装置１００において、出力部１０５は、信頼度に基づいて監視ログが信頼できるか否かを判定し、監視ログが信頼できない場合、監視情報を、異常の発生状況の履歴を蓄積する蓄積装置へ出力する。このため、蓄積装置に信頼できない監視ログを含む監視情報を蓄積することができる。
　［変形例］
　（変形例１）
　上記実施の形態では、車載システム２０が情報出力装置１００を備えるとして説明したが、これに限らずに、監視サーバが情報出力装置１００を備えていてもよい。
　図１４は、変形例１における監視サーバ及び車載システムの構成を示す図である。
　監視サーバ１０Ａは、ＳＩＥＭ１１及び情報出力装置１００を備える。
　車載システム２０Ａは、車載機器２１０、２２０を備え、情報出力装置１００を備えない。車載システム２０Ａは、車載機器２１０、２２０で生成された監視ログを、外部ネットワーク３０を介して監視サーバ１０Ａへ送信する。監視サーバ１０Ａの情報出力装置１００は、受信した監視ログに対して、実施の形態と同様の処理を行うことで監視情報を、ＳＩＥＭ１１へ出力する処理を実行する。
　（変形例２）
　上記実施の形態では、車載システム２０が情報出力装置１００を備えるとして説明したが、これに限らずに、監視サーバが情報出力装置１００を備えていてもよい。
　図１５は、変形例２における監視サーバ及び車載システムの構成を示す図である。図１６は、変形例２における情報出力装置の構成を示す図である。
　監視サーバ１０Ｂは、ＳＩＥＭ１１Ｂを備え、ＳＩＥＭ１１Ｂは、情報出力装置１００Ｂを備える。つまり、変形例２は、ＳＩＥＭ１１Ｂが実施の形態で説明した情報出力装置１００の機能を有する例である。
　車載システム２０Ｂは、車載機器２１０、２２０を備え、情報出力装置１００を備えない。車載システム２０Ｂは、車載機器２１０、２２０で生成された監視ログを、外部ネットワーク３０を介して監視サーバ１０Ｂへ送信する。
　監視サーバ１０Ｂの情報出力装置１００Ｂは、受信した監視ログに対して、実施の形態と同様の処理を行うことで監視情報を、分析部１０６へ出力する処理を実行する。
　分析部１０６は、複数のシステムから出力されるログまたはデータを収集し、これらのログまたはデータを分析することで、ネットワークの監視を行ったり、サイバー攻撃またはマルウェアの感染などのようなインシデントの検知を行う。分析部１０６は、分析結果を表示する機能を有していてもよい。
　（変形例３）
　変形例２では、ＳＩＥＭ１１Ｂが備える情報出力装置１００Ｂの記憶部１０３は、異常情報１１１、経路情報１１２、及び、関係情報１１３を記憶している構成であるとしたが、これに限らずに、経路情報１１２及び関係情報１１３のような車載システム２０Ｂの構成に基づく静的な情報は、車両情報サーバ１２０に格納されていてもよい。
　図１７は、変形例３における情報出力装置の構成を示す図である。
　変形例３に係る情報出力装置１００Ｃは、経路情報１１２及び関係情報１１３を記憶しておらず、異常情報１１１を記憶している記憶部１０３Ｃを備える点が、変形例２に係る情報出力装置１００Ｂと異なる。また、情報出力装置１００Ｃは、車両情報サーバ１２０と通信可能に接続されており、車両情報サーバ１２０から経路情報１１２及び関係情報１１３を取得する点が、変形例２に係る情報出力装置１００Ｂと異なる。
　車両情報サーバ１２０は、通信部１２１と、記憶部１２２とを備える。通信部１２１は、情報出力装置１００Ｃから経路情報１１２及び関係情報１１３の要求を受信すると、要求に基づく経路情報１１２及び関係情報１１３を情報出力装置１００Ｃへ送信する。
　記憶部１２２は、経路情報１１２及び関係情報１１３を記憶している。この場合の経路情報１１２及び関係情報１１３は、車両の種別毎、車載システム２０Ｂの種別毎に管理されていてもよい。通信部１２１は、要求に示される車両の種別または車載システム２０Ｂの種別に応じた経路情報１１２及び関係情報１１３を記憶部１２２から読み出して、読み出した経路情報１１２及び関係情報１１３を情報出力装置１００Ｃへ送信する。
　以上、本開示の検証システムについて、上記実施の形態およびその変形例に基づいて説明したが、本開示は、その実施の形態および変形例に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を上記実施の形態および変形例に施したものも本開示に含まれてもよい。
　なお、上記実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵ（Central Processing Unit）またはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記各実施の形態の検証装置などを実現するソフトウェアは、図７～図１０のそれぞれに示すフローチャートまたはシーケンス図の各ステップをコンピュータに実行させるコンピュータプログラムである。
　なお、以下のような場合も本開示に含まれる。
　（１）上記の少なくとも１つの装置は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。そのＲＡＭまたはハードディスクユニットには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、上記の少なくとも１つの装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
　（２）上記の少なくとも１つの装置を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Large Scale Integration：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。前記ＲＡＭには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、システムＬＳＩは、その機能を達成する。
　（３）上記の少なくとも１つの装置を構成する構成要素の一部または全部は、その装置に脱着可能なＩＣカードまたは単体のモジュールから構成されているとしてもよい。ＩＣカードまたはモジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。ＩＣカードまたはモジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、ＩＣカードまたはモジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。
　（４）本開示は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、コンピュータプログラムからなるデジタル信号であるとしてもよい。
　また、本開示は、コンピュータプログラムまたはデジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ（Compact Disc）－ＲＯＭ、ＤＶＤ、ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭ、ＢＤ（Blu-ray（登録商標） Disc）、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されているデジタル信号であるとしてもよい。
　また、本開示は、コンピュータプログラムまたはデジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。
　また、プログラムまたはデジタル信号を記録媒体に記録して移送することにより、またはプログラムまたはデジタル信号を、ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
　本開示の情報出力装置などは、例えば車両に搭載された電子機器、サーバなどに適用することができる。
　１０、１０Ａ、１０Ｂ　　監視サーバ
　１１、１１Ｂ　　ＳＩＥＭ
　２０、２０Ａ、２０Ｂ　　車載システム
　３０　　外部ネットワーク
１００、１００Ａ、１００Ｂ、１００Ｃ　　情報出力装置
１０１　　受信部
１０２　　管理部
１０３、１０３Ｃ　　記憶部
１０４　　決定部
１０５　　出力部
１０６　　分析部
１１１　　異常情報
１１２　　経路情報
１１３　　関係情報
２１０、２２０　　車載機器
２１１　　監視対象
２１２　　監視装置
２１３　　ＲＩ監視装置
２１４　　監視Ｒｏｏｔ
２１５　　送信装置

Claims (13)

  1. 　第１監視装置と、前記第１監視装置を監視し、前記第１監視装置よりもセキュリティ権限が高い第２監視装置とを含む複数の監視装置により生成された監視ログを受信し、前記監視ログを含む監視情報を出力する情報出力装置であって、
    　前記複数の監視装置のうちの一の監視装置を示す装置情報と、前記一の監視装置の監視対象に異常があるか否かを示す監視結果とを含む監視ログを逐次受信する受信部と、
    　逐次受信された前記監視ログに含まれる前記監視結果に基づいて、前記複数の監視装置のそれぞれにおける監視対象の異常の発生状況である第１状況を管理する管理部と、
    　前記複数の監視装置のそれぞれを監視ログの送信元とする複数の送信経路であって、それぞれが前記送信元から送信された監視ログが経由する１以上の装置で示される複数の送信経路を示す経路情報を記憶している記憶部と、
    　前記経路情報において、受信した前記監視ログに含まれる装置情報で示される監視装置の監視対象に対応付けられている第１送信経路と、前記第１状況とに基づいて、前記第１送信経路で示される１以上の監視装置のそれぞれの監視対象の異常の発生状況である第２状況を特定し、特定した前記第２状況に基づいて、受信した前記監視ログの信頼度を決定する決定部と、
    　前記信頼度に基づいて、前記監視ログを含む監視情報を出力する出力部と、を備える
    　情報出力装置。
  2. 　前記複数の監視装置を含む複数の装置は、複数の監視関係を構成し、
    　前記複数の監視関係のそれぞれは、監視元及び監視対象の組を示し、
    　前記記憶部は、前記複数の監視関係を示す関係情報を記憶しており、
    　前記決定部は、前記第１送信経路、前記第１状況及び前記関係情報に基づいて、前記第２状況として、（ｉ）正常であるか、（ｉｉ）異常であるか、（ｉｉｉ）前記複数の装置のうちの異常が発生している異常装置の監視下にあるかを特定する
    　請求項１に記載の情報出力装置。
  3. 　前記異常装置の監視下にある装置を経由した第１監視ログの第１信頼度は、前記異常装置を経由した第２監視ログの第２信頼度よりも高くなるように決定される
    　請求項２に記載の情報出力装置。
  4. 　前記決定部は、前記第１送信経路で示される１以上の装置のそれぞれの異常度を算出し、算出された１以上の異常度の合計に基づいて、受信した前記監視ログの信頼度を決定する
    　請求項１から３のいずれか１項に記載の情報出力装置。
  5. 　前記管理部は、予め定められたリセット条件が満たされたか否かを判定し、前記リセット条件が満たされたと判定した場合、前記第１状況において正常ではないことが示されている１以上の装置のうち前記リセット条件で特定される１以上の特定の装置における異常の発生状況を正常に更新する
    　請求項１から３のいずれか１項に記載の情報出力装置。
  6. 　前記監視情報は、さらに、前記信頼度を示す信頼度情報を含む
    　請求項１から３のいずれか１項に記載の情報出力装置。
  7. 　前記信頼度情報は、前記監視情報が含む監視ログが信頼できるか否かを示す情報である
    　請求項６に記載の情報出力装置。
  8. 　前記信頼度情報は、前記監視情報の前記監視ログが無効化されることで、前記監視ログが信頼できないことが示される
    　請求項７に記載の情報出力装置。
  9. 　前記信頼度情報で示される前記信頼度は、大きいほど信頼性が高い数値で示される
    　請求項６に記載の情報出力装置。
  10. 　前記出力部は、前記信頼度に基づいて前記監視ログが信頼できるか否かを判定し、前記監視ログが信頼できない場合、前記監視情報を出力しない
    　請求項１から３のいずれか１項に記載の情報出力装置。
  11. 　前記出力部は、前記信頼度に基づいて前記監視ログが信頼できるか否かを判定し、前記監視ログが信頼できない場合、前記監視情報を、異常の発生状況の履歴を蓄積する蓄積装置へ出力する
    　請求項１から３のいずれか１項に記載の情報出力装置。
  12. 　第１監視装置と、前記第１監視装置を監視し、前記第１監視装置よりもセキュリティ権限が高い第２監視装置とを含む複数の監視装置により生成された監視ログを受信し、前記監視ログを含む監視情報を出力する情報出力方法であって、
    　前記複数の監視装置のうちの一の監視装置を示す装置情報と、前記一の監視装置の監視対象に異常があるか否かを示す監視結果とを含む監視ログを逐次受信し、
    　逐次受信された前記監視ログに含まれる前記監視結果に基づいて、前記複数の監視装置のそれぞれにおける監視対象の異常の発生状況である第１状況を管理し、
    　前記複数の監視装置のそれぞれを監視ログの送信元とする複数の送信経路であって、それぞれが前記送信元から送信された監視ログが経由する１以上の装置で示される複数の送信経路を示す経路情報を取得し、
    　前記経路情報において、受信した前記監視ログに含まれる装置情報で示される監視装置の監視対象に対応付けられている第１送信経路と、前記第１状況とに基づいて、前記第１送信経路で示される１以上の監視装置のそれぞれの監視対象の異常の発生状況である第２状況を特定し、
    　特定した前記第２状況に基づいて、受信した前記監視ログの信頼度を決定し、
    　前記信頼度に基づいて、前記監視ログを含む監視情報を出力する
    　情報出力方法。
  13. 　請求項１２に記載の情報出力方法をコンピュータに実行させるためのプログラム。
PCT/JP2023/034110 2022-10-14 2023-09-20 情報出力装置、情報出力方法、及び、プログラム WO2024080090A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-165404 2022-10-14
JP2022165404A JP2024058193A (ja) 2022-10-14 2022-10-14 情報出力装置、情報出力方法、及び、プログラム

Publications (1)

Publication Number Publication Date
WO2024080090A1 true WO2024080090A1 (ja) 2024-04-18

Family

ID=90669100

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/034110 WO2024080090A1 (ja) 2022-10-14 2023-09-20 情報出力装置、情報出力方法、及び、プログラム

Country Status (2)

Country Link
JP (1) JP2024058193A (ja)
WO (1) WO2024080090A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08211925A (ja) * 1995-02-08 1996-08-20 Takaoka Electric Mfg Co Ltd Ｃｒｔ監視装置
JP2011086980A (ja) * 2009-10-13 2011-04-28 Nec Corp 波長分割多重伝送装置およびその信号光監視方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08211925A (ja) * 1995-02-08 1996-08-20 Takaoka Electric Mfg Co Ltd Ｃｒｔ監視装置
JP2011086980A (ja) * 2009-10-13 2011-04-28 Nec Corp 波長分割多重伝送装置およびその信号光監視方法

Also Published As

Publication number Publication date
JP2024058193A (ja) 2024-04-25

Similar Documents

Publication Publication Date Title
US11606211B2 (en) Secured system operation
US10129259B2 (en) Installment configurations within a vehicle and interoperability of devices configured to implement secure communication lockdowns, and methods of use thereof
JP5639725B2 (ja) ソフトウェアの信頼性を測定する方法及び装置
US8931086B2 (en) Method and apparatus for reducing false positive detection of malware
CN112995236B (zh) 一种物联网设备安全管控方法、装置和系统
US11785023B2 (en) Vehicle abnormality detection device and vehicle abnormality detection method
US20240086290A1 (en) Monitoring device, monitoring system, and monitoring method
US9894045B1 (en) Determining application reputation based on deviations in security rating scores
JP2021089632A (ja) 情報処理装置、制御方法及びプログラム
US20220407873A1 (en) Analysis device and analysis method
JP2006146600A (ja) 動作監視サーバ、端末装置及び動作監視システム
WO2024080090A1 (ja) 情報出力装置、情報出力方法、及び、プログラム
JP7325072B1 (ja) 情報処理装置、情報処理装置の制御方法及びプログラム
RU2724796C1 (ru) Система и способ защиты автоматизированных систем при помощи шлюза
JP5955165B2 (ja) 管理装置、管理方法及び管理プログラム
JP6041727B2 (ja) 管理装置、管理方法及び管理プログラム
WO2024070141A1 (ja) 情報処理装置、情報処理装置の制御方法及びプログラム
WO2024070044A1 (ja) 検証システム、検証方法、及び、プログラム
WO2020109252A1 (en) Test system and method for data analytics
WO2024070078A1 (ja) 情報処理装置、情報処理装置の制御方法及びプログラム
WO2023233711A1 (ja) 情報処理方法、異常判定方法、および、情報処理装置
US20240080330A1 (en) Security monitoring apparatus, security monitoring method, and computer readable medium
CN116743465A (zh) 失陷主机识别方法、装置、服务设备及存储介质
CN117290898A (zh) 一种用于Chiplet芯片系统的安全保护方法
CN115426132A (zh) 基于拟态防御机制的入侵防御方法及入侵防御装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23877096

Country of ref document: EP

Kind code of ref document: A1