WO2021100597A1 - 人工知能システムの安全性検証システム、安全性検証方法、および安全性検証プログラム - Google Patents

人工知能システムの安全性検証システム、安全性検証方法、および安全性検証プログラム Download PDF

Info

Publication number
WO2021100597A1
WO2021100597A1 PCT/JP2020/042229 JP2020042229W WO2021100597A1 WO 2021100597 A1 WO2021100597 A1 WO 2021100597A1 JP 2020042229 W JP2020042229 W JP 2020042229W WO 2021100597 A1 WO2021100597 A1 WO 2021100597A1
Authority
WO
WIPO (PCT)
Prior art keywords
artificial intelligence
test data
combination
safety verification
values
Prior art date
Application number
PCT/JP2020/042229
Other languages
English (en)
French (fr)
Inventor
秀樹 野本
康貴 道浦
翔太 飯野
Original Assignee
有人宇宙システム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 有人宇宙システム株式会社 filed Critical 有人宇宙システム株式会社
Priority to EP20889547.4A priority Critical patent/EP4002127A4/en
Priority to US17/634,183 priority patent/US11593253B2/en
Priority to KR1020227006262A priority patent/KR102442416B1/ko
Priority to CN202080058982.3A priority patent/CN114270323B/zh
Priority to JP2021558331A priority patent/JP7007529B2/ja
Publication of WO2021100597A1 publication Critical patent/WO2021100597A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3604—Software analysis for verifying properties of programs
    • G06F11/3608—Software analysis for verifying properties of programs using formal methods, e.g. model checking, abstract interpretation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/362—Software debugging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/10—Interfaces, programming languages or software development kits, e.g. for simulating neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/045—Explanation of inference; Explainable artificial intelligence [XAI]; Interpretable artificial intelligence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound

Definitions

  • the present invention relates to a method for verifying the safety of an artificial intelligence system.
  • one aspect of the present invention is used in the artificial intelligence system in each of a plurality of first test data used in a test for verifying the safety of the artificial intelligence system. It is not included in the plurality of first test data of the combination of the feature amount information receiving unit that receives the feature amount information including the values of the plurality of feature amounts predicted to be predicted and the values that the plurality of feature amounts can take. Judgment unit that determines the first combination that is a combination, or the second combination that is a combination in which a plurality of correct analysis results to be derived by the artificial intelligence are associated among the combinations of values that can be taken by the plurality of feature quantities. It is a safety verification system equipped with.
  • Another aspect of the present invention is a method performed by a computer system, wherein the artificial intelligence in each of a plurality of first test data used for a test for verifying the safety of the artificial intelligence system. It is included in the plurality of first test data of the step of receiving the feature amount information including the values of the plurality of feature amounts predicted to be used in the system and the combination of the values that the plurality of feature amounts can take. Determine the first combination that is not a combination, or the second combination that is a combination of values that can be taken by the plurality of feature quantities and in which a plurality of correct analysis results to be derived by the artificial intelligence are associated. It is a method that includes steps.
  • Another aspect of the present invention is a program for causing a computer system to execute the above method.
  • the safety verification system is a system that verifies the safety of an artificial intelligence system to which a certain task is imposed.
  • the artificial intelligence system is an artificial intelligence system for determining whether the vehicle on the image is a truck or a passenger car by using image data on which the vehicle is mounted as input data. I will do it.
  • the safety verification system can verify the safety of the artificial intelligence system. is there.
  • FIG. 1 is a diagram showing a configuration example of a safety verification system according to the present embodiment.
  • the safety verification system 1 according to the present embodiment includes a feature amount information receiving unit 14, a determination unit 16, a changing unit 18, and an output unit 20.
  • the safety verification system 1 is a system for verifying the safety of an artificial intelligence system (not shown).
  • the feature quantity information receiving unit 14 is a plurality (N) of each of the plurality of first test data used for the test for verifying the safety of the artificial intelligence system, which is predicted to be used in the artificial intelligence system. Accepts feature information including the value of the feature (dimension).
  • the feature amount information may be information in which the correct analysis result to be derived by artificial intelligence for each of the first test data and the values of a plurality of feature amounts in each of the first test data are associated with each other.
  • the image data showing the vehicle of a truck or a passenger car is the first test data to be tested by the artificial intelligence system.
  • the "correct analysis result to be derived by artificial intelligence” is, in the case of the present embodiment, a “truck” or a “passenger car” for each test data.
  • the “feature amount value” corresponds to the value of the parameter which is the feature amount in the test data to be processed by the artificial intelligence system.
  • True / False or both values indicating whether each feature amount such as a loading platform, the number of wheels, a tank, etc. exists or satisfies the conditions in the image data showing the vehicle is taken. Uru. The same shall apply hereinafter.
  • the process of receiving the feature amount information may be executed according to the operation of an input device such as a keyboard or a mouse of the user of the safety verification system 1, for example.
  • the feature amount predicted to be used in the artificial intelligence system can be determined by using FRAM (Functional Resonance Analysis Method).
  • a user of the safety verification system 1 visually observes an image of a truck or a passenger car, which is test data, and sets each parameter (for example, a loading platform, the number of wheels, a tank, etc.) for the image.
  • the value of each feature amount such as) and the data indicating whether the vehicle on the image is a truck or a passenger car are verified for safety using a keyboard or the like. Enter in system 1. Do this for all images.
  • the safety verification system 1 stores the input values of each parameter and data indicating whether it is a truck or a passenger car in a memory or the like in association with each image.
  • the feature amount information does not have to be directly input to the safety verification system 1 using the input device.
  • the feature amount information receiving unit 14 may receive the feature amount information from the computer program.
  • the determination unit 16 is a combination of values that can be taken by a plurality of features, a first combination that is not included in the plurality of first test data, or a combination of values that can be taken by a plurality of features.
  • Determine the second combination which is a combination in which a plurality of correct analysis results to be derived by our artificial intelligence are related.
  • the first combination shows a combination of feature values that has not been tested in an artificial intelligence system. That is, because the artificial intelligence system has not tested, if data having such a combination of feature value values is input (processed) to the artificial intelligence system in the future, the artificial intelligence system will It is a combination that cannot be judged properly, and is a combination that indicates the incompleteness of test data.
  • the second combination corresponds to the case where there are multiple answers (trucks or passenger cars) even though the values of each feature are the same.
  • the second combination is that the combination of True / False of each feature amount such as the loading platform, the number of wheels, the tank, etc. is the same in the image in which the vehicle in the image is a truck and the image in which the vehicle is a passenger car.
  • the artificial intelligence system will be used. It may not be possible to properly determine whether the vehicle on the image data is a truck or a passenger vehicle.
  • the second combination which is a combination of such feature values, is a combination that indicates that the artificial intelligence system may be inconsistent. Further, when the judgment unit 16 determines that the second combination of the feature amount values indicating such inconsistency exists in the first test data, the safety verification system 1 determines the feature amount information. The reception unit 14 further receives the feature amount information including the value of another new feature amount to be adopted.
  • the changing unit 18 uses the first combination.
  • the new second test data to have is added to the plurality of first test data.
  • This additional process may be performed according to the operation of an input device such as a keyboard or mouse of the user of the safety verification system 1, or may be partially or entirely performed by a computer program.
  • the second test data may be added by reading the second test data from the recording medium on which the second test data is recorded.
  • the artificial intelligence system tests the set of test data to which this second test data is added, so that the artificial intelligence system tests the test data having all the combinations of the values that can be taken by the plurality of feature quantities. become. That is, this guarantees the integrity of the artificial intelligence system.
  • the output unit 20 outputs the test data of the artificial intelligence system including the second test data added by the change unit 18 to the artificial intelligence system.
  • the integrity of the artificial intelligence system is ensured by executing the test with a new set of test data including the second test data output by the output unit 20.
  • the output unit 20 is wired or wireless to the computer device on which the artificial intelligence system operates.
  • the test data may be output via the network, or may be output via a recording medium such as a removable memory (the output unit 20 may output to the recording medium).
  • the output unit 20 performs a process of passing the test data from a program that generates test data to a program that realizes an artificial intelligence system inside the computer device. Can correspond to the function of.
  • FIG. 2 is a diagram showing an example of the hardware configuration of the safety verification system 1.
  • the computer device 40 shown in FIG. 2 includes a processor 41, a RAM (Random Access Memory) 42, a ROM (Read Only Memory) 43, an internal hard disk device 44, an external hard disk device, a CD, and a DVD. , USB memory, memory stick, SD card and other removable memory 45, and input / output user interface 46 (keyboard, mouse, touch panel, speaker, microphone, lamp, etc.) for the user to exchange various data with the computer device 40.
  • RAM Random Access Memory
  • ROM Read Only Memory
  • a wired / wireless communication interface 47 capable of communicating with other computer devices, and a display 48.
  • the processor 41 reads a program stored in advance in the hard disk device 44, the ROM 43, the removable memory 45, or the like into a memory such as the RAM 42, and is required for processing. It can be realized by executing the program while appropriately reading each of the generated data from the hard disk device 44, the ROM 43, the removable memory 45, or the like.
  • the safety verification system 1 of the present embodiment may be configured as a single computer device or may be configured by a plurality of computer devices. In the latter case, each function of the safety verification system 1 described above is distributedly realized by a plurality of computer devices, and each computer device has the same or similar configuration as the computer device 40 shown in FIG. It may have the configuration of.
  • the hardware configuration shown in FIG. 2 is merely an example, and is not limited to this.
  • the artificial intelligence system uses image data on which a vehicle is mounted as input data, and is given a task of determining whether the vehicle on the image is a truck or a passenger car. ..
  • FRAM Fluorescence Resonance Analysis Method
  • SpecTRM Specification Tools and Requirement Methodology
  • a method capable of clarifying the internal logical structure of a black box type artificial intelligence system is disclosed.
  • a method that can comprehensively prove the safety by a formal method in light of the obtained internal logical structure is disclosed.
  • the following three points can be achieved by combining these two methods: (1) The black box type artificial intelligence system is made into a white box by the FRAM method. (2) The validity of the FRAM model used for white boxing is proved by the consistency analysis algorithm of SpecTRM. (3) The achievement of full logic path verification of the artificial intelligence model whose validity has been proved is proved by the integrity analysis algorithm of SpecTRM.
  • images of automobiles and trucks extracted from the CIFAR-10 were used as training data and test data. (5000 sheets of training data, 2000 sheets of test data).
  • CNN Convolutional Neural Network
  • Keras Teensorflow as the back end
  • RMSprop RMSprop, an activation function including sigmoid, and a dropout (dropout rate 0.2) were constructed.
  • the feature amount is determined by using FRAM (Functional Resonance Analysis Method), and the artificial intelligence system is modeled.
  • FRAM Field Resonance Analysis Method
  • FIG. 3 In the coupling between functions, one of the six types shown in FIG. 3 can be selected, which not only indicates that the functions are "related" but also "A". Is a prerequisite for B "" A supplies resources to B "" A gives B an action trigger "" A provides B's control parameters "" A gives B a time constraint , Etc. can be given abundant meanings. These six are called “six elements of function". As shown in FIG.
  • each vertex of the hexagon in which each function is described is given alphabetic characters I, P, C, R, T, O, and each of these alphabetic characters is a trigger (in FIG. 4).
  • I the precondition (P), the control parameter (C), the resource (R), the time constraint (T), and the output (O) are shown.
  • the output (O) of the function 31 becomes the time constraint (T) of the function 32
  • the output (O) of the function 33 becomes the trigger (I) of the function 32
  • the output (O) of the function 34 becomes the trigger (O) of the function 32.
  • FIG. 5 is a table listing the six elements of the determination function, the data received by them, and the function of outputting the data.
  • a human determines the features corresponding to the six elements as shown in FIG. 5 for a truck and a passenger car according to the FRAM modeling method.
  • FIG. 6 is a diagram showing the information of FIG. 5 by an FRAM model.
  • the table of FIG. 5 describes the six elements of the "truck and judgment” function of FIG. 6, and similarly, data exists for the six elements of the "passenger car and judgment" function of FIG. The data is as shown in FIG.
  • a "prerequisite” is a sufficient condition for a function to start operating.
  • a decisive feature amount corresponds to the function of discriminating between a truck and a passenger car.
  • the fact that the number of wheels> 4 is a decisive feature for a truck.
  • “resources” is a necessary condition. When it is exhausted, it stops functioning, but it is not a definitive one like the precondition, and when its existence disappears, it stops functioning, which is a passive thing.
  • control parameters although it is not possible to identify the vehicle type by themselves, each parameter uses an important feature amount used for comprehensive judgment by combining a plurality of parameter values as a control parameter. ..
  • a sloping windshield is a common feature of passenger cars, but some trucks have a sloping windshield. There are also passenger cars whose windshields are not tilted.
  • FIG. 6 is a visualization of these inputs and outputs using the FRAM Model Viewer (http://functionalresonance.com/FMV/index.html).
  • the correlation of the discrimination function shown in FIG. 6 can fluctuate in various forms depending on the fluctuation of the input data to the artificial intelligence system. For example, if the front side of the vehicle body is not shown in the image data which is the input data, the information regarding the presence / absence of the nose portion is not detected by the artificial intelligence system. On the contrary, if the rear side of the vehicle body is not shown, the information regarding the presence or absence of the loading platform is not detected.
  • the FRAM model shows the maximum fluctuation range of the function correlation, and all or part of it is used in the behavior of the actual artificial intelligence system. Enumerating possible variations when only a part is used is called "institionation".
  • a comprehensive proof technique using formal methods will be described in more detail later. It is a method of performing instantiation covering all combinations of parameters obtained from the FRAM model and verifying whether the test results are complete and consistent.
  • an example of instantiation will be described below.
  • the True / False for each parameter identified by the FRAM is labeled for the input data to the safety verification system 1 which is the execution result (test result) of the artificial intelligence system.
  • FIG. 8 is a table showing the results of labeling True / False for these conditions (features).
  • the first column of the table in FIG. 8 is the image used for the test.
  • the second column is an image obtained by LIMIT (Local Interpretable Model-agnostic Explanations), which is an XAI (eXplainableAI) tool, in which the part of interest of the neural network is shaded or filled.
  • LIMIT Lical Interpretable Model-agnostic Explanations
  • XAI eXplainableAI
  • the shaded area is the part that the neural network focused on when evaluating the image as "a track”
  • the black-filled part is the part that was focused on when the image was evaluated as "not a track”.
  • FIG. 8 are colored green and the black areas are colored red, but in FIG. 8, they are shaded and black, respectively. It is indicated by a fill; the same applies to FIG. 18).
  • the labeling work was performed visually with reference to these output results of LIMIT, while modifying the parameters of FIG. 7 initially identified by the FRAM model. In the process of this work, the sufficient conditions and necessary conditions including the newly identified parameters were as shown in FIG. 9 (the process until this result is output will be described in detail later).
  • the modified FRAM model and the original FRAM model did not have any omission of recognition on the artificial intelligence side, which would be a safety concern.
  • WAI Work As Integrated
  • WAD Work As Done
  • Safety verification was performed by a formal method using the draft FRAM model with the initially identified parameters shown in FIG.
  • the language used in the formal method is SpecTRM-RL (SpecTRM Requirement Language). This language defines all combinations of conditional branches involved in state transitions very compactly, as shown in FIG. 10, and is the same as the lack of completeness that indicates that there are undefined combinations of conditions. It makes it possible to distinguish from inconsistencies that indicate that a combination of conditions is a plurality of state transition conditions.
  • Each condition definition defines two values of True / False, and the condition can include logical expressions such as four arithmetic operations. Further, when either "T” indicating True or "F” indicating False can be used, the definition can be compactly summarized by using "*".
  • FIG. 10 is a table showing the results of integrity analysis and consistency analysis of the test results of the artificial intelligence system transcribed into the SpecTRM-RL language. More specifically, the table of FIG. 10 visually confirms whether the vehicle on each image is a truck or a passenger car for 2000 test data, and also describes each feature amount of the vehicle on the image. After the result data (feature amount information) for visually confirming True / False is received by the feature amount information receiving unit 14, the determination unit 16 shows the result of aggregating the result data. This aggregation process was performed using aggregation software. However, the methods of integrity analysis and consistency analysis are not limited to this. For example, in this example, all of the 2000 test data are visually confirmed by humans, but for example, a part of the above processing may be executed by a computer system to improve work efficiency.
  • the integrity analysis algorithm and the consistency analysis algorithm are represented by Eqs. (1) and (2) shown below, respectively.
  • A A complete set obtained by quantifying the vectors "F, F, F, F ... F” to "T, T, T, T ... T” as binary numbers.
  • B Vector-valued vector values for all artificial intelligence test data, as in A. n: Let it be the number of elements in set B.
  • the test data needs to be modified so that this test can be performed.
  • the undertest data shown in FIG. 11 includes data without a roof and a rear window (such as a Targa (registered trademark) top open car) and data without a loading platform and a fuel tank.
  • the inconsistent data shown in FIG. 12 was "False” for all essential parameters, that is, data in which none of the features existed in the vehicle on the image.
  • control parameter group
  • 14 to 17 show that the control parameters shown in FIG. 13 are added one by one to the initial parameters (FIG. 12) one by one from the top, and 2000 test data of the added control parameters are visually observed. confirmed.
  • FIG. 18 shows the output result of LIMIT.
  • both passenger cars and trucks are marked with diagonally shaded points of interest (points of interest when artificial intelligence evaluates the vehicle on the image as a "truck") on the front bumper portion.
  • the front bumpers of the passenger cars of the images (a) and (b) shown in FIG. 18 have the same color as the vehicle body, and the front bumpers of the trucks of the images (c) and (d) have a different color from the vehicle body.
  • the consistency analysis algorithm of SpecTRM which is one of the formal methods, was used. By modifying the model until the consistency of the model is ensured, the internal logical structure of artificial intelligence can be clarified in a form that can be explained to humans and is consistent with the output result.
  • FIG. 19 shows completeness and consistency analysis by SpecTRM after multiple features predicted to be used in an artificial intelligence system using FRAM have been determined (first modeling of the artificial intelligence system). An example of the processing flow is shown.
  • step S14 in the feature amount information receiving unit 14, the correct analysis result (truck / passenger car) to be derived by the artificial intelligence system for the vehicle on the image which is the test data, and the value of each feature amount for the vehicle on the image ( Accepts feature quantity information including data indicating True / False).
  • the feature amount to be adopted and the value of each feature amount can be determined by using the LIMITE tool as described above.
  • the process may be partially or completely automated by a tool such as ACE (Automated Concept-based Expansion) as described later.
  • the feature quantity vector search process of all test data is performed.
  • the process can be performed using a SpecTRM tool or the like.
  • This step is mainly executed by the determination unit 16.
  • the feature amount vector is a vector value indicating a combination of feature amount values. For example, if the values for each feature set (loading platform, number of wheels> 4, tank, rear window, no roof, with tail) are (F, F, F, T, T, *), then this is a vector. It can be expressed as “F, F, F, T, T, *”. In the case of this example, the feature vector can take values from "F, F, F, F, F, F" to "T, T, T, T, T, T".
  • step S18 the determination unit 16 determines whether or not there is a feature amount vector (combination of feature amount values) that does not exist in all the test data. If the feature vector exists (step S18: Yes), the integrity analysis result indicating that the test data is incomplete is output (step S20).
  • step S22 the determination unit 16 determines whether the same feature amount vector exists in the test data of both the truck and the passenger car. If the feature vector exists (step S22: Yes), the consistency analysis result indicating inconsistency is output (step S24), and the process ends.
  • step S20 If the completeness analysis result output in step S20 is the result that the test data is incomplete, the feature amount that did not exist in the test data (first test data) after that. By newly adding test data (second test data) having a vector, the completeness of the test is guaranteed.
  • step S24 if the consistency analysis result output in step S24 is the result that the artificial intelligence model is inconsistent, another new feature amount is added after this to ensure the consistency.
  • the process of confirming whether or not it may be repeated. More specifically, for example, the process from step S14 is repeated for the feature amount information to which a new feature amount is added.
  • This method can be applied not only to black box type artificial intelligence but also to white box type artificial intelligence. Even in the case of white-box artificial intelligence, it is possible to discover from the results of consistency analysis that artificial intelligence has acquired hidden conditions, resulting in improvements in the white-box model. It will be possible. For example, a more accurate explanation model can be created by creating an FRAM model after identifying as much as possible the features acquired by artificial intelligence using a method for explaining the results of the CNN feature map. In addition, formal verification by SpecTRM can be applied to verification of a mechanism that utilizes a combination of models that can be explained, such as an ensemble tree.
  • the technique used in the above-described embodiment does not replace the existing technique for explaining the logical structure of artificial intelligence, but provides a method for integrating them and demonstrating the safety more reliably. Can be positioned as.
  • the vector value of the test data is changed from the format represented by "T” and "F” to the format represented by binary numbers "0" and "1".
  • conversion for example, "FFFFTTTT” is converted to "00001111"
  • the values are sorted in ascending order, and the vector values of the neighbors are compared in order from the beginning. This made it possible to increase the processing speed.
  • LIMIT was used as the XAI tool, but ACE (see https://papers.nips.cc/paper/9126-towards-automatic-concept-based-explanations) or the like was used instead of LIMIT. It can be used.
  • ACE is one of the XAI technologies. ACE outputs a rationale with a set of patch images. Each set represents a particular "concept" of clustered images. For example, when a trained neural network classifies an "ambulance" from a particular image, the ACE analyzes the trained model to generate a set of "concept" images that represent a particular feature of the classification task.
  • FIG. 20 shows an example of the output of ACE when the learned artificial intelligence identifies the ambulance.
  • the image data of the jeep and ambulance extracted from ImageNet http://www.image-net.org
  • GoogLeNet https://arxiv.org/abs/1409.4842
  • it is the output of ACE when the artificial intelligence is made to execute the classification task using the images of "Jeep" and "Ambulance" (200 images each).
  • (A) and (b) are sets of images output for each concept.
  • In the image set (concept15) of (a) a part of the orange line of the ambulance is recognized.
  • the image set (concept 5) of (b) a part of the white body of the ambulance is recognized. (Orange lines and white body are essential as standard appearance requirements for ambulances in the United States.)
  • artificial intelligence focuses on the orange lines and white body of ambulances. It can be easily inferred that it is determined to be.
  • the LIMITE tool when used, as shown in FIGS. 8 and 18, a part of the image focused by artificial intelligence in each image is color-coded and output in pixel units. Then, by visually confirming this, the parts that artificial intelligence seems to be paying attention to are identified as parts such as a loading platform, a tank, a rear window, and a roof. A visual person determines what kind of part the LICE tool identifies the colored part as.
  • the ACE divides the image into several parts and groups the high-profile parts into the same group as similar parts, so that the XAI tool itself shows the "meaning" of each part. This almost automates the determination of which features artificial intelligence is paying attention to for each test data. By adopting the ACE tool, the following merits can be enjoyed.
  • ACE Since the ACE outputs an image focusing on the same feature portion as a set, it is possible to reduce the room for human subjectivity to enter when determining the feature amount. (2) Since the ACE outputs an image focusing on the same feature portion as a set and the human determines the feature amount from the output set, the work time for determining the feature amount is significantly reduced. (3) ACE can extract a concept using a trained neural network model.
  • scope of the present invention is not limited to the exemplary embodiments illustrated and described, but also includes all embodiments that bring about an effect equal to that of the object of the present invention. Furthermore, the scope of the present invention is not limited to the combination of the features of the invention defined by each claim, but may be defined by any desired combination of the specific features of all the disclosed features. ..
  • Safety verification system 14 Feature information reception unit 16 Judgment unit 18 Change unit 20 Output unit 40 Computer device 41 Processor 42 RAM 43 ROM 44 Hard disk device 45 Removable memory 46 Input / output user interface 47 Communication interface 48 Display

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Computer Hardware Design (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Image Analysis (AREA)
  • Alarm Systems (AREA)

Abstract

人工知能システムの安全性を検証する有効なシステムを提供する。　人工知能システムの安全性検証を行うためのテストに用いられる複数の第１のテストデータのそれぞれにおける、当該人工知能システムにおいて用いられていると予測される複数の特徴量の値を含む特徴量情報を受け付ける特徴量情報受付部１４と、複数の特徴量が取りうる値の組み合わせのうちの複数の第１のテストデータに含まれない組み合わせである第１の組み合わせ、または、複数の特徴量が取りうる値の組み合わせのうちの人工知能によって導き出されるべき正しい解析結果が複数関連付けられる組み合わせである第２の組み合わせを判断する判断部１６と、を備える安全性検証システム。

Description

人工知能システムの安全性検証システム、安全性検証方法、および安全性検証プログラム
　本発明は、人工知能システムの安全性検証のための方法に関する。
　近年においてディープニューラルネットワーク（ＤＮＮ）等の内部論理構造を知ることができないブラックボックス型人工知能の有効性が高まっており、これを様々な分野で利用したいという需要が高まっている。人工知能システムを利用する際には、その安全性が問題となる場合がある。人工知能システムの安全性を担保する上では、確率論的に高い正解率を実現しているとしても、学習の結果獲得された内部論理構造の妥当性が判断できることが重要となる。なお、同様の問題は、ホワイトボックス型人工知能においても存在する。
　しかしながら、従来、人工知能システムの安全性を検証する有効なシステムが存在しなかった。
　本発明は、このような課題に鑑みてなされたものである。
　上記課題を解決するために、本発明の一態様は、人工知能システムの安全性検証を行うためのテストに用いられる複数の第１のテストデータのそれぞれにおける、前記人工知能システムにおいて用いられていると予測される複数の特徴量の値を含む特徴量情報を受け付ける特徴量情報受付部と、前記複数の特徴量が取りうる値の組み合わせのうちの前記複数の第１のテストデータに含まれない組み合わせである第１の組み合わせ、または、前記複数の特徴量が取りうる値の組み合わせのうちの前記人工知能によって導き出されるべき正しい解析結果が複数関連付けられる組み合わせである第２の組み合わせを判断する判断部と、を備える安全性検証システムである。
　また、本発明の他の態様は、コンピュータシステムによって実行される方法であって、人工知能システムの安全性検証を行うためのテストに用いられる複数の第１のテストデータのそれぞれにおける、前記人工知能システムにおいて用いられていると予測される複数の特徴量の値を含む特徴量情報を受け付けるステップと、前記複数の特徴量が取りうる値の組み合わせのうちの前記複数の第１のテストデータに含まれない組み合わせである第１の組み合わせ、または、前記複数の特徴量が取りうる値の組み合わせのうちの前記人工知能によって導き出されるべき正しい解析結果が複数関連付けられる組み合わせである第２の組み合わせを判断するステップと、を備える方法である。
　また、本発明の他の態様は、上記の方法をコンピュータシステムに実行させるためのプログラムである。
本発明の一実施形態に係る安全性検証システムの構成例を示す図である。 本発明の一実施形態に係る安全性検証システムのハードウェア構成の一例を示す図である。 ＦＲＡＭモデリングの一例を示す図である。 ＦＲＡＭモデリングにおける機能の６要素を説明する図である。 本発明の一実施形態に係る安全性検証システムにおける機能の６要素を示す図である。 本発明の一実施形態に係る安全性検証システムにおける機能の６要素をＦＲＡＭモデルによって表した図である。 本発明の一実施形態に係る安全性検証システムにおいてＦＲＡＭ分析によって識別された条件を示す図である。 本発明の一実施形態に係る安全性検証システムにおいて識別された条件についてＴｒｕｅ／Ｆａｌｓｅのラベル付けを行った結果を示す図である。 本発明の一実施形態に係る安全性検証システムにおいてＦＲＡＭ分析によって新たに識別された条件を示す図である。 人工知能システムのテスト結果をＳｐｅｃＴＲＭ－ＲＬ言語に書き起こしたものに対して、完全性解析と一貫性解析とを行った結果を示す図である。 本発明の一実施形態に係る安全性検証システムにおける完全性解析の結果を示す図である。 本発明の一実施形態に係る安全性検証システムにおける一貫性解析の結果を示す図である。 追加された制御パラメータを示す図である。 制御パラメータを追加した後の本発明の一実施形態に係る安全性検証システムにおける一貫性解析の結果を示す図である。 制御パラメータを追加した後の本発明の一実施形態に係る安全性検証システムにおける一貫性解析の結果を示す図である。 制御パラメータを追加した後の本発明の一実施形態に係る安全性検証システムにおける一貫性解析の結果を示す図である。 制御パラメータを追加した後の本発明の一実施形態に係る安全性検証システムにおける一貫性解析の結果を示す図である。 本発明の一実施形態に係る安全性検証システムにおけるＬＩＭＥの出力結果を示す図である。 本発明の一実施形態に係る安全性検証システムにおける処理の一例を示すフロー図である。 本発明の一実施形態に係る安全性検証システムにおけるＡＣＥの出力の一例を示す図である。
（第１の実施形態）
　以下、図面を参照しながら本発明の実施形態について詳しく説明する。本実施形態に係る安全性検証システムは、あるタスクが課された人工知能システムの安全性検証を行うシステムである。本実施形態においては、一例として、人工知能システムは、車両が載っている画像データを入力データとし、当該画像上の車両がトラックであるか乗用車であるかを判定するための人工知能システムであることとする。ただし、これはあくまで一例であって、他のタスクを課される人工知能システムであっても、本実施形態に係る安全性検証システムは、当該人工知能システムの安全性検証を行うことが可能である。
（安全性検証システムの構成）
　図１は、本実施形態に係る安全性検証システムの構成例を示す図である。図１に示されるように、本実施形態に係る安全性検証システム１は、特徴量情報受付部１４と、判断部１６と、変更部１８と、出力部２０と、を備える。安全性検証システム１は、人工知能システム（図示されない）の安全性の検証を行うためのシステムである。
　特徴量情報受付部１４は、人工知能システムの安全性検証を行うためのテストに用いられる複数の第１のテストデータのそれぞれにおける、当該人工知能システムにおいて用いられていると予測される複数（Ｎ次元）の特徴量の値を含む特徴量情報を受け付ける。特徴量情報は、第１の各テストデータについての、人工知能によって導き出されるべき正しい解析結果と、第１の各テストデータにおける複数の特徴量の値と、を関連付けた情報であってよい。例えば、本実施形態においては、トラックまたは乗用車の車両が写っている画像データが人工知能システムのテスト対象である第１のテストデータである。また、「人工知能によって導き出されるべき正しい解析結果」とは、本実施形態の場合、各テストデータについての“トラック”または“乗用車”である。また、「特徴量の値」とは、人工知能システムの処理対象であるテストデータにおける、特徴量であるパラメータの値などが該当する。本実施形態においては、車両が写っている画像データにおいて、荷台、車輪数、タンク、等の各特徴量が存在するか、または条件を満たすか、を示すＴｒｕｅ／Ｆａｌｓｅ（または両方の値を取りうる。以下同様。）が「特徴量の値」に該当する。なお、特徴量情報を受け付ける処理は、例えば安全性検証システム１のユーザのキーボードやマウス等の入力装置の操作に従って実行されてもよい。なお、人工知能システムにおいて用いられていると予測される特徴量は、ＦＲＡＭ（Functional Resonance Analysis Method：機能共鳴分析手法）を用いて決定されうる。
　より具体的には、例えば、安全性検証システム１のユーザが、テストデータであるトラックまたは乗用車の車両が写っている画像を目視して当該画像について各パラメータ（例えば、荷台、車輪数、タンク、等の各特徴量）の値と、当該画像上の車両がトラックであるか乗用車であるかを示すデータ（人工知能によって導き出されるべき正しい解析結果）とを、キーボード等を使用して安全性検証システム１に入力する。この作業を全ての画像について実行する。安全性検証システム１は、入力された各パラメータの値およびトラックであるか乗用車であるかを示すデータを、各画像に関連付けてメモリ等に記憶する。なお、特徴量情報は、入力装置を用いて直接、安全性検証システム１に入力されなくてもよい。例えば外部のコンピュータ装置において特徴量情報が記録されたリムーバブルメモリ等の記録媒体から特徴量情報を読み出すことによって、または当該外部のコンピュータ装置から有線または無線のネットワークを介して送信されること等によって、安全性検証システム１に入力されてもよい。また、特徴量情報の決定および安全性検証システム１への入力は、その一部または全てがコンピュータプログラムによって自動化されてもよい。その場合には特徴量情報受付部１４は、当該コンピュータプログラムから特徴量情報を受け付けてもよい。
　判断部１６は、複数の特徴量が取りうる値の組み合わせのうちの複数の第１のテストデータに含まれない組み合わせである第１の組み合わせ、または、複数の特徴量が取りうる値の組み合わせのうちの人工知能によって導き出されるべき正しい解析結果が複数関連付けられる組み合わせである第２の組み合わせを判断する。第１の組み合わせは、人工知能システムにおいてテストされていない特徴量の値の組み合わせを示す。すなわち、人工知能システムがテストしていないが故に、将来にそのような特徴量の値の組み合わせを有するデータが当該人工知能システムに入力された場合（処理させられた場合）には人工知能システムが適切に判断できないであろう組み合わせであり、テストデータの不完全性を示す組み合わせである。
　また、第２の組み合わせは、各特徴量の値は同じであるのにも関わらず答え（トラックまたは乗用車）が複数存在するような場合が該当する。例えば本実施形態においては、画像中の車両がトラックである画像と乗用車である画像とにおいて、荷台、車輪数、タンク、等の各特徴量のＴｒｕｅ／Ｆａｌｓｅの組み合わせが同じになる組み合わせが第２の組み合わせに該当する。このようなテストデータを人工知能システムがテストしていた場合、将来の当該各特徴量の値の組み合わせを有する車両の画像データが人工知能システムに入力された場合には、当該人工知能システムは、当該画像データ上の車両がトラックであるか乗用車であるかを適切に判断できない可能性がある。このような特徴量の値の組み合わせである第２の組み合わせは、人工知能システムが、一貫性が欠如している可能性を示す組み合わせである。また、安全性検証システム１は、判断部１６が、このような一貫性の欠如を示す特徴量の値の第２の組み合わせが第１のテストデータに存在すると判断した場合には、特徴量情報受付部１４は、さらに採用すべき新たな別の特徴量の値を含む特徴量情報を受け付ける。
　変更部１８は、複数の第１のテストデータについて、特徴量の値の組み合わせであって第１のテストデータには含まれない第１の組み合わせが存在する場合には、当該第１の組み合わせを有する新たな第２のテストデータを複数の第１のテストデータに追加する。この追加の処理は、例えば安全性検証システム１のユーザのキーボードやマウス等の入力装置の操作に従って実行されてもよいし、一部または全てがコンピュータプログラムによって行われてもよい。さらに、第２のテストデータが記録された記録媒体から第２のテストデータを読み取ることによって追加されてもよい。そして、人工知能システムがこの第２のテストデータが追加されたテストデータのセットをテストすることにより、複数の特徴量が取りうる値の全ての組み合わせを有するテストデータを人工知能システムがテストすることになる。すなわち、これにより人工知能システムの完全性が担保される。
　また、第２のテストデータが追加された後にさらに一貫性が担保されているかの確認が行われ、一貫性が欠如していると判断された場合には、新たな特徴量を採用するようになっていてもよい。同様に、一貫性が欠如していると判断されて新たな特徴量が採用された後にテストデータの完全性が担保されているかの確認が行われ、完全性が欠如していると判断された場合には、新たなテストデータが追加されるようになっていてもよい。
　出力部２０は、変更部１８によって追加された第２のテストデータを含む人工知能システムのテストデータを人工知能システムに出力する。人工知能システムは、出力部２０によって出力された第２のテストデータを含む新たなテストデータのセットを用いてテストを実行することで、完全性が担保される。なお、出力部２０を有するコンピュータ装置と、人工知能システムが動作するコンピュータ装置とが異なる装置である場合には、出力部２０は、人工知能システムが動作するコンピュータ装置に対して、有線または無線のネットワークを介してテストデータを出力してもよいし、リムーバブルメモリ等の記録媒体を介して出力してもよい（出力部２０は記録媒体へ出力してもよい）。また、両コンピュータ装置が同一の装置であった場合には、コンピュータ装置の内部において、テストデータを生成するプログラムから人工知能システムを実現するプログラムに対して当該テストデータを渡す処理などが出力部２０の機能に該当しうる。
　なお、以上説明した安全性検証システム１の構成はあくまで一例であって、これに限定されるものではない。
（ハードウェア構成）
　上記説明された安全性検証システム１は、一般的なコンピュータ装置と同様のハードウェア構成によって実現可能である。図２は、安全性検証システム１のハードウェア構成の一例を示す図である。図２に示されるコンピュータ装置４０は、一例として、プロセッサ４１と、ＲＡＭ（Random Access Memory）４２と、ＲＯＭ（Read Only Memory）４３と、内蔵のハードディスク装置４４と、外付けハードディスク装置、ＣＤ、ＤＶＤ、ＵＳＢメモリ、メモリスティック、ＳＤカード等のリムーバブルメモリ４５と、ユーザがコンピュータ装置４０と各種のデータのやり取りを行うための入出力ユーザインタフェース４６（キーボード、マウス、タッチパネル、スピーカ、マイク、ランプ等）と、他のコンピュータ装置と通信可能な有線／無線の通信インタフェース４７と、ディスプレイ４８と、を備える。本実施形態に係る安全性検証システム１の各機能は、例えば、プロセッサ４１が、ハードディスク装置４４やＲＯＭ４３、リムーバブルメモリ４５等にあらかじめ格納されたプログラムをＲＡＭ４２等のメモリに読み出し、処理に必要な上述された各データを、ハードディスク装置４４やＲＯＭ４３、リムーバブルメモリ４５等から適宜読み出しながらプログラムを実行することで実現されうる。
　なお、本実施形態の安全性検証システム１は単一のコンピュータ装置として構成されていてもよいし、複数のコンピュータ装置によって構成されていてもよい。後者である場合には、上述した安全性検証システム１の各機能が複数のコンピュータ装置によって分散的に実現されており、それぞれのコンピュータ装置が図２に示されるコンピュータ装置４０の構成と同一又は類似の構成を備えていてもよい。
　なお、図２に示されるハードウェア構成はあくまで一例であって、これに限定されるものではない。
（具体例）
　以下、本実施形態に係る安全性検証システム１による人工知能システムの安全性検証方法の具体例が示される。本実施形態においては、一例として、人工知能システムは車両が載っている画像データを入力データとし、画像上の車両がトラックであるか乗用車であるかを判断するタスクが与えられているものとする。
　本具体例においては、ＦＲＡＭ（Functional Resonance Analysis Method）と、ＳｐｅｃＴＲＭ（Specification Tools and Requirement Methodology）という２つの技術を利用する。ＦＲＡＭは、人工知能システムが獲得していると想定される論理構造をモデリングするために使用される。また、ＳｐｅｃＴＲＭは、人工知能システムのテスト結果を分析し、ＦＲＡＭモデルの修正、および、安全性の立証に使用される。
　本具体例では、まず、ブラックボックス型人工知能システムの内部論理構造を明らかにしうる手法が開示される。また、得られた内部論理構造に照らし合わせ、安全性を形式手法によって網羅的に立証しうる手法が開示される。また、この２つの手法の組み合わせにより、以下の３点が達成されうる：
（１）ブラックボックス型人工知能システムがＦＲＡＭ手法によりホワイトボックス化される。
（２）ホワイトボックス化に利用されたＦＲＡＭモデルの妥当性がＳｐｅｃＴＲＭの一貫性解析アルゴリズムにより立証される。
（３）妥当性が立証された人工知能モデルの全論理パス検証達成がＳｐｅｃＴＲＭの完全性解析アルゴリズムにより立証される。
　本具体例においては、学習データおよびテストデータとして、ＣＩＦＡＲ－１０（https://www.cs.toronto.edu/~kriz/cifar.html）のデータセットから抜粋した自動車とトラックの画像を使用した（学習データとして５０００枚、テストデータ２０００枚）。また、人工知能の実装に関しては、ＣＮＮ（Convolutional Neural Network）を用い、ライブラリはＫｅｒａｓ（Ｔｅｎｓｏｒｆｌｏｗをバックエンド）を利用した。最適化手法としてＲＭＳｐｒｏｐ、活性化関数にシグモイド、さらにドロップアウト（ドロップアウト率０．２）を含めたものを構築した。
（人工知能システムのモデル化）
　本実施形態に係る安全性検証システム１では、まず、ＦＲＡＭ（Functional Resonance Analysis Method：機能共鳴分析手法）を用いて特徴量を決定して、人工知能システムをモデル化する。ＦＲＡＭによるモデリングにおいては、図３に示されるように機能間のカップリングがどのような形で行われているかが図示化される。機能間のカップリングにおいては、図３に示される６種類のいずれかを選ぶことが可能であり、これにより、機能と機能とが単に「関連している」ことを示すだけでなく、「ＡはＢの前提条件となっている」「ＡはＢに資源を供給する」「ＡはＢに動作トリガーを与える」「ＡはＢの制御パラメータを提供する」「ＡはＢに時間制約を与える」など、豊富な意味を与えることができる。これら６つを「機能の６要素」と呼ぶ。これら６要素には図４に示されるように、網羅性があり、機能と機能とのカップリングを漏れなくモデリングすることが可能となっている。図３において、各機能が記述される六角形の各頂点には、Ｉ、Ｐ、Ｃ、Ｒ、Ｔ、Ｏ、の英字が付されており、これらの英字はそれぞれ、図４における、トリガー（Ｉ）、前提条件（Ｐ）、制御パラメータ（Ｃ）、資源（Ｒ）、時間制約（Ｔ）、出力（Ｏ）、を示している。例えば、機能３１の出力（Ｏ）は機能３２の時間制約（Ｔ）になり、機能３３の出力（Ｏ）は機能３２のトリガー（Ｉ）になり、機能３４の出力（Ｏ）は機能３２の制御パラメータ（Ｃ）になる、という具合である。
　例えば、本実施形態のように画像上の車両が乗用車であるかトラックであるかを判定する人工知能を分析しようとする場合、同じことを自然知能がどのような内部論理構造に基づき判定しているのかを想像して人工知能のモデル化を行う。その際、判定に関わる機能がどのようなものであるかをやみくもに考えていては、漏れや間違いが発生しやすい。そこで、ＦＲＡＭのモデリング手法に従い人工知能システムのモデリングを行うと、網羅的に関連機能が識別されうる。
　例えば、「乗用車／トラックを判定する」という機能に「トリガー」を与える入力は何か、同様に、それに「時間制約」を与える機能は何か、というように、インタラクションを分けて考えることにより、漏れを防止することが可能である。図５は、判定機能の６つの要素、それらが受け取るデータ、および、そのデータを出力する機能を列挙した表である。本実施形態においては、人間がＦＲＡＭのモデリング手法に従って、トラックおよび乗用車について図５のような６要素に対応する特徴量を決定する。また、図６は、図５の情報をＦＲＡＭモデルによって表した図である。なお、図５の表は、図６の「トラックと判定」機能の６要素について記述されたものであり、同様に図６の「乗用車と判定」機能の６要素についてもデータが存在し、当該データは、図６に示される通りである。
　図５の表についてさらに説明する。「前提条件」は、機能が動作開始するための十分条件である。ここでは、トラックと乗用車とを判別する機能にとって、決定的な特徴量が該当する。例えば、車輪数＞４であることはトラックとして決定的な特徴量である。一方、「資源」は、必要条件である。枯渇すると機能が停止するが、前提条件のような決定的なものではなく、その存在が無くなると、機能が停止するという消極的なものである。例えば、車輪数＝４であるということは、乗用車であることにとって、決定的な特徴ではない（車輪数＝４のトラックも存在する）が、車輪数が４よりも多いことは、絶対に乗用車には当てはまらないことである。つまり、車輪数＞４という特徴量は、トラックにとっては十分条件であり、車輪数＝４という特徴量は、乗用車にとっては必要条件となる。
　また、ここでは、「時間制約」については、連続画像を前提としたシステムは想定しないとし、１枚の画像で認識が可能であることとした。手法として、単純なニューラルネットワークを使用することを前提とする。複数の画像の履歴から、より動的な認識技術を用いないことを前提としている。また、「制御パラメータ」については、それぞれのパラメータは、それら単独では車種を識別することはできないが、複数のパラメータ値の組み合わせにより総合的に判定に使用される重要な特徴量を制御パラメータとした。例えば、フロントガラスが傾斜しているのは、乗用車によく見られる特徴であるが、傾斜しているフロントガラスを有するトラックも存在する。また、フロントガラスが傾斜していない乗用車も存在する。あくまでも傾向として乗用車にはフロントガラスが傾斜しているものが多く、トラックには少ないというものである。人工知能の学習としては、確率論的に、フロントガラスが傾斜している方が乗用車と判定される度合いが高まるであろう。これらの入出力をＦＲＡＭ　Ｍｏｄｅｌ　Ｖｉｓｕａｌｉｚｅｒ（http://functionalresonance.com/FMV/index.html）を使って可視化したものが、図６である。
　図６に示された判別機能の相関は、人工知能システムへの入力データの変動によって様々な形態に変動しうる。例えば、入力データである画像データに車体の前側が写っていない場合は、ノーズ部の有無に関する情報は人工知能システムに検出されない。逆に車体の後ろ側が写っていない場合は、荷台の有無に関する情報は検出されない。ＦＲＡＭのモデルは、機能の相関の最大変動範囲を示しており、実際の人工知能システムの挙動では、その全部または一部が使われる。一部分のみが使われる場合に、存在可能なバリエーションを列挙することを「インスタンシエーション」と呼ぶ。これについては、後に、フォーマルメソッドを使った網羅的な立証技術がさらに詳述される。ＦＲＡＭモデルから得られる全てのパラメータの組み合わせを網羅するインスタンシエーションを実施し、試験結果に完全性と一貫性があるか否かを検証するという手法である。ここでは、インスタンシエーションの一例について、以下説明する。
　インスタンシエーションでは、人工知能システムの実行結果（テスト結果）である安全性検証システム１への入力データに対して、ＦＲＡＭで識別された各パラメータに対するＴｒｕｅ／Ｆａｌｓｅをラベル付けする。
　当初ＦＲＡＭ分析によって識別された条件は、図７に示される条件であった。また、図８は、これらの条件（特徴量）についてＴｒｕｅ／Ｆａｌｓｅのラベル付けを行った結果を示す表である。
　図８の表の第１列目は、テストに使用された画像である。第２列は、ＸＡＩ（eXplainableAI）ツールであるＬＩＭＥ（Local Interpretable Model-agnostic Explanations）により得られた、ニューラルネットワークが着目している箇所に網掛けまたは塗りつぶしが付された画像である。ＸＡＩは、人工知能が画像の中で着目している点を可視化する技術であり、人工知能の意思決定の論理的根拠を視覚化する技術である。画像中、斜線網掛け部分が、ニューラルネットワークが当該画像を「トラックである」と評価した際に着目した箇所であり、黒塗りつぶし部分が、「トラックではない」と評価した際に着目した箇所である（実際のＬＩＭＥによって示された画像は、図８の斜線網掛け部分は緑色に着色されており、黒塗りつぶし部分は赤に着色されているが、図８においてはそれぞれが斜線網掛けと黒塗りつぶしとによって示されている。図１８も同様。）。ラベル付け作業は、ＬＩＭＥのこれらの出力結果を参考にしながら、ＦＲＡＭモデルで当初識別された図７のパラメータを修正しつつ人間の目視にて行った。この作業の過程で、新たに識別されたパラメータを含む十分条件、必要条件は図９に示された通りであった（この結果が出力されるまでの過程については後に詳述する）。
　トラックにおける縦長ドア形状への着目は、件数的にも非常に多く、当初人間は思いつくことができなかったが、人工知能がとらえたトラックの特徴である。また、「屋根がない＝乗用車の十分条件」という新たに識別されたパラメータ（図９）に対して、その逆である「屋根がある＝トラックの必要条件」（図７）というパラメータのように、当初は論理的な対称性がＦＲＡＭモデルに作りこまれたが、人工知能は、そのような論理的対称性を学習したわけではなく、あくまでも、乗用車の特徴量とトラックの特徴量とを独立に獲得していることが分かった。これは、２値識別タスクに限らず、３値、４値であっても、この学習システムが同じように各カテゴリに独立の特徴量パラメータを識別できることを示しており、安全上好ましい結果であると考えることができる。
　以上の過程を経て、修正されたＦＲＡＭモデルと、当初のＦＲＡＭモデルに、安全上懸念となるような、人工知能側の認識漏れが無いことが判明した。レジリエンス・エンジニアリングでは、当初想定されたＦＲＡＭモデルは、Ｗｏｒｋ　Ａｓ　Ｉｍａｇｉｎｅｄ（ＷＡＩ）、学習結果の実際のモデルは、Ｗｏｒｋ　Ａｓ　Ｄｏｎｅ（ＷＡＤ）と呼ばれ、両者の間に有意な差がある場合は、そこが、人工知能システムの適応によって発生した変化であり、安全性を生み出すレジリエンスの根源であると同時に、意図しないＷＡＤの変化がある場合は、これを、意図しない挙動の原因となるリスク要因ともみなされる。今回のケースでは、ＷＡＤにおいて現れた差は縦長ドア形状という、納得できる人工知能側の発見であったため、これをポジティブにとらえ、安全上の成功要因と識別することができる。
　以下、ラベル付けされた試験データの網羅的な検証を形式手法の一つであるＳｐｅｃＴＲＭを利用して実施した結果についてさらに詳述する。
（ＳｐｅｃＴＲＭ－ＲＬによる安全検証）
　図７に示された当初識別されたパラメータによるＦＲＡＭモデル案を使用して、フォーマルメソッドによる安全検証を行った。フォーマルメソッドで使用した言語は、ＳｐｅｃＴＲＭ－ＲＬ（SpecTRM Requirement Language）である。この言語は、図１０に示されるように、状態遷移に関わる条件分岐の全組み合わせを極めてコンパクトに定義し、定義されていない条件の組み合わせが存在していることを示す完全性の欠如と、同じ条件の組み合わせが複数の状態遷移条件となっていることを示す一貫性の欠如とを識別することを可能にする。
　完全性解析の結果、定義が不足している条件の組み合わせが、図１０の表の“***INCOMPLETE****”の行に、同様に、一貫性解析の結果、複数の状態に同一の条件から遷移可能となっており、システムの挙動に一貫性が無い条件の組み合わせが“***INCONSISTENT****”の行に、出力されている。
　各条件定義には、Tｒｕｅ／Ｆａｌｓｅの２値が定義され、条件には、四則演算などの論理式も含めることができる。また、Ｔｒｕｅを示す“T”、Ｆａｌｓｅを示す“F”のどちらでもよい場合、“*”を利用することによって定義をコンパクトにまとめることができる。
　図１０は、人工知能システムのテスト結果をＳｐｅｃＴＲＭ－ＲＬ言語に書き起こしたものに対して、完全性解析と一貫性解析とを行った結果を示す表である。より具体的には、図１０の表は、テストデータ２０００枚について、各画像上の車両がトラックであるか乗用車であるかを人間の目視で確認するとともに、画像上の車両の各特徴量についてＴｒｕｅ／Ｆａｌｓｅを目視で確認した結果データ（特徴量情報）を特徴量情報受付部１４にて受け付けた後に、判断部１６において当該結果データを集約した結果を示す。この集約の処理は集約用ソフトウェアを使用して行った。ただし、完全性解析と一貫性解析の方法はこれに限定されるものではない。例えば、本例においては人間の目視によってテストデータ２０００枚の全てを確認したが、例えば上記の処理の一部をコンピュータシステムに実行させて作業の効率化を図ってもよい。
　完全性解析アルゴリズムおよび一貫性解析アルゴリズムは、それぞれ以下に示される、式（１）と式（２）で表される。
Figure JPOXMLDOC01-appb-M000001
Figure JPOXMLDOC01-appb-M000002
 　ただし、
A：ベクトル“F,F,F,F…F”から“T,T,T,T…T”までを２進数として数値化した全集合
B：人工知能の全テストデータについてベクトル値を、Aと同様に２進数として数値化したもの
n：集合Bの要素数
とする。
　ＳｐｅｃＴＲＭ分析では、テストケースの完全性が完全性解析で確認される。完全性解析の結果、図１１に示される特徴量の値の組み合わせがテストされていないことが判明した。
　人工知能の正解率に関わらず、上記のようにテストされていないケースがある場合は、システムの安全性を示す論拠が不十分となる。このテストが行われるよう、テストデータを改修する必要がある。図１１で示されている不足テストデータは、屋根が無く、リアウィンドウがあるデータ（タルガ（登録商標）トップ型オープンカーなど）、および、荷台が無く、燃料タンクも無いデータなどである。
　次に、テストケースの一貫性を一貫性解析で確認した。一貫性解析の結果、図１２に示されるパラメータ値の組み合わせにおいて、同一条件から異なる判定（“TRUCK”と“AUTOMOBILE”のどちらにも判定された）が出力された。
　図１２に示される一貫性の無いデータは、すべての必須パラメータについて“False”つまり、画像上の車両においていずれの特徴量が一つも存在しないデータであった。この全てのパラメータが“False”であるデータ群に対しては、人工知能システムのみが見出すことのできた、まだ明らかとなっていないパラメータの存在が第一に疑われる。そこで、ＦＲＡＭ分析で抽出された他のパラメータ（「制御」パラメータ群）を使って一貫性が生まれるか否かを検証した。図１４～図１７は、当初のパラメータ（図１２）に、図１３に示される制御パラメータを上から順に一つずつ追加していき、追加された制御パラメータについても２０００枚のテストデータを目視で確認した。
　図１４～図１７に示されるように、大フロントグリル、後席の有無、ノーズ部の有無、およびフロントガラス傾斜に関しては、いずれの値も“*”であり、すなわちいずれのパラメータもトラックと乗用車とに共通にある特徴量であった。そのため、単純に一貫性の欠如が、加えたパラメータによって一つ追加される結果となった。すなわち、これらの特徴量に関しては、学習結果の一貫性を改善する効果が認められなかった。
　そこで、ＦＲＡＭで識別された全てのパラメータのどれにも該当しないパラメータ、つまり、人間には見出されず、人工知能だけが見出し得た特徴量とはどのようなパラメータであったのかを知るために、人間の目視にてすべての特徴量が“Ｆａｌｓｅ”となった画像をつぶさに確認した。その結果、図１８に示すような特徴が見出された。図１８は、ＬＩＭＥの出力結果を示す。
　図１８では、乗用車、トラックともに、フロントバンパー部に斜線網掛けの着目点（人工知能が画像上の車両を「トラックである」と評価した際に着目した箇所）がマークされている。図１８に示される画像（ａ）および（ｂ）の乗用車のフロントバンパーは車体と同色であり、画像（ｃ）および（ｄ）のトラックのフロントバンパーは、車体と異なる色である。
　この特徴量に関しては、１８９件の非一貫性データを４２件に減らすほど、大きな意味を持っていることが分かった。すなわち、この人工知能は、トラックと乗用車とを、フロントバンパーの色によって識別していることが判明した。
　以上のように、ＦＲＡＭにより作成された人工知能システムの内部論理構造モデルの妥当性を評価するために、形式手法の一つであるＳｐｅｃＴＲＭの一貫性解析アルゴリズムを使用した。モデルの一貫性が確保されるまでモデルの修正を行うことにより、人工知能の内部論理構造を人間にとって説明可能な、かつ、出力結果との一貫性を有する形で明らかにすることができる。
　なお、本具体例においては、一貫性が無い場合の例として、すべてのパラメータが“False”であって新たなパラメータを追加する場合について説明したが、他にも、特徴量パラメータを削除または修正するというようなケースもありうる。すなわち、「床下に燃料タンクがある」というパラメータは当初トラックを識別する重要なパラメータと考えられＦＲＡＭモデルに入れられていたが（図７）、検証の結果、人工知能が全く当該特徴量には注目していないことが判明した。よって、当該パラメータが削除され、代わりに、「床下に広い空間がある」という特徴量が新たに採用された（図９）。この「床下に広い空間がある」という特徴量は、図１３～図１７を用いて説明した方法と同様の方法で決定された。
（処理フロー）
　図１９を用いて、本実施形態に係る安全性検証システムにおける処理の一例を説明する。図１９は、ＦＲＡＭを用いて人工知能システムにおいて用いられていると予測される複数の特徴量が決定（人工知能システムの最初のモデル化）された後のＳｐｅｃＴＲＭによる完全性解析および一貫性解析の処理フローの一例を示す。
　ステップＳ１４において、特徴量情報受付部１４において、テストデータである画像上の車両について人工知能システムによって導き出されるべき正しい解析結果（トラック／乗用車）と、画像上の車両についての各特徴量の値（Ｔｒｕｅ／Ｆａｌｓｅ）を示すデータとを含む特徴量情報を受け付ける。採用される特徴量および各特徴量の値は、上述したようにＬＩＭＥツールを利用して決定されうる。なお、当該処理は、後述するようにＡＣＥ（Automated　Concept-based　Explanation)などのツールによって一部または全てが自動化されてもよい。
　次に、ステップＳ１６において、全テストデータの特徴量ベクトルの探索処理を行う。当該処理は、ＳｐｅｃＴＲＭツールなどを用いて処理されうる。本ステップは、主に判断部１６によって実行される。ここで、特徴量ベクトルとは、特徴量の値の組み合わせを示すベクトル値である。例えば、特徴量のセット（荷台、車輪数＞４、タンク、リアウィンドウ、屋根無、テール有）についての値がそれぞれ（F,F,F,T,T,*）であれば、これはベクトル“F,F,F,T,T,*”と表すことができる。本例の場合、特徴量ベクトルは、“F,F,F,F,F,F”～“T,T,T,T,T,T”の値を取りうる。
　ステップＳ１８において、判断部１６は、全てのテストデータにおいて存在しない特徴量ベクトル（特徴量の値の組み合わせ）が存在するか判断する。当該特徴量ベクトルが存在する場合は（ステップＳ１８：Ｙｅｓ）、テストデータが不完全である旨の完全性解析結果を出力する（ステップＳ２０）。
　次にステップＳ２２において、判断部１６は、トラックと乗用車の両方のテストデータにおいて同一の特徴量ベクトルが存在するか判断する。当該特徴量ベクトルが存在する場合は（ステップＳ２２：Ｙｅｓ）、一貫性が無い旨の一貫性解析結果を出力して（ステップＳ２４）、処理を終了する。
　なお、ステップＳ２０において出力された完全性解析結果が、テストデータが不完全である旨の結果である場合には、この後に、テストデータ（第１のテストデータ）中に存在しなかった特徴量ベクトルを有するようなテストデータ（第２のテストデータ）が新たに追加されることで、テストの完全性が担保される。
　また、ステップＳ２４において出力された一貫性解析結果が、人工知能モデルが一貫性が無い旨の結果である場合には、この後に、新たな別の特徴量が追加されて一貫性が担保されるか確認される処理が繰り返されてもよい。より具体的には、例えば、新たな特徴量を加えた特徴量情報についてステップＳ１４からの処理が繰り返される。
　以上の実施形態においては、ブラックボックス型人工知能のテスト結果から、人間が解釈可能なモデルを生成し（ＦＲＡＭ分析）、当該モデルの妥当性をフォーマルメソッドによって確認および改善する方法（ＳｐｅｃＴＲＭ一貫性解析）、および、人工知能のテスト結果の完全性を検証する方法（ＳｐｅｃＴＲＭ完全性解析）が示された。本手法に基づき、人工知能システムの安全検証を行うことにより、ブラックボックスをホワイトボックス化したうえで評価できるだけでなく、人間が思い付くことができなかった新しい論理を人工知能が学習の結果獲得したことを安全検証の結果知ることができるようになる。
　人工知能の安全性検証を考察するに際して、以下の２つの方向性を有することが、本手法の最大の特徴である：
（１）人工知能のテストの不完全性およびモデルの非一貫性を是正する。
（２）人工知能のみが獲得し得た論理に気づき、人間の認知モデルを是正する
　なお、本手法は、ブラックボックス型人工知能のみならず、ホワイトボックス型人工知能にも適用可能である。ホワイトボックス型人工知能の場合であっても、一貫性解析の結果から、人工知能が隠れた条件を獲得していることを発見することが可能であり、その結果、ホワイトボックス・モデルの改善が可能となる。例えば、ＣＮＮの特徴マップの結果を説明する手法を使用して人工知能が獲得した特徴量をできる限り識別したうえでＦＲＡＭモデルを作成することにより、さらに精度の高い説明モデルを作成できる。また、ＳｐｅｃＴＲＭによるフォーマルな検証は、アンサンブルツリーのように説明可能なモデルの組み合わせを利用する仕組みの検証に適用することができる。
　このように、上記実施形態において使用された技術は、既存の人工知能の論理構造の説明技術に代わるものではなく、それらを統合し、より確実に安全性を立証するための方法を提供するものと位置付けることができる。
（第２の実施形態）
　一貫性解析において、前述した式（２）に代えて以下の式（２－１）を採用することができる。
Figure JPOXMLDOC01-appb-M000003
　第１の実施形態に係る発明をコンピュータプログラムで実現する際には、テストデータのベクトル値を、“T”と“F”で表す形式から“0”と“1”の２進数で表す形式に変換したうえで（例えば、“FFFFTTTT”を“00001111”に変換）、値の小さい順に並び替えを行い、最初から順番に隣同士のベクトル値を比較することによって処理していた。これにより、処理速度を高めることが可能であった。
　本実施形態においては、要素ｂｉと要素ｂｊのベクトル値をそれぞれ表す“T”と“F”の文字列データを２進数に変換せず比較することができる。これにより、コンピュータプログラムの実行の際にメモリ消費量を抑えることが可能となり、テストデータ量の増加による極端な性能低下を抑えることが可能である。
（第３の実施形態）
　第１の実施形態においては、ＸＡＩツールとしてＬＩＭＥを用いたが、ＬＩＭＥに代えてＡＣＥ（https://papers.nips.cc/paper/9126-towards-automatic-concept-based-explanations参照）等を用いることが可能である。
　ＡＣＥは、ＸＡＩ技術の１つである。ＡＣＥは、パッチ画像のセットによって理論的根拠を出力する。各セットは、クラスター化された画像の特定の「概念」を表す。例えば、学習したニューラルネットワークが特定の画像から「救急車」を分類すると、ＡＣＥは学習したモデルを分析し、分類タスクの特定の特徴を表す「概念」画像のセットを生成する。
　図２０は、学習済みの人工知能が救急車を識別した際のＡＣＥの出力の一例を示す。本例では、ＩｍａｇｅＮｅｔ（http://www.image-net.org）から抽出されたジープと救急車の画像データを学習済みモデルのGoogLeNet(https://arxiv.org/abs/1409.4842)に学習させた後、「ジープ」と「救急車」の画像（それぞれ２００枚の画像）を使用して人工知能に分類タスクを実行させた際のＡＣＥの出力である。（ａ）と（ｂ）は、それぞれコンセプトごとに出力された画像のセットである。（ａ）の画像セット（ｃｏｎｃｅｐｔ１５）では救急車のオレンジのラインの一部が認識されている。（ｂ）の画像セット（ｃｏｎｃｅｐｔ５）では救急車の白いボディの一部が認識されている。（オレンジのラインと白いボディは、米国における救急車の標準的な外観要件として必須である。）人間がこれらの画像セットを目視することで、人工知能がオレンジのラインと白いボディに着目して救急車であると判断していることを容易に推測することができる。
　前述したように、ＬＩＭＥツールを用いる場合には、図８や図１８に示されるように、各画像において人工知能が着目した画像の一部がピクセル単位で色分けして出力される。そして、これを人間の目視によって確認して、人工知能が着目していると思われる部分を、荷台、タンク、リアウィンドウ、屋根、などのように部品として特定していく。ＬＩＭＥツールが着色した部分をどのような部品として特定するかは、目視した人間が判断する。ＡＣＥは、画像をいくつかの部品に区分けし、注目度の高い部品を類似の部品と同じグループにまとめることにより、ＸＡＩツール自体が各部品の「意味」を示す。これにより、各テストデータについて人工知能がどの特徴を注目しているかの判断がほぼ自動化される。ＡＣＥツールを採用することにより、以下のようなメリットを享受しうる。
（１）ＡＣＥは同様の特徴部分に着目した画像をセットとして出力するため、特徴量を決定する際に人間の主観が入り込む余地をより少なくすることが可能となる。
（２）ＡＣＥは同様の特徴部分に着目した画像をセットとして出力し、人間は出力されたセットから特徴量を決定するため、特徴量決定のための作業時間が大幅に低減される。
（３）ＡＣＥは学習済みのニューラルネットワークモデルを使用してコンセプトを抽出することができる。
　ここまで、本発明の実施形態について説明したが、本発明は上述の実施形態に限定されず、その技術的思想の範囲内において種々異なる形態にて実施されてよいことは言うまでもない。
　また、本発明の範囲は、図示され記載された例示的な実施形態に限定されるものではなく、本発明が目的とするものと均等な効果をもたらすすべての実施形態をも含む。さらに、本発明の範囲は、各請求項により画される発明の特徴の組み合わせに限定されるものではなく、すべての開示されたそれぞれの特徴のうち特定の特徴のあらゆる所望する組み合わせによって画されうる。
１　安全性検証システム
１４　特徴量情報受付部
１６　判断部
１８　変更部
２０　出力部
４０　コンピュータ装置
４１　プロセッサ
４２　ＲＡＭ
４３　ＲＯＭ
４４　ハードディスク装置
４５　リムーバブルメモリ
４６　入出力ユーザインタフェース
４７　通信インタフェース
４８　ディスプレイ

Claims (8)

  1. 　人工知能システムの安全性検証を行うためのテストに用いられる複数の第１のテストデータのそれぞれにおける、前記人工知能システムにおいて用いられていると予測される複数の特徴量の値を含む特徴量情報を受け付ける特徴量情報受付部と、
    　前記複数の特徴量が取りうる値の組み合わせのうちの前記複数の第１のテストデータに含まれない組み合わせである第１の組み合わせ、または、前記複数の特徴量が取りうる値の組み合わせのうちの前記人工知能によって導き出されるべき正しい解析結果が複数関連付けられる組み合わせである第２の組み合わせを判断する判断部と、
    を備える安全性検証システム。
  2. 　前記特徴量情報は、前記第１の各テストデータについての、前記人工知能によって導き出されるべき正しい解析結果と、前記第１の各テストデータにおける前記複数の特徴量の値と、を関連付けた情報である、請求項１に記載の安全性検証システム。
  3. 　前記複数の特徴量は、ＦＲＡＭ（Functional Resonance Analysis Method：機能共鳴分析手法）を用いて決定される、請求項１または２に記載の安全性検証システム。
  4. 　前記複数の第１のテストデータについて前記特徴量の値の前記第１の組み合わせが存在する場合には、前記特徴量の値の前記第１の組み合わせを有する第２のテストデータを前記第１のテストデータに追加する変更部をさらに有する、請求項１から３のいずれか一項に記載の安全性検証システム。
  5. 　前記第２のテストデータを含むテストデータを前記人工知能システムに出力する出力部をさらに有する、請求項４に記載の安全性検証システム。
  6. 　前記複数の第１のテストデータにおいて前記特徴量の値の前記第２の組み合わせが存在する場合には、前記特徴量情報受付部は、前記複数の特徴量以外の新たな特徴量の値を含む特徴量情報を受け付ける、請求項１から５のいずれか一項に記載の安全性検証システム。
  7. 　コンピュータシステムによって実行される方法であって、
    　人工知能システムの安全性検証を行うためのテストに用いられる複数の第１のテストデータのそれぞれにおける、前記人工知能システムにおいて用いられていると予測される複数の特徴量の値を含む特徴量情報を受け付けるステップと、
    　前記複数の特徴量が取りうる値の組み合わせのうちの前記複数の第１のテストデータに含まれない組み合わせである第１の組み合わせ、または、前記複数の特徴量が取りうる値の組み合わせのうちの前記人工知能によって導き出されるべき正しい解析結果が複数関連付けられる組み合わせである第２の組み合わせを判断するステップと、
    を備える方法。
  8. 　請求項７に記載の方法をコンピュータシステムに実行させるためのプログラム。
PCT/JP2020/042229 2019-11-22 2020-11-12 人工知能システムの安全性検証システム、安全性検証方法、および安全性検証プログラム WO2021100597A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
EP20889547.4A EP4002127A4 (en) 2019-11-22 2020-11-12 SECURITY VERIFICATION SYSTEM FOR ARTIFICIAL INTELLIGENCE SYSTEM, SECURITY VERIFICATION METHOD AND SECURITY VERIFICATION PROGRAM
US17/634,183 US11593253B2 (en) 2019-11-22 2020-11-12 Safety verification system for artificial intelligence system, safety verification method, and safety verification program
KR1020227006262A KR102442416B1 (ko) 2019-11-22 2020-11-12 인공 지능 시스템의 안전성 검증 시스템, 안전성 검증 방법, 및 안전성 검증 프로그램
CN202080058982.3A CN114270323B (zh) 2019-11-22 2020-11-12 人工智能系统的安全性验证系统、安全性验证方法
JP2021558331A JP7007529B2 (ja) 2019-11-22 2020-11-12 人工知能システムの安全性検証システム、安全性検証方法、および安全性検証プログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019211156 2019-11-22
JP2019-211156 2019-11-22

Publications (1)

Publication Number Publication Date
WO2021100597A1 true WO2021100597A1 (ja) 2021-05-27

Family

ID=75981259

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/042229 WO2021100597A1 (ja) 2019-11-22 2020-11-12 人工知能システムの安全性検証システム、安全性検証方法、および安全性検証プログラム

Country Status (6)

Country Link
US (1) US11593253B2 (ja)
EP (1) EP4002127A4 (ja)
JP (1) JP7007529B2 (ja)
KR (1) KR102442416B1 (ja)
CN (1) CN114270323B (ja)
WO (1) WO2021100597A1 (ja)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019075035A (ja) * 2017-10-19 2019-05-16 株式会社日立製作所 ソフトウェアテスト装置および方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103902853B (zh) * 2012-12-25 2017-04-05 中国科学院深圳先进技术研究院 基于支持向量机的剪接位点识别方法
CN103198015A (zh) 2013-03-21 2013-07-10 中国人民解放军国防科学技术大学 一种基于使用概率的嵌入式软件可靠性测试数据生成方法
JP6007220B2 (ja) * 2014-10-15 2016-10-12 日本電信電話株式会社 複数入力変数に対する正常系テストデータ生成装置、方法、及びプログラム
KR101675986B1 (ko) * 2016-06-13 2016-11-23 (주)씽크포비엘 전장용 소프트웨어 안전성 분석 방법 및 장치
JP6497367B2 (ja) * 2016-08-31 2019-04-10 横河電機株式会社 プラント制御装置、プラント制御方法、プラント制御プログラム及び記録媒体
US11797668B2 (en) 2017-10-11 2023-10-24 Mitsubishi Electric Corporation Sample data generation apparatus, sample data generation method, and computer readable medium
US11354458B1 (en) * 2018-02-22 2022-06-07 Hexagon Manufacturing Intelligence, Inc. Automated vehicle safety simulation using safety quotient method
JP7091820B2 (ja) * 2018-05-14 2022-06-28 オムロン株式会社 制御システム、学習データ作成装置、学習装置および判定装置
CN109034632B (zh) * 2018-08-03 2019-06-18 哈尔滨工程大学 一种基于对抗样本的深度学习模型安全风险评估方法
CN110132352B (zh) * 2019-05-14 2021-08-03 上海荷福人工智能科技（集团）有限公司 基于人工智能和多传感器的监测装置
US11467575B2 (en) * 2019-06-27 2022-10-11 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for safety-aware training of AI-based control systems

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019075035A (ja) * 2017-10-19 2019-05-16 株式会社日立製作所 ソフトウェアテスト装置および方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
KATAHIRA,MASAFUMI: "Validation technology for upstream process specifications in space systems", SEC JOURNAL,, vol. 10, no. 2, 2 October 2014 (2014-10-02), pages 46 - 53, XP009533718, ISSN: 1349-8622 *
NOMOTO, HIDEKI; MICHIURA, YASUTAKA; ISHIHAMA, NAOKI; KATAHIRA, MASAFUMI: "New safety engineering using FRAM (functional resonance analysis method)", SEC JOURNAL, vol. 14, no. 1, August 2018 (2018-08-01), Japan, pages 42 - 49, XP009533717, ISSN: 1349-8622 *
See also references of EP4002127A4 *
SHUBHAM SHARMA; JETTE HENDERSON; JOYDEEP GHOSH: "CERTIFAI: Counterfactual Explanations for Robustness, Transparency, Interpretability, and Fairness of Artificial Intelligence models", ARXIV.ORG [ ONLINE, May 2019 (2019-05-01), XP081662746, Retrieved from the Internet <URL:https://arxiv.org/pdf/1905.07857v1> [retrieved on 20200119] *

Also Published As

Publication number Publication date
EP4002127A4 (en) 2023-12-13
JPWO2021100597A1 (ja) 2021-05-27
US11593253B2 (en) 2023-02-28
EP4002127A1 (en) 2022-05-25
US20220269588A1 (en) 2022-08-25
CN114270323A (zh) 2022-04-01
JP7007529B2 (ja) 2022-01-24
KR20220034246A (ko) 2022-03-17
CN114270323B (zh) 2023-02-21
KR102442416B1 (ko) 2022-09-14

Similar Documents

Publication Publication Date Title
Peeters The agency of algorithms: Understanding human-algorithm interaction in administrative decision-making
US20200401503A1 (en) System and Method for Testing Artificial Intelligence Systems
KR102363737B1 (ko) 이상 탐지 장치 및 방법
Henriksson et al. Towards structured evaluation of deep neural network supervisors
US11640539B2 (en) Techniques for visualizing the operation of neural networks using samples of training data
EP3816864A1 (en) Device and method for the generation of synthetic data in generative networks
JP7301210B2 (ja) ニューラルネットワークの動作を変更するための手法
CN105975269A (zh) 一种基于流程模型的需求验证方法
US20220266854A1 (en) Method for Operating a Driver Assistance System of a Vehicle and Driver Assistance System for a Vehicle
Heyn et al. A compositional approach to creating architecture frameworks with an application to distributed AI systems
CN114003511B (zh) 针对模型解释工具的评测方法和装置
Miguel et al. Putting accountability of AI systems into practice
US20220234622A1 (en) Systems and Methods for Autonomous Vehicle Control
WO2021100597A1 (ja) 人工知能システムの安全性検証システム、安全性検証方法、および安全性検証プログラム
Dekkati Automotive Software Engineering: Real-World Necessity and Significance
Stenkova et al. Generic negative scenarios for the specification of collaborative cyber-physical systems
Schütt et al. Exploring the Range of Possible Outcomes by means of Logical Scenario Analysis and Reduction for Testing Automated Driving Systems
JP7330521B2 (ja) 信号処理方法，信号処理装置および信号処理プログラム
Schütt et al. Clustering-based Criticality Analysis for Testing of Automated Driving Systems
US20230376782A1 (en) Methods and Devices for Analyzing a Reinforcement Learning Agent Based on an Artificial Neural Network
Kolchinsky Machine learning for structured finance
EP4365853A1 (en) Method for detecting an object in an image
CN113111957B (zh) 基于特征去噪的防伪方法、装置、设备、产品及介质
US20240303386A1 (en) Computer-implemented method and system for creating a scenarios library
Duarte et al. Towards a non-conformity detection method between conceptual and business process models

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20889547

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021558331

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2020889547

Country of ref document: EP

Effective date: 20220216

ENP Entry into the national phase

Ref document number: 20227006262

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE