WO2022153486A1 - ルール更新プログラム、ルール更新方法及びルール更新装置 - Google Patents

ルール更新プログラム、ルール更新方法及びルール更新装置 Download PDF

Info

Publication number
WO2022153486A1
WO2022153486A1 PCT/JP2021/001273 JP2021001273W WO2022153486A1 WO 2022153486 A1 WO2022153486 A1 WO 2022153486A1 JP 2021001273 W JP2021001273 W JP 2021001273W WO 2022153486 A1 WO2022153486 A1 WO 2022153486A1
Authority
WO
WIPO (PCT)
Prior art keywords
rule
sample data
mining
training data
sample
Prior art date
Application number
PCT/JP2021/001273
Other languages
English (en)
French (fr)
Inventor
洋哲 岩下
Original Assignee
富士通株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士通株式会社 filed Critical 富士通株式会社
Priority to PCT/JP2021/001273 priority Critical patent/WO2022153486A1/ja
Priority to CN202180090417.XA priority patent/CN116745781A/zh
Priority to JP2022574991A priority patent/JP7448039B2/ja
Priority to EP21919379.4A priority patent/EP4280119A4/en
Publication of WO2022153486A1 publication Critical patent/WO2022153486A1/ja
Priority to US18/337,750 priority patent/US20230334342A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/045—Explanation of inference; Explainable artificial intelligence [XAI]; Interpretable artificial intelligence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • G06N5/025—Extracting rules from data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Definitions

  • the present invention relates to a rule update program, a rule update method, and a rule update device.
  • a machine learning model based on a rule set has been proposed from the aspect of realizing explainable AI (Artificial Intelligence), so-called XAI (Explainable AI).
  • a sample set of training data including a feature amount corresponding to each of a plurality of items representing the properties of the data and a specific label is used as a data set.
  • mining is executed to extract the most important rule set from the rule set that comprehensively lists the combination patterns that combine the numerical values that can be taken by the features corresponding to the items between the items.
  • each of the rules included in the rule set obtained by mining is used as an explanatory variable of the machine learning model
  • the label is used as the objective variable of the machine learning model
  • the weight given to each rule is measured by machine learning such as regression analysis. It is determined.
  • a rule set that contributes to the output result can be presented in addition to the output result of the machine learning model. Since the rule set presented in this way can be expressed by a logical expression, it has an aspect of being excellent in interpretability (explanability).
  • the features included in the linear regression model are exchanged one by one to generate a model with the same degree of accuracy, or the feature set used for the linear regression model is replaced with another one to generate a model with the same degree of accuracy. Or generate.
  • the above rule set does not always include only the rules that the user can agree with, and there is an aspect that the rules that the user cannot agree with are mixed. Therefore, the machine learning model based on the above rule set is excellent in interpretability but lacks conviction.
  • the method of enumerating multiple linear regression models is a technique that presupposes a linear regression model that weights individual features, so it cannot be applied as it is to a machine learning model that weights rules. Because it is difficult.
  • One aspect is to provide a rule update program, a rule update method, and a rule update device that can improve the conviction of a machine learning model based on a rule set.
  • One aspect of the rule update program accepts user specifications for at least a part of the rules included in the rule set generated as a result of the first mining using the training data, and sample data corresponding to the rules that have accepted the user specifications. Is specified from the training data, and the second mining is executed using the training data limited to the sample data corresponding to the rule that accepts the user designation, thereby acquiring a new rule and executing the process on the computer. Let me.
  • FIG. 1 is a block diagram showing a functional configuration example of the server device according to the first embodiment.
  • FIG. 2 is a diagram showing an example of a method for generating a machine learning model.
  • FIG. 3 is a diagram showing an example of a rule updating method.
  • FIG. 4 is a diagram showing an example of a sample set of training data.
  • FIG. 5 is a diagram showing an example of a sample set of training data.
  • FIG. 6 is a diagram showing an example of a set of initial rules.
  • FIG. 7 is a diagram showing an example of the first model data.
  • FIG. 8 is a diagram showing an example of remining of a regular rule.
  • FIG. 9 is a diagram showing an example of a new rule.
  • FIG. 10 is a diagram showing an example of the second model data.
  • FIG. 11 is a flowchart showing the procedure of the rule update process according to the first embodiment.
  • FIG. 12 is a diagram showing a hardware configuration example.
  • FIG. 1 is a block diagram showing a functional configuration example of the server device 10 according to the first embodiment.
  • the server device 10 shown in FIG. 1 provides a rule update function for updating a rule set that is not convinced by the user among the rule sets used for generating the machine learning model to a new alternative rule.
  • Such a rule update function can be packaged as one function of a model generation service that generates a machine learning model based on a rule set as one aspect.
  • the above rule update function does not necessarily have to be packaged in the above model generation service, and may be provided as one of the modules included in the library referenced by the above model generation service or other services. ..
  • the server device 10 can be implemented by installing a rule update program that realizes the above rule update function on an arbitrary computer.
  • the server device 10 can be implemented as a server that provides the above rule update function on-premises.
  • the server device 10 by implementing the server device 10 as a SaaS (Software as a Service) type application, the above rule update function can be provided as a cloud service.
  • SaaS Software as a Service
  • the server device 10 can be communicably connected to the client terminal 30 via the network NW.
  • the network NW may be any kind of communication network such as the Internet or LAN (Local Area Network) regardless of whether it is wired or wireless.
  • the client terminal 30 is an example of a computer that receives the above rule update function.
  • the client terminal 30 may be supported by a desktop computer such as a personal computer.
  • the client terminal 30 may be any computer such as a laptop computer, a mobile terminal device, or a wearable terminal.
  • FIG. 1 shows an example in which the above rule update function is provided by the client-server system, but the present invention is not limited to this example, and the above rule update function may be provided standalone.
  • FIG. 2 is a diagram showing an example of a method for generating a machine learning model.
  • the training data dataset 21 shown in FIG. 2 may include a sample set of training data including a feature quantity corresponding to each of a plurality of items representing the properties of the data and a specific label.
  • FIG. 2 as an example of the machine learning task, an example in which a machine learning model for classifying is generated is given.
  • all combinations patterns can be listed as a rule set by including all the items from two to the number of items included in the training data.
  • the number of items to be combined with the numerical values of the feature amount may be limited to the upper limit set by the user definition or the system definition.
  • step S1 the rule set comprehensively listed as described above is set as the population, and the rule set having high importance is extracted from the rule sets used as the population.
  • importance can be defined by indicators such as support and confidence as an example.
  • “Support” is the ratio of the number of samples that hit the condition part of the rule to be extracted by mining out of the number of samples included in the data set of training data, or hits the condition part of the rule to be extracted by mining. Refers to the frequency of the number of samples. “Support” is sometimes called the number of hits.
  • Constant refers to the number of samples that can be classified into a class that matches the label of the consequent part of the rule among the number of samples that hit the condition part of the rule to be extracted by mining. "Confidence” is sometimes referred to as confidence or hit rate.
  • the lower limit of each of these "Support” and “Confidence” is set as a hyperparameter of the machine learning model by user definition or system definition.
  • the rule set 22 in which "Support” is equal to or higher than the lower limit value and "Confidence” is equal to or higher than the lower limit value is extracted.
  • the initial rule extracted by mining in step S1 may be referred to as an “initial rule”.
  • Each of the rules included in the set 22 of the initial rules obtained by the mining in step S1 is used as the explanatory variable of the machine learning model, the label of each sample is used as the objective variable of the machine learning model, and the weight given to each rule is set. It is determined by machine learning such as regression analysis (S2).
  • step S2 a rule set to which the weight of the rule is given for each rule is obtained as the machine learning model 23.
  • a rule set that contributes to the output result can be presented. Since the rule set presented in this way can be expressed by a logical expression, it has an aspect of being excellent in interpretability (explanability).
  • the above rule set does not always include only the rules that the user can agree with, and there is also one aspect in which the rules that the user does not agree with are mixed. Therefore, the machine learning model based on the above rule set is excellent in interpretability but lacks conviction.
  • Non-Patent Document 1 and Non-Patent Document 2 are techniques that presuppose a linear regression model that weights individual features, and therefore, they should be applied as they are to a machine learning model that weights rules. Is difficult.
  • the rule update function is a new sample set of training data used for generating the machine learning model, which is limited to the sample corresponding to the initial rule that accepts the user specification and is a substitute for the initial rule. Perform remining to win the rules.
  • FIG. 3 is a diagram showing an example of a rule updating method.
  • FIG. 3 shows an example in which a rule that is not convinced by the user among the set of initial rules used for generating the machine learning model shown in FIG. 2 is updated to a new alternative rule.
  • the arrow of the flow related to the process corresponding to the rule update is shown by a thick line.
  • the rule update function uses a GUI (Graphical User Interface) for a machine learning model 23 generated as shown in FIG. 2, for example, a set of initial rules to which the weight of the initial rule is given for each initial rule. It can be presented to the client terminal 30 via (S11).
  • GUI Graphic User Interface
  • the rule update function can accept the designation of rules that cannot be understood or convinced by the user as an example of the user designation 41 (S12).
  • rules that violate the user's intuition and empirical rules, common sense of business to which the machine learning model 23 is applied, or rules that include discriminatory expressions in the combination of features included in the condition part and the label of the consequent part. Etc. can be specified.
  • the rule update function can accept the specification of the training data sample that the machine learning model 23 has not sufficiently explained, in addition to the specification of the above rule.
  • rule R1 is specified based on the idea that "rule R1 is inappropriate as a basis for prediction", and "the explanation for sample P2 is not possible (only with rule R2)".
  • An example is shown in which sample P2 is specified under the idea of "sufficient”.
  • the rule update function specifies a sample of training data corresponding to the rule for which the user designation 41 is accepted (S13). For example, in the example shown in FIG. 3, among the sample sets included in the training data data set 21, the training data that matches the combination pattern of the feature quantities included in the condition part of the rule R1 that accepts the user designation 41. Samples P1 and P4 are identified.
  • the rule update function executes remining only for the training data samples P1 and P4 specified in step S13 and the training data sample P2 for which the user designation is accepted in step S12 (S14).
  • the rule update function can update the set of initial rules as follows (S15). For example, in the example shown in FIG. 3, the initial rule is deleted by deleting the rule R1 which is one of the initial rules from the set 22 of the initial rules, and adding the rules R11 and R12 extracted as new rules. 22 is updated to the updated rule set 42.
  • the rule update function according to this embodiment can acquire a new rule as a substitute for a rule that cannot be understood or convinced by the user. Therefore, according to the rule update function according to the present embodiment, it is possible to improve the conviction of the machine learning model based on the rule set. Further, the rule update function according to the present embodiment can acquire a new rule that supplements the explanation of the sample of the training data in which the explanation of the machine learning model is insufficient. Therefore, according to the rule update function according to the present embodiment, the interpretability (explanability) of the machine learning model based on the rule set can be further improved.
  • FIG. 3 has been described until the initial rule set 22 is updated to the updated rule set 42, but as a matter of course, the machine learning model 43 based on the updated rule set 42 is generated.
  • each of the rules included in the updated rule set 42 is used as an explanatory variable of the machine learning model
  • the label is used as the objective variable of the machine learning model
  • the weight given to each rule is set by machine learning such as regression analysis. decide.
  • the machine learning model 43 based on the updated rule set 42 can be generated.
  • FIG. 1 schematically shows a block corresponding to a function of the server device 10.
  • the server device 10 includes a communication interface unit 11, a storage unit 13, and a control unit 15.
  • FIG. 1 only shows an excerpt of the functional parts related to the above rule update function, and the functional parts other than those shown in the figure, for example, the functional parts that the existing computer is equipped with by default or as options are servers. It may be provided in the device 10.
  • the communication interface unit 11 corresponds to an example of a communication control unit that controls communication with another device, for example, a client terminal 30.
  • the communication interface unit 11 is realized by a network interface card such as a LAN card.
  • the communication interface unit 11 receives a request for rule update from the client terminal 30, or a user designation 41, for example, a rule or sample designation. Further, the communication interface unit 11 outputs the updated rule set 42 or the machine learning model 43 based on the updated rule set 42 to the client terminal 30.
  • the storage unit 13 is a functional unit that stores various types of data.
  • the storage unit 13 can be realized by storage, for example, internal, external or auxiliary storage.
  • the storage unit 13 stores the data set 21, the first model data 23, and the second model data 43.
  • the storage unit 13 stores various data such as settings referred to by the above rule update function, for example, hyperparameters of the machine learning model. Can be remembered.
  • the data set 21 can correspond to an example of the sample set 21 of the training data shown in FIGS. 2 and 3.
  • the first model data 23 and the second model data 43 are both machine learning model data based on the rule set.
  • the first model data 23 can correspond to the machine learning model 23 based on the initial rule set 22 shown in FIG. 2, while the second model data 43 corresponds to the machine learning based on the updated rule set 42 shown in FIG. It can correspond to the model 43.
  • 4 and 5 are diagrams showing an example of a sample set of training data. 4 and 5 show sample sets 211 and 212 of training data used to generate a machine learning model for binary classification as an example of a machine learning task.
  • a machine learning model that performs two-class classification is generated is given, but the machine learning task is not limited to two-class classification, and may be multi-class classification, or other than classification. Task, such as prediction.
  • FIG. 4 illustrates a sample set 211 of training data labeled positive, i.e. positive "+”, while FIG. 5 illustrates a negative example, i.e. labeled negative "-”.
  • a sample set 212 of the given training data is shown.
  • FIGS. 4 and 5 five items A to E are illustrated as an example of the items, and the feature amount corresponding to each item is represented by a binary of “1” or “0”. An example is shown.
  • the "items” listed here may be arbitrary, but as an example for explanation, age, gender, etc. are given.
  • age "1" is extracted as a feature of a sample whose item “age” is 20 years or older, while “1” is extracted as a feature of a sample whose item “age” is less than 20 years. "0” is extracted.
  • gender “1” is extracted as the feature quantity of the sample in which the item "gender” is male, while in the example of gender, the feature of the sample in which the item "gender” is female.
  • “0" is extracted as the quantity.
  • the feature amount may be expressed by three or more multi-values.
  • the numerical value of age itself can be used as a feature quantity.
  • "0" is extracted as the feature amount of the sample whose item "age” is less than teenager
  • "1" is extracted as the feature amount of the sample which is teenager. It is also possible to extract "N" as a feature quantity of a certain sample.
  • FIG. 4 shows five examples of samples P1 to P5 as an example of the sample set 211 of the training data of the positive example.
  • sample P1 is taken as an example, it is a case where a positive "+” label is given, and the feature amounts of the items "A" to “E” are “1", "1", and so on. It means that it is “1", "0", and "1".
  • FIG. 5 shows five cases of samples N1 to N5 as an example of the sample set 212 of training data of negative cases.
  • sample N1 is taken as an example, it is a case where a negative "-" label is given, and the feature amounts of the items "A" to “E” are “0", "1", and so on. It means that it is “1", "1", and "0".
  • the sample set 211 of the training data of the positive example shown in FIG. 4 and the sample set 212 of the training data of the negative example shown in FIG. 5 are used as the data set 21 of the training data to generate the machine learning model.
  • step S1 shown in FIG. 2 For example, by executing the mining of step S1 shown in FIG. 2 on the rule set comprehensively listed using the training data dataset 21 shown in FIGS. 4 and 5, the set of initial rules shown in FIG. 6 is executed. Is obtained.
  • FIG. 6 is a diagram showing an example of a set of initial rules.
  • mining is executed under the condition that the lower limit of “Support” is set to “10” and the lower limit of “Confidence” is set to “100%”.
  • the set of initial rules obtained is illustrated.
  • rule R1 to rule R4 are shown as a set of initial rules.
  • the rule includes a condition part corresponding to the left side of the right arrow and a consequent part corresponding to the right side of the right arrow.
  • the feature amount of the item “A” is “1”
  • the feature amount of the item “B” is “1”
  • the feature amount of the item “C” is “1”.
  • a combination pattern of features such as is defined.
  • a class called positive "+” that occurs under the event defined in the condition part is defined.
  • Such a rule R1 satisfies the mining condition that Support “10” is the lower limit value “10” or more and Confidence “100%” is the lower limit value “100%” or more. It is extracted as one.
  • Each of the rules included in the set of initial rules shown in FIG. 6 is used as an explanatory variable of the machine learning model, the label of each sample is used as the objective variable of the machine learning model, and the weight given to each rule is the step shown in FIG. It is determined by regression analysis of S2, for example, logistic regression.
  • FIG. 7 is a diagram showing an example of the first model data.
  • FIG. 7 shows a rule set in which the weights of the initial rules are given to each of the four initial rules of the rules R1 to R4 as an example of the machine learning model 23 based on the set of initial rules 22.
  • a machine learning model 23 can function as a multiple regression model in which each of the rules R1 to R4 is used as an explanatory variable and the weight given to each rule is used as a partial regression coefficient.
  • the feature quantities corresponding to the items "A" to "E” included in the input data satisfy the condition part of each of the rules R1 to R4. Whether or not the determination result can be input.
  • the input data is classified into a positive example, that is, a positive "+" class.
  • the input data is classified into a negative example, that is, a negative "-" class.
  • the machine learning model 23 based on the set 22 of such initial rules can be stored in the storage unit 13 as the first model data 23.
  • the description of the second model data 43 will be described later together with the description of the process in which the second model data 43 is generated.
  • the control unit 15 is a processing unit that controls the entire server device 10.
  • the control unit 15 is realized by a hardware processor.
  • the control unit 15 includes a reception unit 15A, a specific unit 15B, a mining unit 15C, an update unit 15D, and a generation unit 15E.
  • FIG. 1 exemplifies a functional unit corresponding to the model generation service in which the rule update function is packaged, it is possible that only the functional unit corresponding to the rule update function is provided.
  • the reception unit 15A is a processing unit that receives various types of information. As one embodiment, the reception unit 15A can receive a request regarding rule update from the client terminal 30. At this time, when the request regarding the rule update is received, the reception unit 15A transmits the machine learning model included in the first model data 23 stored in the storage unit 13, for example, the machine learning model based on the set of initial rules to the client terminal 30. Display it.
  • the reception unit 15A can display the machine learning model based on the rules R1 to R4 shown in FIG. 7 on the client terminal 30.
  • FIG. 7 shows an example in which each item is masked with the symbols A to E, it goes without saying that the value of any item other than the gender and age can be actually displayed.
  • the reception unit 15A accepts the designation of the rule that cannot be understood or convinced by the user as an example of the user designation 41. Can be done.
  • rules that violate the user's intuition and empirical rules, common sense of business to which the machine learning model 23 is applied, or rules that include discriminatory expressions in the combination of features included in the condition part and the label of the consequent part. Etc. can be specified.
  • the user designation of the rule R1 can be accepted based on the idea that "rule R1 is inappropriate as a basis for prediction".
  • the reception unit 15A causes the client terminal 30 to display a sample of the training data of the positive example shown in FIG. 4, a sample of the training data of the negative example shown in FIG. 5, or a data set 21 including both of them. Can be done.
  • FIGS. 4 and 5 show examples in which each item is masked with the symbols A to E, in reality, the value of any item other than gender and age can be displayed. Needless to say.
  • the reception unit 15A can also accept the designation of the training data sample for which the machine learning model shown in FIG. 7 has not been sufficiently explained, as an example of the user designation.
  • the rules supported by each sample are associated with each other. It can be displayed.
  • the rules that support the mouseovered sample can be displayed.
  • the user designation 41 shown in FIG. 3 the user designation of the sample P2 can be accepted under the idea that "the explanation for the sample P2 is insufficient (only by the rule R2)".
  • the rule displayed when the mouse is over may be the identification information of the rule, not the rule itself.
  • both the rule specification and the training data sample specification do not necessarily have to be accepted, and at least one of them can be accepted.
  • the specific unit 15B is a processing unit that specifies a sample of training data corresponding to the rule that accepts the user designation.
  • the specific unit 15B uses a sample set of training data included in the training data data set 21 as a sample of training data that matches the combination pattern of the feature quantities included in the condition unit of the rule that accepts the user designation 41. Identify.
  • the condition part of the rule R1 is referred to in the set 22 of the initial rules included in the first model data 23.
  • the feature amount of the item "A" is "1
  • the feature amount of the item "B” is "1”
  • the feature amount of the item "C” is "1".
  • a combination pattern of features whose value is "1" is defined.
  • the sample P1 of the positive example training data and the sample set 212 of the positive example training data P4 matches.
  • samples P1 and P4 of the training data of the positive example are specified as the samples corresponding to the rule R1.
  • the mining unit 15C is a processing unit that executes mining. As one embodiment, the mining unit 15C is limited to a sample of training data specified by the specific unit 15B in the training data data set 21 and a sample of training data for which the user designation 41 is received by the reception unit 15A. And perform remining.
  • the sample of the training data specified by the specific unit 15B and the sample of the training data specified by the user by the reception unit 15A may be collectively referred to as "sample to be improved".
  • Case 1 is a case where the sample to be improved includes only a sample of training data with a positive label.
  • Case 2 includes a case where only a sample of training data labeled with a negative example is included.
  • Case 3 includes both a sample of training data labeled with a positive example and a sample of training data labeled with a negative example.
  • the mining unit 15C executes remining using a sample to be improved and a sample of training data of all negative cases. As a result, it is possible to extract a regular rule whose consequent part corresponds to a regular class. Further, when the remining is executed in Case 2, the mining unit 15C executes the remining using the sample to be improved and the sample of the training data of all the positive examples. As a result, the positive rule corresponding to the negative class can be extracted. Further, when the remining is executed in Case 3, the mining unit 15C remines using the sample to be improved with the positive label and the sample of the training data of all the negative cases. To execute.
  • the mining unit 15C executes remining using the sample to which the improvement target is labeled with a negative example and the sample of the training data of all the positive examples. As a result, it is possible to extract a positive rule whose consequent part corresponds to a positive class and a negative rule whose consequent part corresponds to a negative class.
  • the mining conditions can be relaxed compared to when mining a set of initial rules.
  • the mining unit 15C can lower the lower limit of "Support” at the time of remining to the lower limit of "Support” at the time of mining a set of initial rules.
  • the mining unit 15C can lower the lower limit value of "Confidence” at the time of remining to be lower than the lower limit value of "Confidence” at the time of mining the set of initial rules.
  • the training data samples P1 and P4 specified by the specific unit 15B and the training data sample P2 for which the user designation is accepted by the reception unit 15A are to be improved. It is referred to as sample I1 of.
  • the sample I1 to be improved includes only samples of regular training data such as regular samples P1 and P4 and regular samples P2. In this case, since the above case 1 is applicable, the remining of the regular rule shown in FIG. 8 is executed.
  • FIG. 8 is a diagram showing an example of remining of the regular rule.
  • the lower limit of “Support” is set to “10” and the lower limit of “Confidence” is set by lowering it from “100%” to “90%” at the time of mining.
  • An example of remining being performed is shown below.
  • the remining of the positive example rule is executed using the sample I1 to be improved and the sample set 212 of the training data of the negative example.
  • the regular rule shown in FIG. 9 is obtained as a new rule 42n.
  • FIG. 9 is a diagram showing an example of a new rule.
  • two new rules 42n rule R11 and rule R12, are obtained.
  • the condition part of the rule R11 a combination pattern of the feature amount in which the feature amount of the item "B" is “1" and the feature amount of the item “E” is “1” is defined, and the combination pattern is defined.
  • a positive example that is, a positive "+” class is defined.
  • a positive example that is, a positive "+” class is defined.
  • Two regular rules of these rule R11 and rule R12 are obtained as a new rule 42n.
  • a new rule 42n that replaces the rule R1 that cannot be understood or convinced by the user, and a new rule 42n that supplements the explanation of the sample P2 can be acquired as the rules R11 and R12.
  • the new rule 42n can be presented not only to the generation of the machine learning model 43 but also to the client terminal 30.
  • the update unit 15D is a processing unit that updates the rule set.
  • the update unit 15D updates the initial rule set 22 based on the new rule 42n obtained as a result of remining by the mining unit 15C.
  • the rule that accepts the user designation 41 from the set 22 of the initial rules is deleted, and the new rule 42n obtained by the remining by the mining unit 15C is added.
  • the new rule 42n shown in FIG. 9 is added to the set 22 of the initial rules shown in FIG. ..
  • the rule R1 accepted by the user designation 41 from the set 22 of the initial rules shown in FIG. 6 is deleted.
  • the initial rule set 22 is updated to the updated rule set 42.
  • the updated rule set 42 obtained in this way can be presented not only to the generation of the machine learning model 43 but also to the client terminal 30.
  • the generation unit 15E is a processing unit that generates a machine learning model.
  • the generation unit 15E uses each of the rules included in the updated rule set 42 as the explanatory variable of the machine learning model, and the label of each sample included in the data set 21 as the objective variable of the machine learning model.
  • the weight given to each rule is determined by regression analysis or the like. As a result, the machine learning model 43 based on the updated rule set 42 can be generated.
  • FIG. 10 is a diagram showing an example of the second model data.
  • FIG. 10 shows, as an example of the machine learning model 43 based on the updated rule set 42, a rule set in which the weights of the rules are given to each of the five rules of rules R2 to R4 and rules R11 to R12.
  • a machine learning model 43 can function as a multiple regression model in which each of rules R2 to R4 and rules R11 to R12 is used as an explanatory variable and the weight given to each rule is used as a partial regression coefficient.
  • the input data is classified into a positive example, that is, a positive "+" class.
  • the input data is classified into a negative example, that is, a negative "-" class.
  • the machine learning model 43 thus obtained can be presented to the client terminal 30 or stored in the storage unit 13 as the second model data.
  • FIG. 11 is a flowchart showing the procedure of the rule update process according to the first embodiment.
  • the process shown in FIG. 11 can be started when a request for rule update is received from the client terminal 30 as an example.
  • the reception unit 15A accepts, as the user designation 41, the designation of rules that cannot be understood or convinced by the user, the designation of a sample of training data for which the machine learning model has not been sufficiently explained, and the like. Step S101).
  • the specific unit 15B is a sample of training data that matches the combination pattern of the feature quantities included in the condition unit of the rule for which the user designation 41 is accepted in step S101 among the sample sets included in the data set 21 of the training data. Is specified (step S102).
  • the mining unit 15C executes remining only for the sample to be improved including the training data sample specified in step S102 and the training data sample for which the user designation 41 is accepted in step S101.
  • the mining unit 15C executes remining using the sample to which the sample to be improved is labeled as a positive example and the sample of the training data of all negative examples (step S103A).
  • the mining unit 15C executes remining using the sample labeled as a negative example among the samples to be improved and the sample of the training data of all the positive examples (step S103B). ..
  • step S103A If the sample to be improved does not have a sample with a positive example label, the process of step S103A is skipped, while the sample to be improved does not have a sample with a negative example label. , The process of step S103B is skipped.
  • the update unit 15D adds the new rule 42n obtained by the remining of steps S103A and S103B to the initial rule set 22 and deletes the rule that accepts the user designation 41 from the initial rule set 22 (step). S104). As a result, the initial rule set 22 is updated to the updated rule set 42.
  • the generation unit 15E uses each of the rules included in the updated rule set 42 as an explanatory variable, the label of each sample included in the data set 21 as an objective variable, and returns the weight given to each rule. It is determined by analysis or the like (step S105). As a result, the machine learning model 43 based on the updated rule set 42 is generated.
  • the generation unit 15E presents the machine learning model 43 based on the updated rule set 42 generated in step S105 to the client terminal 30 or the like (step S106), and ends the process.
  • the rule update function according to this embodiment is limited to the sample set of training data used for generating the machine learning model that corresponds to the initial rule that accepts the user designation. Remining to acquire new alternative rules. As a result, it is possible to acquire a new rule that replaces a rule that cannot be understood or convinced by the user. Therefore, according to the rule update function according to the present embodiment, it is possible to improve the conviction of the machine learning model based on the rule set.
  • the rule update function according to this embodiment can acquire a new rule that supplements the explanation of the training data sample for which the explanation of the machine learning model is insufficient. Therefore, according to the rule update function according to the present embodiment, the interpretability (explanability) of the machine learning model based on the rule set can be further improved.
  • each component of each of the illustrated devices does not necessarily have to be physically configured as shown in the figure. That is, the specific form of distribution / integration of each device is not limited to the one shown in the figure, and all or part of the device is functionally or physically dispersed / physically distributed in any unit according to various loads and usage conditions. Can be integrated and configured.
  • the reception unit 15A, the specific unit 15B, the mining unit 15C, the update unit 15D, or the generation unit 15E may be connected as an external device of the server device 10 via a network.
  • another device has a reception unit 15A, a specific unit 15B, a mining unit 15C, an update unit 15D, or a generation unit 15E, respectively, and is connected to a network to cooperate with each other to realize the function of the server device 10. You may do so. Further, another device has all or a part of the data set 21, the first model data 23, and the second model data 43 stored in the storage unit, and the above server is connected to the network and cooperates with each other. The function of the device 10 may be realized.
  • FIG. 12 is a diagram showing a hardware configuration example.
  • the computer 100 includes an operation unit 110a, a speaker 110b, a camera 110c, a display 120, and a communication unit 130. Further, the computer 100 has a CPU 150, a ROM 160, an HDD 170, and a RAM 180. Each of these 110 to 180 parts is connected via the bus 140.
  • the HDD 170 includes a rule update program 170a that exhibits the same functions as the reception unit 15A, the specific unit 15B, the mining unit 15C, the update unit 15D, and the generation unit 15E shown in the first embodiment. Be remembered.
  • the rule update program 170a may be integrated or separated like the components of the reception unit 15A, the specific unit 15B, the mining unit 15C, the update unit 15D, and the generation unit 15E shown in FIG. That is, not all the data shown in the first embodiment may be stored in the HDD 170, and the data used for processing may be stored in the HDD 170.
  • the CPU 150 reads the rule update program 170a from the HDD 170 and deploys it to the RAM 180.
  • the rule update program 170a functions as the rule update process 180a as shown in FIG.
  • the rule update process 180a expands various data read from the HDD 170 in the area allocated to the rule update process 180a in the storage area of the RAM 180, and executes various processes using the expanded data.
  • the process shown in FIG. 11 is included.
  • the CPU 150 not all the processing units shown in the first embodiment need to operate, and the processing units corresponding to the processes to be executed may be virtually realized.
  • each program is stored in a "portable physical medium" such as a flexible disk inserted into the computer 100, a so-called FD, CD-ROM, DVD disk, magneto-optical disk, or IC card. Then, the computer 100 may acquire and execute each program from these portable physical media. Further, each program is stored in another computer or server device connected to the computer 100 via a public line, the Internet, LAN, WAN, etc., so that the computer 100 acquires and executes each program from these. You may do it.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

ルール更新プログラムは、訓練データを用いた第１のマイニングの結果生成されたルール集合に含まれるルールの少なくとも一部に対するユーザ指定を受け付け、ユーザ指定を受け付けたルールに対応するサンプルデータを訓練データから特定し、ユーザ指定を受け付けたルールに対応するサンプルデータに限定した訓練データを用いて第２のマイニングを実行することで、新規ルールを取得する、処理をコンピュータに実行させる。

Description

ルール更新プログラム、ルール更新方法及びルール更新装置
　本発明は、ルール更新プログラム、ルール更新方法及びルール更新装置に関する。
　説明可能なＡＩ（Artificial　Intelligence）、いわゆるＸＡＩ（Explainable　AI）を実現する側面から、ルール集合に基づく機械学習モデルが提案されている。
　上記の機械学習モデルの生成には、データの性質を表す複数の項目の各々に対応する特徴量と、特定のラベルとを含む訓練データのサンプル集合がデータセットとして用いられる。訓練データのデータセットを用いて、項目に対応する特徴量がとり得る数値を項目間で組み合わせる組合せパターンが網羅的に列挙されたルール集合のうち重要度が高いルール集合を抽出するマイニングが実行される。そして、マイニングにより得られたルール集合に含まれるルールの各々を機械学習モデルの説明変数とし、ラベルを機械学習モデルの目的変数とし、各々のルールに付与される重みが回帰分析等の機械学習により決定される。
　例えば、ルール集合に基づく機械学習モデルを用いて分類や予測などのタスクが実行される場合、機械学習モデルの出力結果に加えて、出力結果に寄与するルール集合を提示できる。このように提示されるルール集合は、論理式で表現可能であるので、解釈性（説明可能性）に優れる側面がある。
　この他、ユーザの納得性の向上を図る側面から、線形回帰モデルを複数列挙する方法が提案されている。例えば、線形回帰モデルに含まれる特徴量を１つずつ交換して同程度の精度のモデルを生成したり、線形回帰モデルに用いる特徴量集合をまるごと別のものに置き換えて同程度の精度のモデルを生成したりする。
Satoshi　Hara　and　Takanori　Maehara.　Finding　alternate　features　in　lasso.　In　NIPS　2016　workshop　on　Interpretable　Machine　Learning　for　Complex　Systems,　2016. Satoshi　Hara　and　Takanori　Maehara.　Enumerate　lasso　solutions　for　feature　selection.　In　Proceedings　of　the　Thirty-First　AAAI　Conference　on　Artificial　Intelligence,　AAAI　’17,　page　1985-1991.　AAAI　Press,　2017.
　しかしながら、上記のルール集合には、ユーザから必ずしも納得が得られるルールだけが含まれるとは限らず、ユーザの納得が得られないルールが混在する側面がある。このため、上記のルール集合に基づく機械学習モデルは、解釈性に優れる一方で納得性に欠ける一面がある。
　そうであるからと言って、線形回帰モデルを複数列挙する方法を用いて、ユーザの納得が得られないルールの数が低減されたルール集合を獲得することも困難である。なぜなら、線形回帰モデルを複数列挙する方法は、あくまで個々の特徴量に重みを付与する線形回帰モデルを前提とする技術であるので、ルールに重みが付与される機械学習モデルにそのまま適用することは困難であるからである。
　１つの側面では、ルール集合に基づく機械学習モデルの納得性向上を実現できるルール更新プログラム、ルール更新方法及びルール更新装置を提供することを目的とする。
　一態様のルール更新プログラムは、訓練データを用いた第１のマイニングの結果生成されたルール集合に含まれるルールの少なくとも一部に対するユーザ指定を受け付け、前記ユーザ指定を受け付けたルールに対応するサンプルデータを前記訓練データから特定し、前記ユーザ指定を受け付けたルールに対応する前記サンプルデータに限定した訓練データを用いて第２のマイニングを実行することで、新規ルールを取得する、処理をコンピュータに実行させる。
　ルール集合に基づく機械学習モデルの納得性向上を実現できる。
図１は、実施例１に係るサーバ装置の機能構成例を示すブロック図である。 図２は、機械学習モデルの生成方法の一例を示す図である。 図３は、ルール更新方法の一例を示す図である。 図４は、訓練データのサンプル集合の一例を示す図である。 図５は、訓練データのサンプル集合の一例を示す図である。 図６は、初期ルールの集合の一例を示す図である。 図７は、第１モデルデータの一例を示す図である。 図８は、正例ルールの再マイニングの一例を示す図である。 図９は、新規ルールの一例を示す図である。 図１０は、第２モデルデータの一例を示す図である。 図１１は、実施例１に係るルール更新処理の手順を示すフローチャートである。 図１２は、ハードウェア構成例を示す図である。
　以下に添付図面を参照して本願に係るルール更新プログラム、ルール更新方法及びルール更新装置について説明する。なお、この実施例は開示の技術を限定するものではない。そして、各実施例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
　図１は、実施例１に係るサーバ装置１０の機能構成例を示すブロック図である。図１に示すサーバ装置１０は、機械学習モデルの生成に用いられたルール集合のうちユーザの納得が得られないルールを新規の代替ルールへ更新するルール更新機能を提供するものである。
　このようなルール更新機能は、あくまで１つの側面として、ルール集合に基づく機械学習モデルを生成するモデル生成サービスの一機能としてパッケージ化され得る。なお、上記のルール更新機能は、必ずしも上記のモデル生成サービスにパッケージ化されずともよく、上記のモデル生成サービスや他のサービスにより参照されるライブラリに含まれるモジュールの１つとして提供されてもよい。
　サーバ装置１０は、上記のルール更新機能を実現するルール更新プログラムを任意のコンピュータにインストールさせることにより実装できる。一例として、サーバ装置１０は、上記のルール更新機能をオンプレミスに提供するサーバとして実装することができる。他の一例として、サーバ装置１０は、ＳａａＳ（Software　as　a　Service）型のアプリケーションとして実装することで、上記のルール更新機能をクラウドサービスとして提供することもできる。
　また、サーバ装置１０は、図１に示すように、ネットワークＮＷを介して、クライアント端末３０と通信可能に接続され得る。例えば、ネットワークＮＷは、有線または無線を問わず、インターネットやＬＡＮ（Local　Area　Network）などの任意の種類の通信網であってよい。
　クライアント端末３０は、上記のルール更新機能の提供を受けるコンピュータの一例である。例えば、クライアント端末３０には、パーソナルコンピュータなどのデスクトップ型のコンピュータなどが対応し得る。これはあくまで一例に過ぎず、クライアント端末３０は、ラップトップ型のコンピュータや携帯端末装置、ウェアラブル端末などの任意のコンピュータであってよい。
　なお、図１には、上記のルール更新機能がクライアントサーバシステムで提供される例を挙げるが、この例に限定されず、スタンドアロンで上記のルール更新機能が提供されることとしてもよい。
　次に、本実施例に係るルール集合に基づく機械学習モデルの生成方法について例示する。図２は、機械学習モデルの生成方法の一例を示す図である。図２に示す訓練データのデータセット２１には、データの性質を表す複数の項目の各々に対応する特徴量と、特定のラベルとを含む訓練データのサンプル集合が含まれ得る。なお、図２では、機械学習のタスクの一例として、クラス分類を行う機械学習モデルが生成される例を挙げる。
　図２に示すように、訓練データのデータセット２１を用いて、項目に対応する特徴量がとり得る数値を項目間で組み合わせる組合せパターンが網羅的に列挙されたルール集合のうち重要度が高いルール集合を抽出するマイニングが実行される（Ｓ１）。
　ステップＳ１におけるマイニングでは、特徴量の数値を組み合わせる項目の数を２つから訓練データに含まれる項目の数までの全てを含めることで、全通りの組合せパターンがルール集合として列挙され得る。なお、ここでは、全通りの組合せパターンが列挙される例を挙げたが、特徴量の数値を組み合わせる項目の数をユーザ定義またはシステム定義により設定される上限値までに制限することとしてもよい。
　その上で、ステップＳ１におけるマイニングでは、上述の通りに網羅的に列挙されたルール集合を母集団とし、当該母集団とするルール集合のうち重要度が高いルール集合が抽出される。
　例えば、「重要度」は、あくまで一例として、支持度（Support）および確信度（Confidence）などの指標により定義することができる。
　“Support”は、訓練データのデータセットに含まれるサンプル数のうちマイニングで抽出対象とするルールの条件部にヒットするサンプル数の割合、あるいは、マイニングで抽出対象とするルールの条件部にヒットするサンプル数の頻度を指す。“Support”はヒット数とも呼ばれることがある。
　“Confidence”は、マイニングで抽出対象とするルールの条件部にヒットするサンプル数のうち当該ルールの帰結部のラベルと一致するクラスに分類できるサンプル数を指す。“Confidence”は、信頼度、あるいはヒット率とも呼ばれることがある。
　これら“Support”および“Confidence”の各々の下限値がユーザ定義またはシステム定義により機械学習モデルのハイパーパラメータとして設定される。
　ステップＳ１におけるマイニングでは、“Support”が下限値以上であり、かつ“Confidence”が下限値以上であるルール集合２２を抽出する。これにより、１つの側面として、十分な数のサンプルで期待通りのクラスへの分類を実現するルール集合を獲得できる。以下、ステップＳ１におけるマイニングで抽出される初期のルールのことを指して「初期ルール」と記載する場合がある。
　ステップＳ１のマイニングにより得られた初期ルールの集合２２に含まれるルールの各々を機械学習モデルの説明変数とし、各サンプルのラベルを機械学習モデルの目的変数とし、各々のルールに付与される重みが回帰分析等の機械学習により決定される（Ｓ２）。
　ステップＳ２の機械学習の結果、ルールごとに当該ルールの重みが付与されたルール集合が機械学習モデル２３として得られる。
　このようにして生成された機械学習モデル２３によれば、機械学習モデルの出力結果に加えて、出力結果に寄与するルール集合を提示できる。このように提示されるルール集合は、論理式で表現可能であるので、解釈性（説明可能性）に優れる側面がある。
　しかしながら、上記のルール集合には、ユーザから必ずしも納得が得られるルールだけが含まれるとは限らず、ユーザの納得が得られないルールが混在する一面もある。このため、上記のルール集合に基づく機械学習モデルは、解釈性に優れる一方で納得性に欠ける一面がある。
　そうであるからと言って、上記の背景技術の欄で挙げた非特許文献１および非特許文献２、すなわち線形回帰モデルを複数列挙する方法を用いて、ユーザの納得が得られないルールの数が低減されたルール集合を獲得することも困難である。
　なぜなら、非特許文献１および非特許文献２は、あくまで個々の特徴量に重みを付与する線形回帰モデルを前提とする技術であるので、ルールに重みが付与される機械学習モデルにそのまま適用することは困難であるからである。
　このように適用が困難である理由の１つとして、項目の数や項目に対応する特徴量の数値がとり得る範囲の増加にしたがってルールの数が指数関数的に増大することが挙げられる。
　すなわち、ルールの数が指数関数的に増大すれば、各ルールの重みを決定する側面から実行される回帰分析などの機械学習の計算コスト、例えば計算量や計算時間を現実的なものに抑えることが困難となる。
　さらに、たとえマイニングにより機械学習の計算コストが抑えられたとしても、マイニングの段階で抽出されずに除外されたルールは機械学習モデルの説明変数にも含まれなくなる。このため、ユーザにとって納得性が高いルールがマイニングで埋没し、より納得性の高い機械学習モデルが列挙される可能性が低下する。
　そこで、本実施例に係るルール更新機能は、機械学習モデルの生成に用いられた訓練データのサンプル集合のうちユーザ指定を受け付けた初期ルールに対応するサンプルに限定して初期ルールの代替となる新規ルールを獲得する再マイニングを実行する。
　図３は、ルール更新方法の一例を示す図である。図３には、図２に示す機械学習モデルの生成に用いられた初期ルールの集合のうちユーザの納得が得られないルールが新規の代替ルールへ更新される例が示されている。なお、図３では、ルール更新に対応する処理に関するフローの矢印を太線で示す。
　図３に示すように、ルール更新機能は、図２に示す通りに生成された機械学習モデル２３、例えば初期ルールごとに初期ルールの重みが付与された初期ルールの集合をＧＵＩ（Graphical　User　Interface）を介してクライアント端末３０に提示できる（Ｓ１１）。
　このように初期ルールの集合が提示された際、ルール更新機能は、ユーザ指定４１の一例として、ユーザの理解や納得が得られないルールの指定を受け付けることができる（Ｓ１２）。あくまで一例として、ユーザの直感や経験則、機械学習モデル２３が適用される業務の常識などに反するルール、あるいは条件部に含まれる特徴量の組合せおよび帰結部のラベルが差別的な表現を含むルールなどが指定され得る。ユーザ指定の他の一例として、ルール更新機能は、上記のルールの指定の他、機械学習モデル２３が十分に説明できていない訓練データのサンプルの指定を受け付けることもできる。
　図３に示すユーザ指定４１の例で言えば、「ルールＲ１は予測の根拠として不適切」という思考の下でルールＲ１が指定されると共に、「サンプルＰ２に対する説明が（ルールＲ２だけでは）不十分」という思考の下でサンプルＰ２が指定される例が示されている。
　ステップＳ１２でユーザ指定を受け付けると、ルール更新機能は、ユーザ指定４１を受け付けたルールに対応する訓練データのサンプルを特定する（Ｓ１３）。例えば、図３に示す例で言えば、訓練データのデータセット２１に含まれるサンプル集合のうち、ユーザ指定４１を受け付けたルールＲ１の条件部に含まれる特徴量の組合せパターンと一致する訓練データのサンプルＰ１及びＰ４が特定される。
　その後、ルール更新機能は、ステップＳ１３で特定された訓練データのサンプルＰ１及びＰ４と、ステップＳ１２でユーザ指定を受け付けた訓練データのサンプルＰ２とに限定して再マイニングを実行する（Ｓ１４）。
　ステップＳ１４で訓練データのサンプルＰ１、Ｐ２及びＰ４に限定した再マイニングが実行されることで、初期ルールであるルールＲ１の代替となる新規ルール、さらには、サンプルＰ２の説明を補充する新規ルールがルールＲ１１及びＲ１２として抽出される。
　ステップＳ１４の再マイニングの結果、ルール更新機能は、初期ルールの集合を次のように更新できる（Ｓ１５）。例えば、図３に示す例で言えば、初期ルールの集合２２から初期ルールの１つであるルールＲ１を削除すると共に、新規ルールとして抽出されたルールＲ１１及びＲ１２が追加されることにより、初期ルールの集合２２が更新後のルール集合４２へ更新される。
　以上のように、本実施例に係るルール更新機能は、ユーザの理解や納得が得られないルールの代替となる新規ルールを獲得できる。したがって、本実施例に係るルール更新機能によれば、ルール集合に基づく機械学習モデルの納得性向上を実現できる。さらに、本実施例に係るルール更新機能は、機械学習モデルの説明が不十分である訓練データのサンプルの説明を補充する新規ルールを獲得ができる。それ故、本実施例に係るルール更新機能によれば、ルール集合に基づく機械学習モデルの解釈性（説明可能性）をより高めることもできる。
　なお、図３には、初期ルールの集合２２が更新後のルール集合４２へ更新されるまでの説明を行ったが、当然のことながら、更新後のルール集合４２に基づく機械学習モデル４３を生成できることができる。この場合、更新後のルール集合４２に含まれるルールの各々を機械学習モデルの説明変数とし、ラベルを機械学習モデルの目的変数とし、各々のルールに付与される重みを回帰分析等の機械学習により決定する。これにより、更新後のルール集合４２に基づく機械学習モデル４３を生成できる。
　次に、本実施例に係るルール更新機能を有するサーバ装置１０の機能的構成の一例について説明する。図１には、サーバ装置１０が有する機能に対応するブロックが模式化されている。図１に示すように、サーバ装置１０は、通信インタフェイス部１１と、記憶部１３と、制御部１５とを有する。なお、図１には、上記のルール更新機能に関連する機能部が抜粋して示されているに過ぎず、図示以外の機能部、例えば既存のコンピュータがデフォルトまたはオプションで装備する機能部がサーバ装置１０に備わることとしてもよい。
　通信インタフェイス部１１は、他の装置、例えばクライアント端末３０との間で通信制御を行う通信制御部の一例に対応する。あくまで一例として、通信インタフェイス部１１は、ＬＡＮカードなどのネットワークインターフェイスカードにより実現される。例えば、通信インタフェイス部１１は、クライアント端末３０からルール更新に関するリクエスト、あるいはユーザ指定４１、例えばルールやサンプルの指定などを受け付ける。また、通信インタフェイス部１１は、更新後のルール集合４２、あるいは更新後のルール集合４２に基づく機械学習モデル４３をクライアント端末３０へ出力する。
　記憶部１３は、各種のデータを記憶する機能部である。あくまで一例として、記憶部１３は、ストレージ、例えば内部、外部または補助のストレージにより実現され得る。例えば、記憶部１３は、データセット２１と、第１モデルデータ２３と、第２モデルデータ４３とを記憶する。なお、記憶部１３は、データセット２１、第１モデルデータ２３及び第２モデルデータ４３以外にも、上記のルール更新機能で参照される設定、例えば機械学習モデルのハイパーパラメータなどの各種のデータを記憶することができる。
　データセット２１は、図２及び図３に示す訓練データのサンプル集合２１の一例に対応し得る。第１モデルデータ２３及び第２モデルデータ４３は、いずれもルール集合に基づく機械学習モデルのデータである。第１モデルデータ２３は、図２に示す初期ルールの集合２２に基づく機械学習モデル２３に対応し得る一方で、第２モデルデータ４３は、図３に示す更新後のルール集合４２に基づく機械学習モデル４３に対応し得る。
　図４及び図５は、訓練データのサンプル集合の一例を示す図である。図４及び図５には、機械学習のタスクの一例として、２クラス分類を行う機械学習モデルの生成に用いる訓練データのサンプル集合２１１及び２１２が示されている。なお、ここでは、２クラス分類を行う機械学習モデルが生成される例を挙げるが、機械学習のタスクは２クラス分類に限定されず、多クラス分類であってもよいし、クラス分類以外の他のタスク、例えば予測などであってもよい。
　例えば、図４には、正例、すなわちポジティブ「＋」のラベルが付与された訓練データのサンプル集合２１１が例示される一方で、図５には、負例、すなわちネガティブ「－」のラベルが付与された訓練データのサンプル集合２１２が示されている。
　さらに、図４及び図５には、項目の一例として、Ａ～Ｅの５つの項目が例示されており、各々の項目に対応する特徴量が「１」または「０」のバイナリで表現される例が示されている。
　ここで挙げる「項目」は、任意のものでよいが、あくまで説明上の例示として、年齢や性別などを挙げる。例えば、年齢の例で言えば、項目「年齢」が２０歳以上であるサンプルの特徴量として「１」が抽出される一方で、項目「年齢」が２０歳未満であるサンプルの特徴量として「０」が抽出される。また、性別の例で言えば、項目「性別」が男性であるサンプルの特徴量として「１」が抽出される一方で、性別の例で言えば、項目「性別」が女性であるサンプルの特徴量として「０」が抽出される。なお、図４及び図５には、特徴量がバイナリで表現される例を挙げたが、特徴量は３つ以上の多値で表現されることとしてもよい。例えば、年齢で言えば、年齢の数値そのものを特徴量とすることもできる。この他、項目「年齢」が１０代未満であるサンプルの特徴量として「０」を抽出し、１０代であるサンプルの特徴量として「１」を抽出し、・・・、Ｎ×１０代であるサンプルの特徴量として「Ｎ」を抽出することもできる。
　例えば、図４には、正例の訓練データのサンプル集合２１１の一例として、サンプルＰ１～Ｐ５の５つの事例が示されている。あくまで一例として、サンプルＰ１を例に挙げれば、ポジティブ「＋」のラベルが付与された事例であって、項目「Ａ」～項目「Ｅ」の各々の特徴量が「１」、「１」、「１」、「０」、「１」であることを意味する。
　また、図５には、負例の訓練データのサンプル集合２１２の一例として、サンプルＮ１～Ｎ５の５つの事例が示されている。あくまで一例として、サンプルＮ１を例に挙げれば、ネガティブ「－」のラベルが付与された事例であって、項目「Ａ」～項目「Ｅ」の各々の特徴量が「０」、「１」、「１」、「１」、「０」であることを意味する。
　図４に示す正例の訓練データのサンプル集合２１１及び図５に示す負例の訓練データのサンプル集合２１２が訓練データのデータセット２１として機械学習モデルの生成に用いられる。
　例えば、図４及び図５に示す訓練データのデータセット２１を用いて網羅的に列挙されたルール集合に図２に示すステップＳ１のマイニングが実行されることにより、図６に示す初期ルールの集合が得られる。
　図６は、初期ルールの集合の一例を示す図である。図６には、あくまで一例として、“Support”の下限値が「１０」に設定されると共に“Confidence”の下限値が「１００％」に設定された状況の下でマイニングが実行されることにより得られた初期ルールの集合が例示されている。
　図６に示すように、初期ルールの集合として、ルールＲ１～ルールＲ４の４つの初期ルールが示されている。図６に示す例で言えば、ルールには、右矢印の左辺に対応する条件部と、右矢印の右辺に対応する帰結部とが含まれる。
　例えば、ルールＲ１の条件部には、項目「Ａ」の特徴量が「１」であり、項目「Ｂ」の特徴量が「１」であり、かつ項目「Ｃ」の特徴量が「１」であるといった特徴量の組合せパターンが定義される。また、ルールＲ１の帰結部には、条件部に定義される事象の下で発生するポジティブ「＋」というクラスが定義される。
　このようなルールＲ１は、Support「１０」が下限値「１０」以上であり、かつConfidence「１００％」が下限値「１００％」以上であるというマイニング条件を満たすことから初期ルールの集合の１つとして抽出されている。
　図６に示す初期ルールの集合に含まれるルールの各々を機械学習モデルの説明変数とし、各サンプルのラベルを機械学習モデルの目的変数とし、各々のルールに付与される重みが図２に示すステップＳ２の回帰分析、例えばロジスティック回帰等により決定される。
　図７は、第１モデルデータの一例を示す図である。図７には、初期ルールの集合２２に基づく機械学習モデル２３の一例として、ルールＲ１～Ｒ４の４つの初期ルールごとに当該初期ルールの重みが付与されたルール集合が示されている。このような機械学習モデル２３は、あくまで一例として、ルールＲ１～ルールＲ４の各々を説明変数とし、各ルールに付与される重みを偏回帰係数とする重回帰モデルとして機能し得る。
　例えば、ルールＲ１～ルールＲ４に基づく機械学習モデル２３には、入力データに含まれる項目「Ａ」～項目「Ｅ」に対応する特徴量がルールＲ１～ルールＲ４の各々のルールの条件部を満たすか否かの判定結果が入力され得る。
　ルールＲ１～ルールＲ４の４つの説明変数のうち、ルールの条件部を満たす説明変数には「１」が入力される一方でルールの条件部を満たさない説明変数には「０」が入力されることにより、機械学習モデル２３から重み付けの総和が出力される。
　このとき、機械学習モデル２３により出力される重み付けの総和が０以上である場合、入力データが正例、すなわちポジティブ「＋」のクラスへ分類される。その一方で、重み付けの総和が０未満である場合、入力データが負例、すなわちネガティブ「－」のクラスへ分類される。
　このような初期ルールの集合２２に基づく機械学習モデル２３が第１モデルデータ２３として記憶部１３に保存され得る。なお、第２モデルデータ４３の説明は、第２モデルデータ４３の生成が行われる処理の説明と合わせて後述する。
　制御部１５は、サーバ装置１０の全体制御を行う処理部である。例えば、制御部１５は、ハードウェアプロセッサにより実現される。図１に示すように、制御部１５は、受付部１５Ａと、特定部１５Ｂと、マイニング部１５Ｃと、更新部１５Ｄと、生成部１５Ｅとを有する。なお、図１には、ルール更新機能がパッケージされたモデル生成サービスに対応する機能部を例示したが、ルール更新機能に対応する機能部のみが備わることとしてもよい。
　受付部１５Ａは、各種の情報を受け付ける処理部である。一実施形態として、受付部１５Ａは、クライアント端末３０からルール更新に関するリクエストを受け付けることができる。このとき、ルール更新に関するリクエストを受け付けると、受付部１５Ａは、記憶部１３に記憶された第１モデルデータ２３に含まれる機械学習モデル、例えば初期ルールの集合に基づく機械学習モデルをクライアント端末３０に表示させる。
　あくまで一例として、受付部１５Ａは、図７に示すルールＲ１～ルールＲ４に基づく機械学習モデルをクライアント端末３０に表示させることができる。なお、図７には、各項目がＡ～Ｅという記号でマスクされた例が示されているが、実際には、性別や年齢の他、任意の項目の値を表示できるのは言うまでもない。
　このように図７に示すルールＲ１～ルールＲ４に基づく機械学習モデルが提示された際、受付部１５Ａは、ユーザ指定４１の一例として、ユーザの理解や納得が得られないルールの指定を受け付けることができる。あくまで一例として、ユーザの直感や経験則、機械学習モデル２３が適用される業務の常識などに反するルール、あるいは条件部に含まれる特徴量の組合せおよび帰結部のラベルが差別的な表現を含むルールなどが指定され得る。例えば、図３に示すユーザ指定４１で例示される通り、「ルールＲ１は予測の根拠として不適切」という思考の下でルールＲ１のユーザ指定を受け付けることができる。
　他の一例として、受付部１５Ａは、図４に示す正例の訓練データのサンプル、図５に示す負例の訓練データのサンプル、あるいはこれら両方を含むデータセット２１をクライアント端末３０に表示させることができる。なお、図４や図５には、各項目がＡ～Ｅという記号でマスクされた例が示されているが、実際には、性別や年齢の他、任意の項目の値を表示できるのは言うまでもない。
　このようなサンプルの提示が行われた際、受付部１５Ａは、ユーザ指定の一例として、図７に示す機械学習モデルが十分に説明できていない訓練データのサンプルの指定を受け付けることもできる。例えば、サンプルの指定を支援する側面から、図４に示す正例の訓練データのサンプルや図５に示す負例の訓練データのサンプルが提示される際、各サンプルがサポートするルールを対応付けて表示させることができる。あくまで一例として、訓練データのサンプルのうちいずれかのサンプルにマウスオーバーが行われた場合、マウスオーバーが行われたサンプルをサポートするルールを表示させることができる。例えば、図３に示すユーザ指定４１で例示される通り、「サンプルＰ２に対する説明が（ルールＲ２だけでは）不十分」という思考の下でサンプルＰ２のユーザ指定を受け付けることができる。なお、マウスオーバー時に表示されるルールは、ルールそのものではなく、ルールの識別情報であってもよい。
　なお、ここでは、機械学習モデルや訓練データのサンプルが提示されてからユーザ指定を受け付ける例を挙げたが、機械学習モデルや訓練データのサンプルの提示をスキップしてユーザ指定を受け付けることとしてもよい。また、ユーザ指定として、ルールの指定および訓練データのサンプルの指定の両方が必ずしも受け付けられずともよく、少なくともいずれか一方を受け付けることができる。
　特定部１５Ｂは、ユーザ指定を受け付けたルールに対応する訓練データのサンプルを特定する処理部である。一実施形態として、特定部１５Ｂは、訓練データのデータセット２１に含まれるサンプル集合のうち、ユーザ指定４１を受け付けたルールの条件部に含まれる特徴量の組合せパターンと一致する訓練データのサンプルを特定する。例えば、ルールＲ１のユーザ指定を受け付けた場合、第１モデルデータ２３に含まれる初期ルールの集合２２のうち、ルールＲ１の条件部が参照される。ルールＲ１の条件部には、図７に示す通り、項目「Ａ」の特徴量が「１」であり、項目「Ｂ」の特徴量が「１」であり、かつ項目「Ｃ」の特徴量が「１」である特徴量の組合せパターンが定義されている。このような特徴量の組合せパターンには、図４に示す正例の訓練データのサンプル集合２１１及び図５に示す負例の訓練データのサンプル集合２１２のうち、正例の訓練データのサンプルＰ１及びＰ４が一致する。この結果、ルールＲ１に対応するサンプルとして、正例の訓練データのサンプルＰ１及びＰ４が特定される。
　マイニング部１５Ｃは、マイニングを実行する処理部である。一実施形態として、マイニング部１５Ｃは、訓練データのデータセット２１のうち特定部１５Ｂにより特定された訓練データのサンプルと、受付部１５Ａによりユーザ指定４１が受け付けられた訓練データのサンプルとに限定して再マイニングを実行する。以下、特定部１５Ｂにより特定された訓練データのサンプルと、受付部１５Ａによりユーザ指定が受け付けられた訓練データのサンプルとを纏めて指して「改善対象のサンプル」と記載する場合がある。
　このような改善対象のサンプルに含まれるラベルの種類は、次に挙げる３つのケース１～ケース３に分岐し得る。ケース１として、改善対象のサンプルには、正例のラベルが付与された訓練データのサンプルのみが含まれる場合が挙げられる。ケース２として、負例のラベルが付与された訓練データのサンプルのみが含まれる場合が挙げられる。ケース３として、正例のラベルが付与された訓練データのサンプルと、負例のラベルが付与された訓練データのサンプルとの両方が含まれる場合が挙げられる。
　例えば、ケース１で再マイニングが実行される場合、マイニング部１５Ｃは、改善対象のサンプルと、全ての負例の訓練データのサンプルとを用いて再マイニングを実行する。これにより、帰結部が正例のクラスに対応する正例ルールを抽出できる。また、ケース２で再マイニングが実行される場合、マイニング部１５Ｃは、改善対象のサンプルと、全ての正例の訓練データのサンプルとを用いて再マイニングを実行する。これにより、帰結部が負例のクラスに対応する正例ルールを抽出できる。さらに、ケース３で再マイニングが実行される場合、マイニング部１５Ｃは、改善対象のサンプルのうち正例のラベルが付与されたサンプルと、全ての負例の訓練データのサンプルとを用いて再マイニングを実行する。さらに、マイニング部１５Ｃは、改善対象のサンプルのうち負例のラベルが付与されたサンプルと、全ての正例の訓練データのサンプルとを用いて再マイニングを実行する。これにより、帰結部が正例のクラスに対応する正例ルールと、帰結部が負例のクラスに対応する負例ルールとを抽出できる。
　ここで、再マイニングの実行時には、“Support”の下限値、“Confidence”の下限値またはこれらの両方を変更することができる。あくまで一例として、初期ルールの集合のマイニング時よりもマイニング条件を緩和することができる。例えば、マイニング部１５Ｃは、再マイニング時の“Support”の下限値を初期ルールの集合のマイニング時の“Support”の下限値よりも下げることができる。また、マイニング部１５Ｃは、再マイニング時の“Confidence”の下限値を初期ルールの集合のマイニング時の“Confidence”の下限値よりも下げることができる。このようなマイニング条件の緩和により、サンプルのサポート不足やサンプルのノイズが一因となって新規ルール４２ｎが獲得できない事態を抑制し、もって新規ルール４２ｎを獲得できる可能性を高めることができる。
　例えば、図３に示すユーザ指定４１の例に従えば、特定部１５Ｂにより特定された訓練データのサンプルＰ１及びＰ４と、受付部１５Ａによりユーザ指定が受け付けられた訓練データのサンプルＰ２とが改善対象のサンプルＩ１とされる。
　このような改善対象のサンプルＩ１には、正例のサンプルＰ１及びＰ４と、正例のサンプルＰ２といったように正例の訓練データのサンプルしか含まれない。この場合、上記のケース１に該当するので、図８に示す正例ルールの再マイニングが実行される。
　図８は、正例ルールの再マイニングの一例を示す図である。図８には、あくまで一例として、“Support”の下限値が「１０」に設定されると共に“Confidence”の下限値をマイニング時の「１００％」から「９０％」に下げて設定された状況の下で再マイニングが実行される例が示されている。図８に示すように、改善対象のサンプルＩ１と、負例の訓練データのサンプル集合２１２とを用いて、正例ルールの再マイニングが実行される。このような再マイニングの結果、図９に示す正例のルールが新規ルール４２ｎとして得られる。
　図９は、新規ルールの一例を示す図である。図９に示すように、再マイニングの結果として、ルールＲ１１及びルールＲ１２の２つの新規ルール４２ｎが得られる。このうち、ルールＲ１１の条件部には、項目「Ｂ」の特徴量が「１」であり、かつ項目「Ｅ」の特徴量が「１」である特徴量の組合せパターンが定義されると共に、ルールＲ１１の帰結部には、正例、すなわちポジティブ「＋」のクラスが定義されている。また、ルールＲ１２の条件部には、項目「Ｄ」の特徴量が「１」であり、かつ項目「Ｅ」の特徴量が「１」である特徴量の組合せパターンが定義されると共に、ルールＲ１２の帰結部には、正例、すなわちポジティブ「＋」のクラスが定義されている。これらルールＲ１１及びルールＲ１２の２つの正例ルールが新規ルール４２ｎとして得られる。
　このように、ユーザの理解や納得が得られないルールＲ１の代替となる新規ルール４２ｎ、さらには、サンプルＰ２の説明を補充する新規ルール４２ｎをルールＲ１１及びＲ１２として獲得できる。なお、新規ルール４２ｎは、機械学習モデル４３の生成のみならず、クライアント端末３０に提示することもできる。
　更新部１５Ｄは、ルール集合を更新する処理部である。一実施形態として、更新部１５Ｄは、マイニング部１５Ｃによる再マイニングの結果として得られた新規ルール４２ｎに基づいて初期ルールの集合２２を更新する。例えば、初期ルールの集合２２のうちユーザ指定４１を受け付けたルールを削除すると共に、マイニング部１５Ｃによる再マイニングで得られた新規ルール４２ｎを追加する。あくまで一例として、図９に示す新規ルール４２ｎに基づいて図６に示す初期ルールの集合２２が更新される場合、図６に示す初期ルールの集合２２に図９に示す新規ルール４２ｎが追加される。さらに、図６に示す初期ルールの集合２２のうちユーザ指定４１で受け付けたルールＲ１が削除される。これにより、初期ルールの集合２２が更新後のルール集合４２へ更新される。
　このように得られた更新後のルール集合４２も、機械学習モデル４３の生成のみならず、クライアント端末３０に提示することもできる。
　生成部１５Ｅは、機械学習モデルを生成する処理部である。一実施形態として、生成部１５Ｅは、更新後のルール集合４２に含まれるルールの各々を機械学習モデルの説明変数とし、データセット２１に含まれる各サンプルのラベルを機械学習モデルの目的変数とし、各ルールに付与される重みを回帰分析等により決定する。これにより、更新後のルール集合４２に基づく機械学習モデル４３を生成できる。
　図１０は、第２モデルデータの一例を示す図である。図１０には、更新後のルール集合４２に基づく機械学習モデル４３の一例として、ルールＲ２～Ｒ４及びルールＲ１１～Ｒ１２の５つのルールごとに当該ルールの重みが付与されたルール集合が示されている。このような機械学習モデル４３は、あくまで一例として、ルールＲ２～Ｒ４及びルールＲ１１～Ｒ１２の各々を説明変数とし、各ルールに付与される重みを偏回帰係数とする重回帰モデルとして機能し得る。
　例えば、機械学習モデル４３には、入力データに含まれる項目「Ａ」～項目「Ｅ」に対応する特徴量がルールＲ２～Ｒ４及びルールＲ１１～Ｒ１２の各々のルールの条件部を満たすか否かの判定結果が入力され得る。
　ルールＲ２～Ｒ４及びルールＲ１１～Ｒ１２の５つの説明変数のうち、ルールの条件部を満たす説明変数へ「１」が入力される一方でルールの条件部を満たさない説明変数へ「０」が入力されることにより、機械学習モデル４３から重み付けの総和が出力される。
　このとき、機械学習モデル４３により出力される重み付けの総和が０以上である場合、入力データが正例、すなわちポジティブ「＋」のクラスへ分類される。その一方で、重み付けの総和が０未満である場合、入力データが負例、すなわちネガティブ「－」のクラスへ分類される。
　このように得られた機械学習モデル４３は、クライアント端末３０に提示したり、第２モデルデータとして記憶部１３に保存したりすることができる。
　図１１は、実施例１に係るルール更新処理の手順を示すフローチャートである。図１１に示す処理は、あくまで一例として、クライアント端末３０からルール更新に関するリクエストを受け付けた場合に開始することができる。
　図１１に示すように、受付部１５Ａは、ユーザ指定４１として、ユーザの理解や納得が得られないルールの指定や機械学習モデルが十分に説明できていない訓練データのサンプルの指定などを受け付ける（ステップＳ１０１）。
　続いて、特定部１５Ｂは、訓練データのデータセット２１に含まれるサンプル集合のうち、ステップＳ１０１でユーザ指定４１を受け付けたルールの条件部に含まれる特徴量の組合せパターンと一致する訓練データのサンプルを特定する（ステップＳ１０２）。
　その後、マイニング部１５Ｃは、ステップＳ１０２で特定された訓練データのサンプルと、ステップＳ１０１でユーザ指定４１が受け付けられた訓練データのサンプルとを含む改善対象のサンプルに限定して再マイニングを実行する。
　すなわち、マイニング部１５Ｃは、改善対象のサンプルのうち正例のラベルが付与されたサンプルと、全ての負例の訓練データのサンプルとを用いて再マイニングを実行する（ステップＳ１０３Ａ）。
　これと並行して、マイニング部１５Ｃは、改善対象のサンプルのうち負例のラベルが付与されたサンプルと、全ての正例の訓練データのサンプルとを用いて再マイニングを実行する（ステップＳ１０３Ｂ）。
　なお、改善対象のサンプルに正例のラベルが付与されたサンプルが存在しない場合、ステップＳ１０３Ａの処理がスキップされる一方で、改善対象のサンプルに負例のラベルが付与されたサンプルが存在しない場合、ステップＳ１０３Ｂの処理がスキップされる。
　その後、更新部１５Ｄは、ステップＳ１０３Ａ及びＳ１０３Ｂの再マイニングで得られた新規ルール４２ｎを初期ルールの集合２２に追加すると共に初期ルールの集合２２のうちユーザ指定４１を受け付けたルールを削除する（ステップＳ１０４）。これにより、初期ルールの集合２２が更新後のルール集合４２へ更新される。
　その上で、生成部１５Ｅは、更新後のルール集合４２に含まれるルールの各々を説明変数とし、データセット２１に含まれる各サンプルのラベルを目的変数とし、各ルールに付与される重みを回帰分析等により決定する（ステップＳ１０５）。これにより、更新後のルール集合４２に基づく機械学習モデル４３が生成される。
　そして、生成部１５Ｅは、ステップＳ１０５で生成された更新後のルール集合４２に基づく機械学習モデル４３をクライアント端末３０等に提示し（ステップＳ１０６）、処理を終了する。
　上述してきたように、本実施例に係るルール更新機能は、機械学習モデルの生成に用いられた訓練データのサンプル集合のうちユーザ指定を受け付けた初期ルールに対応するサンプルに限定して初期ルールの代替となる新規ルールを獲得する再マイニングを行う。これにより、ユーザの理解や納得が得られないルールの代替となる新規ルールを獲得できる。したがって、本実施例に係るルール更新機能によれば、ルール集合に基づく機械学習モデルの納得性向上を実現できる。
　さらに、本実施例に係るルール更新機能は、機械学習モデルの説明が不十分である訓練データのサンプルの説明を補充する新規ルールを獲得ができる。それ故、本実施例に係るルール更新機能によれば、ルール集合に基づく機械学習モデルの解釈性（説明可能性）をより高めることもできる。
　さて、これまで開示の装置に関する実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下では、本発明に含まれる他の実施例を説明する。
　また、図示した各装置の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、受付部１５Ａ、特定部１５Ｂ、マイニング部１５Ｃ、更新部１５Ｄまたは生成部１５Ｅをサーバ装置１０の外部装置としてネットワーク経由で接続するようにしてもよい。また、受付部１５Ａ、特定部１５Ｂ、マイニング部１５Ｃ、更新部１５Ｄまたは生成部１５Ｅを別の装置がそれぞれ有し、ネットワーク接続されて協働することで、上記のサーバ装置１０の機能を実現するようにしてもよい。また、記憶部に記憶されるデータセット２１、第１モデルデータ２３および第２モデルデータ４３の全部または一部を別の装置がそれぞれ有し、ネットワーク接続されて協働することで、上記のサーバ装置１０の機能を実現するようにしてもかまわない。
［ルール更新プログラム］
　また、上記の実施例で説明した各種の処理は、予め用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。そこで、以下では、図１２を用いて、実施例１及び実施例２と同様の機能を有するルール更新プログラムを実行するコンピュータの一例について説明する。
　図１２は、ハードウェア構成例を示す図である。図１２に示すように、コンピュータ１００は、操作部１１０ａと、スピーカ１１０ｂと、カメラ１１０ｃと、ディスプレイ１２０と、通信部１３０とを有する。さらに、このコンピュータ１００は、ＣＰＵ１５０と、ＲＯＭ１６０と、ＨＤＤ１７０と、ＲＡＭ１８０とを有する。これら１１０～１８０の各部はバス１４０を介して接続される。
　ＨＤＤ１７０には、図１２に示すように、上記の実施例１で示した受付部１５Ａ、特定部１５Ｂ、マイニング部１５Ｃ、更新部１５Ｄ及び生成部１５Ｅと同様の機能を発揮するルール更新プログラム１７０ａが記憶される。このルール更新プログラム１７０ａは、図１に示した受付部１５Ａ、特定部１５Ｂ、マイニング部１５Ｃ、更新部１５Ｄ及び生成部１５Ｅの各構成要素と同様、統合又は分離してもかまわない。すなわち、ＨＤＤ１７０には、必ずしも上記の実施例１で示した全てのデータが格納されずともよく、処理に用いるデータがＨＤＤ１７０に格納されればよい。
　このような環境の下、ＣＰＵ１５０は、ＨＤＤ１７０からルール更新プログラム１７０ａを読み出した上でＲＡＭ１８０へ展開する。この結果、ルール更新プログラム１７０ａは、図１２に示すように、ルール更新プロセス１８０ａとして機能する。このルール更新プロセス１８０ａは、ＲＡＭ１８０が有する記憶領域のうちルール更新プロセス１８０ａに割り当てられた領域にＨＤＤ１７０から読み出した各種データを展開し、この展開した各種データを用いて各種の処理を実行する。例えば、ルール更新プロセス１８０ａが実行する処理の一例として、図１１に示す処理などが含まれる。なお、ＣＰＵ１５０では、必ずしも上記の実施例１で示した全ての処理部が動作せずともよく、実行対象とする処理に対応する処理部が仮想的に実現されればよい。
　なお、上記のルール更新プログラム１７０ａは、必ずしも最初からＨＤＤ１７０やＲＯＭ１６０に記憶されておらずともかまわない。例えば、コンピュータ１００に挿入されるフレキシブルディスク、いわゆるＦＤ、ＣＤ－ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させる。そして、コンピュータ１００がこれらの可搬用の物理媒体から各プログラムを取得して実行するようにしてもよい。また、公衆回線、インターネット、ＬＡＮ、ＷＡＮなどを介してコンピュータ１００に接続される他のコンピュータまたはサーバ装置などに各プログラムを記憶させておき、コンピュータ１００がこれらから各プログラムを取得して実行するようにしてもよい。
　　１０　　サーバ装置
　　１１　　通信インタフェイス部
　　１３　　記憶部
　　１５　　制御部
　　１５Ａ　受付部
　　１５Ｂ　特定部
　　１５Ｃ　マイニング部
　　１５Ｄ　更新部
　　１５Ｅ　生成部
　　２１　　データセット
　　２２　　初期ルールの集合
　　２３　　第１モデルデータ
　　３０　　クライアント端末
　　４１　　ユーザ指定
　　４２　　更新後のルール集合
　　４３　　第２モデルデータ

Claims (20)

  1. 　訓練データを用いた第１のマイニングの結果生成されたルール集合に含まれるルールの少なくとも一部に対するユーザ指定を受け付け、
    　前記ユーザ指定を受け付けたルールに対応するサンプルデータを前記訓練データから特定し、
    　前記ユーザ指定を受け付けたルールに対応する前記サンプルデータに限定した訓練データを用いて第２のマイニングを実行することで、新規ルールを取得する、
    　処理をコンピュータに実行させることを特徴とするルール更新プログラム。
  2. 　前記受け付ける処理は、前記ユーザ指定として、前記訓練データからいずれかのサンプルデータの指定を受け付ける処理を含み、
    　前記取得する処理は、前記特定する処理で特定された前記サンプルデータと、前記ユーザ指定を受け付けた前記サンプルデータとに限定した訓練データを用いて、前記第２のマイニングを実行する処理を含む、
    　ことを特徴とする請求項１に記載のルール更新プログラム。
  3. 　前記訓練データは、正例のラベルが付与されたサンプルデータの集合および負例のラベルが付与されたサンプルデータの集合を含み、
    　前記取得する処理は、前記特定する処理で特定された前記サンプルデータのうち前記正例のラベルが付与されたサンプルデータと、前記負例のラベルが付与されたサンプルデータの集合とを用いて前記第２のマイニングを実行することで、ルールの帰結部が前記正例のクラスに対応する前記新規ルールを取得する処理を含む、
    　ことを特徴とする請求項１に記載のルール更新プログラム。
  4. 　前記訓練データは、正例のラベルが付与されたサンプルデータの集合および負例のラベルが付与されたサンプルデータの集合を含み、
    　前記取得する処理は、前記特定する処理で特定された前記サンプルデータのうち前記負例のラベルが付与されたサンプルデータと、前記正例のラベルが付与されたサンプルデータの集合とを用いて前記第２のマイニングを実行することで、ルールの帰結部が前記負例のクラスに対応する前記新規ルールを取得する処理を含む、
    　ことを特徴とする請求項１に記載のルール更新プログラム。
  5. 　前記取得する処理は、前記第１のマイニング時に用いられる支持度の下限値よりも小さい支持度の下限値に基づいて、前記第２のマイニングを実行する処理を含む、
    　ことを特徴とする請求項１に記載のルール更新プログラム。
  6. 　前記取得する処理は、前記第１のマイニング時に用いられる確信度の下限値よりも小さい確信度の下限値に基づいて、前記第２のマイニングを実行する処理を含む、
    　ことを特徴とする請求項１に記載のルール更新プログラム。
  7. 　前記新規ルールを前記ルール集合に追加すると共に、前記ルール集合のうち前記ユーザ指定を受け付けたルールを削除することで、前記ルール集合を更新する処理を前記コンピュータにさらに実行させる、
    　ことを特徴とする請求項１に記載のルール更新プログラム。
  8. 　前記更新する処理で更新されたルール集合に基づいて前記訓練データを用いた機械学習を実行することで、機械学習モデルを生成する処理を前記コンピュータにさらに実行させる、
    　ことを特徴とする請求項７に記載のルール更新プログラム。
  9. 　前記生成する処理は、前記更新する処理で更新されたルール集合に含まれるルールの各々を説明変数とし、前記訓練データに付与されたラベルを目的変数とし、各ルールに付与される重みを機械学習により決定することで、前記機械学習モデルを生成する処理を含む、
    　ことを特徴とする請求項８に記載のルール更新プログラム。
  10. 　訓練データを用いた第１のマイニングの結果生成されたルール集合に含まれるルールの少なくとも一部に対するユーザ指定を受け付け、
    　前記ユーザ指定を受け付けたルールに対応するサンプルデータを前記訓練データから特定し、
    　前記ユーザ指定を受け付けたルールに対応する前記サンプルデータに限定した訓練データを用いて第２のマイニングを実行することで、新規ルールを取得する、
    　処理をコンピュータが実行することを特徴とするルール更新方法。
  11. 　前記受け付ける処理は、前記ユーザ指定として、前記訓練データからいずれかのサンプルデータの指定を受け付ける処理を含み、
    　前記取得する処理は、前記特定する処理で特定された前記サンプルデータと、前記ユーザ指定を受け付けた前記サンプルデータとに限定した訓練データを用いて、前記第２のマイニングを実行する処理を含む、
    　ことを特徴とする請求項１０に記載のルール更新方法。
  12. 　前記訓練データは、正例のラベルが付与されたサンプルデータの集合および負例のラベルが付与されたサンプルデータの集合を含み、
    　前記取得する処理は、前記特定する処理で特定された前記サンプルデータのうち前記正例のラベルが付与されたサンプルデータと、前記負例のラベルが付与されたサンプルデータの集合とを用いて前記第２のマイニングを実行することで、ルールの帰結部が前記正例のクラスに対応する前記新規ルールを取得する処理を含む、
    　ことを特徴とする請求項１０に記載のルール更新方法。
  13. 　前記訓練データは、正例のラベルが付与されたサンプルデータの集合および負例のラベルが付与されたサンプルデータの集合を含み、
    　前記取得する処理は、前記特定する処理で特定された前記サンプルデータのうち前記負例のラベルが付与されたサンプルデータと、前記正例のラベルが付与されたサンプルデータの集合とを用いて前記第２のマイニングを実行することで、ルールの帰結部が前記負例のクラスに対応する前記新規ルールを取得する処理を含む、
    　ことを特徴とする請求項１０に記載のルール更新方法。
  14. 　前記取得する処理は、前記第１のマイニング時に用いられる支持度の下限値よりも小さい支持度の下限値に基づいて、前記第２のマイニングを実行する処理を含む、
    　ことを特徴とする請求項１０に記載のルール更新方法。
  15. 　前記取得する処理は、前記第１のマイニング時に用いられる確信度の下限値よりも小さい確信度の下限値に基づいて、前記第２のマイニングを実行する処理を含む、
    　ことを特徴とする請求項１０に記載のルール更新方法。
  16. 　前記新規ルールを前記ルール集合に追加すると共に、前記ルール集合のうち前記ユーザ指定を受け付けたルールを削除することで、前記ルール集合を更新する処理を前記コンピュータがさらに実行する、
    　ことを特徴とする請求項１０に記載のルール更新方法。
  17. 　前記更新する処理で更新されたルール集合に基づいて前記訓練データを用いた機械学習を実行することで、機械学習モデルを生成する処理を前記コンピュータがさらに実行する、
    　ことを特徴とする請求項１６に記載のルール更新方法。
  18. 　前記生成する処理は、前記更新する処理で更新されたルール集合に含まれるルールの各々を説明変数とし、前記訓練データに付与されたラベルを目的変数とし、各ルールに付与される重みを機械学習により決定することで、前記機械学習モデルを生成する処理を含む、
    　ことを特徴とする請求項１７に記載のルール更新方法。
  19. 　訓練データを用いた第１のマイニングの結果生成されたルール集合に含まれるルールの少なくとも一部に対するユーザ指定を受け付け、
    　前記ユーザ指定を受け付けたルールに対応するサンプルデータを前記訓練データから特定し、
    　前記ユーザ指定を受け付けたルールに対応する前記サンプルデータに限定した訓練データを用いて第２のマイニングを実行することで、新規ルールを取得する、
    　処理を実行する制御部を含むルール更新装置。
  20. 　前記受け付ける処理は、前記ユーザ指定として、前記訓練データからいずれかのサンプルデータの指定を受け付ける処理を含み、
    　前記取得する処理は、前記特定する処理で特定された前記サンプルデータと、前記ユーザ指定を受け付けた前記サンプルデータとに限定した訓練データを用いて、前記第２のマイニングを実行する処理を含む、
    　ことを特徴とする請求項１９に記載のルール更新装置。
PCT/JP2021/001273 2021-01-15 2021-01-15 ルール更新プログラム、ルール更新方法及びルール更新装置 WO2022153486A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
PCT/JP2021/001273 WO2022153486A1 (ja) 2021-01-15 2021-01-15 ルール更新プログラム、ルール更新方法及びルール更新装置
CN202180090417.XA CN116745781A (zh) 2021-01-15 2021-01-15 规则更新程序、规则更新方法以及规则更新装置
JP2022574991A JP7448039B2 (ja) 2021-01-15 2021-01-15 ルール更新プログラム、ルール更新方法及びルール更新装置
EP21919379.4A EP4280119A4 (en) 2021-01-15 2021-01-15 RULE UPDATE PROGRAM, RULE UPDATE METHOD, AND RULE UPDATE DEVICE
US18/337,750 US20230334342A1 (en) 2021-01-15 2023-06-20 Non-transitory computer-readable recording medium storing rule update program, rule update method, and rule update device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/001273 WO2022153486A1 (ja) 2021-01-15 2021-01-15 ルール更新プログラム、ルール更新方法及びルール更新装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/337,750 Continuation US20230334342A1 (en) 2021-01-15 2023-06-20 Non-transitory computer-readable recording medium storing rule update program, rule update method, and rule update device

Publications (1)

Publication Number Publication Date
WO2022153486A1 true WO2022153486A1 (ja) 2022-07-21

Family

ID=82448104

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/001273 WO2022153486A1 (ja) 2021-01-15 2021-01-15 ルール更新プログラム、ルール更新方法及びルール更新装置

Country Status (5)

Country Link
US (1) US20230334342A1 (ja)
EP (1) EP4280119A4 (ja)
JP (1) JP7448039B2 (ja)
CN (1) CN116745781A (ja)
WO (1) WO2022153486A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116682524A (zh) * 2023-07-17 2023-09-01 北京惠每云科技有限公司 病历质控方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08106391A (ja) * 1994-10-04 1996-04-23 Fuji Electric Co Ltd 判別ルール生成方法
JPH11306023A (ja) * 1998-04-20 1999-11-05 Kobe Steel Ltd 知識処理システム
WO2004036496A1 (ja) * 2002-10-18 2004-04-29 Fujitsu Limited ルールベース管理装置およびルールベース管理プログラム
US20200293836A1 (en) * 2019-03-14 2020-09-17 Adobe Inc. Fast And Accurate Rule Selection For Interpretable Decision Sets

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08106391A (ja) * 1994-10-04 1996-04-23 Fuji Electric Co Ltd 判別ルール生成方法
JPH11306023A (ja) * 1998-04-20 1999-11-05 Kobe Steel Ltd 知識処理システム
WO2004036496A1 (ja) * 2002-10-18 2004-04-29 Fujitsu Limited ルールベース管理装置およびルールベース管理プログラム
US20200293836A1 (en) * 2019-03-14 2020-09-17 Adobe Inc. Fast And Accurate Rule Selection For Interpretable Decision Sets

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
SATOSHI HARATAKANORI MAEHARA: "Finding alternate features in lasso", IN NIPS 2016 WORKSHOP ON INTERPRETABLE MACHINE LEARNING FOR COMPLEX SYSTEMS, 2016
SATOSHI HARATAKANORI MAEHARA: "In Proceedings of the Thirty-First AAAI Conference on Artificial Intelligence, AAAI '17", 2017, AAAI PRESS, article "Enumerate lasso solutions for feature selection", pages: 1985 - 1991
See also references of EP4280119A4

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116682524A (zh) * 2023-07-17 2023-09-01 北京惠每云科技有限公司 病历质控方法、装置、电子设备及存储介质
CN116682524B (zh) * 2023-07-17 2024-02-02 北京惠每云科技有限公司 病历质控方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
JP7448039B2 (ja) 2024-03-12
EP4280119A4 (en) 2024-03-13
CN116745781A (zh) 2023-09-12
JPWO2022153486A1 (ja) 2022-07-21
EP4280119A1 (en) 2023-11-22
US20230334342A1 (en) 2023-10-19

Similar Documents

Publication Publication Date Title
Cordón et al. Imbalance: Oversampling algorithms for imbalanced classification in R
JP2019164761A (ja) ラベル付きトレーニングデータの品質向上
Tripathi et al. Naive Bayes classification model for the student performance prediction
US20170052778A1 (en) Updating software based on similarities between endpoints
WO2014186302A2 (en) Predicting behavior using features derived from statistical information
US11550707B2 (en) Systems and methods for generating and executing a test case plan for a software product
CN108960272B (zh) 基于机器学习技术的实体分类
US11869050B2 (en) Facilitating responding to multiple product or service reviews associated with multiple sources
JP2024500464A (ja) 動的ファセットランク付け
WO2022153486A1 (ja) ルール更新プログラム、ルール更新方法及びルール更新装置
Ahmed Wrapper feature selection approach based on binary firefly algorithm for spam e-mail filtering
US20220327394A1 (en) Learning support apparatus, learning support methods, and computer-readable recording medium
JP7225874B2 (ja) モデル出力プログラム、モデル出力方法及びモデル出力装置
US20220180290A1 (en) Using machine learning to assign developers to software defects
US20220292393A1 (en) Utilizing machine learning models to generate initiative plans
CN115221936A (zh) 数据库系统中的记录匹配
CA3040509A1 (en) Mutual neighbors
US20240070658A1 (en) Parsing event data for clustering and classification
JP6594500B2 (ja) 推論データマイニングのための方法およびシステム
WO2023152897A1 (ja) 情報処理プログラム、情報処理装置及び情報処理方法
US11727464B2 (en) Utilizing machine learning models to determine and recommend new releases from cloud providers to customers
JP6979492B2 (ja) エンタープライズリソースプランニングソフトウェアの設定、およびソフトウェア設定についてのカスタマイズされたレポートの生成
US11989678B2 (en) System using artificial intelligence and machine learning to determine an impact of an innovation associated with an enterprise
US11488723B1 (en) Feature prediction
Oleshchenko Software Testing Errors Classification Method Using Clustering Algorithms

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21919379

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022574991

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 202180090417.X

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021919379

Country of ref document: EP

Effective date: 20230816