WO2022074806A1 - 出力制御プログラム、出力制御方法および情報処理装置 - Google Patents

出力制御プログラム、出力制御方法および情報処理装置 Download PDF

Info

Publication number
WO2022074806A1
WO2022074806A1 PCT/JP2020/038216 JP2020038216W WO2022074806A1 WO 2022074806 A1 WO2022074806 A1 WO 2022074806A1 JP 2020038216 W JP2020038216 W JP 2020038216W WO 2022074806 A1 WO2022074806 A1 WO 2022074806A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
value
output
machine learning
estimation
Prior art date
Application number
PCT/JP2020/038216
Other languages
English (en)
French (fr)
Inventor
諒 石崎
Original Assignee
富士通株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士通株式会社 filed Critical 富士通株式会社
Priority to EP20956753.6A priority Critical patent/EP4227865A4/en
Priority to JP2022555213A priority patent/JP7472999B2/ja
Priority to PCT/JP2020/038216 priority patent/WO2022074806A1/ja
Publication of WO2022074806A1 publication Critical patent/WO2022074806A1/ja
Priority to US18/116,308 priority patent/US20230206128A1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/042Knowledge-based neural networks; Logical representations of neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/04Inference or reasoning models
    • G06N5/045Explanation of inference; Explainable artificial intelligence [XAI]; Interpretable artificial intelligence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units

Definitions

  • the present invention relates to an output control program or the like that controls the display of the estimation result of the machine learning model.
  • the reliability of the estimation result may not always be accurate information due to the number and properties of training data used for machine learning of the machine learning model.
  • One aspect is to provide an output control program, an output control method, and an information processing device that can control the output of the estimation result of the machine learning model.
  • the output control program inputs the first data to the machine learning model and causes the computer to execute a process of acquiring the estimation result output by the machine learning model.
  • the output control program inputs the first data into the linear model generated based on the first data and the estimation result.
  • the computer is made to execute the process of acquiring the second value output by the linear model.
  • the output control program causes a computer to execute a process of controlling the output of the estimation result based on the difference between the first value and the second value.
  • the output of the estimation result of the machine learning model can be controlled.
  • FIG. 1 is a diagram illustrating processing of the information processing apparatus according to the first embodiment.
  • FIG. 2 is a diagram illustrating a reference technique for narrowing down measures.
  • FIG. 3 is a functional block diagram showing a functional configuration of the information processing apparatus according to the first embodiment.
  • FIG. 4 is a diagram illustrating an example of a training data set.
  • FIG. 5 is a diagram illustrating an example of an estimated data set.
  • FIG. 6 is a diagram illustrating the estimation process.
  • FIG. 7 is a diagram illustrating a linear model.
  • FIG. 8 is a diagram illustrating an index for the individual a.
  • FIG. 9 is a diagram illustrating an index for the individual b.
  • FIG. 10 is a diagram illustrating selection of a measure target.
  • FIG. 11 is a flowchart showing the flow of processing.
  • FIG. 12 is a diagram illustrating the generation of the measure determination model.
  • FIG. 13 is a diagram illustrating a measure determination using the measure determination model.
  • FIG. 1 is a diagram illustrating the processing of the information processing apparatus 10 according to the first embodiment.
  • the information processing device 10 shown in FIG. 1 is a computer that estimates a large-scale data using a machine learning model and narrows down the target for the user to execute some measures such as re-examination and re-investigation based on the estimation result. This is just one example. That is, the information processing apparatus 10 interprets and presents the estimation result of the machine learning model, which is a black box, from the user's point of view.
  • FIG. 2 is a diagram illustrating a reference technique for narrowing down measures.
  • the reference technique shown in FIG. 2 estimates the deliciousness of wine and executes a process of narrowing down wines with poor estimation results as policy targets.
  • the reference technique generates a machine learning model using the training dataset W.
  • "sweetness variable X, acidity variable Y, mellowness variable Z, and deliciousness variable Q” are set for each individual (lot) of wine.
  • “sweetness variable X, acidity variable Y, mellowness variable Z” are explanatory variables that determine the deliciousness of wine.
  • the “deliciousness variable Q” is an objective variable indicating the deliciousness of wine, and is set, for example, from 3 (bad) to 8 (good).
  • Each piece of wine data becomes training data, and a machine learning model that estimates the taste of wine from each variable of sweetness, acidity, and mellowness is generated.
  • the reference technology inputs each estimation target data (wine individual data) in the unknown data set W2 into the machine learning model and acquires the estimation result of the deliciousness of each wine.
  • the machine learning model outputs "deliciousness estimation Q'" indicating the estimated value of deliciousness and "reliability Cd” indicating the reliability of the estimated value as the estimation result.
  • the individual h, the individual i, and the individual j whose "reliability Cd" is equal to or less than the threshold value are selected as the target of the measure.
  • the manufacturer, sommelier, craftsman, etc. are requested to "estimate the taste” to maintain the taste of the wine and the reliability of the product. It is being maintained.
  • the reliability of estimation results may not always be accurate information, so it is effective to narrow down the target of measures based on reliability alone. Sometimes not.
  • the first threshold value such as a reliability of 50, as a measure target, and a reliability of 70 or the like.
  • it is also effective to select an individual corresponding to the estimation result of high reliability whose reliability is equal to or higher than the second threshold value as exempt from the measure.
  • the second threshold value such as a reliability of 60
  • whether or not the individual corresponds to the estimation result of the medium reliability is subject to the measure based on the reliability alone. Is difficult to choose.
  • the information processing apparatus 10 is a method of approximating the reliability calculated by the machine learning model and the behavior of the machine learning model from pseudo input / output to a linear model (linear regression model: Linear Regression model).
  • An index (evaluation index) for selecting a measure target is generated using the estimated value of, and the measure target is narrowed down by this index.
  • the information processing apparatus 10 generates a machine learning model using a data set including a teacher-owned training data with a label. Subsequently, the information processing apparatus 10 inputs each estimation target data included in the unknown data set into the machine learning model and acquires the estimation result. Then, when the first value included in the estimation result of the first estimation target data is lower than the threshold value, the information processing apparatus 10 uses the linear model generated based on the first estimation target data and the estimation result. The estimation target data of 1 is input, and the second value output by the linear model is acquired. After that, the information processing apparatus 10 controls whether or not to output the first estimation target data as a measure target based on the difference between the first value and the second value.
  • the information processing apparatus 10 uses not only the reliability of the machine learning model but also the value of the linear model that locally approximates the data having the same estimation result on the feature space of the machine learning model. Narrow down the target of measures. As a result, the information processing apparatus 10 can control the output of the estimation result of the machine learning model.
  • FIG. 3 is a functional block diagram showing a functional configuration of the information processing apparatus 10 according to the first embodiment.
  • the information processing apparatus 10 includes a communication unit 11, a storage unit 12, and a control unit 20.
  • the communication unit 11 controls communication with other devices.
  • the communication unit 11 receives various instructions such as an instruction to start machine learning and an instruction to narrow down the target of measures from the administrator terminal, and transmits the result of machine learning and the narrowing down result to the administrator terminal. ..
  • the storage unit 12 stores various data, a program executed by the control unit 20, and the like.
  • the storage unit 12 stores the training data set 13, the estimation target data set 14, the machine learning model 15, and the estimation result 16.
  • the training data set 13 has a plurality of training data used for machine learning of the machine learning model 15.
  • FIG. 4 is a diagram illustrating an example of the training data set 13. As shown in FIG. 4, the training data set 13 has training data composed of “wine, sweetness variable X, acidity variable Y, mellowness variable Z, and deliciousness variable Q”.
  • the "sweetness variable X" is a variable indicating the sweetness of wine
  • the "sourness variable Y” is a variable indicating the acidity of wine
  • the "mellowness variable Z” is a variable indicating the mellowness of wine.
  • These variables are values measured using known techniques and are shown, for example, in 10 steps from the lowest value 1 to the highest value 10.
  • the "deliciousness variable Q” is a variable indicating the deliciousness of wine, and is indicated in, for example, in 10 steps from the lowest value 1 to the highest value 10.
  • the "deliciousness variable Q" may be measured using a known technique, or the result of tasting by a craftsman or the like may be set.
  • sweetness variable X acidity variable Y, mellowness variable Z
  • deliciousness variable Q is an objective variable.
  • the estimation target data set 14 has a plurality of estimation target data to be estimated using the machine learning model 15.
  • FIG. 5 is a diagram illustrating an example of the estimation target data set 14.
  • the estimation target data set 14 has estimation data composed of “wine, sweetness variable X, acidity variable Y, and mellowness variable Z”. Since the information stored here is the same as the information described with reference to FIG. 4, the description thereof will be omitted.
  • the machine learning model 15 is a model generated by machine learning by the information processing device 10.
  • the machine learning model 15 is a model using a deep neural network (DNN: Deep Neural Network) or the like, and other machine learning or deep learning can be adopted.
  • DNN Deep Neural Network
  • the estimation result 16 is an estimation result for the estimation target data set 14. Specifically, the estimation result 16 is an estimation result obtained by inputting each estimation target data of the estimation target data set 14 by the machine learning model 15 generated by machine learning. The details will be described later.
  • the control unit 20 is a processing unit that controls the entire information processing device 10, and has a machine learning unit 21, an estimation unit 22, a linear processing unit 23, and a display control unit 24.
  • the machine learning unit 21 generates the machine learning model 15 by supervised learning using each training data in the training data set 13. That is, the machine learning unit 21 can estimate the "deliciousness variable Q" when the "sweetness variable X, the acidity variable Y, and the mellowness variable Z" are input to the machine learning model 15. Perform machine learning.
  • a known method such as an error back propagation method can be adopted, and a known method such as a least squares error can be adopted as the error.
  • the estimation unit 22 estimates the estimation target data using the machine learning model 15. Specifically, the estimation unit 22 inputs each estimation target data of the estimation target data set 14 into the generated machine learning model 15, acquires an estimation result from the machine learning model 15, and estimates it in the storage unit 12. Store as result 16.
  • the estimation result output by the machine learning model 15 includes "deliciousness estimation Q'” and "reliability Cd” of "deliciousness estimation Q'".
  • FIG. 6 is a diagram illustrating the estimation process.
  • Acquire "reliability Cd 100".
  • the linear processing unit 23 generates a linear model and calculates an index for selecting a measure target. For example, the linear processing unit 23 calculates an index for an individual whose reliability "Cd" of the machine learning model 15 is equal to or greater than the lower threshold and less than the upper threshold.
  • the linear processing unit 23 generates an index by using an algorithm called LIME (Local Interpretable Model-agnostic Explanations), which is independent of the machine learning model 15, the data format, and the structure of the machine learning model 15.
  • LIME Local Interpretable Model-agnostic Explanations
  • this LIMIT when explaining the estimation result (classification result) output by the machine learning model 15 to which the data is input, a linear model in which the output locally approximates the output of the machine learning model 15 in the vicinity of the data. Is generated as an interpretable model of the machine learning model 15.
  • neighborhood data obtained by varying a part of the data features is used.
  • FIG. 7 is a diagram illustrating a linear model.
  • FIG. 7 shows a model of the LIMIT algorithm, and as an example, schematically shows a two-dimensional feature space in which the features are x and y.
  • the region A corresponding to the positive example class in which the deliciousness estimation Q'is estimated to be equal to or higher than the threshold value (for example, 6) and the negative example in which the deliciousness estimation Q'is estimated to be less than the threshold value (for example, 6).
  • Area B corresponding to the class is shown. That is, by using the LIMIT algorithm, a feature space showing the separation boundary surface shown in FIG. 2 is generated.
  • the linear processing unit 23 inputs each estimation target data of the estimation target data set 14 into the machine learning model 15, acquires an estimation result, acquires a feature amount, and uses the feature amount.
  • the feature space shown in FIG. 2 is generated by the LIMIT algorithm.
  • the linear processing unit 23 uses the estimation result of the machine learning model 15 and the linear model to generate an index as a determination material for the measure target. Specifically, the linear processing unit 23 calculates the index using the difference between the "deliciousness estimation Q'" included in the estimation result of the machine learning model 15 and the estimated value obtained by the linear model.
  • index can be expressed locally as a "local substitution ease index” to other mathematical expressions as a degree that can be expressed by a simpler mathematical model (linear property rather than non-linear property).
  • the index can also be expressed as distortion or deviation in a region of the model space automatically generated by the machine learning model 15 that is difficult to approximate linearly, the degree of fit to the linear model, and the like.
  • the estimated value obtained by the linear model is a value normalized in the local region of the feature amount space of the machine learning model 15, and the estimated value of the machine learning model 15 is an empirical value at the time of machine learning. Yes, both are estimated values of two types of machine learning models 15 that can be directly estimated.
  • the indicators that use these differences are "whether it was a simple area that can be expressed by replacing it with another model that is easy to interpret, such as a linear model", and "reliability derived from lack of machine learning experience”. It can be positioned as "normalized” information so that it can be compared by its value even across cases, such as "whether it is not or not” and "is it a difficult discrimination problem even if you have experience in machine learning originally?"
  • FIG. 8 is a diagram illustrating an index for the individual a.
  • FIG. 9 is a diagram illustrating an index for individual b.
  • the linear processing unit 23 calculates an index for each individual for individuals whose reliability "Cd" of the machine learning model 15 is equal to or greater than the lower threshold and less than the upper threshold. , Stored in the storage unit 12, and output to the display control unit 24. The linear processing unit 23 can also calculate an index for all individuals, and can also calculate an index for individuals narrowed down in advance as described above.
  • the display control unit 24 executes display control of the estimation result. For example, among the estimation results by the estimation unit 22, the display control unit 24 selects an individual whose reliability Cd is less than the lower limit threshold value as a measure target, and excludes an individual whose reliability Cd is more than the upper limit threshold value. Select to. Further, the display control unit 24 selects an individual whose reliability Cd is equal to or higher than the lower threshold value and less than the upper limit threshold value as a measure target when the index calculated by the linear processing unit 23 is equal to or higher than the threshold value.
  • the display control unit 24 stores the information about the individual selected as the measure target in the storage unit 12, displays and outputs it to the display unit such as a display, and transmits it to the terminal of the administrator.
  • the information about the individual may be, for example, the estimation target data itself or arbitrary information selected from the estimation target data.
  • FIG. 10 is a diagram for explaining the selection of policy targets.
  • FIG. 10 shows the estimation result estimated by the estimation unit 22 for the estimation target data set 14 shown in FIG.
  • the display control unit 24 determines that the individuals d, e, and f whose reliability Cd is equal to or higher than the upper limit threshold value are not subject to output, that is, are not subject to measures. Further, the display control unit 24 determines that the individuals i and j whose reliability Cd is less than the lower threshold value are output targets, that is, measure targets.
  • the display control unit 24 determines that the individual g and h whose reliability Cd is less than the upper limit threshold value and equal to or higher than the lower limit threshold value are candidate measures, and refers to the index Cl calculated by the linear processing unit 23.
  • the index Cl_g of the individual g is "1.2”
  • the index Cl_h of the individual h is "0.3”
  • the index Cl_g "1.2" of the individual g is the threshold value "1.2”. It is determined that the value is 0.8 "or higher.
  • the display control unit 24 determines the individual g as the target of the measure.
  • the display control unit 24 displays and outputs information regarding the individuals g, i, and j determined to be the target of the measure.
  • the target of the measure is just an example, and it is possible to simply determine whether or not the target is a display output target or a transmission target.
  • the example of judging by the threshold value of 3 steps has been described, it is only an example, and it is possible to judge by an arbitrary threshold value such as 2 steps, and it is also possible to arbitrarily set which step is judged by the index. ..
  • FIG. 11 is a flowchart showing the flow of processing.
  • the machine learning unit 21 when the start of processing is instructed (S101: Yes), the machine learning unit 21 generates a machine learning model 15 by machine learning using the training data set 13 (S102).
  • the estimation unit 22 executes estimation of the estimation target data using the machine learning model 15 and generates an estimation result 16 (S103). Then, the linear processing unit 23 determines the measure target and extracts the measure candidate by using the estimated value and the reliability output by the machine learning model 15 (S104).
  • the linear processing unit 23 generates a linear model for the measure candidate (S105) and generates an index for narrowing down the measure candidate (S106).
  • the display control unit 24 determines the measure target using the index (S107), and displays and outputs the determined measure target (S108).
  • the information processing apparatus 10 can execute the narrowing down not only by using the reliability of the machine learning model 15 but also by using the estimated value of the linear model. Therefore, the reliability of the machine learning model 15 is used to determine the narrowing down. The reason why the degree becomes small can be indirectly interpreted and added. As a result, the information processing apparatus 10 can perform appropriate narrowing down as compared with the case where only the reliability of the machine learning model 15 is used.
  • the information processing apparatus 10 determines that the linear regression cannot be approximated well and the space is distorted. That is, the information processing apparatus 10 has a large number of cases when a model around it was created during machine learning, but it is determined that it is an area where difficult discrimination is required, and it is relatively scrutinized by measures (re-inspection). Since it does not deviate from the desired purpose, it is decided as a measure (subject to re-examination).
  • the information processing apparatus 10 determines that the approximation to the linear regression is relatively good and the space is not distorted. That is, although the information processing apparatus 10 is an area where the reliability is low and difficult discrimination is required, it is determined that the expected degree of machine learning is executed and the element of the degree of reliability is included, and the measure (re-inspection) is taken. Exclude from the target.
  • the information processing apparatus 10 performs a two-step determination process of determining the measure target using the reliability of the machine learning model 15 and determining the measure target using the index based on the estimated value of the linear model. Therefore, the target of measures can be appropriately selected.
  • the determination of the measure target by the index can be made by comparison with the threshold value set arbitrarily, but the measure judgment model generated by machine learning can also be used. Therefore, in the second embodiment, the generation of the measure judgment model and the judgment by the measure judgment model will be described.
  • FIG. 12 is a diagram illustrating the generation of the measure determination model.
  • “individual d, individual e, individual f, individual g, individual h, individual i, individual j” exist as estimation target data, and for each individual, "sweetness variable X, acidity variable Y, mellowness variable Z" exists. Is preset. Then, the estimation unit 22 executes estimation using the machine learning model 15 for each individual, sets the “deliciousness estimation Q'", and the linear processing unit 23 calculates the index "index Cl”. Is set.
  • the machine learning unit 21 has selected the "individual” as the target of the measure from the estimation target data "individual d, individual e, individual f, individual g, individual h, individual i, individual j".
  • “g, individual h, individual i, individual j” "user re-inspection history” which is information on whether or not the measure was actually taken is acquired.
  • FIG. 12 it is shown that "Yes” is acquired for the individual g, "No” is acquired for the individual h, “No” is acquired for the individual i, and “Yes” is acquired for the individual j. .. That is, it indicates that measures such as re-examination have been executed for the individual g and the individual j.
  • the machine learning unit 21 executes machine learning using each of the "individual g, individual h, individual i, individual j" that is the target of the measure as training data. Specifically, the machine learning unit 21 sets "sweetness variable X, acidity variable Y, mellowness variable Z, deliciousness estimation Q', reliability Cd, index Cl" as explanatory variables, and "user re-examination history”.
  • a measure judgment model is generated by executing machine learning as an objective variable. In this way, a measure determination model for estimating the necessity of user operation is generated.
  • FIG. 13 is a diagram for explaining the measure determination using the measure determination model.
  • the control unit 20 acquires "individual d2, individual e2, individual f2, individual g2, individual h2, individual i2, individual j2" as new estimation target data.
  • "sweetness variable X, acidity variable Y, mellowness variable Z" are set for each individual.
  • the estimation unit 22 inputs "sweetness variable X, acidity variable Y, mellowness variable Z" of each of these new estimation target data into the machine learning model 15, and as an estimation result, "deliciousness estimation Q', reliability. Degree Cd ”is acquired.
  • the linear processing unit 23 identifies "individual g2, individual h2, individual i2, individual j2" whose reliability Cd is less than the threshold value as measure candidates, and after executing generation of a linear model for each measure candidate, The index Cl is calculated.
  • the index Cl is calculated.
  • an example in which "0.3, 1.2, 0.5, 1.1” is calculated for "individual g2, individual h2, individual i2, individual j2" is shown.
  • the display control unit 24 sets the "sweetness variable X, acidity variable Y, mellowness variable Z, deliciousness estimation Q', reliability Cd," for each of the measure candidates "individual g2, individual h2, individual i2, individual j2".
  • "Index Cl” is input to the measure judgment model, and the estimation result "re-inspection target” is acquired.
  • the information processing apparatus 10 can generate a measure determination model by machine learning using the past history and automatically determine whether or not it is a measure target, so that the habits and characteristics of the craftsman can be determined. Machine learning can be performed, and the accuracy of selecting measures can be improved.
  • an example in which "sweetness variable X, acidity variable Y, mellowness variable Z, deliciousness estimation Q', reliability Cd, index Cl" is used as an explanatory variable has been described, but it can be set arbitrarily. can.
  • “sweetness variable X, acidity variable Y, mellowness variable Z, deliciousness estimation Q', reliability Cd" are used as explanatory variables, the calculation cost of the index can be reduced and the calculation time can be shortened.
  • the data example, numerical example, threshold value, display example, number of dimensions of the feature space, specific example, etc. used in the above embodiment are merely examples and can be arbitrarily changed.
  • the training data image data, audio data, time series data and the like can be used, and the machine learning model 15 can also be used for image classification and various analyzes.
  • the machine learning model 15 is not limited to DNN, and other models such as CNN (Convolution Neural Network) can be adopted.
  • the linear processing unit 23 is not limited to LIME, and other algorithms such as K-LIME or LIME-SUP can be adopted.
  • each component of each device shown in the figure is a functional concept, and does not necessarily have to be physically configured as shown in the figure. That is, the specific form of distribution or integration of each device is not limited to the one shown in the figure. That is, all or a part thereof can be functionally or physically distributed / integrated in any unit according to various loads, usage conditions, and the like.
  • each processing function performed by each device may be realized by a CPU and a program analyzed and executed by the CPU, or may be realized as hardware by wired logic.
  • FIG. 14 is a diagram illustrating a hardware configuration example.
  • the information processing device 10 includes a communication device 10a, an HDD (Hard Disk Drive) 10b, a memory 10c, and a processor 10d. Further, the parts shown in FIG. 14 are connected to each other by a bus or the like.
  • HDD Hard Disk Drive
  • the communication device 10a is a network interface card or the like, and communicates with other devices.
  • the HDD 10b stores a program or DB that operates the function shown in FIG.
  • the processor 10d reads a program that executes the same processing as each processing unit shown in FIG. 3 from the HDD 10b or the like and expands the program into the memory 10c to operate a process that executes each function described in FIG. 3 or the like. For example, this process executes the same function as each processing unit of the information processing apparatus 10. Specifically, the processor 10d reads a program having the same functions as the machine learning unit 21, the estimation unit 22, the linear processing unit 23, the display control unit 24, and the like from the HDD 10b and the like. Then, the processor 10d executes a process of executing the same processing as the machine learning unit 21, the estimation unit 22, the linear processing unit 23, the display control unit 24, and the like.
  • the information processing device 10 operates as an information processing device that executes an output control method by reading and executing a program. Further, the information processing apparatus 10 can realize the same function as that of the above-described embodiment by reading the program from the recording medium by the medium reader and executing the read program.
  • the program referred to in the other embodiment is not limited to being executed by the information processing apparatus 10.
  • the present invention can be similarly applied when other computers or servers execute programs, or when they execute programs in cooperation with each other.
  • This program can be distributed via networks such as the Internet.
  • this program is recorded on a computer-readable recording medium such as a hard disk, flexible disk (FD), CD-ROM, MO (Magneto-Optical disk), DVD (Digital Versatile Disc), and is recorded from the recording medium by the computer. It can be executed by being read.
  • Information processing device 11 Communication unit 12 Storage unit 13 Training data set 14 Estimated target data set 15 Machine learning model 16 Estimated result 20 Control unit 21 Machine learning unit 22 Estimating unit 23 Linear processing unit 24 Display control unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Feedback Control In General (AREA)

Abstract

情報処理装置は、第1のデータを機械学習モデルに入力し、前記機械学習モデルが出力する推定結果を取得する。続いて、この情報処理装置は、推定結果に含まれる第1の値が閾値より低い場合、第1のデータと推定結果とに基づいて生成された線形モデルに第1のデータを入力して、線形モデルが出力する第2の値を取得する。その後、この情報処理装置は、第1の値と第2の値との差分に基づいて、推定結果の出力を制御する。

Description

出力制御プログラム、出力制御方法および情報処理装置
 本発明は、機械学習モデルの推定結果の表示制御を行う出力制御プログラム等に関する。
 深層学習(Deep Learning:DL)などの機械学習を用いた機械学習モデルの推定結果に対して、再度の機械学習の実行やユーザによる推定結果の検証などの施策が行われることがある。一方で、機械学習モデルは、高精度ではあるが、内部構造等が複雑であることから、推定理由を解釈することが困難である。近年では、機械学習モデルが推定対象のデータの入力に応じて出力する推定結果のうち、機械学習モデルが出力した推定結果の信頼度が低い推定結果を施策対象として選択する技術が知られている。
Marco Tulio Rebeiro,et al、「"Why Should I Trust You?"Explaining the Predictions of Any Classifier」、arXiv:1602.04938v3、2016年8月16日
 しかしながら、上記技術では、機械学習モデルの機械学習に利用された訓練データの数や性質などにより、推定結果の信頼度が必ずしも精度のよい情報ではないことがある。
 一つの側面では、機械学習モデルの推定結果の出力を制御できる出力制御プログラム、出力制御方法および情報処理装置を提供することを目的とする。
 第1の案では、出力制御プログラムは、第1のデータを機械学習モデルに入力し、前記機械学習モデルが出力する推定結果を取得する処理をコンピュータに実行させる。出力制御プログラムは、前記推定結果に含まれる第1の値が閾値より低い場合、前記第1のデータと前記推定結果とに基づいて生成された線形モデルに前記第1のデータを入力して、前記線形モデルが出力する第2の値を取得する処理をコンピュータに実行させる。出力制御プログラムは、前記第1の値と前記第2の値との差分に基づいて、前記推定結果の出力を制御する処理をコンピュータに実行させる。
 一実施形態によれば、機械学習モデルの推定結果の出力を制御できる。
図1は、実施例1にかかる情報処理装置の処理を説明する図である。 図2は、施策に関する絞り込みの参考技術を説明する図である。 図3は、実施例1にかかる情報処理装置の機能構成を示す機能ブロック図である。 図4は、訓練データセットの一例を説明する図である。 図5は、推定データセットの一例を説明する図である。 図6は、推定処理を説明する図である。 図7は、線形モデルを説明する図である。 図8は、個体aに対する指標について説明する図である。 図9は、個体bに対する指標について説明する図である。 図10は、施策対象の選定を説明する図である。 図11は、処理の流れを示すフローチャートである。 図12は、施策判定モデルの生成を説明する図である。 図13は、施策判定モデルを用いた施策判定を説明する図である。 図14は、ハードウェア構成例を説明する図である。
 以下に、本発明にかかる出力制御プログラム、出力制御方法および情報処理装置の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。また、各実施例は、矛盾のない範囲内で適宜組み合わせることができる。
 図1は、実施例1にかかる情報処理装置10の処理を説明する図である。図1に示す情報処理装置10は、大規模データに対して機械学習モデルを用いて推定し、推定結果に対して、再検査や再調査などユーザが何かしらの施策を実行する対象を絞り込むコンピュータの一例である。つまり、情報処理装置10は、ブラックボックスである機械学習モデルの推定結果を、ユーザ視点で解釈して提示する。
 ここで、推定結果に対して施策対象の絞り込みを行う参考技術について説明する。図2は、施策に関する絞り込みの参考技術を説明する図である。図2に示す参考技術は、一例として、ワインの美味しさを推定し、推定結果が良くないワインを施策対象として絞り込む処理を実行する。
 具体的には、参考技術は、訓練用のデータセットWを用いて機械学習モデルを生成する。訓練用のデータセットWには、ワインの個体(ロット)ごとに「甘味変数X、酸味変数Y、まろやかさ変数Z、おいしさ変数Q」が設定される。ここで、「甘味変数X、酸味変数Y、まろやかさ変数Z」は、ワインの美味しさを決める説明変数である。「おいしさ変数Q」は、ワインのおいしさを示す目的変数であり、例えば3(まずい)から8(良い)で設定される。なお、ワインの個体ごとのデータそれぞれが訓練データとなり、甘味、酸味、まろやかさの各変数からワインのおいしさを推定する機械学習モデルが生成される。
 機械学習モデルが生成されると、参考技術は、未知のデータセットW2内の各推定対象データ(ワイン個体データ)を機械学習モデルに入力して、各ワインのおいしさの推定結果を取得する。このとき、機械学習モデルは、推定結果として、おいしさの推定値を示す「おいしさ推定Q´」と推定値の信頼度を示す「信頼度Cd」を出力する。
 そして、参考技術では、「おいしさ推定Q´」に関わらず、「信頼度Cd」が閾値以下である個体h、個体i、個体jを施策対象として選択する。その後、選択された個体h、個体i、個体jの各ワインについて、製造者、ソムリエ、職人などに「おいしさ推定」の依頼を行うことで、ワインの味の維持を図り、製品の信頼性維持が図られている。
 しかし、機械学習モデルの機械学習に利用された訓練データの数や性質などにより、推定結果の信頼度が必ずしも精度のよい情報ではないことがあり、信頼度だけで施策対象を絞り込むことが有効ではないことがある。
 例えば、信頼度が50などのように、信頼度が第1の閾値未満である低信頼度の推定結果に該当する個体を施策対象として選択することは有効であり、信頼度が70などのように、信頼度が第2の閾値以上である高信頼度の推定結果に該当する個体を施策対象外として選択することも有効である。ところが、信頼度が60などのように、信頼度が第1の閾値以上かつ第2の閾値未満ある中信頼度の推定結果に該当する個体については、信頼度だけでは施策対象とするか否かを選択することが難しい。なぜなら、機械学習モデルの訓練時の状況により、このような中程度の信頼度である個体が多く発生することが予想でき、これらをすべて施策対象とすると、施策に膨大な時間がかかる一方で、すべてを施策対象外とすると、信頼性の低い推定結果が含まれることもある。このため、施策不要なデータが施策対象として選択されることもあり、施策にかかる時間が増大する。特に、推定結果の信頼度が低いデータが大量にある場合には、精度が低く、さらには施策の絞り込みに膨大な時間がかかる。
 そこで、実施例1にかかる情報処理装置10は、機械学習モデルが算出する信頼度と、機械学習モデルの振る舞いを疑似的な入出力から線形モデル(線形回帰モデル:Linear Regressionモデル)に近似する手法の推定値とを用いて、施策対象に選択するための指標(評価指標)を生成し、この指標により施策対象の絞り込みを実行する。
 具体的には、図1に示すように、情報処理装置10は、ラベルが設定された教師有の訓練データを含むデータセットを用いて、機械学習モデルを生成する。続いて、情報処理装置10は、未知のデータセットに含まれる各推定対象データを、機械学習モデルに入力して、推定結果を取得する。そして、情報処理装置10は、第1の推定対象データの推定結果に含まれる第1の値が閾値より低い場合、第1の推定対象データと推定結果とに基づいて生成された線形モデルに第1の推定対象データを入力して、線形モデルが出力する第2の値を取得する。その後、情報処理装置10は、第1の値と第2の値との差分に基づいて、第1の推定対象データを施策対象として出力するか否かを制御する。
 このように、情報処理装置10は、機械学習モデルの信頼度だけでなく、機械学習モデルの特徴空間上で推定結果が同じであるデータを局所的に近似させた線形モデルの値を用いて、施策対象の絞り込みを実行する。この結果、情報処理装置10は、機械学習モデルの推定結果の出力を制御できる。
 図3は、実施例1にかかる情報処理装置10の機能構成を示す機能ブロック図である。図3に示すように、情報処理装置10は、通信部11、記憶部12、制御部20を有する。
 通信部11は、他の装置との間の通信を制御する。例えば、通信部11は、管理者端末から、機械学習の開始指示などの各種指示や施策対象の絞り込みの指示などを受信し、管理者端末に対して、機械学習の結果や絞り込み結果を送信する。
 記憶部12は、各種データや制御部20が実行するプログラムなどを記憶する。例えば、記憶部12は、訓練データセット13、推定対象データセット14、機械学習モデル15、推定結果16を記憶する。
 訓練データセット13は、機械学習モデル15の機械学習に利用される複数の訓練データを有する。図4は、訓練データセット13の一例を説明する図である。図4に示すように、訓練データセット13は、「ワイン、甘味変数X、酸味変数Y、まろやかさ変数Z、おいしさ変数Q」から構成される訓練データを有する。
 「甘味変数X」は、ワインの甘味を示す変数であり、「酸味変数Y」は、ワインの酸味を示す変数であり、「まろやかさ変数Z」は、ワインのまろやかさを示す変数である。これらの変数は、公知の技術を用いて測定される値であり、例えば最も低い値1から最も高い値10までの10段階で示される。「おいしさ変数Q」は、ワインのおいしさを示す変数であり、例えば最も低い値1から最も高い値10までの10段階で示される。なお、「おいしさ変数Q」は、公知の技術を用いて測定されてもよく、職人等が試飲した結果を設定してもよい。
 ここで、機械学習において、「甘味変数X、酸味変数Y、まろやかさ変数Z」は、説明変数であり、「おいしさ変数Q」は、目的変数となる。図4の例では、個体aのワインについては、「甘味変数X=3、酸味変数Y=7、まろやかさ変数Z=2、おいしさ変数Q=8」が設定されており、個体bのワインについては、「甘味変数X=3、酸味変数Y=7、まろやかさ変数Z=8、おいしさ変数Q=3」が設定されている。つまり、個体aの方が個体bよりもおいしいワインである。
 推定対象データセット14は、機械学習モデル15を用いて推定する対象である複数の推定対象データを有する。図5は、推定対象データセット14の一例を説明する図である。図5に示すように、推定対象データセット14は、「ワイン、甘味変数X、酸味変数Y、まろやかさ変数Z」から構成される推定データを有する。なお、ここで記憶される情報は、図4で説明した情報と同一なので、説明を省略する。図5の例では、推定対象データである個体aについて、「甘味変数X=7、酸味変数Y=3、まろやかさ変数Z=8」が設定されている。
 機械学習モデル15は、情報処理装置10による機械学習により生成されるモデルである。例えば、機械学習モデル15は、ディープニューラルネットワーク(DNN:Deep Neural Network)などを用いたモデルであり、他の機械学習や深層学習を採用することができる。
 推定結果16は、推定対象データセット14に対する推定結果である。具体的には、推定結果16は、推定対象データセット14の各推定対象データを、機械学習により生成された機械学習モデル15により入力して得られる推定結果である。なお、詳細については後述する。
 制御部20は、情報処理装置10全体を司る処理部であり、機械学習部21、推定部22、線形処理部23、表示制御部24を有する。
 機械学習部21は、訓練データセット13を用いた機械学習により、機械学習モデル15を生成する。例えば、機械学習部21は、訓練データ「個体a、甘味変数X=3、酸味変数Y=7、まろやかさ変数Z=2、おいしさ変数Q=8」を訓練データセット13から取得する。そして、機械学習部21は、「甘味変数X=3、酸味変数Y=7、まろやかさ変数Z=2」を機械学習モデル15に入力し、機械学習モデル15の出力結果を取得する。その後、機械学習部21は、出力結果と目的変数「おいしさ変数Q=8」との誤差が小さくなるように、機械学習モデルの機械学習を実行する。
 このようにして、機械学習部21は、訓練データセット13内の各訓練データを用いた教師有学習によって機械学習モデル15を生成する。すなわち、機械学習部21は、「甘味変数X、酸味変数Y、まろやかさ変数Z」を機械学習モデル15に入力したときに、「おいしさ変数Q」を推定できるように、機械学習モデル15の機械学習を実行する。なお、機械学習の手法は、誤差逆伝播法などの公知の手法を採用することができ、誤差も最小二乗誤差など公知の手法を採用することができる。
 推定部22は、機械学習モデル15を用いて、推定対象データの推定を実行する。具体的には、推定部22は、推定対象データセット14の各推定対象データを、生成された機械学習モデル15に入力して、機械学習モデル15から推定結果を取得し、記憶部12に推定結果16として格納する。ここで、機械学習モデル15が出力する推定結果には、「おいしさ推定Q´」と「おいしさ推定Q´」の「信頼度Cd」とが含まれる。なお、「おいしさ推定Q´」は、いわゆる推定値であり、「Qd=predFromDLmodel(X,Y,Z)」で算出される。また、「信頼度Cd」は、DNNが出力するsoftmaxの値を用いることができる。
 図6は、推定処理を説明する図である。図6に示すように、推定部22は、個体dの「甘味変数X=7、酸味変数Y=3、まろやかさ変数Z=8」を機械学習モデル15に入力し、「おいしさ推定Q´=8」と「信頼度Cd=100」を取得する。同様に、推定部22は、個体eの「甘味変数X=3、酸味変数Y=7、まろやかさ変数Z=2」を機械学習モデル15に入力し、「おいしさ推定Q´=8」と「信頼度Cd=100」を取得する。また、推定部22は、個体fの「甘味変数X=3、酸味変数Y=7、まろやかさ変数Z=8」を機械学習モデル15に入力し、「おいしさ推定Q´=3」と「信頼度Cd=80」を取得する。このようにして、推定部22は、推定結果16を生成する。
 線形処理部23は、線形モデルを生成して、施策対象を選択するための指標を算出する。例えば、線形処理部23は、機械学習モデル15の信頼度「Cd」が下限の閾値以上かつ上限の閾値未満である個体について、指標を算出する。なお、後述する表示制御部24では、機械学習モデル15により得られる信頼度と、線形処理部23により生成される指標との2つの情報を用いて、施策対象の絞り込みが実行される。
 まず、線形モデルについて説明する。一例として、線形処理部23は、機械学習モデル15やデータの形式、機械学習モデル15の構造に非依存であるLIME(Local Interpretable Model-agnostic Explanations)と呼ばれるアルゴリズムを用いて指標を生成する。このLIMEでは、データが入力された機械学習モデル15が出力する推定結果(分類結果)を説明する際、データの近傍において機械学習モデル15の出力との間で出力が局所的に近似する線形モデルが機械学習モデル15を解釈可能なモデルとして生成される。このような線形モデルの生成には、データの特徴量の一部を変動させることにより得られる近傍データが用いられる。
 図7は、線形モデルを説明する図である。この図7は、LIMEのアルゴリズムを模型的に示しており、一例として、特徴量がxとyの2次元の特徴量空間を模式的に示している。図2では、おいしさ推定Q´が閾値(例えば6)以上と推定された正例のクラスに対応する領域Aと、おいしさ推定Q´が閾値(例えば6)未満と推定された負例のクラスに対応する領域Bとが示されている。すなわち、LIMEのアルゴリズムを用いることで、図2に示す分離境界面が示される特徴量空間が生成される。
 ここで、例えば、線形処理部23は、推定対象データセット14の各推定対象データを機械学習モデル15に入力して、推定結果を取得するとともに、特徴量を取得して、特徴量を用いてLIMEアルゴリズムにより図2に示す特徴量空間を生成する。
 続いて、線形処理部23は、正例と推定された個体aについて、特徴量空間上で個体aから所定距離に位置する推定対象データを近隣データとしいて取得する。そして、線形処理部23は、個体aと近隣データとを用いて、個体aの周辺に限り有効であり、個体aの周辺データの推定を解釈可能に表現した線形モデル「Ql_a=3X+10Y+100Z+6」を生成する。
 同様に、線形処理部23は、負例と推定された個体bについて、特徴量空間上で個体bから所定距離に位置する推定対象データを近隣データとしいて取得する。そして、線形処理部23は、個体bと近隣データとを用いて、個体bの周辺に限り有効であり、個体bの周辺データの推定を解釈可能に表現した線形モデル「Ql_b=-5X-2Y+100Z+8」を生成する。このように、線形処理部23は、個体(事例)ごとに、特徴空間で近接するデータを用いて線形モデルを生成する。
 次に、施策対象の絞り込みのための情報となる指標について説明する。線形処理部23は、機械学習モデル15の推定結果と線形モデルとを用いて、施策対象の判定材料となる指標を生成する。具体的には、線形処理部23は、機械学習モデル15の推定結果に含まれる「おいしさ推定Q´」と、線形モデルにより得られる推定値との差分を用いて当該指標を算出する。
 ここで、指標について説明する。この指標は、局所において、より単純な数式モデル(非線形性質より線形性質など)で表現できる度合として、他数学表現への「局所的置換容易性指標」などと表現できる。なお、指標は、機械学習モデル15が自動で生成するモデルの空間のうち線形に近似が難しい領域のひずみやずれ、線形モデルへの当てはまり度などとも表現できる。このように、線形モデルで得られる推定値は、機械学習モデル15の特徴量空間の局所領域内で正規化された値であり、機械学習モデル15の推定値は、機械学習時の経験値であり、いずれも直接推定できる2種類の機械学習モデル15の推定値である。したがって、これらの差を用いる指標は、「線形モデルなどの解釈しやすい他のモデルに置き換えて表現できる単純な領域だったかどうか」、「機械学習の経験が足りなかったことに由来する信頼度なのか、そうでないのか」、「もともと機械学習の経験を積んでも難しい判別問題か」など、事例をまたがってもその値で比較できるよう「正規化」した情報と位置付けることができる。
 次に、上記個体a、個体bのそれぞれについて上記指標の算出を説明する。図8は、個体aに対する指標について説明する図である。図8に示すように、線形処理部23は、推定対象データセット14から、個体aのデータ「甘味変数X=3、酸味変数Y=7、まろやかさ変数Z=2」を取得する。そして、線形処理部23は、個体aの機械学習モデル15による推定値「Qd_a=predFromDLmodel(3,7,2)」を取得する。また、線形処理部23は、個体aに対する線形モデルの式(1)である「Ql_a=3X+10Y+100Z+6」に各変数値を代入して「Ql_a=3×3+10×7+100×2+6」を算出する。その後、線形処理部23は、式(2)により、指標「Cl_a」を「Cl_a=((Qd_a-Ql_a)の2乗)」として算出する。
 図9は、個体bに対する指標について説明する図である。図9に示すように、線形処理部23は、推定対象データセット14から、個体bのデータ「甘味変数X=3、酸味変数Y=7、まろやかさ変数Z=8」を取得する。そして、線形処理部23は、個体bの機械学習モデル15による推定値「Qd_b=predFromDLmodel(3,7,8)」を取得する。また、線形処理部23は、個体bに対する線形モデルの式(3)である「Ql_b=-5X-2Y+100Z+8」に各変数値を代入して「Ql_b=-5×3-2×7+100×8+8」を算出する。その後、線形処理部23は、式(4)により、指標「Cl_b」を「Cl_b=((Qd_b-Ql_b)の2乗)」として算出する。
 上述した指標の算出手法を用いて、線形処理部23は、機械学習モデル15の信頼度「Cd」が下限の閾値以上かつ上限の閾値未満である個体について、各個体についての指標を算出して、記憶部12に格納し、表示制御部24に出力する。なお、線形処理部23は、すべての個体について指標を算出することもでき、上述したように予め絞り込んだ個体について指標を算出することもできる。
 表示制御部24は、推定結果の表示制御を実行する。例えば、表示制御部24は、推定部22による推定結果のうち、信頼度Cdが下限の閾値未満の個体については施策対象に選択し、信頼度Cdが上限の閾値以上の個体については施策対象外に選択する。また、表示制御部24は、信頼度Cdが下限の閾値以上かつ上限の閾値未満の個体については、線形処理部23により算出された指標が閾値以上である場合に、施策対象に選択する。
 そして、表示制御部24は、施策対象に選択した個体に関する情報を、記憶部12に記憶し、ディスプレイなどの表示部に表示出力し、管理者の端末に送信する。なお、個体に関する情報とは、例えば推定対象データそのものであってもよく、推定対象データから選択した任意の情報であってもよい。
 図10は、施策対象の選定を説明する図である。図10には、推定部22が図5に示した推定対象データセット14に対して推定した推定結果を示している。図10に示すように、表示制御部24は、信頼度Cdが上限の閾値以上である個体d、e、fについては、出力対象外すなわち施策対象外と決定する。また、表示制御部24は、信頼度Cdが下限の閾値未満である個体i、jについては、出力対象すなわち施策対象と決定する。
 そして、表示制御部24は、信頼度Cdが上限の閾値未満かつ下限の閾値以上である個体g、hについては、施策候補と判定し、線形処理部23が算出した指標Clを参照する。ここで、表示制御部24は、個体gの指標Cl_gが「1.2」であり、個体hの指標Cl_hが「0.3」であり、個体gの指標Cl_g「1.2」が閾値「0.8」以上であると判定する。そして、表示制御部24は、個体gを施策対象と決定する。
 この結果、表示制御部24は、施策対象と決定された個体g、i、jに関する情報を表示出力する。なお、施策対象はあくまで一例であり、単に表示出力の対象や送信対象とするか否かを判定することもできる。また、3段階の閾値で判定する例を説明したが、あくまで一例であり、2段階などの任意の閾値で判定することもでき、どの段階を指標により判定するかは任意に設定することもできる。
 次に、上述した施策対象の決定および表示出力に関する処理の流れを説明する。図11は、処理の流れを示すフローチャートである。図11に示すように、処理開始が指示されると(S101:Yes)、機械学習部21は、訓練データセット13を用いた機械学習により、機械学習モデル15を生成する(S102)。
 続いて、推定部22は、機械学習モデル15を用いて、推定対象データの推定を実行し、推定結果16を生成する(S103)。そして、線形処理部23は、機械学習モデル15が出力する推定値と信頼度とを用いて、施策対象を決定するとともに、施策候補を抽出する(S104)。
 そして、線形処理部23は、施策候補に対して、線形モデルを生成して(S105)、施策候補を絞り込むための指標を生成する(S106)。その後、表示制御部24は、指標を用いて施策対象を決定し(S107)、決定した施策対象を表示出力する(S108)。
 上述したように、情報処理装置10は、機械学習モデル15の信頼度だけではなく、線形モデルの推定値を用いて絞り込みを実行することができるので、絞り込みの判断に、機械学習モデル15の信頼度が小さくなる理由を間接的に解釈して加味することができる。この結果、情報処理装置10は、機械学習モデル15の信頼度のみを用いる場合と比較して、適切な絞り込みを実行することができる。
 例えば、機械学習モデル15の信頼度が中程度の個体について、ユーザ手動により、施策対象とするか否かを判断することが難しい。中程度の個体すべてを施策対象とすると、施策対象が増大して施策に関するコストが増大し、中程度の個体すべてを施策対象外とすると、個体の品質低下が懸念される。
 ここで、情報処理装置10は、指標の値が閾値以上である場合、線形回帰に近似がよくできず、空間がひずんでいると判定する。すなわち、情報処理装置10は、機械学習時にその周辺のモデルが作られたときの事例数は多かったが、難しい判別を迫られる領域であると判定し、相対的に施策(再検査)により精査したい目的から外れないので、施策(再検査対象)と決定する。
 一方、情報処理装置10は、指標の値が閾値未満である場合、線形回帰への近似は比較的できており、空間がひずんでいないと判定する。すなわち、情報処理装置10は、信頼度が低く難しい判別を迫られる領域であるものの、期待できる程度の機械学習が実行されて信頼できる程度の要素が含まれると判定し、施策(再検査)の対象から除外する。
 このように、情報処理装置10は、機械学習モデル15の信頼度を用いた施策対象の決定と、線形モデルの推定値に基づく指標を用いた施策対象の決定の2段階の決定処理を行うことで、施策対象を適切に選定することができる。
 ところで、指標による施策対象の判定は、任意に設定した閾値との比較により判定することもできるが、機械学習により生成された施策判定モデルを用いることもできる。そこで、実施例2では、施策判定モデルの生成と施策判定モデルによる判定を説明する。
 図12は、施策判定モデルの生成を説明する図である。ここでは、推定対象データとして「個体d、個体e、個体f、個体g、個体h、個体i、個体j」が存在し、各個体については「甘味変数X、酸味変数Y、まろやかさ変数Z」が予め設定されている。そして、推定部22により、各個体に対して機械学習モデル15を用いた推定が実行されて「おいしさ推定Q´」が設定され、線形処理部23により、指標が算出された「指標Cl」が設定される。
 このような状態において、機械学習部21は、推定対象データである「個体d、個体e、個体f、個体g、個体h、個体i、個体j」のうち、施策対象として選択された「個体g、個体h、個体i、個体j」に対して、実際に施策が行われたか否かの情報である「ユーザ再検査履歴」を取得する。図12の例では、個体gに対して「Yes」、個体hに対して「No」、個体iに対して「No」、個体jに対して「Yes」が取得されたことを示している。つまり、個体gと個体jについて、再検査などの施策が実行されたことを示している。
 その後、機械学習部21は、施策対象である「個体g、個体h、個体i、個体j」それぞれを訓練データとして機械学習を実行する。具体的には、機械学習部21は、「甘味変数X、酸味変数Y、まろやかさ変数Z、おいしさ推定Q´、信頼度Cd、指標Cl」を説明変数、「ユーザの再検査履歴」を目的変数とする機械学習を実行することにより、施策判定モデルを生成する。このようにして、ユーザ操作の必要性を推定する施策判定モデルが生成される。
 図13は、施策判定モデルを用いた施策判定を説明する図である。図13に示すように、制御部20は、新たな推定対象データとして「個体d2、個体e2、個体f2、個体g2、個体h2、個体i2、個体j2」を取得する。なお、各個体には、「甘味変数X、酸味変数Y、まろやかさ変数Z」が設定されている。そして、推定部22は、これらの新たな推定対象データそれぞれの「甘味変数X、酸味変数Y、まろやかさ変数Z」を機械学習モデル15に入力して推定結果として「おいしさ推定Q´、信頼度Cd」を取得する。
 そして、線形処理部23は、信頼度Cdが閾値未満である「個体g2、個体h2、個体i2、個体j2」を施策候補に特定し、各施策候補について、線形モデルの生成を実行した後に、指標Clを算出する。ここでは、「個体g2、個体h2、個体i2、個体j2」について「0.3、1.2、0.5、1.1」が算出された例を示している。
 その後、表示制御部24は、施策候補「個体g2、個体h2、個体i2、個体j2」それぞれについて、「甘味変数X、酸味変数Y、まろやかさ変数Z、おいしさ推定Q´、信頼度Cd、指標Cl」を施策判定モデルに入力して、推定結果「再検査対象」を取得する。ここでは、表示制御部24は、施策候補「個体g2」に対して「再検査対象=No」、「個体h2」に対して「再検査対象=Yes」、「個体i2」に対して「再検査対象=No」、「個体j2」に対して「再検査対象=No」を取得する。
 この結果、表示制御部24は、施策候補「個体g2、個体h2、個体i2、個体j2」のうち、「再検査対象=Yes」である「個体h2」を施策対象に決定し、記憶部12に格納し、ディスプレイ等に表示し、管理者端末に送信する。
 上述したように、情報処理装置10は、過去の履歴を用いた機械学習により施策判定モデルを生成して、施策対象か否かを自動で判定することができるので、職人の癖や特徴などを機械学習することができ、施策の選定精度を向上することができる。なお、上記例では、「甘味変数X、酸味変数Y、まろやかさ変数Z、おいしさ推定Q´、信頼度Cd、指標Cl」を説明変数とする例を説明したが、任意に設定することができる。例えば、「甘味変数X、酸味変数Y、まろやかさ変数Z、おいしさ推定Q´、信頼度Cd」を説明変数とする場合、指標の算出コストを軽減し、算出時間を短縮することができる。
 上記実施例で用いたデータ例、数値例、閾値、表示例、特徴空間の次元数、具体例等は、あくまで一例であり、任意に変更することができる。また、訓練データとしては、画像データ、音声データ、時系列データなどを用いることができ、機械学習モデル15は、画像分類や各種分析などにも用いることができる。また、機械学習モデル15は、DNNに限らず、CNN(Convolution Neural Network)など他のモデルを採用することができる。また、線形処理部23は、LIMEに限らず、K-LIME、あるいは、LIME-SUPなど他のアルゴリズムを採用することができる。
 上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。
 また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散や統合の具体的形態は図示のものに限られない。つまり、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
 さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、CPUおよび当該CPUにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
 図14は、ハードウェア構成例を説明する図である。図14に示すように、情報処理装置10は、通信装置10a、HDD(Hard Disk Drive)10b、メモリ10c、プロセッサ10dを有する。また、図14に示した各部は、バス等で相互に接続される。
 通信装置10aは、ネットワークインタフェースカードなどであり、他の装置との通信を行う。HDD10bは、図3に示した機能を動作させるプログラムやDBを記憶する。
 プロセッサ10dは、図3に示した各処理部と同様の処理を実行するプログラムをHDD10b等から読み出してメモリ10cに展開することで、図3等で説明した各機能を実行するプロセスを動作させる。例えば、このプロセスは、情報処理装置10が有する各処理部と同様の機能を実行する。具体的には、プロセッサ10dは、機械学習部21、推定部22、線形処理部23、表示制御部24等と同様の機能を有するプログラムをHDD10b等から読み出す。そして、プロセッサ10dは、機械学習部21、推定部22、線形処理部23、表示制御部24等と同様の処理を実行するプロセスを実行する。
 このように、情報処理装置10は、プログラムを読み出して実行することで出力制御方法を実行する情報処理装置として動作する。また、情報処理装置10は、媒体読取装置によって記録媒体から上記プログラムを読み出し、読み出された上記プログラムを実行することで上記した実施例と同様の機能を実現することもできる。なお、この他の実施例でいうプログラムは、情報処理装置10によって実行されることに限定されるものではない。例えば、他のコンピュータまたはサーバがプログラムを実行する場合や、これらが協働してプログラムを実行するような場合にも、本発明を同様に適用することができる。
 このプログラムは、インターネットなどのネットワークを介して配布することができる。また、このプログラムは、ハードディスク、フレキシブルディスク(FD)、CD-ROM、MO(Magneto-Optical disk)、DVD(Digital Versatile Disc)などのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することができる。
 10 情報処理装置
 11 通信部
 12 記憶部
 13 訓練データセット
 14 推定対象データセット
 15 機械学習モデル
 16 推定結果
 20 制御部
 21 機械学習部
 22 推定部
 23 線形処理部
 24 表示制御部

Claims (7)

  1.  第1のデータを機械学習モデルに入力し、前記機械学習モデルが出力する推定結果を取得し、
     前記推定結果に含まれる第1の値が閾値より低い場合、前記第1のデータと前記推定結果とに基づいて生成された線形モデルに前記第1のデータを入力して、前記線形モデルが出力する第2の値を取得し、
     前記第1の値と前記第2の値との差分に基づいて、前記推定結果の出力を制御する、
     処理をコンピュータに実行させることを特徴とする出力制御プログラム。
  2.  前記機械学習モデルは、
     前記機械学習モデルが推定した推定値と前記推定値の信頼度とを含む前記推定結果を出力し、
     前記取得する処理は、
     前記第1のデータを含む複数のデータそれぞれを前記機械学習モデルに入力し、前記複数のデータそれぞれに対して前記推定結果を取得する処理と、
     前記取得する処理は、
     前記複数のデータのうち、前記第1のデータと同じ前記推定値、かつ、前記機械学習モデルにより生成される特徴量空間において前記第1のデータから所定距離に位置する複数の第2のデータを特定する処理と、
     前記第1のデータに対応する特徴量および前記複数の第2のデータそれぞれに対応する特徴量と前記推定値とを用いて、前記第1のデータを局所的に近似させた前記線形モデルを生成する処理と、
     前記線形モデルに前記第1のデータを入力して、近似値である前記第2の値を取得する処理と、
     前記制御する処理は、
     前記第1の値と前記第2の値との前記差分に基づき算出される評価指標が閾値以上の場合に、前記第1のデータを出力し、前記評価指標が閾値未満の場合に、前記第1のデータの出力を抑制する処理と、
     を含むことを特徴とする請求項1に記載の出力制御プログラム。
  3.  前記制御する処理は、
     前記複数のデータそれぞれのうち、前記推定値が下限閾値未満のデータについては、出力対象に選択し、前記推定値が上限閾値以上のデータについては、出力対象外に選択し、前記推定値が前記下限閾値以上かつ前記上限閾値未満のデータについては、出力対象候補に選択する処理と、
     前記出力対象候補のデータのうち、前記評価指標が閾値以上のデータを前記出力対象に選択し、前記評価指標が閾値未満のデータを前記出力対象外に選択する処理と、
     前記出力対象に選択された各データを、検査対象として出力する処理と、
     を含むことを特徴とする請求項2に記載の出力制御プログラム。
  4.  前記検査対象として出力された前記各データに対する検査結果を取得する処理と、
     前記各データそれぞれを説明変数、前記各データそれぞれに対応する前記検査結果を目的変数とする複数の訓練データを生成する処理と、
     前記複数の訓練データを用いて、前記検査対象のデータに該当するか否かを判定する判定モデルを生成する処理と
     を前記コンピュータに実行させることを特徴とする請求項3に記載の出力制御プログラム。
  5.  生成された前記判定モデルに推定対象データを入力して、前記判定モデルが判定した判定結果を取得する処理と、
     前記判定結果に基づき、前記推定対象データが前記検査対象か否かを特定する処理と
     を前記コンピュータに実行させることを特徴とする請求項4に記載の出力制御プログラム。
  6.  第1のデータを機械学習モデルに入力し、前記機械学習モデルが出力する推定結果を取得し、
     前記推定結果に含まれる第1の値が閾値より低い場合、前記第1のデータと前記推定結果とに基づいて生成された線形モデルに前記第1のデータを入力して、前記線形モデルが出力する第2の値を取得し、
     前記第1の値と前記第2の値との差分に基づいて、前記推定結果の出力を制御する、
     処理をコンピュータに実行することを特徴とする出力制御方法。
  7.  第1のデータを機械学習モデルに入力し、前記機械学習モデルが出力する推定結果を取得し、
     前記推定結果に含まれる第1の値が閾値より低い場合、前記第1のデータと前記推定結果とに基づいて生成された線形モデルに前記第1のデータを入力して、前記線形モデルが出力する第2の値を取得し、
     前記第1の値と前記第2の値との差分に基づいて、前記推定結果の出力を制御する、
     処理を実行する制御部を含むことを特徴とする情報処理装置。
PCT/JP2020/038216 2020-10-08 2020-10-08 出力制御プログラム、出力制御方法および情報処理装置 WO2022074806A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP20956753.6A EP4227865A4 (en) 2020-10-08 2020-10-08 OUTPUT CONTROL PROGRAM, OUTPUT CONTROL METHOD AND INFORMATION PROCESSING DEVICE
JP2022555213A JP7472999B2 (ja) 2020-10-08 2020-10-08 出力制御プログラム、出力制御方法および情報処理装置
PCT/JP2020/038216 WO2022074806A1 (ja) 2020-10-08 2020-10-08 出力制御プログラム、出力制御方法および情報処理装置
US18/116,308 US20230206128A1 (en) 2020-10-08 2023-03-02 Non-transitory computer-readable recording medium, output control method, and information processing device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/038216 WO2022074806A1 (ja) 2020-10-08 2020-10-08 出力制御プログラム、出力制御方法および情報処理装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/116,308 Continuation US20230206128A1 (en) 2020-10-08 2023-03-02 Non-transitory computer-readable recording medium, output control method, and information processing device

Publications (1)

Publication Number Publication Date
WO2022074806A1 true WO2022074806A1 (ja) 2022-04-14

Family

ID=81126387

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/038216 WO2022074806A1 (ja) 2020-10-08 2020-10-08 出力制御プログラム、出力制御方法および情報処理装置

Country Status (4)

Country Link
US (1) US20230206128A1 (ja)
EP (1) EP4227865A4 (ja)
JP (1) JP7472999B2 (ja)
WO (1) WO2022074806A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019069905A1 (ja) * 2017-10-04 2019-04-11 Necソリューションイノベータ株式会社 情報処理装置、制御方法、及びプログラム
JP2020046891A (ja) * 2018-09-18 2020-03-26 富士通株式会社 予測プログラム、予測方法および学習装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6863926B2 (ja) 2018-04-24 2021-04-21 株式会社日立ソリューションズ データ分析システム及びデータ分析方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019069905A1 (ja) * 2017-10-04 2019-04-11 Necソリューションイノベータ株式会社 情報処理装置、制御方法、及びプログラム
JP2020046891A (ja) * 2018-09-18 2020-03-26 富士通株式会社 予測プログラム、予測方法および学習装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
IMAI, TAKUJI ET AL.: "Debugging", IMAGE RECOGNITION DEEP NEURAL NETWORK BEHAVIOR, HITACHI ULSI UTILIZES LIME TECHNOLOGY IN THE SEARCH FOR CONTRIBUTIONS TO CLASSIFICATION, vol. 22019, no. 45, pages 22 - 26, XP009527100, ISSN: 2189- 5783 *
MARCO TULIO REBEIRO ET AL.: "Why Should I Trust You?'' Explaining the Predictions of Any Classifier", ARXIV:1602.04938V3, 16 August 2016 (2016-08-16)
See also references of EP4227865A4

Also Published As

Publication number Publication date
JP7472999B2 (ja) 2024-04-23
EP4227865A4 (en) 2023-12-06
EP4227865A1 (en) 2023-08-16
JPWO2022074806A1 (ja) 2022-04-14
US20230206128A1 (en) 2023-06-29

Similar Documents

Publication Publication Date Title
WO2017154284A1 (ja) 情報処理方法および情報処理装置
WO2021174811A1 (zh) 车流量时间序列的预测方法及预测装置
US10331810B2 (en) Method for determining a model of an output quantity of a technical system
US11620474B2 (en) Model reselection for accommodating unsatisfactory training data
JP7106391B2 (ja) 画像判定方法、画像判定装置および画像判定プログラム
KR102461732B1 (ko) 강화 학습 방법 및 장치
JP7047498B2 (ja) 学習プログラム、学習方法および学習装置
Amasaki et al. The effects of moving windows to software estimation: comparative study on linear regression and estimation by analogy
US20200380307A1 (en) Techniques for deriving and/or leveraging application-centric model metric
TWI714371B (zh) 晶圓圖的辨識方法與電腦可讀取記錄媒體
JP7207540B2 (ja) 学習支援装置、学習支援方法、及びプログラム
WO2022074806A1 (ja) 出力制御プログラム、出力制御方法および情報処理装置
CN104965896A (zh) 基于二次函数表示用户偏好的推荐方法及系统
JP6879357B2 (ja) 価格最適化システム、価格最適化方法および価格最適化プログラム
JP7231829B2 (ja) 機械学習プログラム、機械学習方法および機械学習装置
JP2019159835A (ja) 学習プログラム、学習方法および学習装置
TW202111592A (zh) 學習模型應用系統、學習模型應用方法及程式產品
JP2005063208A (ja) ソフトウェア信頼度成長モデル選択方法、ソフトウェア信頼度成長モデル選択装置、ソフトウェア信頼度成長モデル選択プログラム、およびプログラム記録媒体
KR102413588B1 (ko) 학습 데이터에 따른 객체 인식 모델 추천 방법, 시스템 및 컴퓨터 프로그램
WO2019092854A1 (ja) 指標算出装置、指標算出方法、及び、指標算出プログラムが記録された記録媒体
JP2019162207A (ja) 情報処理装置及び情報処理プログラム
CN107886126A (zh) 基于动态集成算法的航空发动机气路参数预测方法及系统
JP7192873B2 (ja) 情報処理プログラム、情報処理方法および学習装置
WO2016199383A1 (ja) サービス設計支援装置、方法、およびプログラム記録媒体
CN115769194A (zh) 跨数据集的自动数据链接

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20956753

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022555213

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020956753

Country of ref document: EP

Effective date: 20230508