WO2020004049A1 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
WO2020004049A1
WO2020004049A1 PCT/JP2019/023410 JP2019023410W WO2020004049A1 WO 2020004049 A1 WO2020004049 A1 WO 2020004049A1 JP 2019023410 W JP2019023410 W JP 2019023410W WO 2020004049 A1 WO2020004049 A1 WO 2020004049A1
Authority
WO
WIPO (PCT)
Prior art keywords
data set
prediction
advice
information
information processing
Prior art date
Application number
PCT/JP2019/023410
Other languages
English (en)
French (fr)
Inventor
慎吾 高松
健人 中田
裕士 堀口
紘士 飯田
正典 宮原
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to JP2020527385A priority Critical patent/JP7318646B2/ja
Priority to CN201980041281.6A priority patent/CN112313679A/zh
Priority to US17/253,005 priority patent/US20210117828A1/en
Publication of WO2020004049A1 publication Critical patent/WO2020004049A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G06F16/285—Clustering or classification

Definitions

  • the present disclosure relates to an information processing device, an information processing method, and a program, and particularly to an information processing device, an information processing method, and a program that can facilitate improvement of a learning data set.
  • Patent Literature 1 discloses a technology for estimating the probability of closing real estate transactions, which serves as a reference when determining a sale / rent price of real estate or adjusting a closing price.
  • the prediction accuracy of the prediction analysis is mainly determined by the following three points. 1.
  • Prediction model used for prediction 2.
  • the present disclosure has been made in view of such a situation, and aims to facilitate improvement of a learning data set.
  • An information processing apparatus includes: a prediction analysis unit that calculates an evaluation value of an evaluation data set used for evaluating the prediction model for a predetermined number of data samples of a learning data set used for learning the prediction model; An advice generation unit that generates presentation information for presenting advice on at least one of the data sample of the learning data set and a feature thereof based on the evaluation value and the gradient thereof for all data samples of the data set;
  • An information processing apparatus comprising:
  • the information processing apparatus for a predetermined number of data samples of a learning data set used for learning the prediction model, calculates an evaluation value of an evaluation data set used for evaluating the prediction model,
  • An information processing method for generating presentation information for presenting advice on at least one of the data sample of the learning data set and a feature amount thereof based on the evaluation value and the gradient thereof for all data samples of the learning data set It is.
  • a program causes a computer to calculate an evaluation value of an evaluation data set used for evaluating the prediction model for a predetermined number of data samples of a learning data set used for learning the prediction model, and A program for executing a process of generating presentation information for presenting advice on at least one of the data sample of the learning data set and a feature thereof based on the evaluation value and the gradient thereof for all data samples. It is.
  • an evaluation value of an evaluation data set used for evaluating the prediction model is calculated for a predetermined number of data samples of a learning data set used for learning the prediction model, and the evaluation value is calculated for all data samples of the learning data set. Based on the evaluation value and the gradient thereof, presentation information for presenting advice regarding at least one of the data sample of the learning data set and the feature thereof is generated.
  • FIG. 2 is a block diagram illustrating a functional configuration example of an information processing device according to the present disclosure. It is a flowchart explaining a feature-value vector generation process. It is a flowchart explaining an evaluation value list generation process. It is a figure showing a graph of an evaluation value list. It is a flowchart explaining the advice generation process of the learning data set improvement. It is a figure showing a graph of an evaluation value, and an example of advice. It is a figure showing a graph of an evaluation value, and an example of advice. It is a figure showing a graph of an evaluation value, and an example of advice. It is a figure showing a graph of an evaluation value, and an example of advice. It is a figure showing a graph of an evaluation value, and an example of advice.
  • FIG. 9 is a flowchart illustrating a feature amount addition advice generation process. It is a figure explaining learning of an error prediction model. It is a figure explaining calculation of the contribution of a characteristic quantity to an error. It is a figure showing the example of presentation of the advice about addition of a feature.
  • FIG. 2 is a block diagram illustrating a functional configuration example of an information processing device connected to a database. It is a figure showing the outline of a prediction analysis system. It is a block diagram which shows the example of a function structure of a guidebook preparation apparatus. It is a flowchart explaining an analysis information generation process. It is a figure showing an example of analysis information. It is a flowchart explaining an analysis information registration process.
  • FIG. 9 is a diagram illustrating an example of registered analysis information.
  • FIG. 3 is a block diagram illustrating an example of a hardware configuration of a computer.
  • a company that provides a monthly flat-rate service can predict the probability of canceling the service at the next contract renewal timing by applying predictive analysis to customer data.
  • predictive analysis For example, a company that provides a monthly flat-rate service can predict the probability of canceling the service at the next contract renewal timing by applying predictive analysis to customer data.
  • companies can efficiently prevent cancellation of services. In this example, it is not desirable to distribute the coupon to customers who continue the contract without distributing the coupon.
  • the prediction accuracy of the prediction analysis is mainly determined by the following three points. 1.
  • Prediction model used for prediction 2.
  • the aim is to improve the prediction accuracy by improving the training data set.
  • the improvement of the learning data set requires domain knowledge of the target prediction problem (in the example described above, knowledge about fixed-rate services and customers, knowledge about a company system, etc.) and expertise in predictive analysis. Therefore, it is also difficult to improve the prediction accuracy by improving the learning data set.
  • FIG. 1 shows an example of tabular data.
  • Table format data consists of rows and columns. Rows correspond to data samples, and columns correspond to items representing attributes of the data samples. The first row of the tabular data describes the names of the columns (items), and the second and subsequent rows describe the attribute values corresponding to each item as the contents of the data sample.
  • the tabular data in FIG. 1 includes, as items, “size”, “nearest station”, time required to walk from the nearest station “walk”, “age”, “location floor” of a second-hand apartment. , "Barconi direction”, and "Contract price”.
  • three data samples are prepared, and attribute values corresponding to each item are described.
  • the data set is described in tabular data.
  • the prediction analysis includes three processes of “learning”, “prediction”, and “evaluation”.
  • Training is a function (referred to as a prediction model) that predicts the value of a prediction target item from an attribute value group corresponding to an input item group of each data sample for an input item group and a prediction target item specified in advance in tabular data. This is the process of generating. In the learning process, a plurality of data samples are used.
  • Prediction is a process of calculating a predicted value for a data sample using a learned prediction model.
  • Evaluation is a process of comparing and referring to the calculated prediction value and the value of the actual prediction target item, and calculating an evaluation value indicating the accuracy of prediction.
  • FIG. 2 is a block diagram illustrating a functional configuration example of the information processing device according to the present disclosure.
  • the information processing apparatus 100 includes an input unit 110, an output unit 120, a storage unit 130, and a control unit 140.
  • the input unit 110 has a function of inputting information from a user. For example, the input unit 110 inputs various information such as tabular data as a data set. The input unit 110 supplies the input information to the control unit 140.
  • the output unit 120 has a function of outputting information to a user.
  • the output unit 120 outputs various information such as advice for improving a data set.
  • the output unit 120 outputs the information supplied from the control unit 140.
  • the storage unit 130 has a function of temporarily or permanently storing information.
  • the storage unit 130 stores the learning result of the prediction model.
  • the control unit 140 has a function of controlling the operation of the entire information processing apparatus 100. As shown in FIG. 2, the control unit 140 includes a prediction analysis unit 151 and an advice generation unit 152.
  • the prediction analysis unit 151 performs a series of processes of the prediction analysis.
  • the advice generation unit 152 uses the analysis result of the prediction analysis unit 151 to generate presentation information for presenting an advice for improving a data set.
  • the tabular data to be analyzed is input to the input unit 110, the tabular data is uploaded to the control unit 140. Further, a user's operation on the input unit 110 specifies a prediction target item in the tabular data. If the prediction target item is a continuous value, regression is performed. If the prediction target item is a categorical value, classification is performed.
  • the prediction analysis unit 151 performs processing on three items: a learning data set used for learning the prediction model, an evaluation data set used for evaluating the prediction model, and a prediction target item, and generates an evaluation value list.
  • the evaluation value list is a list of the evaluation values of the learning data set of the prediction model and the evaluation values of the evaluation data set at a plurality of intermediate points during the execution of the learning algorithm.
  • V m T represents the evaluation value of the learning data set
  • V m E represents the evaluation value of the evaluation data set.
  • an average value of 1-error rate (a value obtained by dividing an absolute value error between a predicted value and an actual value by an actual value) is used as an evaluation value.
  • AUC Area Under the ROC Curve
  • the prediction analysis unit 151 converts each data set into a set of data points.
  • a data point is composed of a pair of a feature vector and a label, and corresponds to a data sample.
  • the label is the value of the prediction target item in the data sample.
  • the feature vector is a vector obtained by vectorizing the values of items other than the prediction target item in the data sample and connecting them.
  • step S11 the prediction analysis unit 151 converts the values of items other than the prediction target item into a one-of-k vector.
  • the one-of-k vector is a k-dimensional vector, in which only one element is 1 and the other (k ⁇ 1) elements are 0.
  • a 25-dimensional vector is prepared by listing 1 to 25 minutes as possible values of the walking distance.
  • the first dimension corresponds to one minute on foot. Therefore, when the walking distance is 3 minutes, a one-of-k vector in which the third dimension is 1 and other dimensions are 0 is generated.
  • the prediction analysis unit 151 generates a one-of-k vector for each item.
  • step S12 the prediction analysis unit 151 generates a feature amount vector by connecting the one-of-k vectors of each item in a predetermined order.
  • a feature vector for each property of the used condominium is generated by connecting the one-of-k vectors of the items other than the contract price. Is done.
  • the values may be rounded within a certain value range. For example, walking minutes are grouped into five groups of 1 to 5 minutes, 6 to 10 minutes, 11 to 15 minutes, 16 to 20 minutes, and 21 to 25 minutes, and a five-dimensional one-of-k corresponding to each group. Vectors may be generated.
  • the prediction analysis unit 151 learns a prediction model.
  • i is an index of the data sample (the number of data samples n)
  • the value of the contract price is expressed by Expression (2)
  • the feature amount vector is expressed by Expression (3).
  • R represents a real number
  • d represents the number of dimensions of the feature vector
  • j represents a dimension index
  • the prediction model i.e., represents a function for calculating a value of close prices for the feature quantity vector x i in Equation (5) represents the parameters of the predictive model in equation (6).
  • D represents the number of parameters.
  • a neural network is used.
  • Parameter learning is performed using a learning data set.
  • the parameters of the prediction model are determined by executing the gradient method using the mean square error as an error function.
  • a parameter updating process is repeatedly executed.
  • the evaluation value list is generated by calculating the evaluation value of the learning data set and the evaluation value of the evaluation data set for the prediction model after executing each parameter update process.
  • step S31 the prediction analysis unit 151 generates an empty evaluation value list.
  • step S32 the prediction analysis unit 151 updates the parameters of the prediction model.
  • step S33 the prediction analysis unit 151 calculates the evaluation value of the learning data set and the evaluation value of the evaluation data set for the prediction model of the current parameter, and adds them to the evaluation value list.
  • step S34 the prediction analysis unit 151 determines whether or not the number of times the parameter has been updated has reached a predetermined number.
  • step S32 If the number of times the parameter has been updated has not reached the predetermined number, the process returns to step S32, and the updating of the parameters and the calculation of the evaluation values of the learning data set and the evaluation data set are repeated.
  • step S35 the prediction analysis unit 151 supplies the calculated evaluation value list to the output unit 120.
  • the output unit 120 outputs an evaluation value list.
  • FIG. 5 is a diagram showing a graph of the evaluation value list as an output example of the evaluation value list in the output unit 120.
  • the evaluation value of the learning data set becomes higher (approaching 1) as the parameter update is repeated.
  • the evaluation value of the evaluation data set does not increase even if the update of the parameter is repeated, and the difference from the evaluation value of the learning data set increases as the update of the parameter is repeated.
  • the difference between the evaluation value of the learning data set and the evaluation value of the evaluation data set tends to increase as the parameter update is repeated. This tendency depends on the number of data samples.
  • the prediction analysis unit 151 calculates the evaluation value list.
  • step S51 the control unit 140 generates a learning data set and an evaluation data set from the input data (tabular data) input by the input unit 110.
  • the control unit 140 generates a learning data set and an evaluation data set by randomly allocating data samples of the tabular data to 8: 2.
  • step S52 the control unit 140 generates data consisting of data samples of 10%, 20%, 30%, 40%, 50%, 60%, 70%, 80%, 90%, and 100% of the learning data set. Generate a set.
  • a data set including a part of the data samples of the learning data set is hereinafter referred to as a partial learning data set.
  • ten partial learning data sets are generated. It should be noted that the number of data samples of the 100% partial learning data set may be increased by the user according to the advice described later. Therefore, the number of data samples of the 100% partial learning data set can be said to be the current number of data samples.
  • step S53 the prediction analysis unit 151 of the control unit 140 generates the evaluation value list described with reference to the flowchart of FIG. 5 for each of the partial learning data sets and the evaluation data sets. That is, the prediction analysis unit 151 calculates the evaluation value of the evaluation data set for each of the 10% to 100% partial learning data sets.
  • step S54 the prediction analysis unit 151 acquires the maximum value among the evaluation values of the evaluation data set in each evaluation value list, and generates a graph of the evaluation values. That is, in the generated graph, the maximum value (hereinafter, also simply referred to as an evaluation value) of the evaluation values of the evaluation data set in the evaluation value list is plotted for each of the partial learning data sets of 10% to 100%.
  • step S55 the advice generation unit 152 presents advice on improvement of the learning data set based on the evaluation value and the gradient of the 100% partial learning data set in the generated evaluation value graph. To generate presentation information.
  • the generated presentation information is output by the output unit 120.
  • the evaluation value for the 100% partial learning data set is the maximum value of the evaluation values of the evaluation data set in the evaluation value list for the 100% partial learning data set.
  • the gradient of the evaluation value for the 100% partial learning data set refers to the difference between the evaluation value for the 100% partial learning data set and the evaluation value for the 90% partial learning data set.
  • the advice generation unit 152 provides advice on improvement in the number of features (items) of the learning data set based on the magnitude relationship between the evaluation value of the 100% partial learning data set and the first threshold. (Presentation information) is generated.
  • the advice generation unit 152 also provides advice (presentation information) on the improvement of the number of data samples of the learning data set based on the magnitude relationship between the gradient of the evaluation value of the 100% partial learning data set and the second threshold.
  • Advice Present Information
  • the second threshold is a value determined based on the magnitude of the evaluation value for the 100% partial learning data set.
  • FIGS. 7 to 10 show graphs of evaluation values and examples of presented advice.
  • the evaluation value (hereinafter, referred to as 100% evaluation value) of the 100% partial learning data set is larger than the first threshold value, and the gradient of the 100% evaluation value (hereinafter, simply referred to as “100% evaluation value”). Gradient) is smaller than the second threshold.
  • both the number of data samples and the number of features of the training data set are sufficient, such as "the number of data and the number of features are sufficient. It will be difficult to improve the accuracy further.” Advice is given.
  • the 100% evaluation value is smaller than the first threshold, and the gradient is smaller than the second threshold.
  • the 100% evaluation value is larger than the first threshold, and the gradient is larger than the second threshold.
  • the number of features of the training data set is insufficient, such as "the number of features is sufficient.
  • the accuracy increases as the number of data increases.” Advice to the effect is presented.
  • the 100% evaluation value is smaller than the first threshold, and the gradient is larger than the second threshold.
  • both the number of data samples and the number of features of the training data set are insufficient, such as "The accuracy increases as the number of data increases. The number of features needs to be increased.” Advice to the effect is presented.
  • the advice for improving the learning data set is presented, so that the learning data set can be easily improved.
  • the user can easily determine whether to increase the number of data samples or the amount of features (items) without domain knowledge of the target prediction problem or expertise in predictive analysis. It is possible to easily improve the prediction accuracy.
  • the difference between the evaluation value for the 100% partial learning data set and the evaluation value for the 90% partial learning data set is used as the gradient.
  • the present invention is not limited to this, and a difference between the evaluation value of the partial learning data set of 100% and the evaluation value of the partial learning data set of less than 90%, for example, 80% may be used as the gradient.
  • an evaluation value for more than 100%, for example, 110% of learning data sets is obtained by time series prediction, and an evaluation value for 110% of learning data sets and a gradient for 100% of partial learning data sets are obtained as gradients.
  • the difference from the evaluation value may be used.
  • the larger the difference between the evaluation value of the learning data set and the evaluation value of the evaluation data set with respect to the number of parameter updates the smaller the number of data samples. For this reason, the rate of increase in the difference between the evaluation value of the learning data set and the evaluation value of the evaluation data set with respect to the number of parameter updates as shown in the graph of FIG. 5 may be used as the gradient. Further, simply, the magnitude of the difference between the evaluation value of the learning data set and the evaluation value of the evaluation data set may be used as the gradient.
  • Advice Generation Processing (About Addition of Feature Amount)>
  • the 100% evaluation value is smaller than the first threshold value
  • an advice indicating that the number of feature values is insufficient is presented to the user to increase the number of feature values (items). I urged it.
  • the prediction accuracy is reduced by including an attribute value (hereinafter simply referred to as a value) of a specific feature amount (item)
  • a value an attribute value of a specific feature amount (item)
  • the value of the feature amount is presented to the user, and the value of the feature amount is displayed.
  • An example will be described in which a prediction example of a data sample including “.” Is presented to a user.
  • FIG. 11 is a flowchart illustrating a process of generating an advice that prompts the addition of a feature amount.
  • step S71 the prediction analysis unit 151 learns an error prediction model for estimating a prediction error of the prediction model in order to specify a value of a feature amount whose prediction accuracy is reduced by including the prediction model.
  • i is the index of the data sample (the number of data samples n), and the value of the contract price is expressed by equation (7).
  • the predicted value of the contract price (predicted contract price) based on the learned prediction model f is represented by Expression (8), and the feature amount vector is represented by Expression (9).
  • d represents the number of dimensions of the feature vector
  • j represents the dimension index
  • w represents the number of parameters of the error prediction model.
  • the error prediction model g for estimating the prediction error of the prediction model f is learned using the feature vector as input data.
  • Parameter learning is performed using a learning data set.
  • the parameters of the error prediction model are determined by executing the gradient method using the mean square error as an error function.
  • step S72 the prediction analysis unit 151 calculates the contribution of each feature value to the prediction error using the error prediction model.
  • the feature value corresponds to the dimension of the feature vector.
  • the value of the parameter corresponding to each feature of the error prediction model using linear regression is used, and the value of the feature that greatly contributes to the increase of the prediction error is used as the value that decreases the prediction accuracy.
  • a value of a feature amount having a large parameter value is specified.
  • the value of the feature value may be specified in consideration of the large number of data samples including the value of the feature value.
  • the contribution of the value of the feature value may be calculated.
  • step S73 the advice generation unit 152 generates presentation information for presenting advice on the feature amount contributing to the increase in error.
  • the generated presentation information is output by the output unit 120.
  • FIG. 14 is a diagram showing a presentation example of advice on addition of a feature amount.
  • examples of the feature amount (item) contributing to the increase in error and its value, the average error increase, the ratio, the improvement impact, and the learning data are presented as the presentation information.
  • Average error increase indicates an increase in the average error in a data sample having a feature value that contributes to the error increase with respect to the average error (average of prediction errors) in all data samples.
  • the ratio indicates a ratio of a data sample having a feature value that contributes to an increase in error to all data samples.
  • the improvement impact indicates a score determined based on the above-described product of the average error increase and the ratio, and is represented by a large number of stars in the example of FIG.
  • the example of learning data shows a data sample including a value of a feature amount contributing to an increase in error, and a prediction result based on the data sample.
  • the contract price may fluctuate depending on the status of maintenance by the owner.
  • the information (feature amount) indicating the status of maintenance is not included in the tabular data, the prediction error increases.
  • example 1 In the example of learning data for the building age (30 to 35 years), as example 1, two data with a higher similarity, such as the nearest station being Osaki and a few minutes on foot, and the opposite of how to remove prediction Samples are displayed in pairs. Similarly, as example 2, two data samples having a higher similarity, such as the nearest station being Shinagawa and a 15-minute walk, are displayed as a pair, and the method of removing prediction is reversed.
  • two data samples having a higher similarity and the opposite of how to remove prediction are displayed as a pair, so that a feature amount representing the difference between these two data samples should be added. Can be encouraged.
  • FIG. 15 shows the information processing apparatus 100 connected to the database.
  • the database 300 holds a plurality of tables represented by tabular data. Tabular data used for predictive analysis is generated based on a table held in the database 300.
  • the advice generation unit 152 When generating the advice (presentation information) urging the addition of the feature amount described with reference to FIG. 14, the advice generation unit 152 stores a table including the value of the feature amount specified as contributing to an increase in the error in the database 300. To get from. The advice generation unit 152 calculates a correlation value indicating a correlation between a feature amount specified as contributing to an increase in error and a feature amount included in the acquired table and a feature amount having a smaller absolute value. It is presented as a feature amount of an additional candidate. Feature values having low correlation are considered to represent mutually different information, and are expected to include information that alleviates an increase in error.
  • the label to be classified takes two values, “leaving” or “continuation”.
  • the prediction probability of leaving p is calculated, and 1.0-p is set as an error.
  • a continuation prediction probability q is calculated, and 1.0 ⁇ q is set as an error.
  • a learning data set having the same ratio of each label is prepared.
  • An error prediction model fb for estimating the error defined above is generated for the prediction model fa.
  • r is the ratio of data having a correct label
  • n is the number of labels.
  • the continuous prediction probability q 0.8, and max (1 ⁇ 0.625p, 0) is an error with respect to the continuous prediction probability q of the data having the “continuation” label.
  • the prediction accuracy of the prediction analysis is mainly determined by the following three points. 1.
  • Prediction model used for prediction 2.
  • FIG. 16 is a diagram showing an outline of the prediction analysis system of the present embodiment.
  • the user U is performing a prediction analysis using the prediction analysis tool 400. Specifically, the user U creates the data set D and causes the prediction analysis tool 400 to perform “learning” and “evaluation”.
  • the prediction analysis tool 400 is realized by, for example, software started on a personal computer (PC) owned by the company to which the user U belongs.
  • PC personal computer
  • the analysis information (statistics of the data set D created by the user U and the evaluation result of the prediction analysis by the prediction analysis tool 400) obtained by the prediction analysis is transmitted to the instruction book creator 500 via a network such as the Internet, for example. Supplied to
  • the user U inputs the use status of the predictive analysis (the purpose of the predictive analysis, the department to which the user U belongs, etc.), and adds the input information to the analysis information supplied to the instruction manual creating apparatus 500. can do.
  • the guidebook creation device 500 is configured by a PC, a tablet terminal, and the like, which are operated by a consultant C that provides consulting for the prediction analysis performed by the user U.
  • the guidebook creation device 500 presents a guidebook G for instructing the consultant C on the consultation on the prediction analysis performed by the user U based on the content of the analysis information from the prediction analysis tool 400.
  • the instruction book G includes advice on prediction analysis performed by the user U, analysis information (case) similar to the analysis information from the prediction analysis tool 400 acquired from the analysis case database (DB) 501, and the like.
  • the analysis case DB 501 stores a plurality of pieces of analysis information obtained in the past.
  • the consultant C can perform consulting on the prediction analysis performed by the user U based on the content of the presented instruction book G.
  • the prediction analysis system in FIG. 16 is divided into a configuration on the user U side and a configuration on the consultant C side, it is not always necessary to divide in this way, and it is appropriately divided by a person who handles each configuration. May be.
  • FIG. 17 is a block diagram illustrating an example of a functional configuration of the instruction book creating apparatus 500.
  • the guidebook creation device 500 includes an input unit 510, a presentation unit 520, a storage unit 530, and a control unit 540.
  • the input unit 510 inputs various information such as analysis information from the prediction analysis tool 400.
  • the input unit 510 supplies the input information to the control unit 540.
  • the presentation unit 520 has a function of presenting the information supplied from the control unit 540.
  • the presentation unit 520 presents a guidebook including guidance information for guiding consulting on prediction analysis.
  • the presenting unit 520 may be configured as, for example, a monitor to present information by display on a screen, or may be configured as a speaker to present information by voice.
  • the presentation unit 520 may be configured as a printer to present information by printing on a print medium such as paper.
  • the storage unit 530 has a function of temporarily or permanently storing information.
  • the storage unit 530 temporarily stores the analysis information from the prediction analysis tool 400.
  • the analysis information obtained in the past, which is stored in the storage unit 530, is stored in the analysis case DB 501 in association with, for example, input information input by the consultant C.
  • the control unit 540 has a function of controlling the operation of the entire guidebook creation device 500. Specifically, based on the content of the analysis information from the prediction analysis tool 400, the control unit 540 controls the presentation of the guidance information for the consultation for the prediction analysis by the prediction analysis tool 400 from which the analysis information is obtained.
  • the control unit 540 includes an advice generation unit 551, a similar information acquisition unit 552, a graph generation unit 553, and a presentation control unit 554.
  • the advice generation unit 551 generates advice related to the prediction analysis performed by the user U based on the content of the analysis information from the prediction analysis tool 400.
  • the similarity information acquisition unit 552 acquires similarity information similar to the analysis information from the prediction analysis tool 400 from the analysis information stored in the analysis case DB 501.
  • the graph generation unit 553 generates an accuracy evaluation graph for evaluating the prediction accuracy of the prediction analysis performed by the user U based on the content of the analysis information from the prediction analysis tool 400.
  • the advice generated by the advice generation unit 551, the similar information obtained by the similar information obtaining unit 552, and the accuracy evaluation graph generated by the graph generation unit 553 are supplied to the presentation control unit 554.
  • the presentation control unit 554 controls presentation of advice, similarity information, and accuracy evaluation graphs from the advice generation unit 551, the similar information acquisition unit 552, and the graph generation unit 553 to the presentation unit 520 as instruction information.
  • step S111 the prediction analysis tool 400 generates the analysis information by performing the prediction analysis using the input data set.
  • the prediction analysis tool 400 causes the user U to confirm the generated analysis information by displaying it on a display unit (not shown) or the like.
  • step S112 the prediction analysis tool 400 accepts the correction of the analysis information according to the correction operation of the user U who is checking the analysis information. This processing is performed as needed.
  • step S113 the prediction analysis tool 400 accepts the input of the usage status of the prediction analysis according to the input operation of the user U.
  • the input use state of the predictive analysis is added to the generated analysis information. This processing is also performed as needed, and may be performed in the instruction book creating apparatus 500.
  • step S114 the prediction analysis tool 400 transmits the analysis information to which the usage status of the prediction analysis has been added to the instruction book creator 500 in accordance with the transmission instruction of the user U.
  • FIG. 19 is a diagram illustrating an example of the analysis information transmitted to the instruction book creating apparatus 500.
  • the analysis information 610 in FIG. 19 includes a data set item name, a data example, a data set statistic, information when a predictive analysis is applied to the data set (evaluation result), and a use state of the predictive analysis.
  • the item names (features) of the data set are the “size”, “nearest station”, “walk”, “age”, “age” Floor, "direction of Balconi,” and “contract price.”
  • Data examples are not actual data, but are used to understand data sets specifically. As an example of data, for example, it is assumed that data is randomly selected independently for each item of a data set. In the example of FIG. 19, two data cases (case 1 and case 2) are illustrated.
  • the statistics of the data set include the number of data (3617 in the example of FIG. 19) and the number of items (7 in the example of FIG. 19), as well as the type of each item, the unique number, the missing rate, the maximum value and the minimum value of the data. , Mean, and standard deviation.
  • the statistic of the data set may include the median or variance of the data of each item.
  • Information on applying predictive analytics to a dataset includes target variables, predictive tasks (regression, binary classification, multi-valued classification, etc.), list of items used, prediction accuracy values, statistics of prediction contributions, etc. It is.
  • the target variable is a contract price
  • the prediction task is a numerical prediction.
  • the median error of the contract price, which is the target variable is 5.31 million and the median error rate is 9.3%.
  • the setting with the highest prediction accuracy is selected.
  • the usage of predictive analytics includes the purpose of predictive analytics (automation and efficiency of work, marketing, predictive management, demand forecasting, etc.), the analysis department that performed the predictive analysis (data analysis department, sales department, marketing department, etc.), evaluation The user department (sales department, call center, human resources department, etc.) that uses the results is included.
  • the usage status of the predictive analysis includes the industry of the company that performed the predictive analysis and the task type that is a subcategory of the predictive task.
  • the purpose of the prediction analysis is “automation of work / efficiency” for immediate calculation of the provisional assessment amount during the business of trading brokerage.
  • the analysis department is an IT department
  • the usage department is a sales department
  • the industry is real estate
  • the task type is price prediction.
  • the analysis information 610 as described above is transmitted to the guidebook creation device 500 and stored in the storage unit 530.
  • step S131 the control unit 540 accepts the selection of the analysis information from the analysis information stored in the storage unit 530 in accordance with the selection operation of the consultant C that selects the analysis information to be registered in the analysis case DB 501.
  • step S132 the control unit 540 accepts the input of the use status of the prediction analysis in accordance with the input operation of the consultant C.
  • the input use state of the predictive analysis is added to the selected analysis information. This processing is performed as needed, and may be performed in the prediction analysis tool 400 as described above.
  • step S133 the control unit 540 accepts input of information on consulting according to the input operation of the consultant C.
  • the information on the consulting is, for example, text information indicating the evaluation and the examination result of the consultant C with respect to the prediction analysis from which the selected analysis information was obtained.
  • step S134 the control unit 540 stores the selected analysis information in the analysis case DB 501 in association with the input information (text information) according to the registration operation of the consultant C.
  • FIG. 21 is a diagram illustrating an example of analysis information registered in the analysis case DB 501.
  • the structure of the analysis information 620 in FIG. 21 is basically the same as the structure of the analysis information 610 in FIG.
  • the number of data is 10390
  • the number of items is 6
  • the target variable is a unit price of square meter
  • the prediction task is numerical prediction.
  • the item names (features) of the data set are “place name”, “walk”, “direction of approach”, “conclusion date”, “local crime rate”, and “local crime rate” of the second-hand apartment.
  • the unit price is "square meter”.
  • the purpose of the prediction analysis is to “automate work and improve efficiency” for immediately calculating a tentative assessment value during the business of trading brokerage
  • the analysis department is the IT department
  • the utilization department is the business department.
  • the industry is real estate
  • the task type is price prediction.
  • FIG. 22 is a diagram illustrating an example of input information registered in the analysis case DB 501 in association with the analysis information 620 of FIG.
  • the input information 630 in FIG. 22 includes the text information input about the analysis information 620 by the consultant C.
  • the input information 630 includes, for the prediction analysis from which the analysis information 620 was obtained, -The point where the information on the local crime rate is obtained from a specific URL and added to the information to improve the prediction accuracy-The accuracy of the prediction is low and cannot be used for the intended purpose at present-The points above are predicted Text information about three points that can be used in areas with high accuracy is included.
  • the input information 630 as described above is registered in the analysis case DB 501 in association with the analysis information 620.
  • step S151 the control unit 540 accepts the selection of the analysis information from the analysis information stored in the storage unit 530 according to the consultant C's operation of selecting the analysis information to be consulted.
  • the analysis information 610 in FIG. 19 has been selected.
  • step S152 the control unit 540 of the guidebook creation device 500 classifies the analysis information based on the content of the analysis information selected by the consultant C.
  • step S153 the advice generation unit 551 of the control unit 540 generates advice related to prediction analysis from which the analysis information has been obtained, according to the category into which the analysis information to be consulted is classified.
  • FIG. 24 is a diagram illustrating an example of advice generated by the advice generation unit 551.
  • the analysis information to be consulted is classified into “observation on data / prediction” and “situation”. For each classification result, advice for improving accuracy and advice for introducing a business are provided. Has been generated.
  • the analysis information to be consulted is classified as “the number of data is small and there is a tendency for over-learning” and “the variance of the numerical value of the prediction target is large” for observations related to data and prediction.
  • the analysis information subject to consulting is classified as “the error rate is above a certain level in numerical prediction” or “real estate” in the situation.
  • the advices constituting the advice 640 as described above are stored in the storage unit 530 for each category.
  • the advice generation unit 551 can generate the advice 640 by reading the optimal advice from the storage unit 530 based on a rule base corresponding to the category into which the analysis information is classified. That is, the analysis information to be consulted functions as a query for extracting advice.
  • the advice generation unit 551 may generate the advice 640 by machine learning according to the category instead of the rule base according to the category into which the analysis information is classified.
  • step S154 the similar information acquisition unit 552 calculates the similarity between the analysis information to be consulted and the analysis information stored in the analysis case DB 501.
  • the similarity information acquisition unit 552 calculates the distance for each feature amount shown in FIG. 25 for the two pieces of analysis information, and sets the weighted sum of the calculated distances as the distance between the two pieces of analysis information.
  • the similarity information acquisition unit 552 calculates a distance between a plurality of pieces of analysis information stored in the analysis case DB 501 and the analysis information to be consulted, and expresses each calculated distance by a monotone decreasing function as a similarity degree.
  • the distance is a numerical value for the numerical type characteristic amount (the number of data, the number of items, the ratio of the number of numerical type items, the prediction accuracy value, and the statistic of the target value).
  • the prediction accuracy value is a median error when the prediction task is a regression, AUC when the prediction task is a binary classification, and accuracy (accuracy rate) when the prediction task is a multi-valued classification.
  • the statistic of the target value is the average and variance when the prediction task is regression, the ratio of the smaller label value to the whole when the prediction task is binary, and the case where the prediction task is multivalued. Is the number of labels.
  • the character string type feature amounts (prediction task, task type, industry, purpose, analysis department, use department) must be 1 if the respective feature quantities match. If it is 0, the distance is calculated.
  • the similarity information acquiring unit 552 acquires, from the analysis case DB 501, analysis information in which the calculated similarity (each distance in the monotone decreasing function) is higher than a predetermined value as similarity information.
  • the analysis information 620 in FIG. 21 and the input information in FIG. 22 associated with the analysis information 620 have been acquired as the similar information.
  • step S156 the graph generation unit 553 generates an accuracy evaluation graph for evaluating the prediction accuracy of the prediction analysis from which the analysis information is obtained, according to the category into which the analysis information to be consulted is classified.
  • the graph generation unit 553 generates, for example, an accuracy evaluation graph according to the information input by the consultant C (the purpose of the prediction analysis and the like).
  • FIG. 26 is a diagram illustrating an example of an accuracy evaluation graph generated when “price prediction” is input as the task type by the consultant C.
  • the error rate of the contract price which is the target variable of the analysis information 610, is within 5% of the median error rate 9.3% included in the analysis information 610 of FIG.
  • the percentage within the range and the percentage within the range of 20% are shown.
  • the ratio of the error within 5% is 40.5%
  • the ratio within 10% is 61.9%
  • the ratio within 20% is 85.1%.
  • FIG. 27 is a diagram showing an example of an accuracy evaluation graph generated when “consumption forecast” is input as the task type by the consultant C.
  • a graph of predicted values and a graph of actual values are shown for demand prediction in a predetermined period.
  • the predicted value is indicated by a dotted line
  • the actual value is indicated by a solid line
  • the average error rate is 12.5%.
  • the consultant C inputs time information corresponding to a predetermined period. In this way, depending on the task type, input of additional information by the consultant C can be received.
  • the task type is input by the consultant C.
  • the task type may be automatically determined from, for example, a character string of each of the prediction task and the target variable. For example, when the prediction task is numerical prediction and the target variable is a square meter unit price, the task type is determined to be price prediction.
  • the accuracy evaluation graph as described above is also stored in the storage unit 530 for each category.
  • the graph generation unit 553 can generate an accuracy evaluation graph by reading an optimal accuracy evaluation graph from the storage unit 530 based on a rule base corresponding to the category into which the analysis information is classified. That is, the analysis information to be consulted functions as a query for extracting the accuracy evaluation graph.
  • step S157 the presentation control unit 554 uses the advice generated by the advice generation unit 551, the similar information acquired by the similar information acquisition unit 552, and the graph generation unit 553 as instruction information.
  • the presentation of the generated accuracy evaluation graph to the presentation unit 520 is controlled.
  • FIG. 28 is a diagram illustrating a presentation example of the guidance information when the presentation unit 520 is configured as a monitor.
  • the advice 640 of FIG. 24 On the screen of the monitor 710 shown in FIG. 28, the advice 640 of FIG. 24, the analysis information of FIG. 21 and the input information of FIG. 22 as similar cases, and the consulting instruction including the accuracy evaluation graph of FIG. 27 are displayed. ing.
  • FIG. 29 is a diagram illustrating an example of presenting guidance information when the presenting unit 520 is configured as a printer.
  • the print medium 720 shown in FIG. 29 output by the presentation unit 520 as a printer includes the advice 640 in FIG. 24, the analysis information in FIG. 21 as a similar case and the input information in FIG. 22, and the accuracy in FIG. A consulting guide with an evaluation graph is printed.
  • the consultant C can perform consulting on the prediction analysis performed by the user U (the prediction analysis in which the analysis information 610 in FIG. 19 is obtained). it can.
  • the consultants can share knowledge and support the entire approach of introducing predictive analytics based on the content of the presented guidance, thereby improving the quality of consulting. It becomes possible.
  • FIG. 30 is a block diagram illustrating a hardware configuration example of the information processing device according to the embodiment of the present disclosure.
  • the computer 900 illustrated in FIG. 30 can realize, for example, the information processing device 100 and the instruction manual creation device 500 in the above-described embodiment.
  • the computer 900 includes a CPU (Central Processing Unit) 901, a ROM (Read Only Memory) 903, and a RAM (Random Access Memory) 905.
  • the computer 900 may include a host bus 907, a bridge 909, an external bus 911, an interface 913, an input device 915, an output device 917, a storage device 919, a drive 921, a connection port 923, and a communication device 925.
  • the computer 900 may have a processing circuit such as a DSP (Digital Signal Processor), an ASIC (Application Specific Integrated Circuit), or an FPGA (Field-Programmable Gate Array) instead of or in addition to the CPU 901.
  • DSP Digital Signal Processor
  • ASIC Application Specific Integrated Circuit
  • FPGA Field-Programmable Gate Array
  • the CPU 901 functions as an arithmetic processing device and a control device, and controls the entire operation in the computer 900 or a part thereof in accordance with various programs recorded in the ROM 903, the RAM 905, the storage device 919, or the removable recording medium 927.
  • the ROM 903 stores programs used by the CPU 901 and operation parameters.
  • the RAM 905 temporarily stores programs used in the execution of the CPU 901 and parameters that change as appropriate in the execution.
  • the CPU 901, the ROM 903, and the RAM 905 are mutually connected by a host bus 907 configured by an internal bus such as a CPU bus. Furthermore, the host bus 907 is connected to an external bus 911 such as a PCI (Peripheral Component Interconnect / Interface) bus via a bridge 909.
  • PCI Peripheral Component Interconnect / Interface
  • the input device 915 is a device operated by a user, such as a mouse, a keyboard, a touch panel, buttons, switches, and levers.
  • the input device 915 may be, for example, a remote control device using infrared rays or other radio waves, or may be an externally connected device 929 such as a mobile phone that operates the computer 900.
  • the input device 915 includes an input control circuit that generates an input signal based on information input by a user and outputs the input signal to the CPU 901. The user operates the input device 915 to input various data to the computer 900 and instruct a processing operation.
  • the output device 917 is a device that can notify the user of the acquired information using a sense such as sight, hearing, or touch.
  • the output device 917 can be, for example, a display device such as an LCD (Liquid Crystal Display) or an organic EL (Electro-Luminescence) display, an audio output device such as a speaker or headphones, or a vibrator.
  • the output device 917 outputs a result obtained by the processing of the computer 900 as a video such as a text or an image, a voice such as a voice or a sound, or a vibration.
  • the storage device 919 is a data storage device configured as an example of a storage unit of the computer 900.
  • the storage device 919 includes, for example, a magnetic storage device such as an HDD (Hard Disk Drive), a semiconductor storage device, an optical storage device, or a magneto-optical storage device.
  • the storage device 919 stores, for example, programs executed by the CPU 901 and various data, various data acquired from the outside, and the like.
  • the drive 921 is a reader / writer for a removable recording medium 927 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, and is built in or external to the computer 900.
  • the drive 921 reads information recorded on the attached removable recording medium 927 and outputs the information to the RAM 905. Further, the drive 921 writes a record in the attached removable recording medium 927.
  • the connection port 923 is a port for connecting a device to the computer 900.
  • the connection port 923 may be, for example, a USB (Universal Serial Bus) port, an IEEE 1394 port, a SCSI (Small Computer System Interface) port, or the like.
  • the connection port 923 may be an RS-232C port, an optical audio terminal, an HDMI (registered trademark) (High-Definition Multimedia Interface) port, or the like.
  • the communication device 925 is, for example, a communication interface including a communication device for connecting to the communication network 931.
  • the communication device 925 can be, for example, a communication card for LAN (Local Area Network), Bluetooth (registered trademark), Wi-Fi, or WUSB (Wireless USB).
  • the communication device 925 may be a router for optical communication, a router for ADSL (Asymmetric Digital Subscriber Line), a modem for various communication, or the like.
  • the communication device 925 transmits and receives signals to and from the Internet and other communication devices using a predetermined protocol such as TCP / IP.
  • the communication network 931 connected to the communication device 925 is a network connected by wire or wirelessly, and may include, for example, the Internet, a home LAN, infrared communication, radio wave communication, satellite communication, or the like.
  • Each of the above components may be configured using a general-purpose member, or may be configured by hardware specialized for the function of each component. Such a configuration can be appropriately changed according to the technical level at the time of implementation.
  • the program executed by the computer 900 may be a program in which processing is performed in chronological order according to the sequence described in this specification, or may be performed at a necessary timing such as in parallel or when a call is made. May be a program that performs the processing in.
  • the technology according to the present disclosure can have the following configurations.
  • a prediction analysis unit that calculates an evaluation value of an evaluation data set used for evaluating the prediction model
  • Advice generation for generating presentation information for presenting advice on at least one of the data sample of the learning data set and its characteristic amount based on the evaluation value and the gradient thereof for all data samples of the learning data set
  • An information processing apparatus comprising: (2) The advice generation unit is for presenting the advice on the improvement of the number of features of the learning data set based on a magnitude relationship between the evaluation value and a predetermined threshold value for all data samples of the learning data set.
  • the information processing apparatus according to (1), which generates the presentation information.
  • the advice generating unit when the evaluation value for all data samples of the learning data set is smaller than the threshold, the presentation information for presenting the advice that the number of feature values of the learning data set is insufficient.
  • the advice generation unit when the evaluation value for all data samples of the learning data set is larger than the threshold, the presentation information for presenting the advice that the feature amount of the learning data set is sufficient.
  • the advice generation unit presents the advice on improvement of the number of data samples of the learning data set based on a magnitude relationship between a gradient of the evaluation value and a predetermined threshold for all data samples of the learning data set.
  • the information processing apparatus wherein the presentation information is generated for: (6)
  • the advice generation unit when the gradient of the evaluation value for all data samples of the learning data set is greater than the threshold, the advice for presenting the advice that the number of data samples of the learning data set is insufficient.
  • the information processing apparatus according to (5), which generates presentation information.
  • the advice generation unit when the gradient of the evaluation value for all data samples of the learning data set is smaller than the threshold, the advice for presenting the advice that the number of data samples of the learning data set is sufficient.
  • the information processing apparatus according to (5) or (6), which generates presentation information.
  • the gradient is a difference between the evaluation value for all data samples of the learning data set and the evaluation value for more or less data samples than the all data samples.
  • the information processing device according to any one of claims 1 to 3.
  • the information processing device according to any one of (5) to (7), wherein the threshold is determined based on the evaluation values for all data samples of the learning data set.
  • the gradient is an increase rate of a difference between a first evaluation value of the learning data set and a second evaluation value of the evaluation data set with respect to the number of updates of the parameters of the prediction model in a learning algorithm.
  • the information processing device according to any one of (1) to (7).
  • the prediction analysis unit learns an error prediction model for estimating a prediction error of the prediction model
  • the advice generation unit is configured to present the advice relating to a first feature value that contributes to an increase in the prediction error, based on a contribution of the feature value to the prediction error calculated using the error prediction model.
  • the information processing apparatus according to any one of (1) to (10), wherein the presentation information is generated.
  • the presentation information includes a value of the first feature amount.
  • the presentation information includes the data sample having the value of the first feature amount.
  • the presentation information includes first and second data of a plurality of data samples having the value of the first feature amount, wherein the similarity of the feature amount is higher and the sign of the prediction error is different.
  • the information processing device includes a ratio of the data sample having the value of the first feature amount to all the data samples.
  • the presentation information on the first feature amount includes the feature amount having a smaller correlation value indicating a correlation with the first feature amount.
  • the information processing device is For a predetermined number of data samples of a learning data set used for learning a prediction model, calculate an evaluation value of an evaluation data set used for evaluating the prediction model, Generating presentation information for presenting advice on at least one of the data sample of the learning data set and a feature thereof based on the evaluation value and the gradient thereof for all data samples of the learning data set.
  • An information processing apparatus comprising: a control unit that controls presentation of guidance information for consulting on the predictive analysis based on the content of the analysis information obtained by the predictive analysis.
  • An advice generation unit that generates advice regarding the prediction analysis is further provided, The information processing device according to (1), wherein the control unit presents the advice as the instruction information.
  • the information processing device according to (2), wherein the advice generation unit generates the advice according to a category into which the analysis information is classified based on the content of the analysis information.
  • the advice generation unit generates the advice based on a rule base corresponding to the category into which the analysis information is classified.
  • the information processing apparatus (5) The information processing apparatus according to (3), wherein the advice generation unit generates the advice by machine learning according to the category into which the analysis information is classified. (6) The information processing apparatus according to any one of (1) to (5), wherein the analysis information includes a statistic of a data set. (7) The information processing apparatus according to any one of (1) to (5), wherein the analysis information includes an evaluation result of the prediction analysis. (8) The information processing device according to (7), wherein the evaluation result of the prediction analysis includes at least one of prediction accuracy of the prediction analysis and prediction contribution of a data set. (9) The information processing device according to any one of (1) to (8), wherein the analysis information includes a use state of the prediction analysis.
  • the information processing device wherein the use state of the prediction analysis includes at least a purpose of the prediction analysis.
  • the use status of the prediction analysis is information input by a user who receives the consulting or a consultant who performs the consulting.
  • the control unit presents text information input about the similar information by a consultant performing the consulting, together with the similar information.
  • the information processing device is An information processing method for controlling presentation of guidance information for consulting on the prediction analysis based on the content of the analysis information obtained by the prediction analysis.
  • 100 information processing device ⁇ 110 ⁇ input unit, ⁇ 120 ⁇ output unit, ⁇ 130 ⁇ storage unit, ⁇ 140 ⁇ control unit, ⁇ 151 ⁇ prediction analysis unit, ⁇ 152 ⁇ advice generation unit, ⁇ 400 ⁇ prediction analysis tool, ⁇ 500 ⁇ instruction book creation device, ⁇ 501 ⁇ analysis case DB, ⁇ 510 ⁇ input unit ⁇ 520 ⁇ presentation unit, ⁇ 530 ⁇ storage unit, ⁇ 540 ⁇ control unit, ⁇ 551 ⁇ advice generation unit, ⁇ 552 ⁇ similarity information acquisition unit, ⁇ 553 ⁇ graph generation unit, ⁇ 554 ⁇ presentation control unit, ⁇ 900 ⁇ computer

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本開示は、学習データセットの改善を容易にすることができるようにする情報処理装置、情報処理方法、およびプログラムに関する。 予測分析部は、予測モデルの学習に用いる学習データセットの所定数のデータサンプルに対して、予測モデルの評価に用いる評価データセットの評価値を算出し、アドバイス生成部は、学習データセットの全データサンプルについての評価値およびその勾配に基づいて、学習データセットのデータサンプルおよびその特徴量の少なくともいずれかに関するアドバイスを提示するための提示情報を生成する。本開示に係る技術は、例えば、中古マンションの成約価格の予測に適用することができる。

Description

情報処理装置、情報処理方法、およびプログラム
　本開示は、情報処理装置、情報処理方法、およびプログラムに関し、特に、学習データセットの改善を容易にすることができるようにする情報処理装置、情報処理方法、およびプログラムに関する。
　過去のデータに基づいて未来の結果を予測する予測分析と呼ばれる技術が知られている。
　例えば、特許文献１には、不動産の売出し／貸出し価格の決定や成約価格の調整を行う際の参考となる不動産取引の成約確率を予測する技術が開示されている。
特開２０１７－１６３２１号公報
　予測分析の予測精度は、主に以下の３点で決定される。
　　１．予測に用いる予測モデル
　　２．予測モデルの構築に利用した学習データセットの量と質
　　３．本来の予測対象の困難さ
　従来の技術では、１．の予測モデルの改善により予測精度を向上させるものが多くあった。３．は、例えばコインを投げた際に表が出るか否かを高い精度で予測することはできないなど、技術的な対策が難しかった。
　一方、２．の学習データセットの改善には、対象となる予測問題のドメイン知識と予測分析の専門性が必要とされるため、学習データセットの改善により予測精度を向上させることも難易度が高かった。
　本開示は、このような状況に鑑みてなされたものであり、学習データセットの改善を容易にすることができるようにするものである。
　本開示の情報処理装置は、予測モデルの学習に用いる学習データセットの所定数のデータサンプルに対して、前記予測モデルの評価に用いる評価データセットの評価値を算出する予測分析部と、前記学習データセットの全データサンプルについての前記評価値およびその勾配に基づいて、前記学習データセットの前記データサンプルおよびその特徴量の少なくともいずれかに関するアドバイスを提示するための提示情報を生成するアドバイス生成部とを備える情報処理装置である。
　本開示の情報処理方法は、情報処理装置が、予測モデルの学習に用いる学習データセットの所定数のデータサンプルに対して、前記予測モデルの評価に用いる評価データセットの評価値を算出し、前記学習データセットの全データサンプルについての前記評価値およびその勾配に基づいて、前記学習データセットの前記データサンプルおよびその特徴量の少なくともいずれかに関するアドバイスを提示するための提示情報を生成する情報処理方法である。
　本開示のプログラムは、コンピュータに、予測モデルの学習に用いる学習データセットの所定数のデータサンプルに対して、前記予測モデルの評価に用いる評価データセットの評価値を算出し、前記学習データセットの全データサンプルについての前記評価値およびその勾配に基づいて、前記学習データセットの前記データサンプルおよびその特徴量の少なくともいずれかに関するアドバイスを提示するための提示情報を生成する処理を実行させるためのプログラムである。
　本開示においては、予測モデルの学習に用いる学習データセットの所定数のデータサンプルに対して、前記予測モデルの評価に用いる評価データセットの評価値が算出され、前記学習データセットの全データサンプルについての前記評価値およびその勾配に基づいて、前記学習データセットの前記データサンプルおよびその特徴量の少なくともいずれかに関するアドバイスを提示するための提示情報が生成される。
　本開示によれば、学習データセットの改善を容易にすることが可能となる。
　なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
表形式データの例を示す図である。 本開示における情報処理装置の機能構成例を示すブロック図である。 特徴量ベクトル生成処理について説明するフローチャートである。 評価値リスト生成処理について説明するフローチャートである。 評価値リストのグラフを示す図である。 学習データセット改善のアドバイス生成処理について説明するフローチャートである。 評価値のグラフとアドバイスの例を示す図である。 評価値のグラフとアドバイスの例を示す図である。 評価値のグラフとアドバイスの例を示す図である。 評価値のグラフとアドバイスの例を示す図である。 特徴量追加のアドバイス生成処理について説明するフローチャートである。 誤差予測モデルの学習について説明する図である。 誤差に対する特徴量の寄与度の算出について説明する図である。 特徴量の追加についてのアドバイスの提示例を示す図である。 データベースに接続された情報処理装置の機能構成例を示すブロック図である。 予測分析システムの概要を示す図である。 指南書作成装置の機能構成例を示すブロック図である。 分析情報生成処理について説明するフローチャートである。 分析情報の例を示す図である。 分析情報登録処理について説明するフローチャートである。 登録された分析情報の例を示す図である。 分析情報登録時に入力される入力情報の例を示す図である。 指南情報提示処理について説明するフローチャートである。 アドバイスの例を示す図である。 類似度の算出について説明する図である。 精度評価グラフの例を示す図である。 精度評価グラフの例を示す図である。 指南情報の提示例を示す図である。 指南情報の提示例を示す図である。 コンピュータのハードウェア構成例を示すブロック図である。
　以下、本開示を実施するための形態（以下、実施の形態とする）について説明する。なお、説明は以下の順序で行う。
　１．従来技術とその課題
　２．本開示に係る技術の概要と情報処理装置の構成
　３．予測分析部の処理
　４．アドバイス生成処理（学習データセットの改善について）
　５．アドバイス生成処理（特徴量の追加について）
　６．応用例
　７．予測分析システムの構成
　８．分析情報送信処理
　９．分析情報登録処理
　１０．指南書提示処理
　１１．コンピュータのハードウェア構成
＜１．従来技術とその課題＞
　過去のデータに基づいて未来の結果を予測する予測分析と呼ばれる技術が知られている。
　例えば、月額の定額サービスを提供する企業が、顧客データに対して予測分析を適用することで、次回の契約更新のタイミングでそのサービスを解約する確率を予測することができる。企業は、解約する確率の高い顧客に対してクーポンの配布などのマーケティング施策を実施することで、効率的にサービスの解約を防ぐことができる。この例では、クーポンの配布をせずとも契約を継続する顧客に対してクーポンの配布をすることは望ましくない。
　予測分析の予測精度は高い方がよく、予測分析結果をビジネスに利用する場合、予測精度がビジネスの効果に直結することが多い。上述した例において、サービスを解約する確率を精度よく予測できなかった場合、真に解約する可能性の高い顧客への施策を実施できないケースが増えてしまう。これと同時に、本来はクーポンの配布をせずとも契約を継続した顧客に対してクーポンの配布をするケースも増えてしまう。結果として、施策全体の効率が悪くなってしまう。
　予測分析の予測精度は、主に以下の３点で決定される。
　　１．予測に用いる予測モデル
　　２．予測モデルの構築に利用した学習データセットの量と質
　　３．本来の予測対象の困難さ
　従来の技術では、１．の予測モデルの改善により予測精度を向上させるものが多くあった。３．は、例えばコインを投げた際に表が出るか否かを高い精度で予測することはできないなど、技術的な対策が難しかった。
　本実施の形態においては、２．の学習データセットの改善により予測精度を向上させることを目指す。しかしながら、学習データセットの改善には、対象となる予測問題のドメイン知識（上述した例では、定額サービスや顧客に関する知識、企業のシステムに関する知識など）と予測分析の専門性が必要とされる。そのため、学習データセットの改善により予測精度を向上させることも難易度が高かった。
　そこで、以下においては、学習データセットの改善を容易にするために、学習データセットの改善のためのアドバイスを生成する構成について説明する。
＜２．本開示に係る技術の概要と情報処理装置の構成＞
（本開示に係る技術の概要）
　本開示に係る技術においては、学習データ数を変動させた場合の予測精度の変化や絶対値に基づいて、特徴量を追加することを優先すべきか、データ数を増やすことを優先すべきかのアドバイスを生成する。さらに、予測誤差が大きくなるパターンを特定し、そのパターンに含まれる予測事例を提示することで、ユーザに予測精度向上に繋がる特徴量追加の着想を得るサポートをする。
　まず、本実施の形態の一例として、予測分析を実行する情報処理装置のデータセット改善のためのアドバイス生成機能について説明する。
　予測分析における入力データは、表形式データとされる。図１は、表形式データの例を示している。
　表形式データは、行と列からなる。行はデータサンプルに対応し、列はデータサンプルの属性を表す項目に対応する。表形式データの１行目には列（項目）の名称が記述され、２行目以降にデータサンプルの内容として、各項目に対応する属性値が記述される。
　図１の表形式データは、項目として、中古マンションの「広さ」、「最寄駅」、最寄り駅からの徒歩での所要時間である「徒歩分」、「築年数」、「所在階」、「バルコニ方向」、および「成約価格」の７つの項目を有している。図１の例では、３つのデータサンプルが用意され、各項目に対応する属性値が記述されている。
　本実施の形態において、データセットは表形式データで記述される。
　予測分析は、「学習」、「予測」、および「評価」の３処理からなる。
　「学習」は、表形式データにおいてあらかじめ指定された入力項目群と予測対象項目について、各データサンプルの入力項目群に対応する属性値群から予測対象項目の値を予測する関数（予測モデルという）を生成する処理である。学習処理では、複数のデータサンプルが用いられる。
　「予測」は、学習済の予測モデルを用いて、データサンプルに対する予測値を算出する処理である。
　「評価」は、算出された予測値と、実際の予測対象項目の値とを比較参照し、予測の精度を表す評価値を算出する処理である。
（情報処理装置の構成）
　図２は、本開示における情報処理装置の機能構成例を示すブロック図である。
　図２に示されるように、情報処理装置１００は、入力部１１０、出力部１２０、記憶部１３０、および制御部１４０を備える。
　入力部１１０は、ユーザからの情報を入力する機能を有する。例えば、入力部１１０は、データセットとしての表形式データなどの様々な情報を入力する。入力部１１０は、入力した情報を制御部１４０に供給する。
　出力部１２０は、ユーザに対して情報を出力する機能を有する。例えば、出力部１２０は、データセット改善のためのアドバイスなどの様々な情報を出力する。出力部１２０は、制御部１４０から供給された情報を出力する。
　記憶部１３０は、情報を一時的または恒久的に記憶する機能を有する。例えば、記憶部１３０は、予測モデルの学習結果を記憶する。
　制御部１４０は、情報処理装置１００全体の動作を制御する機能を有する。図２に示されるように、制御部１４０は、予測分析部１５１とアドバイス生成部１５２を備える。
　予測分析部１５１は、予測分析の一連の処理を行う。アドバイス生成部１５２は、予測分析部１５１による分析結果を用いて、データセット改善のためのアドバイスを提示するための提示情報を生成する。
　情報処理装置１００においては、入力部１１０に分析対象の表形式データが入力されると、その表形式データが制御部１４０にアップロードされる。また、入力部１１０に対するユーザの操作によって、表形式データにおける予測対象項目が指定される。予測対象項目が連続値であれば回帰が行われ、予測対象項目がカテゴリカル値であれば分類が行われる。
　以下においては、回帰により、図１の表形式データにおける中古マンションの成約価格を予測する例について説明する。
＜３．予測分析部の処理＞
　予測分析部１５１においては、予測モデルの学習に用いる学習データセット、予測モデルの評価に用いる評価データセット、および予測対象項目の３つに対する処理が行われ、評価値リストが生成される。
　評価値リストは、学習アルゴリズム実行中の複数の中間時点における、予測モデルの学習データセットの評価値と、評価データセットの評価値のリストである。評価値は、評価処理を実行することで算出される。中間時点をｍ＝１，・・・，Ｍとすると、評価値リストは、以下の式（１）で表される。
Figure JPOXMLDOC01-appb-M000001
 　　
　　　　　　　　　　　　　　　　　　・・・（１）
　式（１）において、Ｖm Tは、学習データセットの評価値を表し、Ｖm Eは、評価データセットの評価値を表す。回帰の場合、評価値として、１－誤差率（予測値と実際の値との絶対値誤差を実際の値で割った値）の平均値が用いられる。分類の場合には、評価値として、ＡＵＣ（Area Under the ROC Curve）が用いられる。
　以下、予測分析部１５１の処理について説明する。
　まず、予測分析部１５１は、各データセットをデータポイントの集合に変換する。データポイントは、特徴量ベクトルとラベルのペアからなり、データサンプルと対応する。
　ラベルは、データサンプルにおける予測対象項目の値である。
　特徴量ベクトルは、データサンプルにおける予測対象項目以外の項目の値をベクトル化して、それらを連結したベクトルである。
　ここで、図３のフローチャートを参照して、特徴量ベクトルの生成処理について説明する。
　ステップＳ１１において、予測分析部１５１は、予測対象項目以外の項目の値を、one-of-kベクトルに変換する。
　one-of-kベクトルは、ｋ次元のベクトルであり、１つの要素のみが１で、他の（ｋ－１）の要素は０であるベクトルである。
　one-of-kベクトルへの変換においては、１つの項目の取り得る値を列挙し、取り得る値の数と同じ次元のベクトルを作成することで、取り得る値に対応する次元が定められる。ベクトル化の際には、項目の値に対応する次元を１とし、他の次元を０とすることで、その項目の値がone-of-kベクトルに変換される。
　例えば、図１の表形式データにおける徒歩分をone-of-kベクトルに変換する場合、徒歩分の取り得る値として１分から２５分を列挙することで、２５次元のベクトルを用意する。例えば１次元目は、徒歩分１分に対応する。したがって、徒歩分が３分の場合、３次元目が１で、他の次元が０のone-of-kベクトルが生成される。
　このようにして、予測分析部１５１は、各項目についてのone-of-kベクトルを生成する。
　ステップＳ１２において、予測分析部１５１は、各項目のone-of-kベクトルを、あらかじめ決められた順序で連結することで、特徴量ベクトルを生成する。
　ここでは、図１の表形式データにおける成約価格を予測対象項目（ラベル）とするので、成約価格以外の項目のone-of-kベクトルを連結した、中古マンションの物件毎の特徴量ベクトルが生成される。
　なお、上述したone-of-kベクトルの生成において、項目の取り得る値が連続値となる場合には、ある値の範囲で、値を丸めてもよい。例えば、徒歩分を、１～５分、６～１０分、１１～１５分、１６～２０分、２１～２５分の５つのグループにまとめ、各グループに対応した５次元のone-of-kベクトルが生成されるようにしてもよい。
　次に、予測分析部１５１は、予測モデルの学習を行う。
　ここで、ｉをデータサンプル（データサンプル数ｎ）のインデックスとし、成約価格の値を式（２）で表し、特徴量ベクトルを式（３）で表す。
Figure JPOXMLDOC01-appb-M000002
 　　　　　　　　　　　　　　　　　　・・・（２）
Figure JPOXMLDOC01-appb-M000003
 　　　　　　　　　　　　　　　　　　・・・（３）
　式（３）において、Ｒは実数を表し、ｄは特徴量ベクトルの次元数を表し、ｊは次元のインデックスを表す。
　すると、ｉ番目のデータポイントは、以下の式（４）で表される。
Figure JPOXMLDOC01-appb-M000004
 　　　　　　　　　　　　　　　　　　・・・（４）
　また、予測モデル、すなわち、特徴量ベクトルｘiに対する成約価格の値を算出する関数を式（５）で表し、予測モデルのパラメータを式（６）で表す。
Figure JPOXMLDOC01-appb-M000005
 　　　　　　　　　　　　　　　　　　・・・（５）
Figure JPOXMLDOC01-appb-M000006
 　　　　　　　　　　　　　　　　　　・・・（６）
　式（６）において、Ｄはパラメータ数を表す。
　予測モデルｆとしては、様々な関数が考えられるが、例えば、ニューラルネットワークが用いられる。
　パラメータ学習は、学習データセットを用いて行われる。例えば、平均二乗誤差を誤差関数とし、勾配法を実行することで、予測モデルのパラメータが決定される。
　一般に、勾配法を含む学習アルゴリズムにおいては、パラメータ更新処理が繰り返し実行される。評価値リストは、各パラメータ更新処理実行後の予測モデルについて、学習データセットの評価値と評価データセットの評価値が算出されることで生成される。
　ここで、図４のフローチャートを参照して、評価値リストの生成処理について説明する。
　ステップＳ３１において、予測分析部１５１は、空の評価値リストを生成する。
　ステップＳ３２において、予測分析部１５１は、予測モデルのパラメータを更新する。
　ステップＳ３３において、予測分析部１５１は、現在のパラメータの予測モデルについて、学習データセットの評価値と、評価データセットの評価値を算出し、評価値リストに追加する。
　ステップＳ３４において、予測分析部１５１は、パラメータの更新回数があらかじめ決められた回数になったか否かを判定する。
　パラメータの更新回数があらかじめ決められた回数になっていない場合、ステップＳ３２に戻り、パラメータの更新と、学習データセットと評価データセットの評価値の算出が繰り返される。
　一方、パラメータの更新回数があらかじめ決められた回数になった場合、ステップＳ３５に進み、予測分析部１５１は、算出した評価値リストを出力部１２０に供給する。出力部１２０は、評価値リストを出力する。
　図５は、出力部１２０における評価値リストの出力例としての、評価値リストのグラフを示す図である。
　図５のグラフにおいては、パラメータの更新回数毎に、学習データセットの評価値と、評価データセットの評価値がプロットされている。
　図５に示されるように、学習データセットの評価値は、パラメータの更新が繰り返されるにつれ高くなっている（１に近づいている）。一方、評価データセットの評価値は、パラメータの更新が繰り返されても高くはならず、パラメータの更新が繰り返されるにつれ学習データセットの評価値との差分が大きくなっている。
　予測モデルの学習は、学習データセットを用いて行われることから、パラメータの更新が繰り返されるほど、予測モデル自体が学習データセットに適応したものになる。そのため、パラメータの更新が繰り返されるほど、学習データセットの評価値と評価データセットの評価値との差分は大きくなる傾向にある。この傾向は、データサンプル数に左右される。
　以上のようにして、予測分析部１５１は、評価値リストを算出する。
＜４．アドバイス生成処理（学習データセットの改善について）＞
　次に、図６のフローチャートを参照して、上述した評価値リストを用いて、学習データセットの改善のためのアドバイスを生成する処理について説明する。
　ステップＳ５１において、制御部１４０は、入力部１１０により入力された入力データ（表形式データ）から学習データセットと評価データセットを生成する。例えば、制御部１４０は、表形式データのデータサンプルをランダムに８：２に振り分けるなどして、学習データセットと評価データセットを生成する。
　ステップＳ５２において、制御部１４０は、学習データセットの１０％，２０％，３０％，４０％，５０％，６０％，７０％，８０％，９０％，１００％の数のデータサンプルからなるデータセットを生成する。このように、学習データセットの一部のデータサンプルからなるデータセットを、以下、部分学習データセットをいう。ここでは、１０の部分学習データセットが生成される。なお、１００％の部分学習データセットは、後述するアドバイスに応じて、ユーザによって、そのデータサンプル数が増える可能性がある。したがって、１００％の部分学習データセットのデータサンプル数は、現在のデータサンプル数ということができる。
　ステップＳ５３において、制御部１４０の予測分析部１５１は、部分学習データセットそれぞれと評価データセットについて、図５のフローチャートを参照して説明した評価値リストを生成する。すなわち、予測分析部１５１は、１０％から１００％の部分学習データセットそれぞれに対して、評価データセットの評価値を算出する。
　ステップＳ５４において、予測分析部１５１は、各評価値リストにおける評価データセットの評価値のうちの最大値を取得し、評価値のグラフを生成する。すなわち、生成されるグラフにおいては、１０％から１００％の部分学習データセット毎に、評価値リストにおける評価データセットの評価値の最大値（以下、単に評価値ともいう）がプロットされる。
　ステップＳ５５において、アドバイス生成部１５２は、生成された評価値のグラフにおける、１００％の部分学習データセットについての評価値、および、その勾配に基づいて、学習データセットの改善についてのアドバイスを提示するための提示情報を生成する。生成された提示情報は、出力部１２０によって出力される。
　ここで、１００％の部分学習データセットについての評価値は、１００％の部分学習データセットについての、評価値リストにおける評価データセットの評価値の最大値である。また、１００％の部分学習データセットについての評価値の勾配とは、１００％の部分学習データセットについての評価値と、９０％の部分学習データセットについての評価値との差分をいう。
　具体的には、アドバイス生成部１５２は、１００％の部分学習データセットについての評価値と第１の閾値との大小関係に基づいて、学習データセットの特徴量（項目）数の改善についてのアドバイス（提示情報）を生成する。
　また、アドバイス生成部１５２は、１００％の部分学習データセットについての評価値の勾配と第２の閾値との大小関係に基づいて、学習データセットのデータサンプル数の改善についてのアドバイス（提示情報）を生成する。第２の閾値は、１００％の部分学習データセットについての評価値の大きさに基づいて決定される値とする。
　図７乃至図１０は、評価値のグラフと、提示されるアドバイスの例を示す図である。
　図７の例では、評価値のグラフにおいて、１００％の部分学習データセットについての評価値（以下、１００％評価値という）は第１の閾値より大きく、１００％評価値の勾配（以下、単に勾配という）は第２の閾値より小さい。
　この場合、図７に示されるように、「データ数、特徴量数ともに十分です　これ以上の精度向上は難しいでしょう」などの、学習データセットのデータサンプル数および特徴量数がいずれも足りている旨のアドバイスが提示される。
　図８の例では、評価値のグラフにおいて、１００％評価値は第１の閾値より小さく、勾配は第２の閾値より小さい。
　この場合、図８に示されるように、「データ数は十分です　特徴量数を増やす必要があります」などの、学習データセットのデータサンプル数が足りていて、特徴量数が足りない旨のアドバイスが提示される。
　図９の例では、評価値のグラフにおいて、１００％評価値は第１の閾値より大きく、勾配は第２の閾値より大きい。
　この場合、図９に示されるように、「特徴量数は十分です　データ数を増やすと精度が向上します」などの、学習データセットの特徴量数が足りていて、データサンプル数が足りない旨のアドバイスが提示される。
　図１０の例では、評価値のグラフにおいて、１００％評価値は第１の閾値より小さく、勾配は第２の閾値より大きい。
　この場合、図１０に示されるように、「データ数を増やすと精度が向上します　特徴量数を増やす必要があります」などの、学習データセットのデータサンプル数および特徴量数がいずれも足りない旨のアドバイスが提示される。
　以上の処理によれば、学習データセットの改善のためのアドバイスが提示されるので、学習データセットの改善を容易にすることが可能となる。すなわち、ユーザは、対象となる予測問題のドメイン知識や予測分析の専門性がなくとも、データサンプルを増やすべきか、特徴量（項目）を増やすべきかを容易に判断することができ、ひいては、簡単に予測精度を向上させることが可能となる。
　以上においては、勾配として、１００％の部分学習データセットについての評価値と、９０％の部分学習データセットについての評価値との差分を用いるものとした。
　これに限らず、勾配として、１００％の部分学習データセットについての評価値と、９０％より少ない、例えば８０％の部分学習データセットについての評価値との差分を用いるようにしてもよい。
　さらに、時系列予測により、１００％より多い、例えば１１０％の学習データセットについての評価値を求め、勾配として、１１０％の学習データセットについての評価値と、１００％の部分学習データセットについての評価値との差分を用いるようにしてもよい。
　また、図５のグラフにおいて、パラメータ更新回数に対して、学習データセットの評価値と評価データセットの評価値との差分は大きくなる傾向が強いほど、データサンプル数が足りないことを示す。このことから、勾配として、図５のグラフに示されるような、パラメータ更新回数に対する、学習データセットの評価値と評価データセットの評価値の差分の増加率を用いるようにしてもよい。また単純に、学習データセットの評価値と評価データセットの評価値の差分の大きさを、勾配として用いるようにしてもよい。
＜５．アドバイス生成処理（特徴量の追加について）＞
　上述したアドバイス生成処理においては、１００％評価値が第１の閾値より小さい場合、特徴量数が足りない旨のアドバイスが提示されることで、ユーザに、特徴量（項目）数を増やすことを促すようにした。
　ここでは、予測精度が低くなる項目とその値をユーザに提示することで、予測精度の低下を回避するような項目の追加を促すようなアドバイスを生成する例について説明する。
　具体的には、特定の特徴量（項目）の属性値（単に値という）が含まれることで予測精度が低くなる場合に、その特徴量の値をユーザに提示するとともに、その特徴量の値を含むデータサンプルの予測事例をユーザに提示する例について説明する。
　図１１は、特徴量の追加を促すようなアドバイスを生成する処理について説明するフローチャートである。
　ステップＳ７１において、予測分析部１５１は、それが含まれることで予測精度が低くなる特徴量の値を特定するために、予測モデルの予測誤差を推定する誤差予測モデルを学習する。
　ここで、ｉをデータサンプル（データサンプル数ｎ）のインデックスとし、成約価格の値を式（７）で表す。また、学習済の予測モデルｆによる成約価格の予測値（予測成約価格）を式（８）で表し、特徴量ベクトルを式（９）で表す。
Figure JPOXMLDOC01-appb-M000007
 　　　　　　　　　　　　　　　　　　・・・（７）
Figure JPOXMLDOC01-appb-M000008
 　　　　　　　　　　　　　　　　　　・・・（８）
Figure JPOXMLDOC01-appb-M000009
 　　　　　　　　　　　　　　　　　　・・・（９）
　式（９）において、ｄは特徴量ベクトルの次元数を表し、ｊは次元のインデックスを表す。
　すると、ｉ番目のデータポイントは、以下の式（１０）で表される。
Figure JPOXMLDOC01-appb-M000010
 　　　　　　　　　　　　　　　　　　・・・（１０）
　また、誤差予測モデル、すなわち、特徴量ベクトルｘiに対する予測成約価格と実際の成約価格との絶対値誤差の予測値を算出する関数を式（１１）で表す。
Figure JPOXMLDOC01-appb-M000011
 　　　　　　　　　　　　　　　　　　・・・（１１）
　式（１１）において、ｗ’は誤差予測モデルのパラメータ数を表す。
　例えば、図１２に示されるように、特徴量ベクトルｘを学習済の予測モデルｆに入力することで、予測成約価格3,560万が出力される。実際の成約価格が2,800万である場合、予測誤差（絶対値誤差）は760万となる。このようにして、特徴量ベクトルを入力データとして、予測モデルｆの予測誤差を推定する誤差予測モデルｇを学習する。
　誤差予測モデルｇとしては、様々な関数が考えられるが、例えば、線形回帰が用いられる。
　パラメータ学習は、学習データセットを用いて行われる。例えば、平均二乗誤差を誤差関数とし、勾配法を実行することで、誤差予測モデルのパラメータが決定される。
　誤差予測モデルの学習後、ステップＳ７２において、予測分析部１５１は、誤差予測モデルを用いて、予測誤差に対する各特徴量の値の寄与度を算出する。特徴量の値は、特徴量ベクトルの次元に対応する。
　寄与度としては、例えば、線形回帰を用いた誤差予測モデルの各特徴量に対応するパラメータの値が用いられ、予測誤差の増大に大きく寄与する特徴量の値が、予測精度を低下させる値として特定される。線形回帰の例では、パラメータの値が大きい特徴量の値が特定される。このとき、その特徴量の値が含まれるデータサンプル数の多さが考慮されて、特徴量の値が特定されてもよい。
　また、図１３に示されるようにして、特徴量の値の寄与度が算出されるようにしてもよい。
　図１３上段の例では、ある特徴量の値Ａ，Ｂ，Ｃ，Ｄ，Ｅを誤差予測モデルｇに入力すると、予測誤差540万が出力される。一方で、図１３下段の例では、値Ｂをマスクした特徴量の値Ａ，Ｃ，Ｄ，Ｅを誤差予測モデルｇに入力すると、予測誤差310万が出力される。すなわち、図１３の例では、特徴量の値Ｂをマスクすることで、予測誤差が230万減少している。この場合、予測誤差の大きさに応じて、特徴量の値Ｂの寄与度が算出される。
　誤差増大に寄与する特徴量の値が特定されると、ステップＳ７３において、アドバイス生成部１５２は、誤差増大に寄与する特徴量についてのアドバイスを提示するための提示情報を生成する。生成された提示情報は、出力部１２０によって出力される。
　図１４は、特徴量の追加についてのアドバイスの提示例を示す図である。
　図１４の例では、提示情報として、誤差増大に寄与する特徴量（項目）とその値、平均誤差増大、割合、改善インパクト、および学習データの例が提示されている。
　平均誤差増大は、全データサンプルにおける平均誤差（予測誤差の平均）に対する、誤差増大に寄与する特徴量の値を有するデータサンプルにおける平均誤差の増分を示している。
　割合は、全データサンプルに対する、誤差増大に寄与する特徴量の値を有するデータサンプルの割合を示している。
　改善インパクトは、上述した平均誤差増大と割合の積に基づいて決定されるスコアを示しており、図１４の例では星の数の多さで表されている。
　学習データの例は、誤差増大に寄与する特徴量の値を含むデータサンプルと、そのデータサンプルによる予測結果を示している。
　学習データの例においては、特に、データサンプルとして、予測モデルｆによる予測への寄与がより大きい特徴量（項目）のみが提示されるようにする。図１４の例では、広さ、最寄駅、徒歩分、築年数、所在階、およびバルコニ方向の各特徴量が示されている。
　また、学習データの例においては、データサンプルの特徴量ベクトルとしての類似度がより高く、予測の外し方（予測値－実際の値）が逆、すなわち予測誤差の正負が異なる２つのデータサンプルがペアで表示されるようにする。
　図１４の例では、誤差増大に寄与する項目の値として、築年の30～35年と、所在階の40～45階が示されている。
　築年が古い物件は、オーナーによるメンテナンスの状況により成約価格が変動することがあるが、メンテナンスの状況を示す情報（特徴量）は表形式データに含まれていないため、予測誤差が大きくなる。
　築年（30～35年）についての学習データの例においては、例１として、最寄駅が大崎で徒歩分が数分など、類似度がより高く、予測の外し方が逆の２つのデータサンプルがペアで表示されている。同様に、例２として、最寄駅が品川で徒歩分が15分程度など、類似度がより高く、予測の外し方が逆の２つのデータサンプルがペアで表示されている。
　また、所在階の高いタワーマンションの超高層階の物件は、通常の物件と比較して付加価値がつくが、超高層階であることを示す情報（特徴量）は表形式データに含まれていないため、予測誤差が大きくなる（実際より低く予測される）。
　所在階（40～45階）についての学習データの例においては、例３として、いずれも予測価格が実際の成約価格を下回っている３つのデータサンプルが表示されている。
　以上のような提示情報を提示することにより、ユーザに対して、予測精度の低下を回避するような特徴量の追加を促すことが可能となる。
　また、学習データの例として、予測モデルによる予測への寄与がより大きい項目が提示されるようにしたので、重要でない項目は提示されず、予測精度の向上に必要な学習データセットの全体像を、ユーザに直感的に認識させることができる。
　さらに、学習データの例として、類似度がより高く、予測の外し方が逆の２つのデータサンプルがペアで表示されるようにしたので、これら２つのデータサンプルの違いを表す特徴量の追加を促すことができる。
＜６．応用例＞
　以下においては、上述した実施の形態の応用例について説明する。
（１）特徴量（項目）の追加候補の自動提示
　図１５は、データベースに接続された情報処理装置１００を示している。
　データベース３００には、表形式データで表現される複数のテーブルが保持されている。予測分析に用いられる表形式データは、データベース３００に保持されているテーブルに基づいて生成される。
　アドバイス生成部１５２は、図１４を参照して説明した、特徴量の追加を促すアドバイス（提示情報）を生成する際に、誤差増大に寄与すると特定された特徴量の値を含むテーブルをデータベース３００から取得する。アドバイス生成部１５２は、取得したテーブルに含まれる、誤差増大に寄与すると特定された特徴量と、それ以外の特徴量との相関を表す相関値を算出し、その絶対値がより小さい特徴量を追加候補の特徴量として提示する。相関の低い特徴量同士は、互いに異なる情報を表すと考えられ、誤差増大を緩和する情報を含むことが期待される。
（２）分類の場合
　以上においては、予測分析として回帰が行われる場合の例について説明してきた。
　分類の場合、図１４を参照して説明したような予測値と実際の値との差分（予測誤差）を計算することができない。
　そこで、（1.0－正解ラベルの予測確率）を予測誤差とし、この予測誤差の増大に大きく寄与する特徴量が特定されるようにする。
　例えば、分類の対象となるラベルが、「離脱」か「継続」の２値を取るものとする。「離脱」のラベルを有するデータについては、離脱予測確率ｐを算出し、1.0－ｐを誤差とする。「継続」のラベルを有するデータについては、継続予測確率ｑを算出し、1.0－ｑを誤差とする。
　ただし、各ラベルを有するデータ数に偏りがある場合、上述のような誤差の算出手法では問題が生じる。例えば、「離脱」のラベルを有するデータが全体の２０％で、「継続」のラベルを有するデータが全体の８０％の場合、離脱予測確率ｐの方が、継続予測確率ｑよりも小さく推定されやすくなり、誤差が大きくなってしまう。
　そこで、以下の２つの対策が考えられる。
（対策１）
　１つ目の対策として、以下の手順で学習データでの偏りを除去する。
　１．各ラベルの比率を揃えた学習データセットを用意する。
　２．その学習データセットを用いた学習を行い、予測モデルｆａを生成する。
　３．予測モデルｆａに対して、上述で定義した誤差を推定する誤差予測モデルｆｂを生成する。
　４．誤差予測モデルｆｂについて、誤差増大に寄与する特徴量を特定する。
　５．以降は、回帰の場合と同様の処理を行う。
（対策２）
　２つ目の対策として、以下の手順で誤差値の補正を行う。
　１．学習データセットにおいて正解ラベルを有するデータの割合をｒ、ラベル数をｎとする。
　２．予測誤差として、max（１－正解ラベルの予測確率／ｒ／ｎ，０）を用いる。
　ここで、max（ｘ，ｙ）は、ｘ＞ｙであればｘ，ｘ＜ｙであればｙ，ｘ＝ｙであればｘを返す関数である。この関数を用いることにより、予測誤差がマイナス値を取らないようにすることができる。
　上述した例では、離脱予測確率ｐについては、ｒ＝0.2，ｎ＝２となり、「離脱」ラベルを有するデータの離脱予測確率ｐに対し、max（１－2.5ｐ，０）が誤差となる。一方、継続予測確率ｑについては、ｒ＝0.8となり、「継続」ラベルを有するデータの継続予測確率ｑに対し、max（１－0.625ｐ，０）が誤差となる。
　３．以降は、回帰の場合と同様の処理を行う。
　なお、誤差値の補正に、他の手法が用いられるようしてもよい。
　以上のようにして、予測誤差の増大に大きく寄与する特徴量を特定することができる。
　上述したように、予測分析の予測精度は、主に以下の３点で決定される。
　　１．予測に用いる予測モデル
　　２．予測モデルの構築に利用した学習データセットの量と質
　　３．本来の予測対象の困難さ
　上述した実施の形態においては、２．の学習データセットの改善により予測精度を向上させることを実現するものとした。これに限らず、２．や３．をより短時間で効果的に改善するには、外部の専門家によるコンサルティングを受けた方が良い場合もある。
　一方で、このような予測分析の領域の専門性を有する専門家は多くない。そのため、コンサルティングを行うコンサルタント側で知識を共有し、コンサルティングの質を向上させる仕組みが必要とされる。
　そこで、以下においては、コンサルタント側で知識を共有し、コンサルティングの質を向上させる実施の形態について説明する。
＜７．予測分析システムの構成＞
（システム概要）
　図１６は、本実施の形態の予測分析システムの概要を示す図である。
　図１６においては、ユーザＵが、予測分析ツール４００を用いた予測分析を行っている。具体的には、ユーザＵは、データセットＤを作成し、予測分析ツール４００に「学習」と「評価」を行わせる。
　予測分析ツール４００は、例えば、ユーザＵが所属する企業が保有するパーソナルコンピュータ（ＰＣ）上で起動するソフトウェアにより実現される。
　予測分析により得られた分析情報（ユーザＵにより作成されたデータセットＤの統計量や、予測分析ツール４００による予測分析の評価結果）は、例えばインターネットなどのネットワークを介して、指南書作成装置５００に供給される。
　また、ユーザＵは、予測分析の利用状況（予測分析の目的や、ユーザＵの所属部署など）を入力することで、入力したその情報を、指南書作成装置５００に供給される分析情報に追加することができる。
　指南書作成装置５００は、ユーザＵが行った予測分析に対するコンサルティングを行うコンサルタントＣが操作するＰＣやタブレット端末などにより構成される。
　指南書作成装置５００は、予測分析ツール４００からの分析情報の内容に基づいて、ユーザＵが行った予測分析に対するコンサルティングをコンサルタントＣに向けて指南するための指南書Ｇを提示する。
　指南書Ｇには、ユーザＵが行った予測分析に関するアドバイスや、分析事例データベース（ＤＢ）５０１から取得された、予測分析ツール４００からの分析情報に類似した分析情報（事例）などが含まれる。分析事例ＤＢ５０１には、過去に得られた複数の分析情報が格納されている。
　コンサルタントＣは、提示された指南書Ｇの内容に基づいて、ユーザＵが行った予測分析に対するコンサルティングを行うことができる。
　なお、図１６の予測分析システムは、ユーザＵ側の構成と、コンサルタントＣ側の構成とに区分されているが、必ずしもこのように区分される必要はなく、各構成を扱う者によって適宜区分されてよい。
（指南書作成装置の構成例）
　図１７は、指南書作成装置５００の機能構成例を示すブロック図である。
　図１７に示されるように、指南書作成装置５００は、入力部５１０、提示部５２０、記憶部５３０、および制御部５４０を備える。
　入力部５１０は、予測分析ツール４００からの分析情報などの様々な情報を入力する。入力部５１０は、入力した情報を制御部５４０に供給する。
　提示部５２０は、制御部５４０から供給された情報を提示する機能を有する。例えば、提示部５２０は、予測分析に対するコンサルティングを指南するための指南情報を含む指南書を提示する。
　提示部５２０は、例えばモニタとして構成されることで、画面への表示により情報を提示してもよいし、スピーカとして構成されることで、音声により情報を提示してもよい。また、提示部５２０は、プリンタとして構成されることで、紙などの印刷媒体への印刷により情報を提示してもよい。
　記憶部５３０は、情報を一時的または恒久的に記憶する機能を有する。例えば、記憶部５３０は、予測分析ツール４００からの分析情報を一時的に記憶する。記憶部５３０に記憶されている、過去に得られた分析情報は、例えばコンサルタントＣにより入力された入力情報に対応付けられて、分析事例ＤＢ５０１に格納される。
　制御部５４０は、指南書作成装置５００全体の動作を制御する機能を有する。具体的には、制御部５４０は、予測分析ツール４００からの分析情報の内容に基づいて、その分析情報が得られた、予測分析ツール４００による予測分析に対するコンサルティングの指南情報の提示を制御する。
　制御部５４０は、アドバイス生成部５５１、類似情報取得部５５２、グラフ生成部５５３、および提示制御部５５４を備える。
　アドバイス生成部５５１は、予測分析ツール４００からの分析情報の内容に基づいて、ユーザＵが行った予測分析に関するアドバイスを生成する。
　類似情報取得部５５２は、分析事例ＤＢ５０１に格納されている分析情報から、予測分析ツール４００からの分析情報に類似した類似情報を取得する。
　グラフ生成部５５３は、予測分析ツール４００からの分析情報の内容に基づいて、ユーザＵが行った予測分析の予測精度を評価する精度評価グラフを生成する。
　アドバイス生成部５５１により生成されたアドバイス、類似情報取得部５５２により取得された類似情報、グラフ生成部５５３により生成された精度評価グラフは、提示制御部５５４に供給される。
　提示制御部５５４は、アドバイス生成部５５１、類似情報取得部５５２、グラフ生成部５５３それぞれからのアドバイス、類似情報、精度評価グラフの、指南情報としての、提示部５２０への提示を制御する。
　以下においては、予測分析システムにおける各処理について説明する。
＜８．分析情報送信処理＞
　まず、図１８のフローチャートを参照して、予測分析ツール４００による分析情報の送信処理について説明する。
　予測分析を行うユーザＵが、予測分析ツール４００にデータセットを入力すると、ステップＳ１１１において、予測分析ツール４００は、入力されたデータセットを用いた予測分析を行うことで、分析情報を生成する。予測分析ツール４００は、生成した分析情報を、図示せぬ表示部などに表示するなどして、ユーザＵに確認させる。
　ステップＳ１１２において、予測分析ツール４００は、分析情報を確認しているユーザＵの修正操作に応じて、分析情報の修正を受け付ける。この処理は、必要に応じて行われる。
　データセットには、ユーザＵによって誤入力されたデータが存在する可能性があることから、データセットのうち、例えば特定の項目についての最大・最小の値それぞれ上位５個を有するデータを除去するといった修正を行うことができる。
　ステップＳ１１３において、予測分析ツール４００は、ユーザＵの入力操作に応じて、予測分析の利用状況の入力を受け付ける。入力された予測分析の利用状況は、生成された分析情報に追加される。この処理もまた、必要に応じて行われ、指南書作成装置５００において行われてもよい。
　ステップＳ１１４において、予測分析ツール４００は、ユーザＵの送信指示に応じて、予測分析の利用状況が追加された分析情報を、指南書作成装置５００に送信する。
　以上のようにして、分析情報送信処理が行われる。
（分析情報の例）
　図１９は、指南書作成装置５００に送信される分析情報の例を示す図である。
　図１９の分析情報６１０には、データセットの項目名、データの事例、データセットの統計量、データセットに予測分析を適用した際の情報（評価結果）、予測分析の利用状況が含まれる。
　データセットの項目名（特徴量）は、図１９の例では、上述した実施の形態と同様、中古マンションの「広さ」、「最寄駅」、「徒歩分」、「築年数」、「所在階」、「バルコニ方向」、および「成約価格」とされる。
　データの事例は、実際のデータではないものの、データセットを具体的に理解するために利用される。データの事例は、例えば、データセットの各項目について独立に、データがランダムに選択されたものとする。図１９の例では、２つのデータの事例（事例１および事例２）が例示されている。
　なお、事例１においては、成約価格が98500（万）となっているが、これはユーザＵによって誤入力されたもので、本来の成約価格は9850（万）である。このようなデータが、図１８のフローチャートのステップＳ１１２において、修正の対象となる。
　データセットの統計量には、データ数（図１９の例では3617）や項目数（図１９の例では７）の他、各項目のタイプ、ユニーク数、欠損率、データの最大値、最小値、平均値、および標準偏差が含まれる。データセットの統計量に、各項目のデータの中央値や分散が含まれてもよい。
　データセットに予測分析を適用した際の情報には、ターゲット変数、予測タスク（回帰、２値分類、多値分類など）、使用した項目リスト、予測精度値、予測寄与度の統計量などが含まれる。図１９の例では、ターゲット変数は成約価格とされ、予測タスクは数値予測とされる。また、図１９の例では、予測精度値として、ターゲット変数である成約価格の誤差中央値531万と誤差率中央値９．３％が示されている。なお、使用した項目リストは、予測精度が最も高かった設定が選択される。
　予測分析の利用状況には、予測分析の目的（作業自動化・効率化、マーケティング、予兆管理、需要予測など）、予測分析を行った分析部署（データ分析部門、営業部門、マーケティング部門など）、評価結果を利用する利用部署（営業部門、コールセンタ、人事部門など）が含まれる。また、予測分析の利用状況には、予測分析を行った企業の業界、予測タスクのサブカテゴリであるタスクタイプが含まれる。図１９の例では、予測分析の目的は、売買仲介の営業時に、仮査定額の即時算出を行うための「作業自動化・効率化」とされる。また、分析部署はＩＴ部門、利用部署は営業、業界は不動産、タスクタイプは価格予測とされる。
　以上のような分析情報６１０が、指南書作成装置５００に送信され、記憶部５３０に記憶される。
＜９．分析情報登録処理＞
　次に、図２０のフローチャートを参照して、指南書作成装置５００による分析事例ＤＢ５０１への分析情報の登録処理について説明する。
　ステップＳ１３１において、制御部５４０は、記憶部５３０に記憶されている分析情報の中から、分析事例ＤＢ５０１に登録する分析情報を選択するコンサルタントＣの選択操作に応じて、分析情報の選択を受け付ける。
　ステップＳ１３２において、制御部５４０は、コンサルタントＣの入力操作に応じて、予測分析の利用状況の入力を受け付ける。入力された予測分析の利用状況は、選択された分析情報に追加される。この処理は、必要に応じて行われ、上述したように予測分析ツール４００において行われてもよい。
　ステップＳ１３３において、制御部５４０は、コンサルタントＣの入力操作に応じて、コンサルティングに関する情報の入力を受け付ける。コンサルティングに関する情報（入力情報）は、例えば、選択された分析情報が得られた予測分析に対する、コンサルタントＣの評価や検討結果などを表すテキスト情報とされる。
　ステップＳ１３４において、制御部５４０は、コンサルタントＣの登録操作に応じて、選択された分析情報を、入力された入力情報（テキスト情報）と対応付けて分析事例ＤＢ５０１に格納する。
　以上のようにして、分析情報登録処理が行われる。
（分析情報の例）
　図２１は、分析事例ＤＢ５０１に登録される分析情報の例を示す図である。
　図２１の分析情報６２０の構成は、基本的には、図１９の分析情報６１０の構成と同様である。
　図２１の例では、データ数は10390、項目数は６、ターゲット変数は平米単価、予測タスクは数値予測とされる。
　また、図２１の例では、データセットの項目名（特徴量）は、中古マンションの「地名」、「徒歩分」、「接道方向」、「成約日」、「地域犯罪率」、および「平米単価」とされる。
　さらに、図２１の例では、予測精度値として、平米単価の誤差中央値38134と誤差率中央値１８．７％が示されている。
　そして、図２１の例では、予測分析の目的は、売買仲介の営業時に、仮査定額の即時算出を行うための「作業自動化・効率化」とされ、分析部署はＩＴ部門、利用部署は営業、業界は不動産、タスクタイプは価格予測とされている。
（入力情報の例）
　図２２は、図２１の分析情報６２０に対応付けられて分析事例ＤＢ５０１に登録される入力情報の例を示す図である。
　図２２の入力情報６３０には、コンサルタントＣによって分析情報６２０について入力されたテキスト情報が含まれる。
　具体的には、入力情報６３０には、分析情報６２０が得られた予測分析について、
　・地域犯罪率の情報を特定のＵＲＬから取得して追加することで予測精度が向上した点
　・予測精度が低く、現状では想定していた目的では利用できない点
　・上記の点に対して、予測精度の高い地域では利用できる点
　の３点についてのテキスト情報が含まれている。
　以上のような入力情報６３０が、分析情報６２０と対応付けられて分析事例ＤＢ５０１に登録される。
＜１０．指南書提示処理＞
　次に、図２３のフローチャートを参照して、指南書作成装置５００による指南書提示処理について説明する。
　ステップＳ１５１において、制御部５４０は、記憶部５３０に記憶されている分析情報の中から、コンサルタントＣによるコンサルティングの対象となる分析情報の選択操作に応じて、分析情報の選択を受け付ける。この例では、図１９の分析情報６１０が選択されたものとする。
　ステップＳ１５２において、指南書作成装置５００の制御部５４０は、コンサルタントＣにより選択された分析情報の内容に基づいて、その分析情報を分類する。
　ステップＳ１５３において、制御部５４０のアドバイス生成部５５１は、コンサルティングの対象となる分析情報が分類されたカテゴリに応じて、その分析情報が得られた予測分析に関するアドバイスを生成する。
　図２４は、アドバイス生成部５５１により生成されるアドバイスの例を示す図である。
　図２４のアドバイス６４０においては、コンサルティングの対象となる分析情報が、「データ・予測に関する観測」と「状況」について分類され、それぞれの分類結果に対して精度改善のアドバイスと、ビジネス導入のアドバイスが生成されている。
　具体的には、コンサルティングの対象となる分析情報は、データ・予測に関する観測について「データ数が少なく、過学習の傾向がある」、「予測対象の数値の分散が大きい」と分類されている。
　「データ数が少なく、過学習の傾向がある」に対しては、精度改善のアドバイスとして、「データ数を増やす方法を検討すると良い」、「予測に影響しそうにない入力項目（特徴量）を減らすと良い」とのアドバイスが生成されている。また、「予測対象の数値の分散が大きい」に対しては、精度改善のアドバイスとして、「極端に小さい値や大きい値は、データの誤りの可能性があるので、確認した方が良い」とのアドバイスが生成されている。
　また、コンサルティングの対象となる分析情報は、状況について「数値予測で誤差率が一定以上」、「領域が不動産」と分類されている。
　「数値予測で誤差率が一定以上」に対しては、ビジネス導入のアドバイスとして、「予測の高いサブ問題に絞り、そこで要求性能を超えるか否かを確認するとよい」とのアドバイスが生成されている。また、「領域が不動産」に対しては、ビジネス導入のアドバイスとして、「オープンデータを紐付けることで、入力項目（地域犯罪率など）を追加することができるので、検討すると良い」とのアドバイスが生成されている。
　以上のようなアドバイス６４０を構成するアドバイスは、カテゴリ毎に記憶部５３０に記憶されている。アドバイス生成部５５１は、分析情報が分類されたカテゴリに応じたルールベースにより、記憶部５３０から最適なアドバイスを読み出すことにより、アドバイス６４０を生成することができる。すなわち、コンサルティングの対象となる分析情報は、アドバイスを抽出するクエリとして機能する。
　なお、アドバイス生成部５５１が、分析情報が分類されたカテゴリに応じたルールベースではなく、そのカテゴリに応じた機械学習により、アドバイス６４０を生成するようにしてもよい。
　図２３のフローチャートに戻り、ステップＳ１５４において、類似情報取得部５５２は、コンサルティングの対象となる分析情報と、分析事例ＤＢ５０１に格納されている分析情報との類似度を算出する。
　例えば、類似情報取得部５５２は、２つの分析情報について、図２５に示される特徴量毎の距離を算出し、算出した各距離の重み付き和を２つの分析情報の距離とする。類似情報取得部５５２は、分析事例ＤＢ５０１に格納されている複数の分析情報について、コンサルティングの対象となる分析情報との距離を算出し、算出した各距離を単調減少関数で表現したものを類似度とする。
　図２５に示される特徴量毎の距離の算出において、数値タイプの特徴量（データ数、項目数、数値タイプの項目数の割合、予測精度値、ターゲット値の統計量）については、距離は数値として算出される。なお、予測精度値は、予測タスクが回帰の場合には誤差中央値、予測タスクが２値分類の場合にはＡＵＣ、予測タスクが多値分類の場合にはaccuracy（正解率）とされる。また、ターゲット値の統計量は、予測タスクが回帰の場合には平均と分散、予測タスクが２値分類の場合には少ない方のラベル値の全体に占める割合、予測タスクが多値分類の場合にはラベル数とされる。
　一方、特徴量毎の距離の算出において、文字列タイプの特徴量（予測タスク、タスクタイプ、業界、目的、分析部署、利用部署）については、それぞれの特徴量が一致すれば１、一致しなければ０として、距離が算出される。
　図２３のフローチャートに戻り、ステップＳ１５５において、類似情報取得部５５２は、算出した類似度（単調減少関数における各距離）が所定値より高い分析情報を類似情報として、分析事例ＤＢ５０１から取得する。この例では、類似情報として、図２１の分析情報６２０と、その分析情報６２０に対応付けられた図２２の入力情報が取得されたものとする。
　ステップＳ１５６において、グラフ生成部５５３は、コンサルティングの対象となる分析情報が分類されたカテゴリに応じて、その分析情報が得られた予測分析の予測精度を評価する精度評価グラフを生成する。
　このとき、グラフ生成部５５３は、例えばコンサルタントＣが入力した情報（予測分析の目的など）に応じた精度評価グラフを生成する。
　ここで、図２６および図２７を参照して、グラフ生成部５５３によって生成される精度評価グラフについて説明する。
　図２６は、コンサルタントＣによりタスクタイプとして「価格予測」が入力された場合に生成される精度評価グラフの例を示す図である。
　図２６の精度評価グラフでは、図１９の分析情報６１０に含まれる誤差率中央値9.3％に対して、分析情報６１０のターゲット変数である成約価格の誤差が、５％以内に収まる割合、１０％以内に収まる割合、２０％以内に収まる割合がそれぞれ示されている。図２６の例では、誤差が５％以内に収まる割合は４０．５％、１０％以内に収まる割合は６１．９％、２０％以内に収まる割合は８５．１％とされる。
　図２７は、コンサルタントＣによりタスクタイプとして「需要予測」が入力された場合に生成される精度評価グラフの例を示す図である。
　図２７の精度評価グラフでは、所定期間における需要予測について、予測値のグラフと実際の値のグラフが示されている。図２７の例では、予測値は点線で、実際の値は実線で示されており、平均誤差率は１２．５％とされる。
　なお、図２７の例では、タスクタイプとして需要予測が入力された後、コンサルタントＣにより、所定期間に対応する時間情報が入力される。このようにして、タスクタイプによっては、コンサルタントＣによる追加の情報の入力を受け付けるようにすることができる。
　上述した例では、タスクタイプは、コンサルタントＣにより入力されるものとしたが、例えば予測タスクとターゲット変数それぞれの文字列から自動的に決定されるようにしてもよい。例えば、予測タスクが数値予測で、ターゲット変数が平米単価である場合には、タスクタイプは価格予測に決定されるようにする。
　以上のような精度評価グラフもまた、カテゴリ毎に記憶部５３０に記憶されている。グラフ生成部５５３は、分析情報が分類されたカテゴリに応じたルールベースにより、記憶部５３０から最適な精度評価グラフを読み出すことにより、精度評価グラフを生成することができる。すなわち、コンサルティングの対象となる分析情報は、精度評価グラフを抽出するクエリとして機能する。
　さて、図２３のフローチャートに戻り、ステップＳ１５７において、提示制御部５５４は、指南情報として、アドバイス生成部５５１により生成されたアドバイス、類似情報取得部５５２より取得された類似情報、グラフ生成部５５３により生成された精度評価グラフの提示部５２０への提示を制御する。
　図２８は、提示部５２０がモニタとして構成される場合の指南情報の提示例を示す図である。
　図２８に示されるモニタ７１０の画面には、図２４のアドバイス６４０、類似事例としての図２１の分析情報と図２２の入力情報、および、図２７の精度評価グラフを含むコンサルティング指南書が表示されている。
　図２９は、提示部５２０がプリンタとして構成される場合の指南情報の提示例を示す図である。
　プリンタとしての提示部５２０により出力される、図２９に示される印刷媒体７２０には、図２４のアドバイス６４０、類似事例としての図２１の分析情報と図２２の入力情報、および、図２７の精度評価グラフを含むコンサルティング指南書が印刷されている。
　このようにして提示された指南書の内容（指南情報）に基づいて、コンサルタントＣは、ユーザＵが行った予測分析（図１９の分析情報６１０が得られた予測分析）に対するコンサルティングを行うことができる。
　以上の処理によれば、提示された指南書の内容に基づいて、コンサルタント側で知識を共有したり、予測分析の導入の取り組み全体をサポートしたりすることができるので、コンサルティングの質を向上させることが可能となる。
＜１１．コンピュータのハードウェア構成＞
　次に、本開示の実施の形態による情報処理装置のハードウェア構成について説明する。
　図３０は、本開示の実施の形態による情報処理装置のハードウェア構成例を示すブロック図である。
　図３０に示されるコンピュータ９００は、例えば、上述した実施の形態における情報処理装置１００や指南書作成装置５００を実現しうる。
　コンピュータ９００は、ＣＰＵ（Central Processing unit）９０１，ＲＯＭ（Read Only Memory）９０３、およびＲＡＭ（Random Access Memory）９０５を含む。また、コンピュータ９００は、ホストバス９０７、ブリッジ９０９、外部バス９１１、インタフェース９１３、入力装置９１５、出力装置９１７、ストレージ装置９１９、ドライブ９２１、接続ポート９２３、通信装置９２５を含んでもよい。コンピュータ９００は、ＣＰＵ９０１に代えて、またはこれとともに、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、またはＦＰＧＡ（Field-Programmable Gate Array）などの処理回路を有してもよい。
　ＣＰＵ９０１は、演算処理装置および制御装置として機能し、ＲＯＭ９０３，ＲＡＭ９０５、ストレージ装置９１９、またはリムーバブル記録媒体９２７に記録された各種のプログラムに従って、コンピュータ９００内の動作全般またはその一部を制御する。ＲＯＭ９０３は、ＣＰＵ９０１が使用するプログラムや演算パラメータなどを記憶する。ＲＡＭ９０５は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一次記憶する。ＣＰＵ９０１，ＲＯＭ９０３、およびＲＡＭ９０５は、ＣＰＵバスなどの内部バスにより構成されるホストバス９０７により相互に接続されている。さらに、ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Peripheral Component Interconnect/Interface）バスなどの外部バス９１１に接続されている。
　入力装置９１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなど、ユーザによって操作される装置である。入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、コンピュータ９００の操作に対応した携帯電話などの外部接続機器９２９であってもよい。入力装置９１５は、ユーザが入力した情報に基づいて入力信号を生成してＣＰＵ９０１に出力する入力制御回路を含む。ユーザは、この入力装置９１５を操作することによって、コンピュータ９００に対して各種のデータを入力したり処理動作を指示したりする。
　出力装置９１７は、取得した情報をユーザに対して視覚や聴覚、触覚などの感覚を用いて通知することが可能な装置で構成される。出力装置９１７は、例えば、ＬＣＤ（Liquid Crystal Display）または有機ＥＬ（Electro-Luminescence）ディスプレイなどの表示装置、スピーカまたはヘッドフォンなどの音声出力装置、もしくはバイブレータなどでありうる。出力装置９１７は、コンピュータ９００の処理により得られた結果を、テキストまたは画像などの映像、音声または音響などの音声、またはバイブレーションなどとして出力する。
　ストレージ装置９１９は、コンピュータ９００の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９は、例えば、ＨＤＤ（Hard Disk Drive）などの磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。ストレージ装置９１９は、例えばＣＰＵ９０１が実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。
　ドライブ９２１は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体９２７のためのリーダライタであり、コンピュータ９００に内蔵、あるいは外付けされる。ドライブ９２１は、装着されているリムーバブル記録媒体９２７に記録されている情報を読み出して、ＲＡＭ９０５に出力する。また、ドライブ９２１は、装着されているリムーバブル記録媒体９２７に記録を書き込む。
　接続ポート９２３は、機器をコンピュータ９００に接続するためのポートである。接続ポート９２３は、例えば、ＵＳＢ（Universal Serial Bus）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Small Computer System Interface）ポートなどでありうる。また、接続ポート９２３は、ＲＳ－２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）ポートなどであってもよい。接続ポート９２３に外部接続機器９２９を接続することで、コンピュータ９００と外部接続機器９２９との間で各種のデータが交換されうる。
　通信装置９２５は、例えば、通信ネットワーク９３１に接続するための通信デバイスなどで構成された通信インタフェースである。通信装置９２５は、例えば、ＬＡＮ（Local Area Network）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ－Ｆｉ、またはＷＵＳＢ（Wireless USB）用の通信カードなどでありうる。また、通信装置９２５は、光通信用のルータ、ＡＤＳＬ（Asymmetric Digital Subscriber Line）用のルータ、または、各種通信用のモデムなどであってもよい。通信装置９２５は、例えば、インターネットや他の通信機器との間で、ＴＣＰ／ＩＰなどの所定のプロトコルを用いて信号などを送受信する。また、通信装置９２５に接続される通信ネットワーク９３１は、有線または無線によって接続されたネットワークであり、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信または衛星通信などを含みうる。
　以上、コンピュータ９００のハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。かかる構成は、実施する時々の技術レベルに応じて適宜変更されうる。
　なお、コンピュータ９００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　なお、本開示に係る技術の実施の形態は、上述した実施の形態に限定されるものではなく、本開示に係る技術の要旨を逸脱しない範囲において種々の変更が可能である。
　また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
　さらに、本開示に係る技術は以下のような構成をとることができる。
（１）
　予測モデルの学習に用いる学習データセットの所定数のデータサンプルに対して、前記予測モデルの評価に用いる評価データセットの評価値を算出する予測分析部と、
　前記学習データセットの全データサンプルについての前記評価値およびその勾配に基づいて、前記学習データセットの前記データサンプルおよびその特徴量の少なくともいずれかに関するアドバイスを提示するための提示情報を生成するアドバイス生成部と
　を備える情報処理装置。
（２）
　前記アドバイス生成部は、前記学習データセットの全データサンプルについての前記評価値と所定の閾値との大小関係に基づいて、前記学習データセットの特徴量数の改善についての前記アドバイスを提示するための前記提示情報を生成する
　（１）に記載の情報処理装置。
（３）
　前記アドバイス生成部は、前記学習データセットの全データサンプルについての前記評価値が前記閾値より小さい場合、前記学習データセットの特徴量数が足りていない旨の前記アドバイスを提示するための前記提示情報を生成する
　（２）に記載の情報処理装置。
（４）
　前記アドバイス生成部は、前記学習データセットの全データサンプルについての前記評価値が前記閾値より大きい場合、前記学習データセットの特徴量は足りている旨の前記アドバイスを提示するための前記提示情報を生成する
　（２）または（３）に記載の情報処理装置。
（５）
　前記アドバイス生成部は、前記学習データセットの全データサンプルについての前記評価値の勾配と所定の閾値との大小関係に基づいて、前記学習データセットのデータサンプル数の改善についての前記アドバイスを提示するための前記提示情報を生成する
　（１）に記載の情報処理装置。
（６）
　前記アドバイス生成部は、前記学習データセットの全データサンプルについての前記評価値の勾配が前記閾値より大きい場合、前記学習データセットのデータサンプル数が足りていない旨の前記アドバイスを提示するための前記提示情報を生成する
　（５）に記載の情報処理装置。
（７）
　前記アドバイス生成部は、前記学習データセットの全データサンプルについての前記評価値の勾配が前記閾値より小さい場合、前記学習データセットのデータサンプル数は足りている旨の前記アドバイスを提示するための前記提示情報を生成する
　（５）または（６）に記載の情報処理装置。
（８）
　前記勾配は、前記学習データセットの全データサンプルについての前記評価値と、前記全データサンプルより多いまたは少ない数のデータサンプルについての前記評価値との差分である
　（５）乃至（７）のいずれかに記載の情報処理装置。
（９）
　前記閾値は、前記学習データセットの全データサンプルについての前記評価値に基づいて決定される
　（５）乃至（７）のいずれかに記載の情報処理装置。
（１０）
　前記勾配は、学習アルゴリズムにおける前記予測モデルのパラメータ更新回数に対する、前記学習データセットについての第１の評価値と前記評価データセットについての第２の評価値との差分の増加率である
　（５）乃至（７）のいずれかに記載の情報処理装置。
（１１）
　前記予測分析部は、前記予測モデルの予測誤差を推定する誤差予測モデルを学習し、
　前記アドバイス生成部は、前記誤差予測モデルを用いて算出された前記予測誤差に対する前記特徴量の寄与度に基づいて、前記予測誤差の増大に寄与する第１の特徴量に関する前記アドバイスを提示するための前記提示情報を生成する
　（１）乃至（１０）のいずれかに記載の情報処理装置。
（１２）
　前記提示情報は、前記第１の特徴量の値を含む
　（１１）に記載の情報処理装置。
（１３）
　前記提示情報は、前記第１の特徴量の値を有する前記データサンプルを含む
　（１１）または（１２）に記載の情報処理装置。
（１４）
　前記提示情報は、前記第１の特徴量の値を有する前記データサンプルにおける、前記予測モデルによる予測への寄与がより大きい第２の特徴量を含む
　（１１）乃至（１３）のいずれかに記載の情報処理装置。
（１５）
　前記提示情報は、前記第１の特徴量の値を有する複数の前記データサンプルのうちの、前記特徴量の類似度がより高く、かつ、前記予測誤差の正負が異なる第１および第２のデータサンプルを含む
　（１１）乃至（１４）のいずれかに記載の情報処理装置。
（１６）
　前記提示情報は、前記全データサンプルにおける平均誤差に対する、前記第１の特徴量の値を有する前記データサンプルにおける平均誤差の増分を含む
　（１１）乃至（１５）のいずれかに記載の情報処理装置。
（１７）
　前記提示情報は、前記全データサンプルに対する、前記第１の特徴量の値を有する前記データサンプルの割合を含む
　（１１）乃至（１６）のいずれかに記載の情報処理装置。
（１８）
　前記第１の特徴量に関する前記提示情報は、前記第１の特徴量との相関を表す相関値がより小さい前記特徴量を含む
　（１１）乃至（１７）のいずれかに記載の情報処理装置。
（１９）
　情報処理装置が、
　予測モデルの学習に用いる学習データセットの所定数のデータサンプルに対して、前記予測モデルの評価に用いる評価データセットの評価値を算出し、
　前記学習データセットの全データサンプルについての前記評価値およびその勾配に基づいて、前記学習データセットの前記データサンプルおよびその特徴量の少なくともいずれかに関するアドバイスを提示するための提示情報を生成する
　情報処理方法。
（２０）
　コンピュータに、
　予測モデルの学習に用いる学習データセットの所定数のデータサンプルに対して、前記予測モデルの評価に用いる評価データセットの評価値を算出し、
　前記学習データセットの全データサンプルについての前記評価値およびその勾配に基づいて、前記学習データセットの前記データサンプルおよびその特徴量の少なくともいずれかに関するアドバイスを提示するための提示情報を生成する
　処理を実行させるためのプログラム。
　また、本開示に係る技術は以下のような構成をとることもできる。
（１）
　予測分析により得られた分析情報の内容に基づいて、前記予測分析に対するコンサルティングの指南情報の提示を制御する制御部
　を備える情報処理装置。
（２）
　前記予測分析に関するアドバイスを生成するアドバイス生成部をさらに備え、
　前記制御部は、前記指南情報として、前記アドバイスを提示する
　（１）に記載の情報処理装置。
（３）
　前記アドバイス生成部は、前記分析情報の内容に基づいて前記分析情報が分類されたカテゴリに応じて、前記アドバイスを生成する
　（２）に記載の情報処理装置。
（４）
　前記アドバイス生成部は、前記分析情報が分類された前記カテゴリに応じたルールベースにより、前記アドバイスを生成する
　（３）に記載の情報処理装置。
（５）
　前記アドバイス生成部は、前記分析情報が分類された前記カテゴリに応じた機械学習により、前記アドバイスを生成する
　（３）に記載の情報処理装置。
（６）
　前記分析情報は、データセットの統計量を含む
　（１）乃至（５）のいずれかに記載の情報処理装置。
（７）
　前記分析情報は、前記予測分析の評価結果を含む
　（１）乃至（５）のいずれかに記載の情報処理装置。
（８）
　前記予測分析の前記評価結果は、前記予測分析の予測精度およびデータセットの予測寄与度の少なくともいずれか一方を含む
　（７）に記載の情報処理装置。
（９）
　前記分析情報は、前記予測分析の利用状況を含む
　（１）乃至（８）のいずれかに記載の情報処理装置。
（１０）
　前記予測分析の前記利用状況は、前記予測分析の目的を少なくとも含む
　（９）に記載の情報処理装置。
（１１）
　前記予測分析の前記利用状況は、前記コンサルティングを受けるユーザ、または、前記コンサルティングを行うコンサルタントにより入力される情報である
　（９）に記載の情報処理装置。
（１２）
　過去に得られた前記分析情報から、前記コンサルティングの対象となる前記分析情報との類似度が所定値より高い類似情報を取得する類似情報取得部をさらに備え、
　前記制御部は、前記指南情報として、取得された前記類似情報をさらに提示する
　（２）に記載の情報処理装置。
（１３）
　前記制御部は、前記類似情報とともに、前記コンサルティングを行うコンサルタントによって前記類似情報について入力されたテキスト情報を提示する
　（１２）に記載の情報処理装置。
（１４）
　前記予測分析の予測精度を評価する精度評価グラフを生成するグラフ生成部をさらに備え、
　前記制御部は、前記指南情報として、前記精度評価グラフをさらに提示する
　（２）に記載の情報処理装置。
（１５）
　前記グラフ生成部は、前記分析情報の内容に基づいて前記分析情報が分類されたカテゴリに応じて、前記精度評価グラフを生成する
　（１４）に記載の情報処理装置。
（１６）
　前記グラフ生成部は、前記分析情報が分類された前記カテゴリに応じたルールベースにより、前記精度評価グラフを生成する
　（１５）に記載の情報処理装置。
（１７）
　前記制御部は、前記指南情報の画面への表示を制御する
　（１）に記載の情報処理装置。
（１８）
　前記制御部は、前記指南情報の印刷媒体への印刷を制御する
　（１）に記載の情報処理装置。
（１９）
　情報処理装置が、
　予測分析により得られた分析情報の内容に基づいて、前記予測分析に対するコンサルティングの指南情報の提示を制御する
　情報処理方法。
（２０）
　コンピュータに、
　予測分析により得られた分析情報の内容に基づいて、前記予測分析に対するコンサルティングの指南情報の提示を制御する
　処理を実行させるためのプログラム。
　１００　情報処理装置，　１１０　入力部，　１２０　出力部，　１３０　記憶部，　１４０　制御部，　１５１　予測分析部，　１５２　アドバイス生成部，　４００　予測分析ツール，　５００　指南書作成装置，　５０１　分析事例ＤＢ，　５１０　入力部，　５２０　提示部，　５３０　記憶部，　５４０　制御部，　５５１　アドバイス生成部，　５５２　類似情報取得部，　５５３　グラフ生成部，　５５４　提示制御部，　９００　コンピュータ

Claims (20)

  1. 　予測モデルの学習に用いる学習データセットの所定数のデータサンプルに対して、前記予測モデルの評価に用いる評価データセットの評価値を算出する予測分析部と、
    　前記学習データセットの全データサンプルについての前記評価値およびその勾配に基づいて、前記学習データセットの前記データサンプルおよびその特徴量の少なくともいずれかに関するアドバイスを提示するための提示情報を生成するアドバイス生成部と
    　を備える情報処理装置。
  2. 　前記アドバイス生成部は、前記学習データセットの全データサンプルについての前記評価値と所定の閾値との大小関係に基づいて、前記学習データセットの特徴量数の改善についての前記アドバイスを提示するための前記提示情報を生成する
    　請求項１に記載の情報処理装置。
  3. 　前記アドバイス生成部は、前記学習データセットの全データサンプルについての前記評価値が前記閾値より小さい場合、前記学習データセットの特徴量数が足りていない旨の前記アドバイスを提示するための前記提示情報を生成する
    　請求項２に記載の情報処理装置。
  4. 　前記アドバイス生成部は、前記学習データセットの全データサンプルについての前記評価値が前記閾値より大きい場合、前記学習データセットの特徴量は足りている旨の前記アドバイスを提示するための前記提示情報を生成する
    　請求項２に記載の情報処理装置。
  5. 　前記アドバイス生成部は、前記学習データセットの全データサンプルについての前記評価値の勾配と所定の閾値との大小関係に基づいて、前記学習データセットのデータサンプル数の改善についての前記アドバイスを提示するための前記提示情報を生成する
    　請求項１に記載の情報処理装置。
  6. 　前記アドバイス生成部は、前記学習データセットの全データサンプルについての前記評価値の勾配が前記閾値より大きい場合、前記学習データセットのデータサンプル数が足りていない旨の前記アドバイスを提示するための前記提示情報を生成する
    　請求項５に記載の情報処理装置。
  7. 　前記アドバイス生成部は、前記学習データセットの全データサンプルについての前記評価値の勾配が前記閾値より小さい場合、前記学習データセットのデータサンプル数は足りている旨の前記アドバイスを提示するための前記提示情報を生成する
    　請求項５に記載の情報処理装置。
  8. 　前記勾配は、前記学習データセットの全データサンプルについての前記評価値と、前記全データサンプルより多いまたは少ない数のデータサンプルについての前記評価値との差分である
    　請求項５に記載の情報処理装置。
  9. 　前記閾値は、前記学習データセットの全データサンプルについての前記評価値に基づいて決定される
    　請求項５に記載の情報処理装置。
  10. 　前記勾配は、学習アルゴリズムにおける前記予測モデルのパラメータ更新回数に対する、前記学習データセットについての第１の評価値と前記評価データセットについての第２の評価値との差分の増加率である
    　請求項５に記載の情報処理装置。
  11. 　前記予測分析部は、前記予測モデルの予測誤差を推定する誤差予測モデルを学習し、
    　前記アドバイス生成部は、前記誤差予測モデルを用いて算出された前記予測誤差に対する前記特徴量の寄与度に基づいて、前記予測誤差の増大に寄与する第１の特徴量に関する前記アドバイスを提示するための前記提示情報を生成する
    　請求項１に記載の情報処理装置。
  12. 　前記提示情報は、前記第１の特徴量の値を含む
    　請求項１１に記載の情報処理装置。
  13. 　前記提示情報は、前記第１の特徴量の値を有する前記データサンプルを含む
    　請求項１１に記載の情報処理装置。
  14. 　前記提示情報は、前記第１の特徴量の値を有する前記データサンプルにおける、前記予測モデルによる予測への寄与がより大きい第２の特徴量を含む
    　請求項１１に記載の情報処理装置。
  15. 　前記提示情報は、前記第１の特徴量の値を有する複数の前記データサンプルのうちの、前記特徴量の類似度がより高く、かつ、前記予測誤差の正負が異なる第１および第２のデータサンプルを含む
    　請求項１１に記載の情報処理装置。
  16. 　前記提示情報は、前記全データサンプルにおける平均誤差に対する、前記第１の特徴量の値を有する前記データサンプルにおける平均誤差の増分を含む
    　請求項１１に記載の情報処理装置。
  17. 　前記提示情報は、前記全データサンプルに対する、前記第１の特徴量の値を有する前記データサンプルの割合を含む
    　請求項１１に記載の情報処理装置。
  18. 　前記第１の特徴量に関する前記提示情報は、前記第１の特徴量との相関を表す相関値がより小さい前記特徴量を含む
    　請求項１１に記載の情報処理装置。
  19. 　情報処理装置が、
    　予測モデルの学習に用いる学習データセットの所定数のデータサンプルに対して、前記予測モデルの評価に用いる評価データセットの評価値を算出し、
    　前記学習データセットの全データサンプルについての前記評価値およびその勾配に基づいて、前記学習データセットの前記データサンプルおよびその特徴量の少なくともいずれかに関するアドバイスを提示するための提示情報を生成する
    　情報処理方法。
  20. 　コンピュータに、
    　予測モデルの学習に用いる学習データセットの所定数のデータサンプルに対して、前記予測モデルの評価に用いる評価データセットの評価値を算出し、
    　前記学習データセットの全データサンプルについての前記評価値およびその勾配に基づいて、前記学習データセットの前記データサンプルおよびその特徴量の少なくともいずれかに関するアドバイスを提示するための提示情報を生成する
    　処理を実行させるためのプログラム。
PCT/JP2019/023410 2018-06-27 2019-06-13 情報処理装置、情報処理方法、およびプログラム WO2020004049A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020527385A JP7318646B2 (ja) 2018-06-27 2019-06-13 情報処理装置、情報処理方法、およびプログラム
CN201980041281.6A CN112313679A (zh) 2018-06-27 2019-06-13 信息处理设备、信息处理方法和程序
US17/253,005 US20210117828A1 (en) 2018-06-27 2019-06-13 Information processing apparatus, information processing method, and program

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2018121577 2018-06-27
JP2018-121577 2018-06-27
JP2019010269 2019-01-24
JP2019-010269 2019-01-24

Publications (1)

Publication Number Publication Date
WO2020004049A1 true WO2020004049A1 (ja) 2020-01-02

Family

ID=68986460

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/023410 WO2020004049A1 (ja) 2018-06-27 2019-06-13 情報処理装置、情報処理方法、およびプログラム

Country Status (4)

Country Link
US (1) US20210117828A1 (ja)
JP (1) JP7318646B2 (ja)
CN (1) CN112313679A (ja)
WO (1) WO2020004049A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020250810A1 (ja) * 2019-06-11 2020-12-17 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
JP7509139B2 (ja) 2019-06-05 2024-07-02 ソニーグループ株式会社 情報処理装置、情報処理方法、及びプログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021229724A1 (ja) * 2020-05-13 2021-11-18 日本電気株式会社 統合装置、データテーブル統合方法、プログラム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04102163A (ja) * 1990-08-21 1992-04-03 Fujitsu Ltd ネットワーク構成データ処理装置の学習処理方式
JPH1063635A (ja) * 1996-08-23 1998-03-06 Gijutsu Kenkyu Kumiai Shinjoho Shiyori Kaihatsu Kiko 多次元入力データ特徴選択装置
JP2010257140A (ja) * 2009-04-23 2010-11-11 Canon Inc 情報処理装置及び情報処理方法
JP2014127907A (ja) * 2012-12-27 2014-07-07 Sharp Corp 原稿の照明装置及びそれを備えた原稿読取装置
JP2015087973A (ja) * 2013-10-31 2015-05-07 インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ 生成装置、生成方法、およびプログラム
JP2016057925A (ja) * 2014-09-10 2016-04-21 キヤノン株式会社 画像分類装置、画像分類システム、画像分類方法およびプログラム
JP2016133895A (ja) * 2015-01-16 2016-07-25 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120083708A1 (en) * 2009-06-02 2012-04-05 Pooja Rajdev Adaptive real-time seizure prediction system and method
JP5446800B2 (ja) * 2009-12-04 2014-03-19 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US20120284212A1 (en) * 2011-05-04 2012-11-08 Google Inc. Predictive Analytical Modeling Accuracy Assessment
US20150074544A1 (en) * 2012-05-11 2015-03-12 Sony Corporation Information processing apparatus, information processing method, and program
US10558924B2 (en) * 2014-05-23 2020-02-11 DataRobot, Inc. Systems for second-order predictive data analytics, and related methods and apparatus
JP6536295B2 (ja) * 2015-08-31 2019-07-03 富士通株式会社 予測性能曲線推定プログラム、予測性能曲線推定装置および予測性能曲線推定方法
JP6679266B2 (ja) * 2015-10-15 2020-04-15 キヤノン株式会社 データ解析装置、データ解析方法及びプログラム
JP6697159B2 (ja) 2016-07-13 2020-05-20 富士通株式会社 機械学習管理プログラム、機械学習管理装置および機械学習管理方法
JP2018116545A (ja) * 2017-01-19 2018-07-26 オムロン株式会社 予測モデル作成装置、生産設備監視システム、及び生産設備監視方法
JP6900694B2 (ja) * 2017-02-08 2021-07-07 株式会社リコー 情報処理システム、端末装置、情報処理方法およびプログラム
JP6849915B2 (ja) * 2017-03-31 2021-03-31 富士通株式会社 比較プログラム、比較方法および比較装置
JP6925911B2 (ja) * 2017-08-30 2021-08-25 株式会社日立製作所 機械学習装置及び機械学習方法
JP6797780B2 (ja) * 2017-11-07 2020-12-09 株式会社東芝 情報処理装置、情報処理方法及びプログラム
CN109754105B (zh) * 2017-11-07 2024-01-05 华为技术有限公司 一种预测方法及终端、服务器
US11270228B2 (en) * 2017-11-17 2022-03-08 Panasonic Intellectual Property Management Co., Ltd. Information processing method and information processing system
JP6954082B2 (ja) * 2017-12-15 2021-10-27 富士通株式会社 学習プログラム、予測プログラム、学習方法、予測方法、学習装置および予測装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04102163A (ja) * 1990-08-21 1992-04-03 Fujitsu Ltd ネットワーク構成データ処理装置の学習処理方式
JPH1063635A (ja) * 1996-08-23 1998-03-06 Gijutsu Kenkyu Kumiai Shinjoho Shiyori Kaihatsu Kiko 多次元入力データ特徴選択装置
JP2010257140A (ja) * 2009-04-23 2010-11-11 Canon Inc 情報処理装置及び情報処理方法
JP2014127907A (ja) * 2012-12-27 2014-07-07 Sharp Corp 原稿の照明装置及びそれを備えた原稿読取装置
JP2015087973A (ja) * 2013-10-31 2015-05-07 インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ 生成装置、生成方法、およびプログラム
JP2016057925A (ja) * 2014-09-10 2016-04-21 キヤノン株式会社 画像分類装置、画像分類システム、画像分類方法およびプログラム
JP2016133895A (ja) * 2015-01-16 2016-07-25 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
NAKAMURA I., ET. AL.: "The knowledge acquisition method by neurol network using nonlinear transformation", IEICE TECHNICAL REPORT NC2003-165-193, NEUROCOMPUTING, vol. 103, no. 733, 11 March 2004 (2004-03-11), pages 61 - 66, ISSN: 0913-5685 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7509139B2 (ja) 2019-06-05 2024-07-02 ソニーグループ株式会社 情報処理装置、情報処理方法、及びプログラム
WO2020250810A1 (ja) * 2019-06-11 2020-12-17 ソニー株式会社 情報処理装置、情報処理方法およびプログラム

Also Published As

Publication number Publication date
JP7318646B2 (ja) 2023-08-01
US20210117828A1 (en) 2021-04-22
CN112313679A (zh) 2021-02-02
JPWO2020004049A1 (ja) 2021-07-08

Similar Documents

Publication Publication Date Title
US10923233B1 (en) Computer network architecture with machine learning and artificial intelligence and dynamic patient guidance
US10614056B2 (en) System and method for automated detection of incorrect data
JP6778273B2 (ja) パフォーマンスモデル悪影響補正
US11604980B2 (en) Targeted crowd sourcing for metadata management across data sets
US20160364783A1 (en) Systems and methods for vehicle purchase recommendations
US10460398B1 (en) Method and system for crowdsourcing the detection of usability issues in a tax return preparation system
US11068917B2 (en) Prediction of business outcomes by analyzing image interests of users
US11605465B1 (en) Computer network architecture with machine learning and artificial intelligence and patient risk scoring
US11527313B1 (en) Computer network architecture with machine learning and artificial intelligence and care groupings
US7664671B2 (en) Methods and systems for profile-based forecasting with dynamic profile selection
US20130173353A1 (en) Assessing maturity of business processes
US11507908B2 (en) System and method for dynamic performance optimization
US20220351004A1 (en) Industry specific machine learning applications
WO2020004049A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US20220351223A1 (en) System and method for predicting prices for commodities in a computing environment
US10990847B2 (en) Prediction of business outcomes by analyzing image interests of users
US11742091B1 (en) Computer network architecture with machine learning and artificial intelligence and active updates of outcomes
WO2022064894A1 (ja) 情報処理装置、情報処理方法、およびプログラム
AU2020201689A1 (en) Cognitive forecasting
US11488408B2 (en) Prediction device, prediction method, prediction program
US11838170B1 (en) Messaging segmentation based on data flow informatics
US11893401B1 (en) Real-time event status via an enhanced graphical user interface
US20230419195A1 (en) System and Method for Hierarchical Factor-based Forecasting
JP2022101879A (ja) 需要予測装置、需要予測方法およびプログラム
CN117813617A (zh) 基于人工智能的编排

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19827560

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2020527385

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19827560

Country of ref document: EP

Kind code of ref document: A1