WO2017168458A1 - 予測モデル選択システム、予測モデル選択方法および予測モデル選択プログラム - Google Patents

予測モデル選択システム、予測モデル選択方法および予測モデル選択プログラム Download PDF

Info

Publication number
WO2017168458A1
WO2017168458A1 PCT/JP2016/001792 JP2016001792W WO2017168458A1 WO 2017168458 A1 WO2017168458 A1 WO 2017168458A1 JP 2016001792 W JP2016001792 W JP 2016001792W WO 2017168458 A1 WO2017168458 A1 WO 2017168458A1
Authority
WO
WIPO (PCT)
Prior art keywords
prediction model
prediction
candidates
selection
learning
Prior art date
Application number
PCT/JP2016/001792
Other languages
English (en)
French (fr)
Inventor
圭介 梅津
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to PCT/JP2016/001792 priority Critical patent/WO2017168458A1/ja
Priority to JP2018507799A priority patent/JP6451895B2/ja
Publication of WO2017168458A1 publication Critical patent/WO2017168458A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Z—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS, NOT OTHERWISE PROVIDED FOR
    • G16Z99/00—Subject matter not provided for in other main groups of this subclass

Definitions

  • the present invention relates to a prediction model selection system, a prediction model selection method, and a prediction model selection program for selecting an appropriate prediction model from a plurality of prediction models.
  • Cross-validation is known as a method for evaluating learning results.
  • Cross-validation is a method in which training data (sample data) is divided into learning data and evaluation data, a model is created using the learning data, and the created model is evaluated with the evaluation data.
  • the prediction model is evaluated based on the residual between the actual value of the training data in the learning section and the prediction value based on the prediction model.
  • Patent Document 1 describes a prediction device that suppresses a decrease in prediction accuracy.
  • the prediction apparatus described in Patent Literature 1 selects a use model that actually predicts a target value from a plurality of prediction models based on a use value and a reference value used in each prediction model.
  • the present invention provides a prediction model selection system and a prediction model selection method capable of selecting an appropriate prediction model from a plurality of prediction model candidates created by a learning algorithm having an initial value dependency even when the amount of training data is not sufficient. And it aims at providing a prediction model selection program.
  • a prediction model selection system is a prediction model selection system that selects a prediction model from a plurality of candidates, and includes a learning unit that learns prediction model candidates based on learning data, and a plurality of prediction model candidates. Further, the present invention is characterized by comprising an exclusion unit that excludes, from the prediction model candidates, a prediction model in which elements constituting the prediction model show a tendency different from those of other prediction models.
  • the prediction model selection method is a prediction model selection method for selecting a prediction model from a plurality of candidates, and learns a prediction model candidate based on learning data, and among the plurality of prediction model candidates, a prediction model is selected.
  • the prediction model in which the elements that constitute the difference tend to differ from other prediction models is excluded from the prediction model candidates.
  • a prediction model selection program is a prediction model selection program applied to a computer that selects a prediction model from a plurality of candidates, the computer learning processing for learning prediction model candidates based on learning data, and In addition, it is characterized in that an exclusion process for excluding, from a plurality of prediction model candidates, a prediction model in which elements constituting the prediction model show a tendency different from those of other prediction models is performed.
  • an appropriate prediction model can be selected from a plurality of prediction model candidates created by a learning algorithm having an initial value dependency.
  • FIG. 1 is an explanatory diagram showing a configuration example of an embodiment of a prediction model selection system according to the present invention.
  • the prediction model selection system 100 of this embodiment includes a storage unit 10, a learning unit 20, and an evaluation unit 30.
  • the prediction model selection system 100 according to the present embodiment selects an appropriate prediction model from a plurality of prediction model candidates created by the learning unit 20.
  • the storage unit 10 stores learning data used by the learning unit 20 described later to create a prediction model.
  • the storage unit 10 is realized by, for example, a magnetic disk device.
  • the learning unit 20 and the storage unit 10 to be described later may be connected via a wired or wireless LAN (Local Area Network), or may be connected via the Internet.
  • LAN Local Area Network
  • the learning unit 20 learns prediction model candidates based on the learning data.
  • a case where heterogeneous mixed learning is used as a learning algorithm will be described.
  • Heterogeneous mixed learning is described, for example, in US Pat. No. 8,909,582.
  • Heterogeneous mixed learning is a learning algorithm that creates a prediction model for predicting an objective variable from explanatory variables using input learning data and hyperparameters.
  • the prediction model created by heterogeneous mixed learning includes a prediction expression represented by a regression equation at the leaf node of the decision tree, and a decision including a branch condition for selecting a prediction equation at a node other than the leaf node (internal contact) It is represented by a tree-like structure.
  • the prediction formula may be referred to as a component. That is, it can be said that the prediction model of this embodiment is a model including a plurality of branch conditions and a plurality of components.
  • FIG. 2 is an explanatory diagram showing an example of a prediction model used in the present embodiment.
  • the prediction model of the present embodiment is represented by a binary tree structure, and has a structure in which components are arranged in leaf nodes and branch conditions are arranged in other upper nodes. The branch condition is described using an explanatory variable.
  • the input learning data is assigned to one of a plurality of components while conditional branching is performed at each node.
  • components are represented by linear regression equations.
  • the prediction formula (component) used in the present invention is not limited to the linear regression formula.
  • the leaf node components may be represented by, for example, logistic regression.
  • the learning unit 20 is first given an initial value and starts the optimization process from the initial value. Since it is difficult to determine an optimal initial value before learning, the initial value is randomly given for each learning. Therefore, it can be said that the learning algorithm used in this embodiment has an initial value dependency.
  • the hyper parameter is a parameter used when creating a prediction model, and includes, for example, a depth to a leaf node.
  • the evaluation unit 30 evaluates a plurality of prediction model candidates created by the learning unit 20, selects an appropriate prediction model, and outputs the selected prediction model.
  • the evaluation unit 30 includes a candidate selection unit 31 and a candidate evaluation unit 32.
  • the candidate selection unit 31 excludes, from among the prediction model candidates, a prediction model that shows a tendency that elements constituting the prediction model are different from those of other prediction models among the plurality of prediction model candidates. In other words, the candidate selection unit 31 selects a prediction model candidate other than the prediction model that shows a tendency in which elements constituting the prediction model are different from those of other prediction models, from among a plurality of prediction model candidates.
  • the candidate selection unit 31 of the present embodiment is not a criterion based on accuracy or residual using cross-validation, but a configuration of the prediction model itself (specifically, a prediction model is configured). Use criteria that can be derived from (element).
  • the prediction model used in this embodiment includes a plurality of branch conditions and a plurality of components. Therefore, the candidate selection unit 31 selects a prediction model candidate using the number of explanatory variables included in the prediction model, the coefficients of the explanatory variables, the number of components, and the like as selection criteria for the prediction model.
  • FIG. 3 is an explanatory diagram showing a specific example of a prediction model to be created. As illustrated in FIG. 3, even when the same learning data is used, the structure of the prediction model to be created and the content of the component to be created differ depending on the initial value.
  • the prediction model 1 illustrated in FIG. 3 has a structure in which three components are selected, whereas the prediction model 2 has a structure in which four components are selected. Further, for example, focusing on the explanatory variables x 1, the predictive model 1 illustrated in FIG. 3, while x 1 is employed in two components, the prediction model 2, employed in x 1 three components Has been. As for the prediction models 3 to 30, different prediction models are created according to the initial values.
  • the candidate selection unit 31 digitizes elements constituting the prediction model based on a rule, and excludes a prediction model whose numerical value calculated based on the rule does not satisfy the selection criterion.
  • the selection criteria are determined according to the above rules.
  • the selection criterion may be determined based on the configuration of explanatory variables included in each component (specifically, whether or not there are explanatory variables, coefficients of explanatory variables, etc.).
  • the candidate selection unit 31 may calculate the total value coeff_value_i of the components included in the prediction model i (more specifically, the positive coefficient total value coeff_value_positive_i and the negative positive total value coeff_value_negative_i). . Then, the candidate selection unit 31 may select a prediction model candidate by comparing the calculated value with a predetermined selection criterion. In addition, the candidate selection unit 31 may select a prediction model candidate based on the coefficient adoption rate.
  • FIG. 4 is an explanatory diagram showing an example of a definition file in which selection criteria are set.
  • the number of components included in the prediction model i is comp_i.
  • coeff_i ⁇ is the number of components in which the coefficient is adopted among the components included in the prediction model i
  • coeff_pos_i is the number of components in which the positive coefficient is adopted
  • the negative coefficient is adopted.
  • coeff_neg_i be the number of processed components.
  • positive_coefficient_usage_rate_target represents a positive coefficient adoption rate
  • negative_coefficient_usage_rate_target represents a negative coefficient adoption rate
  • the coefficient adoption rate for the prediction model is calculated by the prediction model / n in which the coefficient is adopted.
  • n is the number of random restarts (that is, the number of prediction models).
  • the positive coefficient adoption rate to the prediction model is calculated by the prediction model / n in which the positive coefficient is adopted
  • the negative coefficient adoption rate to the prediction model is the prediction model / in which the negative coefficient is adopted. Calculated by n.
  • coefficient_usage_rate_model illustrated in FIG. 4 represents a coefficient adoption rate for a component
  • positive_coefficient_usage_rate_model ⁇ ⁇ represents a positive coefficient adoption rate
  • negative_coefficient_usage_rate_mocel ⁇ ⁇ ⁇ represents a negative coefficient adoption rate
  • the coefficient adoption rate for the component is calculated by ( ⁇ i (coeff_i / comp_i)) / i.
  • the positive coefficient adoption rate for the component is calculated by ( ⁇ i (coeff_positive_i / comp_i)) / i
  • the negative coefficient adoption rate for the component is ( ⁇ i (coeff_negative_i / comp_i)) / i.
  • the calculation formula described here is an example, and the method of calculating the component adoption rate is not limited to the above calculation formula.
  • the coefficient adoption rate for the component may be calculated by ( ⁇ i (coeff_i)) / ( ⁇ i (comp_i)).
  • coefficient_value_threshold illustrated in FIG. 4 represents an absolute value coefficient average value for determining a coefficient statistical value
  • positive_coefficient_value_threshold represents a positive coefficient average value
  • negative_coefficient_value_threshold representing a negative coefficient adoption rate may be used.
  • the absolute value coefficient average value is calculated by ( ⁇ i (coeff_value_i / coeff_i)) / i.
  • the positive coefficient average value is calculated by ( ⁇ i (coeff_value_positive_i / coeff_positive_i)) / i
  • the negative coefficient average value is calculated by ( ⁇ i (coeff_value_negative_i / coeff_negative_i)) / i.
  • selection criteria are defined for each attribute (explanatory variable).
  • selection criteria are defined for customer_number (customer number) and max_temperature (maximum temperature), which are examples of attributes.
  • the coefficient adoption rate to the prediction model exceeds 80%, of which the positive coefficient adoption rate exceeds 70% and the negative coefficient adoption rate exceeds 60%. This indicates that a candidate for a prediction model having a coefficient adoption rate of less than 50% for a component, a positive coefficient adoption rate of less than 60%, and a negative coefficient adoption rate of less than 80% is selected. Further, for the customer number, a prediction model candidate having an absolute value coefficient average value exceeding 10%, a positive coefficient average value exceeding 20%, and a negative coefficient average value being less than 30% is selected. Show. The same applies to the maximum temperature.
  • the candidate selection unit 31 selects a prediction model candidate that satisfies the defined selection criteria (threshold value).
  • the definition file may define a method for sorting the selected prediction models.
  • prediction model 1 includes three components
  • prediction model 2 includes four components.
  • the candidate selection unit 31 may delete a prediction model including an attribute having a value larger than the standard deviation ⁇ ⁇ a.
  • the candidate selection unit 31 excludes, from the prediction model candidates, prediction models whose components are different from other prediction models. Explained when to do.
  • the candidate selection unit 31 uses the selection criterion for the prediction model.
  • the branch condition may be used. That is, the candidate selection unit 31 may exclude a prediction model showing a tendency that the branch condition is different from other prediction models from the prediction model candidates.
  • Examples of selection criteria for the branch condition include whether or not the prediction model includes a branch condition including a predetermined explanatory variable, and a ratio of the branch condition using the explanatory variable as a condition.
  • the candidate selection unit 31 may exclude prediction model candidates in accordance with the presence or absence and ratio of the explanatory variables.
  • the candidate selection unit 31 selects a prediction model that satisfies all the selection criteria defined.
  • a score given when the selection criterion is satisfied may be determined.
  • the candidate selection unit 31 may aggregate the scores of each selection criterion for each prediction model candidate, and may exclude or aggregate the prediction models whose aggregated scores are less than the threshold from the prediction model candidates.
  • a lower prediction model whose score is lower than a predetermined rank may be excluded from prediction model candidates.
  • the candidate selection unit 31 uses the adoption rate of the variables constituting the prediction model and the weights of the variables as selection criteria, and when judging based on these selection criteria, the candidate selection unit 31 tends to be different from other prediction models.
  • the prediction model shown is excluded from the prediction model candidates.
  • the candidate selection part 31 may leave the candidate of the prediction model determined to exclude.
  • the candidate selection unit 31 may set an exclusion flag for the prediction model candidate determined to be excluded and may not be used for evaluation by the candidate evaluation unit 32 described later.
  • the candidate evaluation unit 32 evaluates the selected prediction model (that is, the remaining prediction model among a plurality of prediction model candidates), and outputs an evaluation result.
  • the candidate evaluation unit 32 may output the selected prediction model (that is, other than the excluded prediction model) itself, or may output the evaluation result of each prediction model candidate.
  • the method by which the candidate evaluation unit 32 evaluates the prediction model is arbitrary. However, in this embodiment, since a unique prediction model is excluded in advance by the candidate selection unit 31, an appropriate prediction model can be selected from a plurality of prediction models even using a general evaluation method.
  • the candidate evaluation unit 32 determines whether the elements constituting the prediction model are other prediction models together with the selected prediction model or separately from the selected prediction model.
  • Candidate prediction models that show different tendencies may be visualized.
  • the candidate evaluation unit 32 may visualize a plurality of prediction model candidates learned for one prediction target side by side, and may highlight a portion that shows a different tendency from the other prediction models.
  • the location showing a different tendency is, for example, a specific node in the decision tree, the component itself, a specific explanatory variable in the component, or a coefficient of the explanatory variable.
  • FIG. 5 is an explanatory diagram showing an example of visualizing candidate prediction models in which the elements constituting the prediction model tend to be different from other prediction models.
  • 30 prediction model candidates for predicting three prediction targets oval juice sales, apple juice sales, and grape juice sales
  • one prediction model is selected as the actual operation model among the generated prediction model candidates.
  • modelID The prediction model identified by apple_07 is selected as the actual operation model
  • the prediction model is displayed at the bottom of the screen.
  • An example in which candidates are visualized is shown.
  • the candidate evaluation unit 32 highlights the location for each prediction model candidate (displays in a different manner from the others).
  • the candidate evaluation unit 32 may highlight the component coefficient.
  • the learning unit 20 and the evaluation unit 30 are realized by a CPU of a computer that operates according to a program (prediction model selection program).
  • a program prediction model selection program
  • the program is stored in the storage unit 10
  • the CPU reads the program and operates as the learning unit 20 and the evaluation unit 30 (more specifically, the candidate selection unit 31 and the candidate evaluation unit 32) according to the program. May be.
  • the function of the prediction model selection system may be provided in SaaS (SoftwareSas a Service) format.
  • each of the learning unit 20 and the evaluation unit 30 may be realized by dedicated hardware.
  • a part or all of each component of each device may be realized by a general-purpose or dedicated circuit (circuitry), a processor, or a combination thereof. These may be configured by a single chip or may be configured by a plurality of chips connected via a bus. Part or all of each component of each device may be realized by a combination of the above-described circuit and the like and a program.
  • each device when some or all of the components of each device are realized by a plurality of information processing devices and circuits, the plurality of information processing devices and circuits may be centrally arranged or distributedly arranged. May be.
  • the information processing apparatus, the circuit, and the like may be realized as a form in which each is connected via a communication network, such as a client and server system and a cloud computing system.
  • FIG. 6 is a flowchart showing an operation example of the prediction model selection system 100 of the present embodiment.
  • the learning unit 20 learns prediction model candidates based on the learning data (step S11). Then, the evaluation unit 30 (more specifically, the candidate selection unit 31) selects a prediction model that shows a tendency in which elements constituting the prediction model are different from those of other prediction models from among a plurality of prediction model candidates. Are excluded from the candidates (step S12). Then, the evaluation unit 30 (more specifically, the candidate evaluation unit 32) evaluates the selected prediction model and outputs an evaluation result (step S13).
  • the learning unit 20 learns prediction model candidates based on the learning data
  • the candidate selection unit 31 includes a plurality of prediction model candidates.
  • a prediction model showing a tendency different from the prediction model is excluded from the prediction model candidates.
  • the tendency that can be derived from a lot of training data is often found even if learning is started from any initial value.
  • a tendency that applies only to a small amount of training data is often found only at a specific initial value. If a tendency that only applies to such a small sample is taken into the prediction model, there is a high possibility of overlearning.
  • the candidate selection unit 31 excludes the unique prediction model, and the prediction model having a high possibility of having a false correlation can be excluded. Risk can be reduced.
  • the present embodiment a case where heterogeneous mixed learning is used as a learning algorithm for creating a prediction model is exemplified.
  • the prediction model is selected by paying attention to the configuration of the prediction model (elements constituting the prediction model)
  • any learning algorithm so-called white box algorithm
  • the present invention can be applied.
  • FIG. 7 is a block diagram showing an outline of a prediction model selection system according to the present invention.
  • the prediction model selection system according to the present invention is a prediction model selection system 80 (for example, a prediction model selection system 100) that selects a prediction model from a plurality of candidates, and learns prediction model candidates based on learning data.
  • 81 for example, the learning unit 20
  • an excluding unit 82 that excludes, from among the prediction model candidates, a prediction model that shows a tendency that the elements constituting the prediction model differ from other prediction models among the plurality of prediction model candidates.
  • a candidate selection unit 31 is provided.
  • an appropriate prediction model can be selected from a plurality of prediction model candidates created by a learning algorithm having an initial value dependency.
  • the exclusion unit 82 represents a prediction model that shows a tendency in which at least one of the adoption rate (for example, coefficient adoption rate) and the variable weight (for example, coefficient) of the variable constituting the prediction model is different, You may exclude from the candidate of a prediction model.
  • the adoption rate for example, coefficient adoption rate
  • the variable weight for example, coefficient
  • the excluding unit 82 digitizes elements constituting the prediction model based on a rule, and excludes a prediction model whose calculated numerical value does not satisfy a selection criterion determined according to the rule from prediction model candidates. Also good.
  • the exclusion unit 82 aggregates the scores of the selection criterion for each prediction model candidate, and the aggregated score is A prediction model that does not satisfy the threshold may be excluded from the prediction model candidates.
  • the prediction model may include a plurality of components (for example, prediction equations) represented by linear regression equations as elements.
  • the exclusion unit 82 may exclude, from the prediction model candidates, prediction models in which a plurality of components show different tendencies from other prediction models.
  • the prediction model may include a branch condition for selecting a component according to input data as an element.
  • the exclusion unit 82 may exclude, from the prediction model candidates, prediction models that show a tendency that the branch condition is different from that of other prediction models.

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Development Economics (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

予測モデル選択システムは、複数の候補から予測モデルを選択する。予測モデル選択システムは、学習部８１と、除外部８２とを備えている。学習部８１は、学習データに基づいて予測モデルの候補を学習する。除外部８２は、複数の予測モデルの候補のうち、予測モデルを構成する要素が他の予測モデルと異なる傾向を示す予測モデルを、予測モデルの候補から除外する。

Description

予測モデル選択システム、予測モデル選択方法および予測モデル選択プログラム
　本発明は、複数の予測モデルから適切な予測モデルを選択する予測モデル選択システム、予測モデル選択方法および予測モデル選択プログラムに関する。
　学習データを用いてモデルを作成する場合、学習結果に対して妥当性の検証が行われることが多い。特に、初期値に依存して作成されるモデルが変化する学習方法では、全く同じ学習データを用いた場合でも、与えられる初期値により作成されるモデルは学習ごとに異なり、またその性能も異なる。そのため、複数のモデルの候補が生成される学習アルゴリズムにおいては、これらのモデルを選択するための適切な評価方法が求められる。
　学習結果を評価する方法として、交差検証が知られている。交差検証は、訓練データ（標本データ）を学習用データと評価用データとに分割し、学習用データを用いてモデルを作成した後、作成されたモデルを評価用データで評価する方法である。
　また、学習用データと評価用データとを分けずにモデルを作成し、作成されたモデルの残差を評価する方法も存在する。具体的には、この方法では、学習区間における訓練データの実測値と予測モデルによる予測値との残差に基づいて、予測モデルが評価される。
　他にも、特許文献１には、予測精度の低下を抑制する予測装置が記載されている。特許文献１に記載された予測装置は、各予測モデルにて用いられる使用値と基準値とに基づいて、複数の予測モデルの中から対象値を実際に予測する使用モデルを選択する。
特開２０１４－１５７４５７号公報
　一方、訓練データの数量が十分でない場合、交差検証を用いた評価方法を利用しようとすると、作成されるモデル自体の精度が低下してしまうという問題がある。訓練データの数量が十分でない場合、少ない訓練データからさらに評価用データを分割してしまうと学習用データがより不足してしまうからである。
　一方、訓練データの不足を補うため、学習用データと評価用データとを分けずにモデルを作成することで、作成されるモデルの精度の低下を抑制することも考えられる。しかし、この方法を用いた場合、過学習を起こしているモデルほど、より良いモデルと評価されてしまう場合があり、複数のモデルから適切なモデルを選択できるとは言い難い。これは、特許文献１に記載された予測装置を用いた場合も同様である。
　そこで、本発明は、訓練データの数量が十分でない場合でも、初期値依存性を有する学習アルゴリズムで作成された複数の予測モデル候補から適切な予測モデルを選択できる予測モデル選択システム、予測モデル選択方法および予測モデル選択プログラムを提供することを目的とする。
　本発明による予測モデル選択システムは、複数の候補から予測モデルを選択する予測モデル選択システムであって、学習データに基づいて予測モデルの候補を学習する学習部と、複数の予測モデルの候補のうち、予測モデルを構成する要素が他の予測モデルと異なる傾向を示す予測モデルを、予測モデルの候補から除外する除外部とを備えたことを特徴とする。
　本発明による予測モデル選択方法は、複数の候補から予測モデルを選択する予測モデル選択方法であって、学習データに基づいて予測モデルの候補を学習し、複数の予測モデルの候補のうち、予測モデルを構成する要素が他の予測モデルと異なる傾向を示す予測モデルを、予測モデルの候補から除外することを特徴とする。
　本発明による予測モデル選択プログラムは、複数の候補から予測モデルを選択するコンピュータに適用される予測モデル選択プログラムであって、コンピュータに、学習データに基づいて予測モデルの候補を学習する学習処理、および、複数の予測モデルの候補のうち、予測モデルを構成する要素が他の予測モデルと異なる傾向を示す予測モデルを、予測モデルの候補から除外する除外処理を実行させることを特徴とする。
　本発明によれば、訓練データの数量が十分でない場合でも、初期値依存性を有する学習アルゴリズムで作成された複数の予測モデル候補から適切な予測モデルを選択できる。
本発明による予測モデル選択システムの一実施形態の構成例を示す説明図である。 予測モデルの例を示す説明図である。 予測モデルの具体例を示す説明図である。 選択基準を設定した定義ファイルの例を示す説明図である。 予測モデルの候補を可視化した例を示す説明図である。 予測モデル選択システムの動作例を示すフローチャートである。 本発明による予測モデル選択システムの概要を示すブロック図である。
　以下、本発明の実施形態を図面を参照して説明する。
　図１は、本発明による予測モデル選択システムの一実施形態の構成例を示す説明図である。本実施形態の予測モデル選択システム１００は、記憶部１０と、学習部２０と、評価部３０とを備えている。本実施形態の予測モデル選択システム１００は、学習部２０が作成した複数の予測モデルの候補から、適切な予測モデルを選択する。
　記憶部１０は、後述する学習部２０が予測モデルの作成に用いる学習データを記憶する。記憶部１０は、例えば、磁気ディスク装置等により実現される。後述する学習部２０と記憶部１０とは、有線または無線ＬＡＮ（Local Area Network）を介して接続されていてもよく、インターネットを介して接続されていてもよい。
　学習部２０は、学習データに基づいて予測モデルの候補を学習する。本実施形態では、学習アルゴリズムとして、異種混合学習を用いる場合について説明する。異種混合学習は、例えば、米国特許第８９０９５８２号明細書に記載されている。
　異種混合学習は、入力された学習データと、ハイパーパラメータを用いて、説明変数から目的変数を予測するための予測モデルを作成する学習アルゴリズムである。異種混合学習により作成される予測モデルは、決定木の葉ノードに回帰式で表される予測式を含み、かつ、葉ノード以外のノード（内部接点）に予測式を選択するための分岐条件を含む決定木のような構造で表される。以下の説明では、予測式をコンポーネントと記すこともある。すなわち、本実施形態の予測モデルは、複数の分岐条件および複数のコンポーネントを含むモデルと言える。
　図２は、本実施形態で用いられる予測モデルの例を示す説明図である。図２に例示するように、本実施形態の予測モデルは、二分木構造で表され、葉ノードにコンポーネントが配され、他の上位ノードに分岐条件が配される構造を有する。分岐条件は、説明変数を用いて記述される。予測モデルにサンプルが入力されると、入力された学習データは、各ノードで条件分岐しながら複数のコンポーネントのいずれかに割り当てられる。
　異種混合学習では、コンポーネントが線形回帰式で表される。ただし、本願発明で用いられる予測式（コンポーネント）は、線形回帰式に限定されない。葉ノードのコンポーネントが、例えば、ロジスティック回帰で表されていてもよい。
　また、本実施形態で用いられる異種混合学習アルゴリズムでは、逐次的に最適化処理が行われる。そのため、学習部２０は、まず初期値が与えられ、その初期値から最適化処理を開始する。なお、学習前に最適な初期値を定めることは難しいため、初期値は、学習ごとにランダムに与えられる。そのため、本実施形態で用いられる学習アルゴリズムは、初期値依存性を有するものと言える。
　ハイパーパラメータは、予測モデルを作成する際に用いられるパラメータであり、例えば、葉ノードまでの深さなどが挙げられる。
　評価部３０は、学習部２０によって作成された複数の予測モデルの候補を評価して、適切な予測モデルを選択し、選択された予測モデルを出力する。評価部３０は、候補選択部３１と、候補評価部３２とを含む。
　候補選択部３１は、複数の予測モデルの候補のうち、予測モデルを構成する要素が他の予測モデルと異なる傾向を示す予測モデルを、予測モデルの候補から除外する。言い換えると、候補選択部３１は、複数の予測モデルの候補のうち、予測モデルを構成する要素が他の予測モデルと異なる傾向を示す予測モデル以外の予測モデルの候補を選択する。
　すなわち、本実施形態の候補選択部３１は、予測モデルの選択基準に、交差検証を用いた精度や残差に基づく基準ではなく、予測モデルそのものの構成（具体的には、予測モデルを構成する要素）から導出できる基準を用いる。
　例えば、本実施形態で用いられる予測モデルは、複数の分岐条件および複数のコンポーネントで構成される。そのため、候補選択部３１は、予測モデルの選択基準に、予測モデルに含まれる説明変数の数や、それらの説明変数の係数、コンポーネントの数などを用いて、予測モデルの候補を選択する。
　以下、候補選択部３１が予測モデルの候補を選択する方法の具体例を説明する。本具体例では、学習部２０が、同一の学習データを用いて３０回学習することで、コンポーネントが線形回帰式で表される予測モデルの候補を３０個作成する場合を例に説明する。なお、各学習時にはランダムに初期値が与えられる。その結果、作成される予測モデルの候補も３０種類作成される。
　図３は、作成される予測モデルの具体例を示す説明図である。図３に例示するように、同一の学習データを用いた場合であっても、初期値に応じて、作成される予測モデルの構造や、作成されるコンポーネントの内容が異なる。
　例えば、図３に例示する予測モデル１では、コンポーネントが３つから選択される構造であるのに対し、予測モデル２では、コンポーネントが４つから選択される構造になっている。また、例えば、説明変数ｘ１に着目すると、図３に例示する予測モデル１では、ｘ１が２つのコンポーネントで採用されているのに対し、予測モデル２では、ｘ１が３つのコンポーネントで採用されている。予測モデル３～３０についても、初期値に応じてそれぞれ異なる予測モデルが作成される。
　このように、予測モデルを構成する要素が異なるため、予測モデルの候補を選択するにあたり、予め選択基準が定められる。具体的には、候補選択部３１は、予測モデルを構成する要素を規則に基づいて数値化し、その規則に基づいて算出される数値が選択基準を満たさない予測モデルを除外する。選択基準は、上記規則に応じて定められる。選択基準は、各コンポーネントに含まれる説明変数の構成（具体的には、説明変数の有無、説明変数の係数など）に基づいて定められてもよい。
　例えば、候補選択部３１は、予測モデルｉに含まれるコンポーネントの係数の合計値coeff_value_i （より詳細には、正の係数の合計値coeff_value_positive_iおよび負の正数の合計値coeff_value_negative_i）を算出してもよい。そして、候補選択部３１は、算出された値と予め定められた選択基準とを比較して、予測モデルの候補を選択してもよい。他にも、候補選択部３１は、係数採用率に基づいて予測モデルの候補を選択してもよい。
　図４は、選択基準を設定した定義ファイルの例を示す説明図である。以下、予測モデルｉに含まれるコンポーネントの数をcomp_iとする。また、対象とする説明変数ｘについて、予測モデルｉに含まれるコンポーネントの中で係数が採用されたコンポーネントの数をcoeff_i 、そのうち正の係数が採用されたコンポーネントの数をcoeff_pos_i、負の係数が採用されたコンポーネントの数をcoeff_neg_i とする。
　図４に例示するcoefficient_usage_rate_target は、予測モデルへの係数採用率を表わし、positive_coefficient_usage_rate_targetは、そのうち正の係数採用率を表わし、negative_coefficient_usage_rate_targetは、負の係数採用率を表わす。
　予測モデルへの係数採用率は、係数が採用された予測モデル／ｎで算出される。ここで、ｎは、ランダムリスタート数（すなわち、予測モデルの数）である。同様に、予測モデルへの正の係数採用率は、正の係数が採用された予測モデル／ｎで算出され、予測モデルへの負の係数採用率は、負の係数が採用された予測モデル／ｎで算出される。
　また、図４に例示するcoefficient_usage_rate_modelは、コンポーネントへの係数採用率を表わし、positive_coefficient_usage_rate_model は、そのうち正の係数採用率を表わし、negative_coefficient_usage_rate_mocel は、負の係数採用率を表わす。
　コンポーネントへの係数採用率は、（Σｉ（coeff_i/comp_i））/iで算出される。同様に、コンポーネントへの正の係数採用率は、（Σｉ（coeff_positive_i/comp_i ））/iで算出され、コンポーネントへの負の係数採用率は、（Σｉ（coeff_negative_i/comp_i ））/iで算出される。なお、ここで説明する算出式は一例であり、コンポーネントの採用率を算出する方法は、上記算出式に限定されない。例えば、コンポーネントへの係数採用率を（Σｉ（coeff_i））/（Σｉ（comp_i））で算出してもよい。
　また、図４に例示するcoefficient_value_threshold は、係数統計値を判断するための絶対値係数平均値を表わし、positive_coefficient_value_thresholdは、正の係数平均値を表わす。なお、同様に、負の係数採用率を表わすnegative_coefficient_value_thresholdが用いられてもよい。
　絶対値係数平均値は、（Σｉ（coeff_value_i/coeff_i ））/iで算出される。同様に、正の係数平均値は、（Σｉ（coeff_value_positive_i/coeff_positive_i ））/iで算出され、負の係数平均値は、（Σｉ（coeff_value_negative_i/coeff_negative_i ））/iで算出される。
　図４に例示する定義ファイルには、属性（説明変数）ごとに選択基準（閾値）が定義される。図４に例示する定義ファイルには、属性の一例であるcustomer_number （顧客番号）およびmax_temperature （最高気温）に対して選択基準が定義されている。
　図４に示す例では、顧客番号について、予測モデルへの係数採用率が８０％を超え、そのうち正の係数採用率が７０％を超え、負の係数採用率が６０％を超えたものであって、コンポーネントへの係数採用率が５０％未満で、そのうち正の係数採用率が６０％未満であり、負の係数採用率が８０％未満である予測モデルの候補が選択されることを示す。さらに、顧客番号について、絶対値係数平均値が１０％を超え、そのうち正の係数平均値が２０％を超え、負の係数平均値が３０％未満である予測モデルの候補が選択されることを示す。最高気温についても同様である。
　候補選択部３１は、定義された選択基準（閾値）を満たす予測モデルの候補を選択する。なお、定義ファイルには、選択された予測モデルをソートする方法が定義されていてもよい。
　例えば、図３に示す例において、予測モデルが予測モデル１と予測モデル２の２つであるとする。予測モデル１には、コンポーネントが３つ含まれ、予測モデル２には、コンポーネントが４つ含まれる。ここで、図３に例示する説明変数ｘ３に着目すると、コンポーネントへの係数採用率は、
　Σｉ（coeff_i/comp_i））/I = (1/3 + 1/4) / 2 = 7/24　≒２９％
と算出される。一方、図３に例示する説明変数ｘ２に着目すると、コンポーネントへの係数採用率は、
　Σｉ（coeff_i/comp_i））/I = (3/3 + 4/4) / 2 = 1 ＝１００％
と算出される。このことから、例えば、コンポーネントへの係数採用率が低い説明変数ｘ３を採用する予測モデルが他の予測モデルと異なる傾向を示すと判断することが可能になる。
　なお、選択基準として、係数の平均値だけでなく、係数の標準偏差（例えば、絶対値係数標準偏差、正の係数標準偏差および負の係数標準偏差）を算出してもよい。この場合、候補選択部３１は、例えば、標準偏差σ×ａより大きな値をとる属性を含む予測モデルを削除するようにしてもよい。
　以上、予測モデルが線形回帰式で表される複数のコンポーネントを要素に含む場合に、候補選択部３１が、そのコンポーネントが他の予測モデルと異なる傾向を示す予測モデルを、予測モデルの候補から除外する場合について説明した。
　一方、本実施形態で用いられる予測モデルのように、予測モデルが、説明変数の値に応じて割り当てるコンポーネントを選択する分岐条件を要素に含む場合、候補選択部３１は、予測モデルの選択基準にその分岐条件を用いてもよい。すなわち、候補選択部３１は、分岐条件が他の予測モデルと異なる傾向を示す予測モデルを、予測モデルの候補から除外してもよい。
　分岐条件の選択基準として、例えば、予測モデルに所定の説明変数を含む分岐条件が含まれているか否か、また、その説明変数を条件とする分岐条件の割合などが挙げられる。例えば、図２に例示する予測モデルの場合、分岐を示すノードに説明変数ｘ１およびｘ３が含まれている。そこで、候補選択部３１は、この説明変数の有無や割合に応じて予測モデルの候補を除外してもよい。
　なお、上記例では、候補選択部３１が定められた全ての選択基準を満たす予測モデルを選択する場合について説明した。一方、選択基準ごとに、その選択基準を満たした場合に付与されるスコアを定めておいてもよい。この場合、候補選択部３１は、予測モデルの候補ごとに各選択基準のスコアを集計し、集計されたスコアが閾値に満たない予測モデルを予測モデルの候補から除外してもよいし、集計されたスコアが予め定めた順位を下回る下位の予測モデルを予測モデルの候補から除外してもよい。
　このように、候補選択部３１は、予測モデルを構成する変数の採用率や、変数の重みを選択基準として用い、これらの選択基準に基づいて判断した際に、他の予測モデルと異なる傾向を示す予測モデルを、予測モデルの候補から除外する。なお、候補選択部３１は、除外すると決定した予測モデルの候補を残しておいてもよい。例えば、候補選択部３１は、除外すると決定した予測モデルの候補に除外フラグを設定しておき、後述する候補評価部３２の評価に用いられないようにしてもよい。
　候補評価部３２は、選択された予測モデル（すなわち、複数の予測モデルの候補のうち残った予測モデル）を評価し、評価結果を出力する。候補評価部３２は、選択した（すなわち、除外した以外の）予測モデルそのものを出力してもよく、各予測モデルの候補の評価結果を出力してもよい。
　候補評価部３２が、予測モデルを評価する方法は任意である。しかし、本実施形態では、特異な予測モデルが予め候補選択部３１により除外されているため、一般的な評価方法を用いても、複数の予測モデルから適切な予測モデルを選択できる。
　なお、除外すると決定した予測モデルの候補が残されている場合、候補評価部３２は、選択した予測モデルとともに、または、選択した予測モデルとは別に、予測モデルを構成する要素が他の予測モデルと異なる傾向を示す予測モデルの候補を可視化してもよい。具体的には、候補評価部３２は、一つの予測対象について学習された複数の予測モデルの候補を並べて可視化し、他の予測モデルと異なる傾向を示す箇所を強調表示してもよい。異なる傾向を示す箇所とは、例えば、決定木における特定のノード、コンポーネントそのもの、コンポーネントにおける特定の説明変数またはその説明変数の係数である。
　図５は、予測モデルを構成する要素が他の予測モデルと異なる傾向を示す予測モデルの候補を可視化した例を示す説明図である。図５に示す例では、３つの予測対象（オレンジジュースの売上、アップルジュースの売上およびグレープジュースの売上）を予測する予測モデルの候補が、それぞれ３０個ずつ生成されたとする。そして、生成された予測モデルの候補のうち、１つの予測モデルが実運用モデルとして選択されているとする。
　図５に例示する画面の上の領域には、３つの予測対象について、各予測対象の予測モデルを学習した学習アルゴリズム、選択された予測モデル（実運用モデル）が表示されている。図５に示す例では、オレンジジュースの売上を予測する予測モデルには、modelID=orange_15で識別される予測モデルが実運用モデルとして選択され、アップルジュースの売上を予測する予測モデルには、modelID=apple_07で識別される予測モデルが実運用モデルとして選択され、グレープジュースの売上を予測する予測モデルには、modelID=grape_20で識別される予測モデルが実運用モデルとして選択されたことを示す。
　図５では、画面の上の領域に表示された３つの予測対象の中から、予測モデルの候補を可視化する対象（ここでは、グレープジュースの売上）を選択した結果、画面の下部に予測モデルの候補が可視化された例を示している。候補評価部３２は、ユーザから予測対象としてグレープジュースの選択を受け付けると、グレープジュースの売上を予測する３０個の予測モデルの候補（modelID=grape_01～30）を表示する。その際、候補評価部３２は、他の予測モデルと異なる傾向を示す箇所が存在する場合、予測モデルの候補ごとにその箇所を強調表示（他とは異なる態様で表示）する。
　例えば、modelID=grape_01で識別される予測モデルの候補は、他の予測モデルの候補（modelID=grape_02～30で識別される予測モデルの候補）には含まれない説明変数を用いた分岐条件で決定木が分岐しているとする。そこで、候補評価部３２は、その分岐条件が存在するノードを強調表示してもよい。
　他にも、例えば、modelID=grape_02で識別される予測モデルの候補は、一番左端の葉ノードに位置するコンポーネントに含まれる一部の説明変数の係数が、突出して大きい値になっているとする。この場合、候補評価部３２は、そのコンポーネントの係数を強調表示してもよい。
　学習部２０と、評価部３０（より具体的には、候補選択部３１および候補評価部３２）とは、プログラム（予測モデル選択プログラム）に従って動作するコンピュータのＣＰＵによって実現される。例えば、プログラムは、記憶部１０に記憶され、ＣＰＵは、そのプログラムを読み込み、プログラムに従って、学習部２０および評価部３０（より具体的には、候補選択部３１および候補評価部３２）として動作してもよい。また、予測モデル選択システムの機能がＳａａＳ（Software as a Service ）形式で提供されてもよい。
　また、学習部２０と、評価部３０（より具体的には、候補選択部３１および候補評価部３２）とは、それぞれが専用のハードウェアで実現されていてもよい。また、各装置の各構成要素の一部又は全部は、汎用または専用の回路（circuitry ）、プロセッサ等やこれらの組合せによって実現されもよい。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。各装置の各構成要素の一部又は全部は、上述した回路等とプログラムとの組合せによって実現されてもよい。
　また、各装置の各構成要素の一部又は全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントアンドサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。
　次に、本実施形態の商品需要予測システムの動作を説明する。図６は、本実施形態の予測モデル選択システム１００の動作例を示すフローチャートである。
　学習部２０は、学習データに基づいて予測モデルの候補を学習する（ステップＳ１１）。そして、評価部３０（より具体的には、候補選択部３１）は、複数の予測モデルの候補のうち、予測モデルを構成する要素が他の予測モデルと異なる傾向を示す予測モデルを、予測モデルの候補から除外する（ステップＳ１２）。そして、評価部３０（より具体的には、候補評価部３２）は、選択された予測モデルを評価し、評価結果を出力する（ステップＳ１３）。
　以上のように、本実施形態では、学習部２０が学習データに基づいて予測モデルの候補を学習し、候補選択部３１が複数の予測モデルの候補のうち、予測モデルを構成する要素が他の予測モデルと異なる傾向を示す予測モデルを、予測モデルの候補から除外する。そのような構成により、訓練データの数量が十分でない場合でも、初期値依存性を有する学習アルゴリズムで作成された複数の予測モデル候補から適切な予測モデルを選択できる。
　これは、経験的に、他の予測モデルと傾向の異なる予測モデルは、その性能が劣ることが知られているからである。例えば、学習データに異常値が含まれている場合において、その異常値を当てに行こうと学習された予測モデルは、他の学習モデルとは異なる傾向を示す。
　一般に、多くの訓練データから導き出せる傾向は、どのような初期値から学習を始めても見つけられることが多い。一方、少ない訓練データにしか当てはまらない傾向は、特定の初期値でしか見つけられないことが多い。このような少ないサンプルにしか当てはまらない傾向を予測モデルに取り入れるようとすると、過学習になる可能性が高い。
　例えば、「晴れ時々雨」のような発生頻度が低い事象が発生した時に、たまたま高い売上が記録された場合を想定する。このような訓練データが存在すると、実際には売り上げを高めた要因が上記事象とは異なっていたとしても、学習アルゴリズムによっては、この事象と高い売上との偽相関を導き出してしまう。
　特異的な結果が必ずしもすべて不適切なものであるとは限らず、適切な場合も存在し得る。しかし、上述するように、十分でない数量のサンプルに基づいて作成されるモデルでは、このような特異的な結果を採用した場合に適切なモデルと不適切なモデルとの振れ幅が大きくなり、リスクも大きいと言える。
　一方、本願発明では、候補評価部３２が評価を行う前に、候補選択部３１が特異な予測モデルを除外しており、偽相関を有する可能性の高い予測モデルを除外できるため、上記のようなリスクを低減させることが可能になる。
　なお、本実施形態では、予測モデルを作成する学習アルゴリズムとして異種混合学習を用いる場合を例示した。ただし、本願発明では、予測モデルの構成（予測モデルを構成する要素）に着目して予測モデルを選択するため、予測モデルの内容が把握できる学習アルゴリズム（いわゆる、ホワイトボックスであるアルゴリズム）であれば、本願発明を適用可能である。
　次に、本発明の概要を説明する。図７は、本発明による予測モデル選択システムの概要を示すブロック図である。本発明による予測モデル選択システムは、複数の候補から予測モデルを選択する予測モデル選択システム８０（例えば、予測モデル選択システム１００）であって、学習データに基づいて予測モデルの候補を学習する学習部８１（例えば、学習部２０）と、複数の予測モデルの候補のうち、予測モデルを構成する要素が他の予測モデルと異なる傾向を示す予測モデルを、予測モデルの候補から除外する除外部８２（例えば、候補選択部３１）とを備えている。
　そのような構成により、訓練データの数量が十分でない場合でも、初期値依存性を有する学習アルゴリズムで作成された複数の予測モデル候補から適切な予測モデルを選択できる。
　具体的には、除外部８２は、予測モデルを構成する変数の採用率（例えば、係数採用率）および変数の重み（例えば、係数）のうちの少なくともいずれかが異なる傾向を示す予測モデルを、予測モデルの候補から除外してもよい。
　また、除外部８２は、予測モデルを構成する要素を規則に基づいて数値化し、算出された数値が、規則に応じて定められる選択基準を満たさない予測モデルを、予測モデルの候補から除外してもよい。
　また、選択基準ごとにその選択基準を満たした場合に付与されるスコアが定められている場合、除外部８２は、予測モデルの候補ごとに各選択基準のスコアを集計し、集計されたスコアが閾値に満たない予測モデルを、予測モデルの候補から除外してもよい。
　また、予測モデルは、線形回帰式で表される複数のコンポーネント（例えば、予測式）を要素に含んでいてもよい。このとき、除外部８２は、複数のコンポーネントが他の予測モデルと異なる傾向を示す予測モデルを、予測モデルの候補から除外してもよい。
　また、予測モデルは、入力されるデータに応じてコンポーネントを選択する分岐条件を要素に含んでいてもよい。このとき、除外部８２は、分岐条件が他の予測モデルと異なる傾向を示す予測モデルを、予測モデルの候補から除外してもよい。
　１０　記憶部
　２０　学習部
　３０　評価部
　３１　候補選択部
　３２　候補評価部
　１００　予測モデル選択システム

Claims (10)

  1. 　複数の候補から予測モデルを選択する予測モデル選択システムであって、
    　学習データに基づいて予測モデルの候補を学習する学習部と、
    　複数の前記予測モデルの候補のうち、予測モデルを構成する要素が他の予測モデルと異なる傾向を示す予測モデルを、前記予測モデルの候補から除外する除外部とを備えた
    　ことを特徴とする予測モデル選択システム。
  2. 　除外部は、予測モデルを構成する変数の採用率および変数の重みのうちの少なくともいずれかが異なる傾向を示す予測モデルを、予測モデルの候補から除外する
    　請求項１記載の予測モデル選択システム。
  3. 　除外部は、予測モデルを構成する要素を規則に基づいて数値化し、算出された数値が、前記規則に応じて定められる選択基準を満たさない予測モデルを、予測モデルの候補から除外する
    　請求項１または請求項２記載の予測モデル選択システム。
  4. 　選択基準ごとに当該選択基準を満たした場合に付与されるスコアが定められており、
    　除外部は、予測モデルの候補ごとに各選択基準の前記スコアを集計し、集計されたスコアが閾値に満たない予測モデルを、予測モデルの候補から除外する
    　請求項３記載の予測モデル選択システム。
  5. 　予測モデルは、線形回帰式で表される複数のコンポーネントを要素に含み、
    　除外部は、前記複数のコンポーネントが他の予測モデルと異なる傾向を示す予測モデルを、予測モデルの候補から除外する
    　請求項１から請求項４のうちのいずれか１項に記載の予測モデル選択システム。
  6. 　予測モデルは、入力されるデータに応じてコンポーネントを選択する分岐条件を要素に含み、
    　除外部は、前記分岐条件が他の予測モデルと異なる傾向を示す予測モデルを、予測モデルの候補から除外する
    　請求項１から請求項５のうちのいずれか１項に記載の予測モデル選択システム。
  7. 　複数の候補から予測モデルを選択する予測モデル選択方法であって、
    　学習データに基づいて予測モデルの候補を学習し、
    　複数の前記予測モデルの候補のうち、予測モデルを構成する要素が他の予測モデルと異なる傾向を示す予測モデルを、前記予測モデルの候補から除外する
    　ことを特徴とする予測モデル選択方法。
  8. 　予測モデルを構成する変数の採用率および変数の重みのうちの少なくともいずれかが異なる傾向を示す予測モデルを、予測モデルの候補から除外する
    　請求項７記載の予測モデル選択方法。
  9. 　複数の候補から予測モデルを選択するコンピュータに適用される予測モデル選択プログラムであって、
    　前記コンピュータに、
    　学習データに基づいて予測モデルの候補を学習する学習処理、および、
    　複数の前記予測モデルの候補のうち、予測モデルを構成する要素が他の予測モデルと異なる傾向を示す予測モデルを、前記予測モデルの候補から除外する除外処理
    　を実行させるための予測モデル選択プログラム。
  10. 　コンピュータに、
    　除外処理で、予測モデルを構成する変数の採用率および変数の重みのうちの少なくともいずれかが異なる傾向を示す予測モデルを、予測モデルの候補から除外させる
    　請求項９記載の予測モデル選択プログラム。
PCT/JP2016/001792 2016-03-28 2016-03-28 予測モデル選択システム、予測モデル選択方法および予測モデル選択プログラム WO2017168458A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2016/001792 WO2017168458A1 (ja) 2016-03-28 2016-03-28 予測モデル選択システム、予測モデル選択方法および予測モデル選択プログラム
JP2018507799A JP6451895B2 (ja) 2016-03-28 2016-03-28 予測モデル選択システム、予測モデル選択方法および予測モデル選択プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/001792 WO2017168458A1 (ja) 2016-03-28 2016-03-28 予測モデル選択システム、予測モデル選択方法および予測モデル選択プログラム

Publications (1)

Publication Number Publication Date
WO2017168458A1 true WO2017168458A1 (ja) 2017-10-05

Family

ID=59962677

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/001792 WO2017168458A1 (ja) 2016-03-28 2016-03-28 予測モデル選択システム、予測モデル選択方法および予測モデル選択プログラム

Country Status (2)

Country Link
JP (1) JP6451895B2 (ja)
WO (1) WO2017168458A1 (ja)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190178514A1 (en) * 2017-12-08 2019-06-13 Panasonic Intellectual Property Management Co., Ltd. Air-conditioning control method and air-conditioning control device
WO2019189016A1 (ja) * 2018-03-28 2019-10-03 日本電気株式会社 情報処理装置、情報処理方法、プログラム
JP2019200625A (ja) * 2018-05-17 2019-11-21 株式会社安藤・間 危険予知活動支援システム、危険予知活動支援方法、及びプログラム
WO2020044815A1 (ja) * 2018-08-27 2020-03-05 日本電気株式会社 判別可能データ選別システム、方法およびプログラム
JP2020077361A (ja) * 2018-11-05 2020-05-21 株式会社トランス 学習モデル構築装置、入社後評価予測装置、学習モデル構築方法および入社後評価予測方法
JP2020166645A (ja) * 2019-03-29 2020-10-08 株式会社日立システムズ 予測モデル評価システム、予測モデル評価方法
JP2021060633A (ja) * 2019-10-02 2021-04-15 ファナック株式会社 診断装置
WO2021079966A1 (ja) * 2019-10-24 2021-04-29 日本電気株式会社 分析装置、制御方法、及びプログラム
JP2021128478A (ja) * 2020-02-12 2021-09-02 株式会社日立製作所 データ処理システムおよびデータ処理方法
WO2021199201A1 (ja) * 2020-03-30 2021-10-07 日本電気株式会社 リスク評価装置、リスク評価方法およびプログラム
WO2021241702A1 (ja) * 2020-05-28 2021-12-02 住友重機械工業株式会社 表示装置、評価方法および評価システム
JP2022506993A (ja) * 2018-11-27 2022-01-18 オラクル・インターナショナル・コーポレイション カスタマイズ可能な機械予想を有する拡張可能なソフトウェアツール
WO2022107296A1 (ja) * 2020-11-19 2022-05-27 日本電信電話株式会社 推定装置、推定方法、および、推定プログラム
JP2022080367A (ja) * 2020-11-18 2022-05-30 日本電気株式会社 モデル評価装置、モデル評価方法、およびプログラム
WO2022168163A1 (ja) * 2021-02-02 2022-08-11 日本電信電話株式会社 生成装置、方法、及びプログラム
WO2022176375A1 (ja) * 2021-02-17 2022-08-25 オムロン株式会社 予測システム、情報処理装置および情報処理プログラム
WO2022185364A1 (ja) * 2021-03-01 2022-09-09 日本電信電話株式会社 学習装置、学習方法およびプログラム
WO2023203601A1 (ja) * 2022-04-18 2023-10-26 日本電信電話株式会社 時期算出装置、時期算出方法、及びプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10124478A (ja) * 1996-10-23 1998-05-15 Nri & Ncc Co Ltd セグメント生成型予測モデル構築装置及びその方法
JP2001014295A (ja) * 1999-06-30 2001-01-19 Sumitomo Metal Ind Ltd データ予測方法、データ予測装置及び記録媒体
JP2006085645A (ja) * 2004-09-17 2006-03-30 Canon System Solutions Inc データ予測装置及びデータ予測方法並びにプログラム
WO2011064876A1 (ja) * 2009-11-27 2011-06-03 株式会社東芝 予測モデル生成装置
JP2015082259A (ja) * 2013-10-23 2015-04-27 本田技研工業株式会社 時系列データ予測装置、時系列データ予測方法、及びプログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9908799B2 (en) * 2014-05-23 2018-03-06 Nch Corporation Method for improving quality of aquaculture pond water

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10124478A (ja) * 1996-10-23 1998-05-15 Nri & Ncc Co Ltd セグメント生成型予測モデル構築装置及びその方法
JP2001014295A (ja) * 1999-06-30 2001-01-19 Sumitomo Metal Ind Ltd データ予測方法、データ予測装置及び記録媒体
JP2006085645A (ja) * 2004-09-17 2006-03-30 Canon System Solutions Inc データ予測装置及びデータ予測方法並びにプログラム
WO2011064876A1 (ja) * 2009-11-27 2011-06-03 株式会社東芝 予測モデル生成装置
JP2015082259A (ja) * 2013-10-23 2015-04-27 本田技研工業株式会社 時系列データ予測装置、時系列データ予測方法、及びプログラム

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11112138B2 (en) * 2017-12-08 2021-09-07 Panasonic Intellectual Property Management Co., Ltd. Air-conditioning control method and air-conditioning control device
US20190178514A1 (en) * 2017-12-08 2019-06-13 Panasonic Intellectual Property Management Co., Ltd. Air-conditioning control method and air-conditioning control device
WO2019189016A1 (ja) * 2018-03-28 2019-10-03 日本電気株式会社 情報処理装置、情報処理方法、プログラム
JP2019200625A (ja) * 2018-05-17 2019-11-21 株式会社安藤・間 危険予知活動支援システム、危険予知活動支援方法、及びプログラム
JP7274709B2 (ja) 2018-05-17 2023-05-17 株式会社安藤・間 危険予知活動支援システム、危険予知活動支援方法、及びプログラム
WO2020044815A1 (ja) * 2018-08-27 2020-03-05 日本電気株式会社 判別可能データ選別システム、方法およびプログラム
JP2020077361A (ja) * 2018-11-05 2020-05-21 株式会社トランス 学習モデル構築装置、入社後評価予測装置、学習モデル構築方法および入社後評価予測方法
JP2020191131A (ja) * 2018-11-05 2020-11-26 株式会社アッテル 学習モデル構築装置、入社後評価予測装置、学習モデル構築方法および入社後評価予測方法
JP7426341B2 (ja) 2018-11-27 2024-02-01 オラクル・インターナショナル・コーポレイション カスタマイズ可能な機械予想を有する拡張可能なソフトウェアツール
JP2022506993A (ja) * 2018-11-27 2022-01-18 オラクル・インターナショナル・コーポレイション カスタマイズ可能な機械予想を有する拡張可能なソフトウェアツール
JP2020166645A (ja) * 2019-03-29 2020-10-08 株式会社日立システムズ 予測モデル評価システム、予測モデル評価方法
JP7352369B2 (ja) 2019-03-29 2023-09-28 株式会社日立システムズ 予測モデル評価システム、予測モデル評価方法
JP2021060633A (ja) * 2019-10-02 2021-04-15 ファナック株式会社 診断装置
JPWO2021079966A1 (ja) * 2019-10-24 2021-04-29
WO2021079966A1 (ja) * 2019-10-24 2021-04-29 日本電気株式会社 分析装置、制御方法、及びプログラム
JP7380699B2 (ja) 2019-10-24 2023-11-15 日本電気株式会社 分析装置及びプログラム
JP2021128478A (ja) * 2020-02-12 2021-09-02 株式会社日立製作所 データ処理システムおよびデータ処理方法
JP7316233B2 (ja) 2020-02-12 2023-07-27 株式会社日立製作所 データ処理システムおよびデータ処理方法
WO2021199201A1 (ja) * 2020-03-30 2021-10-07 日本電気株式会社 リスク評価装置、リスク評価方法およびプログラム
JPWO2021199201A1 (ja) * 2020-03-30 2021-10-07
JP7409484B2 (ja) 2020-03-30 2024-01-09 日本電気株式会社 リスク評価装置、リスク評価方法およびプログラム
WO2021241702A1 (ja) * 2020-05-28 2021-12-02 住友重機械工業株式会社 表示装置、評価方法および評価システム
JP7259830B2 (ja) 2020-11-18 2023-04-18 日本電気株式会社 モデル評価装置、モデル評価方法、およびプログラム
JP2022080367A (ja) * 2020-11-18 2022-05-30 日本電気株式会社 モデル評価装置、モデル評価方法、およびプログラム
WO2022107296A1 (ja) * 2020-11-19 2022-05-27 日本電信電話株式会社 推定装置、推定方法、および、推定プログラム
WO2022168163A1 (ja) * 2021-02-02 2022-08-11 日本電信電話株式会社 生成装置、方法、及びプログラム
WO2022176375A1 (ja) * 2021-02-17 2022-08-25 オムロン株式会社 予測システム、情報処理装置および情報処理プログラム
JP7556306B2 (ja) 2021-02-17 2024-09-26 オムロン株式会社 予測システム、情報処理装置および情報処理プログラム
WO2022185364A1 (ja) * 2021-03-01 2022-09-09 日本電信電話株式会社 学習装置、学習方法およびプログラム
WO2023203601A1 (ja) * 2022-04-18 2023-10-26 日本電信電話株式会社 時期算出装置、時期算出方法、及びプログラム

Also Published As

Publication number Publication date
JPWO2017168458A1 (ja) 2018-09-13
JP6451895B2 (ja) 2019-01-16

Similar Documents

Publication Publication Date Title
JP6451895B2 (ja) 予測モデル選択システム、予測モデル選択方法および予測モデル選択プログラム
US10839314B2 (en) Automated system for development and deployment of heterogeneous predictive models
JP6531821B2 (ja) 予測モデル更新システム、予測モデル更新方法および予測モデル更新プログラム
US11816080B2 (en) Severity computation of anomalies in information technology operations
KR20210035164A (ko) 데이터 세트들에 대한 머신 러닝 모델의 적합성 검출
US20200090076A1 (en) Non-transitory computer-readable recording medium, prediction method, and learning device
WO2018079367A1 (ja) 商品需要予測システム、商品需要予測方法および商品需要予測プログラム
US10824694B1 (en) Distributable feature analysis in model training system
US10628178B2 (en) Automated user interface analysis
WO2021229648A1 (ja) 数式モデル生成システム、数式モデル生成方法および数式モデル生成プログラム
JP6399206B2 (ja) 推定器管理システム
JP2017146888A (ja) 設計支援装置及び方法及びプログラム
Su et al. A method for fuzzy group decision making based on induced aggregation operators and Euclidean distance
CN112116028B (zh) 模型决策解释实现方法、装置及计算机设备
JP2023520313A (ja) 不確定区間を有する性能予測の生成
JP6144314B2 (ja) データ分類システム，方法，プログラムおよびその記録媒体
JP5063639B2 (ja) データ分類方法及び装置及びプログラム
WO2017104657A1 (ja) 情報処理装置、情報処理方法、及び、記録媒体
US9466031B1 (en) Data-agnostic methods and systems for ranking and updating beliefs
JP6611268B2 (ja) 特定装置、分析システム、特定方法及び特定プログラム
US20230161841A1 (en) Computer system and data analysis method
JP7154468B2 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
US20230351264A1 (en) Storage medium, accuracy calculation method, and information processing device
WO2024079827A1 (ja) 動線集約装置、方法、及びプログラム
US20230111043A1 (en) Determining a fit-for-purpose rating for a target process automation

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2018507799

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16896680

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 16896680

Country of ref document: EP

Kind code of ref document: A1