WO2019092931A1 - 判別モデル生成装置、判別モデル生成方法および判別モデル生成プログラム - Google Patents

判別モデル生成装置、判別モデル生成方法および判別モデル生成プログラム Download PDF

Info

Publication number
WO2019092931A1
WO2019092931A1 PCT/JP2018/027610 JP2018027610W WO2019092931A1 WO 2019092931 A1 WO2019092931 A1 WO 2019092931A1 JP 2018027610 W JP2018027610 W JP 2018027610W WO 2019092931 A1 WO2019092931 A1 WO 2019092931A1
Authority
WO
WIPO (PCT)
Prior art keywords
value
label
learning data
discriminant model
data
Prior art date
Application number
PCT/JP2018/027610
Other languages
English (en)
French (fr)
Inventor
啓 谷本
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to US16/761,568 priority Critical patent/US20200272906A1/en
Priority to JP2019551882A priority patent/JP7070584B2/ja
Publication of WO2019092931A1 publication Critical patent/WO2019092931A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Definitions

  • the present invention relates to a discriminant model generation device that generates a discriminant model based on learning data, a discriminant model generation method, and a discriminant model generation program.
  • a model used for the determination is generated from the learning data. Specifically, when the objective variable y is represented by a numerical value, a model may be generated to determine a target case based on whether the objective variable y is larger than the threshold value ⁇ .
  • Patent Document 1 describes an apparatus for learning a discriminator that identifies a person or an object staying in a monitoring area.
  • a discriminator that identifies a person or an object staying in a monitoring area.
  • whether an image indicating that a detection target is staying is a positive example, and an image indicating that a detection target is not staying is a negative example, whether the detection target is staying or not Learn a classifier that identifies
  • the classifier generated in this manner it is possible to obtain, for any input image, a retention degree indicating the likelihood of belonging to a positive example or a negative example.
  • Patent Document 2 describes an active learning method in machine learning.
  • weights are set to learning data according to the order of acquiring learning data, and learning is performed emphasizing data acquired more newly than data accumulated before. .
  • a method of performing regression analysis and performing a determination on the predicted value by the generated prediction model can be considered as one proposal.
  • the accuracy itself of the objective variable is not necessarily required.
  • the accuracy of the region of no interest may lower the accuracy of the region of interest.
  • the classifier is learned based on learning data labeled in advance as positive examples and negative examples.
  • learning data used when learning a discriminator a binary value of whether a measured value of a discrimination target (target variable) included in the learning data is a positive example (for example, 1) or a negative example (for example, 0) Rather, it may be available as actual measurements.
  • more training data is available to generate a discriminant model.
  • an object of the present invention is to provide a discrimination model generation device, a discrimination model generation method, and a discrimination model generation program capable of learning a discrimination model with high accuracy even when learning data is small.
  • the discriminant model generation device calculates a label to be added to the learning data in accordance with the difference between the threshold value for discriminating positive or negative examples and the value of the objective variable included in the learning data.
  • a calculation unit and a learning unit that learns a discriminant model using learning data in which the calculated labels are associated with each other.
  • the discriminant model generation method calculates a label to be added to the learning data according to the difference between the threshold value for judging positive or negative examples and the value of the objective variable included in the learning data. It is characterized by
  • the discriminant model generation program is a label added to the learning data according to the difference between the threshold value for determining positive or negative examples and the value of the objective variable included in the learning data in the computer. And calculation processing for calculating the discriminant model using the learning data associated with the calculated labels.
  • FIG. 1 is a block diagram illustrating an embodiment of a label generation device according to the present invention. It is an explanatory view showing distribution of learning data in an example. An example of the result of having classified a sample into data of a positive example and data of a negative example based on a threshold is shown. It is an explanatory view showing an example of an evaluation result. It is a block diagram which shows the outline
  • the objective variable y when the objective variable y is represented by a numerical value as described above, the objective variable y of the discrimination target (prediction target) exceeds a certain threshold ⁇ (that is, y It is assumed that it is a model to determine whether or not it becomes> ⁇ .
  • FIG. 1 is a block diagram showing a configuration example of a first embodiment of a discrimination model generation device according to the present invention.
  • the discrimination model generation device 100 includes a storage unit 10, a label calculation unit 20, and a learning device 30.
  • the storage unit 10 stores learning data.
  • the learning data may be referred to as a sample.
  • the storage unit 10 may store data such as parameters used by a label calculation unit 20 and a learning device 30 described later.
  • the storage unit 10 is realized by, for example, a magnetic disk device or the like.
  • FIG. 2 is an explanatory view showing an example of learning data.
  • the learning data illustrated in FIG. 2 indicates sales data of a certain product for each date.
  • the learning data illustrated in FIG. 2 includes sales one week ago, a holiday flag indicating whether or not a holiday, temperature, and sales. These data are used as explanatory variables in the discriminant model.
  • the determination result illustrated in FIG. 2 shows whether sales exceeded 100 (1 if exceeded, 0 if not exceeded).
  • the label calculation unit 20 calculates a label to be added to the learning data according to the difference between the threshold value for determining the positive example or the negative example and the value of the target variable included in the learning data. More specifically, the label calculation unit 20 calculates, for each learning data, a label representing a more positive example as the value of the objective variable becomes larger than the threshold, and the value of the objective variable becomes the threshold. The smaller the comparison, the more negative the label is.
  • a label representing a positive example is “1”
  • a label representing a negative example is “0”.
  • a value closer to “1” represents a label representing more positive example
  • a value closer to “0” represents a label representing more negative example.
  • the label calculation unit 20 calculates a label indicating a value close to “1” as the value of the objective variable becomes larger than the threshold value, and as the value of the object variable becomes smaller than the threshold value, A label indicating a value close to “0” may be calculated.
  • the labels calculated in the present invention can be called soft-labels because they do not completely distinguish between positive examples and negative examples and are flexible labels.
  • soft label pairs labels that completely distinguish between positive and negative examples (for example, a label representing a positive example is “1” and a label representing a negative example is “0”) are It is described as a hard label.
  • the label calculation unit 20 may calculate the label using a function that determines a value based on the difference between the target variable and the threshold. For example, when the value of the objective variable is equal to the threshold, the label calculation unit 20 makes the positive example and the negative example the same (0.5), and the value of the objective variable is larger than the threshold. Therefore, the label may be calculated using a sigmoid function that approaches 1 and approaches 0 as the value of the target variable decreases below the threshold.
  • Equation 1 T is a temperature parameter.
  • the function used by the label calculation unit 20 for calculating the label is not limited to the sigmoid function. For example, if the label representing a positive example is “1” and the label representing a negative example is “0”, the value of the objective variable is monotonically non-decreasing, and the value range is within [0, 1]. For example, the content is optional.
  • FIG. 3 is an explanatory view showing an example of a result of calculating a label based on learning data.
  • the result of having calculated the label based on Formula 1 shown above is shown.
  • the temperature parameter T 10.
  • the label calculation unit 20 calculates a label indicating that the data is close to the positive example among the negative examples, even for the data to be the negative example, for the data close to the positive example.
  • the label calculating unit 20 uses a label that represents the likelihood of the learning data. calculate. Therefore, even when there is little learning data, the learning data can be used efficiently, so that a discriminant model with higher accuracy can be learned.
  • the learning device 30 learns the discriminant model using learning data in which the labels calculated by the label calculating unit 20 are associated. Specifically, the learning device 30 generates a discriminant model in which a variable illustrated in FIG. 2 is used as an explanatory variable, with an objective variable whether or not the threshold value is exceeded.
  • a soft label is used as a value corresponding to a target variable of learning data, instead of a hard label representing “whether or not a threshold is exceeded”. That is, learning is performed by treating soft labels as if they are objective variables.
  • the explanatory variable is defined as x
  • the soft label is defined as s
  • the hard label is defined as y
  • (x, y) is used as learning data in general discriminant model learning. ) Is used as learning data.
  • the method the learning device 30 performs learning is arbitrary.
  • the learning device 30 may learn the discriminant model using, for example, logistic regression.
  • GPU graphics processing unit
  • FPGA field-programmable gate array
  • the program may be stored in the storage unit 10, and the processor may read the program and operate as the label calculation unit 20 and the learning device 30 according to the program.
  • the function of the recommended order number determination device may be provided in the form of Software as a Service (SaaS).
  • Each of the label calculation unit 20 and the learning device 30 may be realized by dedicated hardware.
  • part or all of each component of each device may be realized by a general purpose or dedicated circuit, a processor, or the like, or a combination thereof. These may be configured by a single chip or may be configured by a plurality of chips connected via a bus. A part or all of each component of each device may be realized by a combination of the above-described circuits and the like and a program.
  • the plurality of information processing devices or circuits may be centrally disposed. It may be distributed.
  • the information processing apparatus, the circuit, and the like may be realized as a form in which each is connected via a communication network, such as a client server system and a cloud computing system.
  • FIG. 4 is a flowchart showing an operation example of the discrimination model generation device of the present embodiment.
  • the label calculation unit 20 calculates a label to be added to the learning data in accordance with the difference between the threshold value for determining the positive example or the negative example and the value of the target variable included in the learning data (step S11). . More specifically, the label calculation unit 20 calculates, for each learning data, a label representing a more positive example as the value of the objective variable becomes larger than the threshold, and the value of the objective variable becomes the threshold. The smaller the comparison, the more negative the label is. Then, the learning device 30 learns the discriminant model using the learning data in which the calculated labels are associated (step S12).
  • the label calculation unit 20 uses the learning data according to the difference between the threshold value for determining the positive example or the negative example and the value of the target variable included in the learning data.
  • the label to be added is calculated, and the learning device 30 learns the discriminant model using the learning data associated with the calculated label. Therefore, even when there is little learning data, it is possible to learn a discriminant model with high accuracy.
  • Embodiment 2 Next, a second embodiment of the discrimination model generation device according to the present invention will be described.
  • the method has been described in which the label calculation unit 20 calculates, for each learning data, a label that represents positive or negative examples according to the difference between the value of the objective variable and the threshold value.
  • a method of calculating a weight (weight of positive example) when data of a positive example and a weight (weight of negative example) of a negative example as labels of each learning data as labels is calculated. explain.
  • FIG. 5 is a block diagram showing a configuration example of the second embodiment of the discrimination model generation device according to the present invention.
  • the discrimination model generation device 200 of the present embodiment includes a storage unit 10, a weight calculation unit 21, and a learning device 31.
  • the content stored in the storage unit 10 is the same as that in the first embodiment.
  • the weight calculation unit 21 generates positive example data and negative example data from the learning data regardless of the value of the objective variable.
  • FIG. 6 is an explanatory view showing an example of processing for generating positive example data and negative example data from learning data. The example illustrated in FIG. 6 indicates that the weight calculation unit 21 generates the learning data illustrated in FIG. 2 as data of a positive example and data of a negative example.
  • data to be used as a negative example is generated from the positive example data.
  • data to be used as a positive example is generated from data of a negative example.
  • the weight calculation unit 21 calculates the weight of the positive example to be higher as the value of the target variable is larger than the threshold value for the generated positive example data. Further, for the generated negative example data, the weight of the negative example is calculated to be higher as the value of the objective variable becomes smaller than the threshold value.
  • the positive example weight and the negative example weight can be referred to as the label of the first embodiment.
  • the weight calculation unit 21 may calculate the weight of the positive example by the same method as the method in which the label calculation unit 20 in the first embodiment calculates the label.
  • the weight calculation unit 21 calculates, for example, a weight of a positive example that becomes closer to “1” as the value of the objective variable becomes larger than the threshold value.
  • the weight calculation unit 21 may calculate the weight of the negative example by subtracting the calculated weight of the positive example from 1. That is, assuming that the i-th learning data is x i and the weight of the positive example data (weight of the positive example) is w i , the weight calculation unit 21 calculates the weight of the negative example data by 1 ⁇ w i You may
  • the weight calculation unit 21 may calculate the weight of the positive example and the weight of the negative example using a function that determines a value based on the difference between the target variable and the threshold. Specifically, the weight calculation unit 21 may calculate the weight of the positive example using the sigmoid function shown in the above equation 1, and the value of the objective variable is not monotonically decreasing and the range is [0, 1]. The weights of positive examples may be calculated using a function that fits within.
  • the weight is calculated also for the negative example data, so that it is possible to increase the learning data.
  • the weight calculation unit 21 represents the positive example likelihood of the learning data that is determined to be a negative example when the value of the target variable included in the learning data and the threshold value are compared. Calculate the label (ie, positive data). That is, it is possible to increase learning data by setting the weight of the positive example to such a sample.
  • the weight calculation section 21 may be added to the constant C in the calculated weight w i. That is, the weight calculation unit 21 may calculate w i + C as a weight.
  • the weight calculation unit 21 may adjust the balance of the sum of the weight of the positive example and the weight of the negative example to 1: 1 or the like, as in the case of the imbalanced problem in machine learning.
  • the weight calculation unit 21 may adjust the weight of the positive example to w i / ⁇ w i and the weight of the negative example to (1 ⁇ w i ) / ( ⁇ 1 ⁇ w i ).
  • the learning device 31 learns the discriminant model using learning data in which the weight of the positive example or the weight of the negative example calculated by the weight calculation unit 21 is associated. As in the first embodiment, the learning device 31 uses as an objective variable whether or not the threshold value is exceeded, and uses a weighted disc as a discriminant model in which the variable illustrated in FIG. 6 is an explanatory variable. It generates by learning using. In addition, the method the learning device 31 performs learning is arbitrary. The learning device 31 may learn the discriminant model using, for example, logistic regression.
  • the weight calculation unit 21 and the learning device 31 are also realized by a processor of a computer that operates according to a program (discrimination model generation program).
  • FIG. 8 is a flowchart showing an operation example of the discrimination model generation device of this embodiment.
  • the weight calculation unit 21 generates positive example data and negative example data from the learning data (step S21).
  • the weight calculating unit 21 calculates the weight of the positive example and the weight of the negative example according to the difference between the threshold value and the value of the target variable included in the learning data (step S22). Specifically, the weight calculation unit 21 calculates the weight of the positive example so that the value of the objective variable increases as the value of the objective variable increases, and increases as the value of the objective variable decreases as the value of the objective variable decreases.
  • the weights of negative examples are calculated so that The learning device 31 learns the discriminant model using learning data in which the calculated weight of the positive example and the weight of the negative example are associated (step S23).
  • the weight calculation unit 21 generates positive example data and negative example data from the learning data. At this time, the weight calculation unit 21 calculates the weight of the positive example as a label so that the value of the objective variable becomes larger as the value of the objective variable becomes larger than the threshold value, and the value becomes larger as the value of the objective variable becomes smaller than the threshold value
  • the weight of the negative example is calculated as a label so that Therefore, in addition to the effects of the first embodiment, it is possible to use an existing method of learning using data of positive and negative examples.
  • FIG. 9 is a block diagram showing a configuration example of the third embodiment of the discrimination model generation device according to the present invention.
  • the discrimination model generation device 300 of the present embodiment includes a storage unit 10, a calculation unit 22, a learning device 32, and an evaluation unit 40.
  • the content stored in the storage unit 10 is the same as that in the first embodiment.
  • the calculation unit 22 calculates a label to be added to the learning data.
  • the label calculated by the calculation unit 22 may be a label calculated by the label calculation unit 20 of the first embodiment, and a positive example weight and a negative example calculated by the weight calculation unit 21 of the second embodiment It may be a weight.
  • the calculation unit 22 of the present embodiment calculates a plurality of labels for each learning data based on a plurality of viewpoints.
  • the selection method of the viewpoint is arbitrary.
  • the calculation part 22 may change the temperature parameter T, and may calculate several labels. That is, the calculation unit 22 may calculate a plurality of labels while changing the degree of change according to the difference between the threshold value and the target variable. Further, the calculation unit 22 may calculate a plurality of labels using a plurality of types of functions.
  • the learning device 32 learns the discriminant model for each viewpoint using the label calculated by the calculation unit 22.
  • the learning method performed by the learning device 32 may be determined according to the contents of the label generated by the calculating unit 22.
  • the evaluation unit 40 evaluates each discrimination model learned by the learning device 32. For example, the evaluation unit 40 may perform evaluation using any method such as cross verification. Further, the evaluation unit 40 may output the evaluation result.
  • the calculation unit 22, the learning device 32, and the evaluation unit 40 are also realized by a processor of a computer that operates according to a program (discrimination model generation program).
  • FIG. 10 is a flowchart showing an operation example of the discrimination model generation device of this embodiment.
  • the calculation unit 22 calculates a plurality of labels for each learning data based on a plurality of viewpoints (step S31).
  • the learning device 32 learns the discrimination model for each viewpoint using the label calculated by the calculation unit 22 (step S32).
  • the evaluation unit 40 evaluates each discrimination model learned by the learning device 32 (step S33).
  • the calculating unit 22 calculates a plurality of labels for each learning data based on a plurality of viewpoints, and the learning device 32 learns a discriminant model for each viewpoint. Then, the evaluation unit 40 evaluates each learned discriminant model. Therefore, in addition to the effects of the first and second embodiments, it is possible to select a discrimination model with higher accuracy.
  • Embodiment 4 Next, a fourth embodiment of the present invention will be described.
  • the discrimination model generation device that generates the discrimination model based on the calculated label has been described.
  • one device may be realized by the function of calculating a label to be associated with learning data.
  • FIG. 11 is a block diagram showing an embodiment of a label generation apparatus according to the present invention.
  • the label generation device 400 of the present embodiment includes a storage unit 10 and a label calculation unit 20. That is, the label generation device 400 of the present embodiment corresponds to the configuration in which the learning device 30 is removed from the discrimination model generation device 100 of the first embodiment.
  • the label calculating unit 20 may be realized by the weight calculating unit 21 in the second embodiment or the calculating unit 22 in the third embodiment.
  • FIG. 12 is an explanatory view showing a distribution of learning data in the present embodiment.
  • the sample illustrated in FIG. 12 is 3000 samples that follow a normal distribution.
  • the threshold is set to 20.
  • FIG. 13 shows an example of the result of classifying samples into positive example data and negative example data based on the threshold value.
  • the number of data in the positive example is 255
  • the number of data in the negative example is 2745
  • the ratio of the number of data in the positive example is less than 10%.
  • the weight w i of data of the positive example is calculated by the equation 1 shown above.
  • Formula 2 illustrated below was used as a loss function used for learning.
  • AUC rea Under the Curve evaluation was performed on the generated discriminant model using a sample for evaluation. This evaluation corresponds to the processing performed by the evaluation unit 40 described above.
  • the discriminant model was generated after classifying the samples into a positive example (1) and a negative example (0) using a general method.
  • FIG. 14 is an explanatory view showing an example of the evaluation result.
  • a graph indicated by a solid line illustrated in FIG. 14 indicates the value of AUC when the value of the temperature parameter T is changed in the soft-label discrimination. As illustrated in FIG. 14, it can be confirmed that the accuracy is improved by increasing the value of the temperature parameter T as compared with the case where the general method is used.
  • FIG. 15 is a block diagram showing an outline of a discrimination model generation apparatus according to the present invention.
  • the discriminant model generation device 80 according to the present invention is adapted to the difference between the threshold value (for example, the threshold value ⁇ ) for discriminating a positive example or a negative example and the value of the objective variable included in the learning data.
  • a learning unit 82 for example, the learning device 30 for learning a discriminant model using a calculation unit 81 (for example, the label calculation unit 20) for calculating a label to be added to learning data and learning data associated with the calculated label. And).
  • Such a configuration makes it possible to learn a discriminant model with high accuracy even when there is little learning data.
  • the calculation unit 81 calculates, for each learning data, a label indicating more positive example as the value of the objective variable becomes larger than the threshold, and the value of the objective variable is compared to the threshold The smaller the value is, the more negative the label may be.
  • the calculation unit 81 (for example, the weight calculation unit 21) generates positive data and negative data from the learning data, and the value of the objective variable increases as the value of the target variable increases.
  • the weight of the example may be calculated as a label
  • the weight of the negative example may be calculated as a label so that the value of the objective variable becomes larger as the value becomes smaller than the threshold.
  • calculation unit 81 may adjust the weight of the positive example and the weight of the negative example based on the sum of the weight of the positive example and the sum of the weight of the negative example.
  • calculation unit 81 may calculate the label using a function in which the target variable is not monotonically decreasing and the value range is a value between 0 and 1.
  • calculation unit 81 calculates a label using a sigmoid function (for example, equation 1 shown above) in which the positive example likelihood and the negative example likelihood become equal when the value of the objective variable is equal to the threshold value.
  • a calculation unit that calculates a label to be added to the learning data according to the difference between the threshold value for determining positive or negative examples and the value of the target variable included in the learning data; What is claimed is: 1.
  • a discriminant model generation device comprising: a learning unit that learns a discriminant model using learning data in which the identified labels are associated.
  • the calculation unit calculates, for each learning data, a label indicating more positive example as the value of the objective variable is larger than the threshold, and the value of the objective variable is smaller than the threshold.
  • the discriminant model generation device according to supplementary note 1, wherein a label representing more like negative examples is calculated.
  • the calculation unit generates positive example data and negative example data from the learning data, and calculates the weight of the positive example as a label so that the value of the objective variable increases as the value of the target variable increases.
  • the discriminant model generation device according to claim 1 or 2, wherein the weight of the negative example is calculated as a label such that the value of the objective variable becomes larger as the value becomes smaller than the threshold value.
  • a label indicating positive example likelihood is calculated for the learning data determined as a negative example when the value of the objective variable included in the learning data is compared with the threshold value.
  • the discriminant model generation device according to any one.
  • the calculating unit calculates a label using a sigmoid function in which the positive example likelihood and the negative example likelihood are equal when the value of the objective variable is equal to the threshold value.
  • Discriminant model generation device described in one.
  • An evaluation unit that evaluates a learned discriminant model is provided, and the calculation unit calculates a plurality of labels for each learning data based on a plurality of viewpoints, and the learning unit discriminates each of the viewpoints.
  • the discriminant model generation device according to any one of appendices 1 to 7, wherein the evaluation unit learns a model, and the evaluation unit evaluates each learned discriminant model.
  • a discriminant model generation method comprising: learning a discriminant model using learning data in which
  • the computer is made to calculate a label representing more likeliness as the value of the objective variable becomes larger than the threshold value for each learning data in the calculation processing, and the value of the objective variable is the threshold value 15.
  • a calculation unit is provided that calculates a label to be added to the learning data according to the difference between the threshold value for determining positive examples or negative examples and the value of the target variable included in the learning data.
  • a label generation device characterized in that.

Abstract

判別モデル生成装置８０は、算出部８１と、学習部８２とを備えている。算出部８１は、正例または負例を判別するためのしきい値と、学習データに含まれる目的変数の値との差に応じて、その学習データに付加するラベルを算出する。学習部８２は、算出されたラベルを対応付けた学習データを用いて、判別モデルを学習する。

Description

判別モデル生成装置、判別モデル生成方法および判別モデル生成プログラム
　本発明は、学習データに基づいて判別モデルを生成する判別モデル生成装置、判別モデル生成方法および判別モデル生成プログラムに関する。
　現在や将来予測される状況を判別するため、学習データから判別に用いるモデルを生成することが行われる。具体的には、目的変数ｙが数値で表される場合に、その目的変数ｙがしきい値θより大きいか否かに基づいて、対象とする事例を判別するモデルを生成する場合がある。
　このような事例として、例えば、ある状態値ｙが危険水準θに達するか否か、飲食店の評価値ｙが高評価θ以上になるか否か、新商品発売後１週間で一定数θ以上売り上げるか否か、などが挙げられる。
　例えば、特許文献１には、監視領域内に滞留している人や物を識別する識別器を学習するための装置が記載されている。特許文献１に記載された装置は、検出対象が滞留していることを示す画像を正例、検出対象が滞留していないことを示す画像を負例として、検出対象が滞留しているか否かを識別する識別器を学習する。このように生成された識別器を用いることで、任意の入力画像に対し、正例または負例に属する確からしさを示す滞留度を得ることが可能になる。
　なお、特許文献２には、機械学習における能動学習方法が記載されている。特許文献２に記載された能動学習方法では、学習データの取得順序に応じて学習データに重みを設定し、以前から蓄積されているデータよりも、新しく取得されたデータを重要視した学習を行う。
国際公開２０１６／１３６２１４号 国際公開２００８／０７２４５９号
　状況を判別する方法として、回帰分析を行い、生成された予測モデルによる予測値に対して判別を行う方法が一案として考えられる。ただし、ある状態になるか否かを判別する状況においては、目的変数の精度自体は必ずしも必要ではない。例えば、正例を示すデータが少ないような状況では、興味のない領域の精度が、興味領域の精度を下げてしまう場合がある。
　例えば、交通事故が発生するか否かを判別するような事例を考える。一般に、交通事故が発生する状況は、交通事故が発生しない状況に比べて大幅に少ない。このような事例において回帰分析を行うと、交通事故が発生する状況が興味領域であるにもかかわらず、交通事故が発生しない状況に最もフィットするようなモデルが生成されてしまう。
　一方、特許文献１に記載された装置は、予め正例と負例とにラベル付けされた学習データに基づいて識別器が学習される。ところで、識別器を学習する際に用いられる学習データとして、学習データに含まれる識別対象（目的変数）の実測値が、正例（例えば、１）か負例（例えば、０）かの２値ではなく、実測値そのものとして入手できる場合がある。
　このような場合、例えば数値データとして入手可能な値を、数値データから正例（１）か、負例（０）かの２値に変換してから学習を行うことが考えられる。しかし、このような変換は、数値データが使えるにも関わらず、値を０または１に縮約してしまうため、利用可能な情報量が減ってしまい、モデルの判別精度に悪影響を与える場合がある。
　判別モデルを生成するには、より多くの学習データを利用できることが好ましい。しかし、学習データが少ない場合であっても、少ない学習データをより効率的に用いて精度のよいモデルを学習できることが望まれている。
　そこで、本発明は、学習データが少ない場合でも精度のよい判別モデルを学習できる判別モデル生成装置、判別モデル生成方法および判別モデル生成プログラムを提供することを目的とする。
　本発明による判別モデル生成装置は、正例または負例を判別するためのしきい値と、学習データに含まれる目的変数の値との差に応じて、その学習データに付加するラベルを算出する算出部と、算出されたラベルを対応付けた学習データを用いて、判別モデルを学習する学習部とを備えたことを特徴とする。
　本発明による判別モデル生成方法は、正例または負例を判別するためのしきい値と、学習データに含まれる目的変数の値との差に応じて、その学習データに付加するラベルを算出することを特徴とする。
　本発明による判別モデル生成プログラムは、コンピュータに、正例または負例を判別するためのしきい値と、学習データに含まれる目的変数の値との差に応じて、その学習データに付加するラベルを算出する算出処理、および、算出されたラベルを対応付けた学習データを用いて、判別モデルを学習する学習処理とを実行させることを特徴とする。
　本発明によれば、学習データが少ない場合でも精度のよい判別モデルを学習できるという技術的効果を奏する。
本発明による判別モデル生成装置の第１の実施形態の構成例を示すブロック図である。 学習データの例を示す説明図である。 学習データに基づいてラベルを算出した結果の例を示す説明図である。 第１の実施形態の判別モデル生成装置の動作例を示すフローチャートである。 本発明による判別モデル生成装置の第２の実施形態の構成例を示すブロック図である。 学習データから正例のデータおよび負例のデータを生成する処理の例を示す説明図である。 学習データに基づいて重みを算出した結果の例を示す説明図である。 第２の実施形態の判別モデル生成装置の動作例を示すフローチャートである。 本発明による判別モデル生成装置の第３の実施形態の構成例を示すブロック図である。 第３の実施形態の判別モデル生成装置の動作例を示すフローチャートである。 本発明によるラベル生成装置の一実施形態を示すブロック図である。 実施例における学習データの分布を示す説明図である。 しきい値に基づいてサンプルを正例のデータおよび負例のデータに分類した結果の例を示す。 評価結果の例を示す説明図である。 本発明による判別モデル生成装置の概要を示すブロック図である。
　以下、本発明の実施形態を図面を参照して説明する。本実施形態で生成する判別モデルは、上述するような、目的変数ｙが数値で表される場合に、判別対象（予測対象）の目的変数ｙが、あるしきい値θを超える（すなわち、ｙ＞θになる）か否かを判別するモデルであるとする。
実施形態１．
　図１は、本発明による判別モデル生成装置の第１の実施形態の構成例を示すブロック図である。本実施形態の判別モデル生成装置１００は、記憶部１０と、ラベル算出部２０と、学習器３０とを備えている。
　記憶部１０は、学習データを記憶する。なお、学習データのことを、サンプルと記すこともある。また、記憶部１０は、後述するラベル算出部２０および学習器３０が用いるパラメータなどのデータを記憶していてもよい。記憶部１０は、例えば、磁気ディスク装置等により実現される。
　図２は、学習データの例を示す説明図である。図２に例示する学習データは、ある商品の日付ごとの売上データを示す。図２に例示する学習データは、１週間前の売上、休日か否かを示す休日フラグ、温度、および、売上を含む。これらのデータは、判別モデルにおける説明変数として用いられる。また、図２に例示する判定結果は、売上が１００を超えたか否か（超えている場合１、超えていない場合０）を示す。
　ラベル算出部２０は、正例または負例を判別するためのしきい値と、学習データに含まれる目的変数の値との差に応じて、学習データに付加するラベルを算出する。具体的には、ラベル算出部２０は、各学習データについて、目的変数の値がしきい値に比べて大きくなるほど、より正例らしさを表すラベルを算出し、目的変数の値がしきい値に比べて小さくなるほど、より負例らしさを表すラベルを算出する。
　例えば、正例を表すラベルを「１」とし、負例を表すラベルを「０」とする。そして、「１」に近い値ほど、より正例らしさを表すラベルを表し、「０」に近い値ほど、より負例らしさを表すラベルを表すとする。このとき、ラベル算出部２０は、目的変数の値がしきい値に比べて大きくなるほど、「１」に近い値を示すラベルを算出し、目的変数の値がしきい値に比べて小さくなるほど、「０」に近い値を示すラベルを算出してもよい。このように、本発明で算出するラベルは、正例らしさおよび負例らしさを完全に区別するものではなく、柔軟なラベルであることから、ソフトラベル（ｓｏｆｔ－Ｌａｂｅｌ）と言うことができる。一方、ソフトラベルの対として、正例らしさおよび負例らしさを完全に区別するラベル（例えば、正例を表すラベルが「１」、負例を表すラベルが「０」）のことを、以下、ハードラベルと記す。
　ラベル算出部２０は、目的変数と閾値との差に基づいて値を決定する関数を用いて、ラベルを算出してもよい。ラベル算出部２０は、例えば、目的変数の値としきい値とが等しい場合に、正例および負例らしさが同等（０．５）になり、目的変数の値がしきい値よりも大きくなるにしたがって１に近づき、目的変数の値がしきい値よりも小さくなるにしたがって０に近づくシグモイド関数を用いて、ラベルを算出してもよい。
　しきい値をθとし、データｉの目的変数の値をｙｉとすると、シグモイド関数ｆは、以下に示す式１で表される。なお、式１において、Ｔは、温度パラメータである。
Figure JPOXMLDOC01-appb-M000001
 　
　なお、ラベル算出部２０がラベルの算出に用いる関数は、シグモイド関数に限定されない。例えば、正例を表すラベルを「１」とし、負例を表すラベルを「０」とした場合には、目的変数の値について単調非減少、かつ値域が［０，１］に収まる関数であれば、その内容は任意である。
　図３は、学習データに基づいてラベルを算出した結果の例を示す説明図である。図３に示す例では、上記に示す式１に基づいてラベルを算出した結果を示す。ここでは、温度パラメータＴ＝１０としている。一般的な方法の場合、例えば、ｉｄ＝２のデータが示す売上は、９９であり、極めて正例に近いデータであるにもかかわらず、閾値１００より小さいため、ｉｄ＝２のデータは単なる負例（０）のデータとして用いられる。
　しかし、本実施形態では、ラベル算出部２０が、負例とされるデータであっても、正例に近いようなデータには、負例の中でも正例に近いことを示すラベルを算出する。言い換えると、ラベル算出部２０は、学習データに含まれる目的変数の値としきい値とを比較したときには負例と判別される学習データであっても、その学習データについて正例らしさを表すラベルを算出する。そのため、学習データが少ない場合でも、その学習データを効率的に利用できるため、より精度のよい判別モデルを学習できる
　学習器３０は、ラベル算出部２０が算出したラベルを対応付けた学習データを用いて、判別モデルを学習する。具体的には、学習器３０は、しきい値を超えるか否かを目的変数とし、図２に例示するような変数を説明変数とするような判別モデルを生成する。なお、本実施形態では、学習データの目的変数に対応する値として、「しきい値を超えるか否か」を表すようなハードラベルの代わりにソフトラベルを用いる。すなわち、ソフトラベルをあたかも目的変数のように扱って学習が行われる。例えば、説明変数をｘ、ソフトラベルをｓ、ハードラベルをｙと定義した場合、一般的な判別モデルの学習では（ｘ，ｙ）が学習データとして用いられるところ、本実施形態では（ｘ，ｓ）が学習データとして用いられる。なお、学習器３０が学習を行う方法は任意である。学習器３０は、例えば、ロジスティック回帰を用いて判別モデルを学習してもよい。
　ラベル算出部２０と、学習器３０とは、プログラム（判別モデル生成プログラム）に従って動作するコンピュータのプロセッサ（例えば、ＣＰＵ（Central Processing Unit ）、ＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（field-programmable gate array ））によって実現される。
　例えば、プログラムは、記憶部１０に記憶され、プロセッサは、そのプログラムを読み込み、プログラムに従って、ラベル算出部２０および学習器３０として動作してもよい。また、推奨発注数決定装置の機能がＳａａＳ（Software as a Service ）形式で提供されてもよい。
　ラベル算出部２０と、学習器３０とは、それぞれが専用のハードウェアで実現されていてもよい。また、各装置の各構成要素の一部又は全部は、汎用または専用の回路（circuitry ）、プロセッサ等やこれらの組合せによって実現されもよい。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。各装置の各構成要素の一部又は全部は、上述した回路等とプログラムとの組合せによって実現されてもよい。
　また、判別モデル生成装置の各構成要素の一部又は全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。
　次に、本実施形態の判別モデル生成装置の動作を説明する。図４は、本実施形態の判別モデル生成装置の動作例を示すフローチャートである。ラベル算出部２０は、正例または負例を判別するためのしきい値と、学習データに含まれる目的変数の値との差に応じて、学習データに付加するラベルを算出する（ステップＳ１１）。具体的には、ラベル算出部２０は、各学習データについて、目的変数の値がしきい値に比べて大きくなるほど、より正例らしさを表すラベルを算出し、目的変数の値がしきい値に比べて小さくなるほど、より負例らしさを表すラベルを算出する。そして、学習器３０は、算出されたラベルを対応付けた学習データを用いて、判別モデルを学習する（ステップＳ１２）。
　以上のように、本実施形態では、ラベル算出部２０が、正例または負例を判別するためのしきい値と、学習データに含まれる目的変数の値との差に応じて、学習データに付加するラベルを算出し、学習器３０が、算出されたラベルを対応付けた学習データを用いて、判別モデルを学習する。よって、学習データが少ない場合でも精度のよい判別モデルを学習できる。
実施形態２．
　次に、本発明による判別モデル生成装置の第２の実施形態を説明する。第１の実施形態では、ラベル算出部２０が、各学習データについて、目的変数の値としきい値との差に応じて正例らしさまたは負例らしさを表すラベルを算出する方法を説明した。本実施形態では、各学習データについて、正例のデータとしたときの重み（正例の重み）と、負例のデータとしたときの重み（負例の重み）をそれぞれラベルとして算出する方法を説明する。
　図５は、本発明による判別モデル生成装置の第２の実施形態の構成例を示すブロック図である。本実施形態の判別モデル生成装置２００は、記憶部１０と、重み算出部２１と、学習器３１とを備えている。記憶部１０が記憶する内容は、第１の実施形態と同様である。
　重み算出部２１は、目的変数の値に関わらず、学習データから、正例のデータおよび負例のデータを生成する。図６は、学習データから正例のデータおよび負例のデータを生成する処理の例を示す説明図である。図６に示す例では、重み算出部２１が、図２に例示する学習データを、それぞれ正例のデータおよび負例のデータとして生成していることを示す。
　例えば、図２に例示するｉｄ＝０のデータは、判定結果から正例のデータである。一方、本実施形態では、正例のデータからも敢えて負例として用いるデータを生成する。具体的には、重み算出部２１は、図２に例示するｉｄ＝０の正例データから、図６に例示するｉｄ＝０の正例データだけでなく、ｉｄ＝５の負例データを生成する。同様に、重み算出部２１は、図２に例示するｉｄ＝１のデータからｉｄ＝１の正例データ及びｉｄ＝６の負例データを生成する。
　同様に、本実施形態では、負例のデータからも正例として用いるデータを生成する。具体的には、重み算出部２１は、図２に例示するｉｄ＝２の負例データから、図６に例示するｉｄ＝７の負例データだけでなく、ｉｄ＝２の正例データを生成する。同様に、重み算出部２１は、図２に例示するｉｄ＝３のデータからｉｄ＝３の正例データ及びｉｄ＝８の負例データを生成し、図２に例示するｉｄ＝４のデータからｉｄ＝４の正例データ及びｉｄ＝９の負例データを生成する。
　重み算出部２１は、生成した正例のデータに対しては、目的変数の値がしきい値に比べて大きくなるほど、正例の重みを高く算出する。また、生成した負例のデータに対しては、目的変数の値がしきい値に比べて小さくなるほど、負例の重みを高く算出する。この正例の重みおよび負例の重みが、第１の実施形態のラベルと言うことができる。
　具体的には、重み算出部２１は、第１の実施形態におけるラベル算出部２０がラベルを算出する方法と同様の方法で、正例の重みを算出してもよい。重み算出部２１は、例えば、目的変数の値がしきい値に比べて大きくなるほど、「１」に近くなるような正例の重みを算出する。そして、重み算出部２１は、算出した正例の重みを１から減ずることにより、負例の重みを算出してもよい。すなわち、ｉ番目の学習データをｘｉとし、正例のデータの重み（正例の重み）をｗｉとした場合、重み算出部２１は、負例のデータの重みを１－ｗｉで算出してもよい。
　また、重み算出部２１は、目的変数と閾値との差に基づいて値を決定する関数を用いて、正例の重みおよび負例の重みを算出してもよい。具体的には、重み算出部２１は、上記式１に示すシグモイド関数を用いて、正例の重みを算出してもよく、目的変数の値について単調非減少、かつ値域が［０，１］に収まる関数を用いて正例の重みを算出してもよい。
　図７は、学習データに基づいて重みを算出した結果の例を示す説明図である。図７に示す例でも、上記に示す式１に基づいて重みを算出しており、温度パラメータＴ＝１０である。例えば、図７に例示するｉｄ＝５のデータは、本来は正例であるデータから生成された負例のデータである。しかし、本実施形態では、ソフトラベルを用いることで、可能性として存在する負例の重みを算出できる。このように、図７に例示する結果と図３に例示する結果とを比較すると、負例のデータについても重みが算出されるため、学習データを増やすことが可能になる。
　例えば、負例であっても目的変数の値が閾値に近いサンプル（例えば、事故の有無を示すデータにおける“ヒヤリハット”のような事例）は、正例のサンプルとしての利用価値もあるサンプルと考えられる。本実施形態では、重み算出部２１は、学習データに含まれる目的変数の値としきい値とを比較したときには負例と判別される学習データであっても、その学習データについて正例らしさを表すラベル（すなわち、正例のデータ）を算出する。すなわち、このようなサンプルに正例の重みを設定することで、学習データを増やすことが可能になる。
　また、後述する学習器３１が、ハードラベルを学習できるように、重み算出部２１は、算出した重みｗｉに定数Ｃを加えてもよい。すなわち、重み算出部２１は、ｗｉ＋Ｃを重みとして算出してもよい。
　また、重み算出部２１は、機械学習における不均衡問題（ｉｍｂａｌａｎｃｅｄ問題）への対応と同様に、正例と負例の重みの合計のバランスを１：１などに調整してもよい。重み算出部２１は、例えば、正例の重みをｗｉ／Σｗｉ、負例の重みを（１－ｗｉ）／（Σ１－ｗｉ）と調整してもよい。
　学習器３１は、重み算出部２１が算出した正例の重みまたは負例の重みを対応付けた学習データを用いて、判別モデルを学習する。第１の実施形態と同様、学習器３１は、しきい値を超えるか否かを目的変数とし、図６に例示するような変数を説明変数とするような判別モデルを、重み付けされたサンプルを用いて学習することにより生成する。なお、学習器３１が学習を行う方法は任意である。学習器３１は、例えば、ロジスティック回帰を用いて判別モデルを学習してもよい。
　重み算出部２１および学習器３１も、プログラム（判別モデル生成プログラム）に従って動作するコンピュータのプロセッサによって実現される。
　次に、本実施形態の判別モデル生成装置の動作を説明する。図８は、本実施形態の判別モデル生成装置の動作例を示すフローチャートである。重み算出部２１は、学習データから、正例のデータおよび負例のデータを生成する（ステップＳ２１）。重み算出部２１は、しきい値と、学習データに含まれる目的変数の値との差に応じて、正例の重みおよび負例の重みを算出する（ステップＳ２２）。具体的には、重み算出部２１は、目的変数の値がしきい値に比べて大きくなるほど大きくなるように正例の重みを算出し、目的変数の値がしきい値に比べて小さくなるほど大きくなるように負例の重みを算出する。学習器３１は、算出された正例の重みおよび負例の重みを対応付けた学習データを用いて、判別モデルを学習する（ステップＳ２３）。
　以上のように、本実施形態では、重み算出部２１が、学習データから、正例のデータおよび負例のデータを生成する。その際、重み算出部２１は、目的変数の値がしきい値に比べて大きくなるほど大きくなるように正例の重みをラベルとして算出し、目的変数の値がしきい値に比べて小さくなるほど大きくなるように負例の重みをラベルとして算出する。よって、第１の実施形態の効果に加え、正例および負例のデータを使用して学習する既存の手法を利用することが可能になる。
実施形態３．
　次に、本発明による判別モデル生成装置の第３の実施形態を説明する。本実施形態では、複数の判別モデルを学習し、より評価の高い判別モデルを選択する方法を説明する。図９は、本発明による判別モデル生成装置の第３の実施形態の構成例を示すブロック図である。本実施形態の判別モデル生成装置３００は、記憶部１０と、算出部２２と、学習器３２と、評価部４０とを備えている。記憶部１０が記憶する内容は、第１の実施形態と同様である。
　算出部２２は、学習データに付加するラベルを算出する。算出部２２が算出するラベルは、第１の実施形態のラベル算出部２０が算出するラベルであってもよく、第２の実施形態の重み算出部２１が算出する正例の重みおよび負例の重みであってもよい。
　また、本実施形態の算出部２２は、複数の観点に基づいて、各学習データに対して複数のラベルを算出する。観点の選択方法は任意である。例えば、上記の式１を用いてラベルを算出する場合、算出部２２は、温度パラメータＴを変更させて複数のラベルを算出してもよい。すなわち、算出部２２は、閾値と目的変数との値の差に応じて変化させる度合いを変更させながら複数のラベルを算出してもよい。また、算出部２２は、複数種類の関数を用いて複数のラベルを算出してもよい。
　学習器３２は、算出部２２が算出したラベルを用いて、観点ごとに判別モデルを学習する。学習器３２が行う学習方法は、算出部２２が作成するラベルの内容に応じて定めておけばよい。
　評価部４０は、学習器３２が学習した各判別モデルの評価を行う。評価部４０は、例えば、交差検証等、任意の方法を用いて評価を行えばよい。また、評価部４０は、評価結果を出力してもよい。
　算出部２２、学習器３２および評価部４０も、プログラム（判別モデル生成プログラム）に従って動作するコンピュータのプロセッサによって実現される。
　次に、本実施形態の判別モデル生成装置の動作を説明する。図１０は、本実施形態の判別モデル生成装置の動作例を示すフローチャートである。算出部２２は、複数の観点に基づいて、各学習データに対して複数のラベルを算出する（ステップＳ３１）。学習器３２は、算出部２２が算出したラベルを用いて、観点ごとに判別モデルを学習する（ステップＳ３２）。評価部４０は、学習器３２が学習した各判別モデルの評価を行う（ステップＳ３３）。
　以上のように、本実施形態では、算出部２２が、複数の観点に基づいて、各学習データに対して複数のラベルを算出し、学習器３２が、観点ごとに判別モデルを学習する。そして、評価部４０が、学習された各判別モデルの評価を行う。よって、第１の実施形態および第２の実施形態の効果に加え、より精度の高い判別モデルを選択することが可能になる。
実施形態４．
　次に、本発明の第４の実施形態を説明する。第１の実施形態から第３の実施形態では、算出されたラベルに基づいて判別モデルを生成する判別モデル生成装置について説明した。一方、学習データに対応付けるラベルを算出する機能で一つの装置が実現されていてもよい。
　図１１は、本発明によるラベル生成装置の一実施形態を示すブロック図である。本実施形態のラベル生成装置４００は、記憶部１０と、ラベル算出部２０とを備えている。すなわち、本実施形態のラベル生成装置４００は、第１の実施形態の判別モデル生成装置１００から、学習器３０を除いた構成に対応する。なお、ラベル算出部２０が、第２の実施形態における重み算出部２１、または、第３の実施形態における算出部２２で実現されていてもよい。
　図１１に例示するラベル生成装置を用いてラベルを対応付けた学習データを生成することで、少ない学習データから、効率的な学習データを生成することが可能になる。
　以下、具体的な実施例及び図面を用いて本発明を説明するが、本発明の範囲は以下に説明する内容に限定されない。
　図１２は、本実施例の学習データの分布を示す説明図である。図１２に例示するサンプルは、正規分布に従う３０００のサンプルである。本実施例では、しきい値を２０に設定した。図１３は、しきい値に基づいてサンプルを正例のデータおよび負例のデータに分類した結果の例を示す。本実施例では、正例のデータ数が２５５、負例のデータ数が２７４５であり、正例のデータ数の割合が１割弱である。
　また、本実施例では、正例のデータの重みｗｉを、上記に示す式１で算出した。また、学習に用いる損失関数として、以下に例示する式２を用いた。
Figure JPOXMLDOC01-appb-M000002
 　
　また、図１２に例示するサンプルの一部を学習データとして用い、一部を評価用として用いた。具体的には、生成した判別モデルに対し、評価用のサンプルを用いてＡＵＣ（Area Under the Curve）評価を行った。本評価が、上述する評価部４０が行う処理に対応する。
　まず、一般的な手法を用いて、サンプルを正例（１）および負例（０）に分類してから判別モデルを生成した。一方、本願発明を用いて生成された判別モデルを用いた判別（以下、ｓｏｆｔ－Ｌａｂｅｌ判別と記す。）において、上記に示す式１の温度パラメータＴを１２種類（Ｔ＝０．００１，０．００３，０．０１，０．０３，０．１，０．３，１，３，１０，３０，１００，３００）に変化させてラベルを生成し、判別モデルを生成した。
　図１４は、評価結果の例を示す説明図である。図１４に例示する破線で示すグラフは、一般的な手法を用いた場合のＡＵＣの値（ＡＵＣ＝０．９８２）を示す。また、図１４に例示する実線で示すグラフは、ｓｏｆｔ－Ｌａｂｅｌ判別において温度パラメータＴの値を変化させた場合のＡＵＣの値を示す。図１４に例示するように、温度パラメータＴの値を上げることで、一般的な手法を用いた場合よりも精度が向上することを確認できた。
　次に、本発明の概要を説明する。図１５は、本発明による判別モデル生成装置の概要を示すブロック図である。本発明による判別モデル生成装置８０は、正例または負例を判別するためのしきい値（例えば、しきい値θ）と、学習データに含まれる目的変数の値との差に応じて、その学習データに付加するラベルを算出する算出部８１（例えば、ラベル算出部２０）と、算出されたラベルを対応付けた学習データを用いて、判別モデルを学習する学習部８２（例えば、学習器３０）とを備えている。
　そのような構成により、学習データが少ない場合でも精度のよい判別モデルを学習できる。
　具体的には、算出部８１は、各学習データについて、目的変数の値がしきい値に比べて大きくなるほど、より正例らしさを表すラベルを算出し、目的変数の値がしきい値に比べて小さくなるほど、より負例らしさを表すラベルを算出してもよい。
　また、算出部８１（例えば、重み算出部２１）は、学習データから、正例のデータおよび負例のデータを生成し、目的変数の値がしきい値に比べて大きくなるほど大きくなるように正例の重みをラベルとして算出し、目的変数の値がしきい値に比べて小さくなるほど大きくなるように負例の重みをラベルとして算出してもよい。
　また、算出部８１は、正例の重みの合計および負例の重みの合計に基づいて、その正例の重みおよび負例の重みを調整してもよい。
　また、算出部８１は、目的変数について単調非減少、かつ、値域が０から１の間の値をとる関数を用いて、ラベルを算出してもよい。
　具体的には、算出部８１は、目的変数の値がしきい値と等しい場合に正例らしさおよび負例らしさが同等になるシグモイド関数（例えば、上記に示す式１）を用いてラベルを算出してもよい。
　上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）正例または負例を判別するためのしきい値と、学習データに含まれる目的変数の値との差に応じて、当該学習データに付加するラベルを算出する算出部と、算出されたラベルを対応付けた学習データを用いて、判別モデルを学習する学習部とを備えたことを特徴とする判別モデル生成装置。
（付記２）算出部は、各学習データについて、目的変数の値がしきい値に比べて大きくなるほど、より正例らしさを表すラベルを算出し、目的変数の値がしきい値に比べて小さくなるほど、より負例らしさを表すラベルを算出する付記１記載の判別モデル生成装置。
（付記３）算出部は、学習データから、正例のデータおよび負例のデータを生成し、目的変数の値がしきい値に比べて大きくなるほど大きくなるように正例の重みをラベルとして算出し、目的変数の値がしきい値に比べて小さくなるほど大きくなるように負例の重みをラベルとして算出する付記１または付記２記載の判別モデル生成装置。
（付記４）算出部は、正例の重みの合計および負例の重みの合計に基づいて、当該正例の重みおよび負例の重みを調整する付記３記載の判別モデル生成装置。
（付記５）算出部は、目的変数について単調非減少、かつ、値域が０から１の間の値をとる関数を用いて、ラベルを算出する付記１から付記４のうちのいずれか１つに記載の判別モデル生成装置。
（付記６）学習データに含まれる目的変数の値としきい値とを比較したときに負例と判別される当該学習データについて、正例らしさを表すラベルを算出する付記１から付記５のうちのいずれか１つに記載の判別モデル生成装置。
（付記７）算出部は、目的変数の値がしきい値と等しい場合に正例らしさおよび負例らしさが同等になるシグモイド関数を用いてラベルを算出する付記１から付記６のうちのいずれか１つに記載の判別モデル生成装置。
（付記８）学習された判別モデルを評価する評価部を備え、算出部は、複数の観点に基づいて、各学習データに対して複数のラベルを算出し、学習部は、前記観点ごとに判別モデルを学習し、前記評価部は、学習された各判別モデルの評価を行う付記１から付記７のうちのいずれか１つに記載の判別モデル生成装置。
（付記９）正例または負例を判別するためのしきい値と、学習データに含まれる目的変数の値との差に応じて、当該学習データに付加するラベルを算出し、算出されたラベルを対応付けた学習データを用いて、判別モデルを学習することを特徴とする判別モデル生成方法。
（付記１０）各学習データについて、目的変数の値がしきい値に比べて大きくなるほど、より正例らしさを表すラベルを算出し、目的変数の値がしきい値に比べて小さくなるほど、より負例らしさを表すラベルを算出する付記９記載の判別モデル生成方法。
（付記１１）学習データから、正例のデータおよび負例のデータを生成し、目的変数の値がしきい値に比べて大きくなるほど大きくなるように正例の重みをラベルとして算出し、目的変数の値がしきい値に比べて小さくなるほど大きくなるように負例の重みをラベルとして算出する付記９または付記１０記載の判別モデル生成方法。
（付記１２）コンピュータに、正例または負例を判別するためのしきい値と、学習データに含まれる目的変数の値との差に応じて、当該学習データに付加するラベルを算出する算出処理、および、算出されたラベルを対応付けた学習データを用いて、判別モデルを学習する学習処理とを実行させるための判別モデル生成プログラム。
（付記１３）コンピュータに、前記算出処理で、各学習データについて、目的変数の値がしきい値に比べて大きくなるほど、より正例らしさを表すラベルを算出させ、目的変数の値がしきい値に比べて小さくなるほど、より負例らしさを表すラベルを算出させる付記１２記載の判別モデル生成プログラム。
（付記１４）正例または負例を判別するためのしきい値と、学習データに含まれる目的変数の値との差に応じて、当該学習データに付加するラベルを算出する算出部を備えたことを特徴とするラベル生成装置。
　以上、実施形態及び実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　この出願は、２０１７年１１月７日に出願された日本特許出願２０１７－２１４６８７を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　１０　記憶部
　２０　ラベル算出部
　２１　重み算出部
　２２　算出部
　３０，３１，３２　学習器
　４０　評価部
　１００，２００，３００　判別モデル生成装置
　４００　ラベル生成装置

Claims (14)

  1. 　正例または負例を判別するためのしきい値と、学習データに含まれる目的変数の値との差に応じて、当該学習データに付加するラベルを算出する算出部と、
    　算出されたラベルを対応付けた学習データを用いて、判別モデルを学習する学習部とを備えた
    　ことを特徴とする判別モデル生成装置。
  2. 　算出部は、各学習データについて、目的変数の値がしきい値に比べて大きくなるほど、より正例らしさを表すラベルを算出し、目的変数の値がしきい値に比べて小さくなるほど、より負例らしさを表すラベルを算出する
    　請求項１記載の判別モデル生成装置。
  3. 　算出部は、学習データから、正例のデータおよび負例のデータを生成し、目的変数の値がしきい値に比べて大きくなるほど大きくなるように正例の重みをラベルとして算出し、目的変数の値がしきい値に比べて小さくなるほど大きくなるように負例の重みをラベルとして算出する
    　請求項１または請求項２記載の判別モデル生成装置。
  4. 　算出部は、正例の重みの合計および負例の重みの合計に基づいて、当該正例の重みおよび負例の重みを調整する
    　請求項３記載の判別モデル生成装置。
  5. 　算出部は、目的変数について単調非減少、かつ、値域が０から１の間の値をとる関数を用いて、ラベルを算出する
    　請求項１から請求項４のうちのいずれか１項に記載の判別モデル生成装置。
  6. 　学習データに含まれる目的変数の値としきい値とを比較したときに負例と判別される当該学習データについて、正例らしさを表すラベルを算出する
    　請求項１から請求項５のうちのいずれか１項に記載の判別モデル生成装置。
  7. 　算出部は、目的変数の値がしきい値と等しい場合に正例らしさおよび負例らしさが同等になるシグモイド関数を用いてラベルを算出する
    　請求項１から請求項６のうちのいずれか１項に記載の判別モデル生成装置。
  8. 　学習された判別モデルを評価する評価部を備え、
    　算出部は、複数の観点に基づいて、各学習データに対して複数のラベルを算出し、
    　学習部は、前記観点ごとに判別モデルを学習し、
    　前記評価部は、学習された各判別モデルの評価を行う
    　請求項１から請求項７のうちのいずれか１項に記載の判別モデル生成装置。
  9. 　正例または負例を判別するためのしきい値と、学習データに含まれる目的変数の値との差に応じて、当該学習データに付加するラベルを算出し、
    　算出されたラベルを対応付けた学習データを用いて、判別モデルを学習する
    　ことを特徴とする判別モデル生成方法。
  10. 　各学習データについて、目的変数の値がしきい値に比べて大きくなるほど、より正例らしさを表すラベルを算出し、目的変数の値がしきい値に比べて小さくなるほど、より負例らしさを表すラベルを算出する
    　請求項９記載の判別モデル生成方法。
  11. 　学習データから、正例のデータおよび負例のデータを生成し、
    　目的変数の値がしきい値に比べて大きくなるほど大きくなるように正例の重みをラベルとして算出し、目的変数の値がしきい値に比べて小さくなるほど大きくなるように負例の重みをラベルとして算出する
    　請求項９または請求項１０記載の判別モデル生成方法。
  12. 　コンピュータに、
    　正例または負例を判別するためのしきい値と、学習データに含まれる目的変数の値との差に応じて、当該学習データに付加するラベルを算出する算出処理、および、
    　算出されたラベルを対応付けた学習データを用いて、判別モデルを学習する学習処理とを実行させる
    　ための判別モデル生成プログラム。
  13. 　コンピュータに、
    　算出処理で、各学習データについて、目的変数の値がしきい値に比べて大きくなるほど、より正例らしさを表すラベルを算出させ、目的変数の値がしきい値に比べて小さくなるほど、より負例らしさを表すラベルを算出させる
    　請求項１２記載の判別モデル生成プログラム。
  14. 　正例または負例を判別するためのしきい値と、学習データに含まれる目的変数の値との差に応じて、当該学習データに付加するラベルを算出する算出部を備えた
    　ことを特徴とするラベル生成装置。
PCT/JP2018/027610 2017-11-07 2018-07-24 判別モデル生成装置、判別モデル生成方法および判別モデル生成プログラム WO2019092931A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/761,568 US20200272906A1 (en) 2017-11-07 2018-07-24 Discriminant model generation device, discriminant model generation method, and discriminant model generation program
JP2019551882A JP7070584B2 (ja) 2017-11-07 2018-07-24 判別モデル生成装置、判別モデル生成方法および判別モデル生成プログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-214687 2017-11-07
JP2017214687 2017-11-07

Publications (1)

Publication Number Publication Date
WO2019092931A1 true WO2019092931A1 (ja) 2019-05-16

Family

ID=66438347

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/027610 WO2019092931A1 (ja) 2017-11-07 2018-07-24 判別モデル生成装置、判別モデル生成方法および判別モデル生成プログラム

Country Status (3)

Country Link
US (1) US20200272906A1 (ja)
JP (1) JP7070584B2 (ja)
WO (1) WO2019092931A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021111261A (ja) * 2020-01-15 2021-08-02 日本電気株式会社 モデル生成装置、モデル生成方法、及び、記録媒体
JPWO2020170304A1 (ja) * 2019-02-18 2021-12-02 日本電気株式会社 学習装置及び方法、予測装置及び方法、並びにプログラム
WO2022121180A1 (zh) * 2020-12-11 2022-06-16 平安科技（深圳）有限公司 模型的训练方法、装置、语音转换方法、设备及存储介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6595151B2 (ja) * 2017-06-29 2019-10-23 株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ 訓練方法、訓練装置、プログラム及び非一時的コンピュータ可読媒体
JP2021068136A (ja) * 2019-10-23 2021-04-30 株式会社日立製作所 計算機システム、学習方法、及びプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011203991A (ja) * 2010-03-25 2011-10-13 Sony Corp 情報処理装置、情報処理方法、およびプログラム
JP2013196701A (ja) * 2012-03-16 2013-09-30 Fujitsu Ltd 画像処理装置、画像処理方法及び設備

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040146936A1 (en) * 2002-06-21 2004-07-29 Bader Joel S System and method for identifying cellular pathways and interactions
GB2471036B (en) * 2008-03-03 2012-08-22 Videoiq Inc Object matching for tracking, indexing, and search
CA2952576C (en) * 2014-06-20 2022-07-26 Miovision Technologies Incorporated Machine learning platform for performing large scale data analytics
US20160071022A1 (en) * 2014-09-04 2016-03-10 International Business Machines Corporation Machine Learning Model for Level-Based Categorization of Natural Language Parameters

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011203991A (ja) * 2010-03-25 2011-10-13 Sony Corp 情報処理装置、情報処理方法、およびプログラム
JP2013196701A (ja) * 2012-03-16 2013-09-30 Fujitsu Ltd 画像処理装置、画像処理方法及び設備

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YOSHISAKU, KIYOHIKO: "Task analysis capable of handling flexible action, and development of annotation tool and integration tool", PROCEEDINGS OF MULTIMEDIA, DISTRIBUTED, COOPERATIVE, AND MOBILE. DICOMO 2012), vol. 2012, no. 1, 2012, pages 2042 - 2049 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2020170304A1 (ja) * 2019-02-18 2021-12-02 日本電気株式会社 学習装置及び方法、予測装置及び方法、並びにプログラム
JP2021111261A (ja) * 2020-01-15 2021-08-02 日本電気株式会社 モデル生成装置、モデル生成方法、及び、記録媒体
JP7472496B2 (ja) 2020-01-15 2024-04-23 日本電気株式会社 モデル生成装置、モデル生成方法、及び、記録媒体
WO2022121180A1 (zh) * 2020-12-11 2022-06-16 平安科技（深圳）有限公司 模型的训练方法、装置、语音转换方法、设备及存储介质

Also Published As

Publication number Publication date
JP7070584B2 (ja) 2022-05-18
US20200272906A1 (en) 2020-08-27
JPWO2019092931A1 (ja) 2020-11-12

Similar Documents

Publication Publication Date Title
WO2019092931A1 (ja) 判別モデル生成装置、判別モデル生成方法および判別モデル生成プログラム
CN109214421B (zh) 一种模型训练方法、装置、及计算机设备
US20190188598A1 (en) Learning method, prediction method, learning device, predicting device, and storage medium
JP5454827B1 (ja) 文書評価装置、文書評価方法、及びプログラム
CN110929799B (zh) 用于检测异常用户的方法、电子设备和计算机可读介质
CN113963533B (zh) 驾驶行为异常检测方法、装置、电子设备、服务器及介质
US11748600B2 (en) Quantization parameter optimization method and quantization parameter optimization device
WO2019019346A1 (zh) 资产配置策略获取方法、装置、计算机设备和存储介质
CN111435461A (zh) 使用降低精度的深度神经网络的对抗性输入识别
CN113537630A (zh) 业务预测模型的训练方法及装置
CN109615080B (zh) 无监督模型评估方法、装置、服务器及可读存储介质
CN113379059B (zh) 用于量子数据分类的模型训练方法以及量子数据分类方法
JP6988995B2 (ja) 画像生成装置、画像生成方法および画像生成プログラム
JP7363910B2 (ja) 表示方法、表示プログラム及び情報処理装置
CN113705074A (zh) 一种化工事故风险预测方法及装置
CN116957024A (zh) 利用神经网络模型进行推理的方法和装置
CN115271096B (zh) 点云处理和机器学习模型训练方法、装置及自动驾驶车辆
Lughofer et al. On-line redundancy elimination in evolving fuzzy regression models using a fuzzy inclusion measure
JP6930195B2 (ja) モデル同定装置、予測装置、監視システム、モデル同定方法および予測方法
JP7363912B2 (ja) 表示方法、表示プログラム及び情報処理装置
JP2020095583A (ja) 人工知能を利用した倒産確率算出システム
CN112749978B (zh) 检测方法、装置、设备、存储介质以及程序产品
JP7363911B2 (ja) 表示方法、表示プログラム及び情報処理装置
WO2021152801A1 (ja) 学習装置、学習方法、及び、記録媒体
WO2021079446A1 (ja) 表示方法、表示プログラム及び情報処理装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18875393

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019551882

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18875393

Country of ref document: EP

Kind code of ref document: A1