WO2022215559A1 - ハイブリッドモデル作成方法、ハイブリッドモデル作成装置、及び、プログラム - Google Patents

ハイブリッドモデル作成方法、ハイブリッドモデル作成装置、及び、プログラム Download PDF

Info

Publication number
WO2022215559A1
WO2022215559A1 PCT/JP2022/014692 JP2022014692W WO2022215559A1 WO 2022215559 A1 WO2022215559 A1 WO 2022215559A1 JP 2022014692 W JP2022014692 W JP 2022014692W WO 2022215559 A1 WO2022215559 A1 WO 2022215559A1
Authority
WO
WIPO (PCT)
Prior art keywords
models
hybrid model
model
hybrid
candidates
Prior art date
Application number
PCT/JP2022/014692
Other languages
English (en)
French (fr)
Inventor
ヤオ ズウオウ
アテュル マテェウ
アリエル ベック
チャンドラ スワンディ ウィジャヤ
ンウェイ ンウェイ アウング
カイ ジュン ケック
裕也 菅澤
ジェッフリー フェルナンド
吉宣 佐藤
久治 村田
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to JP2023512942A priority Critical patent/JPWO2022215559A1/ja
Priority to US18/283,411 priority patent/US20240160196A1/en
Priority to CN202280019081.2A priority patent/CN116917910A/zh
Publication of WO2022215559A1 publication Critical patent/WO2022215559A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/41875—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by quality surveillance of production
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/32—Operator till task planning
    • G05B2219/32368—Quality control

Definitions

  • the present disclosure relates to a hybrid model creation method, a hybrid model creation device, and a program.
  • Patent Literature 1 discloses obtaining a final judgment result by integrating the results obtained by using all of the multiple models possessed by the device.
  • Patent Document 1 uses all of the multiple models that the device has, so there is a problem that redundant models that are not complementary to other models are used in combination.
  • the present disclosure has been made in view of the circumstances described above, and aims to provide a hybrid model creation method and the like capable of creating a hybrid model with higher accuracy.
  • a hybrid model creation method pools a plurality of models for estimating categories of input data, and at least one of the plurality of models is a machine learning By selecting and combining two or more models from a plurality of pooled models, a plurality of hybrid model candidates for determining the category are created, and the plurality of hybrid model candidates are compared. , one of the plurality of hybrid model candidates is selected as the hybrid model.
  • FIG. 1 is a block diagram showing the functional configuration of the hybrid model creation device according to the embodiment.
  • FIG. 2 is a diagram for conceptually explaining the processing when the hybrid model creation method according to the embodiment is executed.
  • FIG. 3 is a flow chart showing an outline of the operation of the hybrid model creation device according to the embodiment.
  • FIG. 4 is a flowchart illustrating an example of detailed processing of step S1 according to the first embodiment.
  • FIG. 5 is a flowchart illustrating an example of detailed processing of step S1 according to the second embodiment.
  • FIG. 6 is a flowchart illustrating an example of detailed processing of step S3 according to the third embodiment.
  • FIG. 7A is a diagram for explaining the accuracy of a hybrid model candidate when three highly correlated models are combined according to the third embodiment.
  • FIG. 7A is a diagram for explaining the accuracy of a hybrid model candidate when three highly correlated models are combined according to the third embodiment.
  • FIG. 7B is a diagram for explaining the accuracy of a hybrid model candidate when three weakly correlated models are combined according to the third embodiment.
  • FIG. 8 is a diagram for conceptually explaining an example of the details of the hybrid model candidate creation process according to the fourth embodiment.
  • FIG. 9 is a flowchart illustrating an example of processing of the hybrid model creation device according to the fourth embodiment.
  • FIG. 10 is a flowchart illustrating an example of detailed processing of step S3 according to the fifth embodiment.
  • FIG. 11 is a diagram conceptually showing an example of a hybrid model candidate created by combining model 1 and model 2 according to the sixth embodiment.
  • FIG. 12 is a flowchart illustrating an example of detailed processing of step S3 according to the sixth embodiment.
  • FIG. 13 is a diagram conceptually showing the outputs of the models 1 and 2 according to the seventh embodiment and the convex hull of the distribution of the outputs corresponding to the defective product image.
  • FIG. 14 is a diagram conceptually showing an example of a hybrid model candidate created from the outputs of models 1 and 2 in which the output corresponding to the defective product image excluding the vertices of the convex hull shown in FIG. 13 is removed.
  • FIG. 15 is a flowchart illustrating an example of detailed processing of step S3 according to the seventh embodiment.
  • FIG. 16 is a diagram conceptually showing outputs and exclusion regions of models 1 and 2 according to the seventh embodiment.
  • FIG. 17 is a diagram conceptually showing an example of a hybrid model candidate created from outputs of models 1 and 2 from which outputs corresponding to defective product images included in the exclusion area shown in FIG. 16 are removed.
  • FIG. 18 is a diagram for explaining a method of calculating a FAR curve for model 1 according to the eighth embodiment.
  • FIG. 19 is a diagram illustrating an example of a FAR table of model 1 according to the eighth embodiment.
  • FIG. 20 is a diagram conceptually showing first FAR values of two models and second FAR values of hybrid model candidates created by combining the two models according to the eighth embodiment.
  • FIG. 21 is a diagram showing an example of a hybrid model creation method according to another embodiment.
  • FIG. 22 is a diagram showing another example of a hybrid model creation method according to another embodiment.
  • FIG. 23A is a diagram showing an example of a confusion matrix table according to another embodiment.
  • FIG. 23B is a diagram showing an example of a confusion matrix table according to another embodiment.
  • FIG. 1 is a block diagram showing the functional configuration of a hybrid model creation device 10 according to this embodiment.
  • FIG. 2 is a diagram for conceptually explaining the processing when the hybrid model creation method according to the present embodiment is executed.
  • the hybrid model creation device 10 is implemented by a computer or the like, and is a device that can create a hybrid model with higher accuracy using a plurality of models.
  • the hybrid model generation device 10 includes a model pool section 11, a model selection section 12, a hybrid model candidate generation section 13, a hybrid model selection section 14, a determination threshold value and a determination unit 15 .
  • the determination threshold determination unit 15 may be provided in a device other than the hybrid model generation device 10 .
  • the model pool unit 11 is composed of a HDD (Hard Disk Drive), a memory, or the like, and pools (stores) a plurality of models for estimating the category of input data.
  • the model pool unit 11 pools a plurality of pre-created models 11a such as model 1, model 2, model 3 and model 4, as shown in FIG.
  • at least one model of the plurality of models 11a is a machine-learned model.
  • Each of the multiple models 11a can also be referred to as an AI model.
  • input data is an inspection image of a manufactured product.
  • At least one model among the plurality of models 11a is an AI model learned by deep learning.
  • the plurality of models 11a may include AI models whose feature values are designed manually. For example, each of the plurality of models 11a receives an inspection image of a manufactured product as an input, estimates the probability that the manufactured product shown in the inspection image is defective, and outputs the estimated probability. Note that each of the plurality of models 11a may output a binary estimation result indicating whether or not the manufactured product shown in the inspection image is defective.
  • Model selection unit 12 A model selection unit 12 selects two or more models from a plurality of models pooled in the model pool unit 11 .
  • the model selection unit 12 selects two or more models after excluding a predetermined model from the plurality of models pooled in the model pool unit 11 .
  • the model selection unit 12 selects two or more models after excluding model 4 as a predetermined model from among model 1, model 2, model 3, and model 4, for example. Processing 12a is performed.
  • the model selection unit 12 may select two or more models after excluding a predetermined model from the plurality of models pooled in the model pool unit 11, or may select two or more models. Of the plurality of models, two or more models may be selected after excluding a predetermined model.
  • the predetermined model may be, for example, a model with low estimation accuracy or a model with strong correlation with other models.
  • the details of the method for excluding such a predetermined model will be explained in Examples 1 and 2 to be described later, so explanations thereof will be omitted here.
  • the hybrid model candidate creation unit 13 creates a plurality of hybrid model candidates for category determination by combining two or more models selected by the model selection unit 12 .
  • the hybrid model candidate creation unit 13 creates a plurality of hybrid model candidates by combining two or more models selected by the model selection unit 12 so as not to include a combination of models having a correlation stronger than a threshold.
  • Hybrid model candidates may be combined by simply connecting (cascading) two or more models selected by the model selection unit 12, or may be combined using logistic regression or the like as described later.
  • the hybrid model candidate creation unit 13 performs hybrid model candidate creation processing 13a for creating hybrid model candidates by combining the models 1, 2, and 3 selected by the model selection unit 12. More specifically, the hybrid model candidate creating unit 13 creates a hybrid model candidate 1 that combines model 1 and model 2, for example, and a hybrid model candidate 2 that combines model 2 and model 3, for example. Further, the hybrid model candidate creating unit 13 creates a hybrid model candidate 3 that combines the model 1 and the model 3, for example, and a hybrid model candidate 4 that combines the model 1, the model 2, and the model 3, for example.
  • the category to be determined is whether the manufactured product shown in the inspection image is a non-defective product or a defective product.
  • the hybrid model candidate 3 determines whether the manufactured product shown in the inspection image is a non-defective product or a defective product.
  • the hybrid model candidates 1 to 3 may output determination results obtained by determining (estimating) whether or not the manufactured product shown in the inspection image is defective by probability.
  • the hybrid model candidate creation unit 13 compares the created hybrid model candidates.
  • the hybrid model candidate creation unit 13 performs comparison processing for comparing the created hybrid model candidates 1 to 4.
  • a method for comparing the hybrid model candidates 1 to 4 for example, a method of comparing the accuracy of the determination result of each of the hybrid model candidates 1 to 4, and a method of comparing each of the two or more models that can be calculated from the respective determination results.
  • a method of comparing degrees of importance also referred to as degrees of contribution
  • degrees of contribution can be used.
  • Hybrid model selection unit 14 A hybrid model selection unit 14 selects one of the plurality of hybrid model candidates as a hybrid model based on the comparison results of the plurality of hybrid model candidates.
  • the hybrid model selection unit 14 performs a hybrid model selection process 14a for selecting one of the hybrid model candidates 1 to 4 as the hybrid model from the comparison result of the hybrid model candidates 1 to 4.
  • the hybrid model candidate having the highest accuracy among the accuracy of the determination result or the combination of the models having the highest importance is selected as the hybrid model. is selected as
  • the determination threshold determination unit 15 adjusts the sensitivity of the hybrid model selected by the hybrid model selection unit 14 using, for example, a verification data set such as an inspection image of a manufactured product, and determines an allowable excess for suppressing erroneous determination. Determine the detection rate threshold.
  • the determination threshold determination unit 15 receives a verification data set such as an inspection image of a manufactured product, for example, and obtains a determination result obtained by determining whether the manufactured product is a non-defective product or a defective product.
  • the determination threshold determination unit 15 generates a confusion matrix from the acquired determination results, and determines an allowable overdetection rate threshold (determination threshold) for suppressing erroneous determination.
  • the Cascading Model shown in the determination threshold determination process 15a shown in FIG. 2 means the hybrid model selected by the hybrid model selection unit 14, and the determination threshold is optimized.
  • FIG. 3 is a flow chart showing an overview of the operation of the hybrid model creation device 10 according to this embodiment.
  • the hybrid model creation device 10 pools a plurality of models for estimating the category of input data (S1).
  • at least one model of the plurality of models is a machine-learned model.
  • each of the plurality of models receives an inspection image of a manufactured product as an input, estimates the probability that the manufactured product reflected in the inspection image is defective, and outputs the estimated probability.
  • the hybrid model creation device 10 selects two or more models from a plurality of pooled models (S2).
  • the hybrid model generating apparatus 10 selects two or more models from a plurality of pooled models, excluding some (predetermined models).
  • the hybrid model creation device 10 creates multiple hybrid model candidates for category determination by combining the two or more models selected in step S2 (S3).
  • the hybrid model generating device 10 may combine two or more models selected in step S2 by sequentially cascading them, or may combine them using logistic regression.
  • the hybrid model creation device 10 compares the multiple hybrid model candidates created in step S3 (S4).
  • the hybrid model generation device 10 compares the accuracy of the determination result of each of the hybrid model candidates, for example, and compares two or more models that can be calculated from the determination results of each of the hybrid model candidates. You can compare the importance of
  • step S5 determines whether all hybrid model candidates have been compared (S5). If all the hybrid model candidates have not been compared (No in S5), the process returns to step S4.
  • step S5 if all hybrid model candidates have been compared (Yes in S5), one of the plurality of hybrid model candidates is selected as the hybrid model (S6).
  • the hybrid model generating apparatus 10 selects a hybrid model candidate consisting of a combination of models with the highest accuracy or highest importance among the judgment results of each of the hybrid model candidates as the hybrid model. be able to.
  • a plurality of hybrid model candidates are created without using all of the pooled models, and a plurality of hybrid model candidates are created using, for example, determination accuracy. Compare model candidates.
  • the hybrid model candidate with the highest accuracy among the determination results can be selected as the hybrid model.
  • a hybrid model with higher accuracy can be created using a plurality of models.
  • a model with low estimation accuracy may be excluded as a predetermined model from the plurality of pooled models. That is, among a plurality of pooled models, models with low estimation accuracy may be excluded from the hybrid model candidates.
  • the estimation accuracy is not limited to the accuracy rate, but also the precision rate, the recall rate, the F value calculated by the harmonic average of the precision rate and the recall rate, the AUC (Area Under Curve) of the ROC (Receiver Operating Characteristic) curve, and the accuracy rate. Any combination of at least one of the rates may be used.
  • FIG. 4 is a flowchart showing an example of detailed processing of step S1 according to the first embodiment.
  • step S1 the hybrid model creation device 10 first pools a plurality of models for estimating the category of input data (S111).
  • the hybrid model creation device 10 acquires the estimation accuracy of each of the multiple models using the verification data set (S112). More specifically, before selecting two or more models, the model selection unit 12 inputs a plurality of verification data sets to each of the plurality of models pooled in the model pool unit 11 to select categories. By estimating, the estimation accuracy of each of the plurality of models is obtained.
  • the estimation accuracy of each of the pooled models may be calculated using all of the verification datasets prepared in advance, but this is not the only option.
  • a verification data set with different estimation results depending on the model may be used. For example, when the pooled models are model 1, model 2, model 3 and model 4, the estimation result of model 1 and the estimation results of model 2, model 3 and model 4 are different validation data sets Use
  • the hybrid model creation device 10 excludes models whose estimation accuracy is equal to or less than the threshold (S113). More specifically, the model selection unit 12 excludes models whose estimation accuracy is equal to or less than a threshold from the plurality of models pooled in the model pool unit 11 . Then, the model selection unit 12 selects two or more models from a plurality of models from which the models below the threshold are excluded. Note that the threshold is set in advance by the user.
  • the model selection unit 12 Exclude model 4 from models 1-4 that are present. Then, the model selection unit 12 selects two or more models from the model 1, the model 2, and the model 3 pooled in the model pool unit 11.
  • the hybrid model creation device 10 can exclude models whose estimation accuracy is equal to or less than the threshold from the hybrid model candidates among the plurality of pooled models.
  • a model having a strong correlation with all other models may be excluded from the pooled models as a predetermined model. That is, among a plurality of pooled models, a model that has a strong correlation with all other models may be excluded from the hybrid model candidates. A specific example of this case will be described below as a second embodiment.
  • FIG. 5 is a flowchart showing an example of detailed processing of step S1 according to the second embodiment.
  • step S1 first, the hybrid model creation device 10 pools a plurality of models for estimating the category of input data (S121).
  • the hybrid model creation device 10 uses the verification data set to obtain estimation results for each of the multiple models (S122). More specifically, before selecting two or more models, the model selection unit 12 inputs a plurality of verification data sets to each of the plurality of models pooled in the model pool unit 11 to select categories. By estimating, the estimation result of each of the plurality of models is acquired.
  • the estimation result may be the final output result of the model or an intermediate quantity of the model.
  • the estimation result is the intermediate or final layer output result of the deep-learned model.
  • the hybrid model creation device 10 uses the estimation results obtained in step S122 to calculate the correlations of all of the pooled models (S123). More specifically, the model selection unit 12 calculates the correlation between two models for all of the models pooled in the model pool unit 11 .
  • c j be the estimation result of the j-th (j is a natural number) model for the verification data set.
  • cj,i be the estimation result for the i-th (i is a natural number) verification data in the verification data set. It is also assumed that the estimation result is the final output result of the model or a scalar intermediate quantity.
  • Equation 1 is an equation for calculating the matching rate (Jcacard coefficient) of the estimation result, and can be used when the estimation result is a binary value of 0 or 1.
  • Equation 1 ⁇ is Kronecker's ⁇ .
  • (Formula 2) to (Formula 4) can be used not only when the estimation result is binary but also when it is a continuous value.
  • (Formula 2) is a formula for calculating the covariance, and E[X] indicates the average of X.
  • V[X] in (Formula 3) indicates the variance of X.
  • (Formula 3) is a formula for calculating a correlation coefficient
  • (Formula 4) is a formula for calculating a cosine similarity
  • c j is a vector created by arranging c j and k with respect to i. .
  • the correlation between the j-th model and the k-th model can be calculated by using (Equation 5) or (Equation 6) to calculate the intermediate degree of similarity sim i for each verification data.
  • fj,i is an intermediate quantity of a vector consisting of multiple values.
  • a statistic such as the median value or the average value represented by (Equation 7) is calculated. This allows the calculated correlations to be compared even if the estimation result is an intermediate quantity of vectors.
  • the hybrid model creation device 10 excludes models whose correlations with all other models are stronger than a threshold (S124). More specifically, the model selection unit 12 excludes a model whose average or median correlation coefficient with all other models is stronger than a threshold from among the models pooled in the model pool unit 11. do. Then, the model selection unit 12 selects two or more models from a plurality of models from which the models below the threshold are excluded. Note that the threshold is set in advance by the user.
  • the model selection unit 12 selects the model Model 4 is excluded from models 1 to 4 pooled in pool unit 11 . Then, the model selection unit 12 selects two or more models from the model 1, the model 2, and the model 3 pooled in the model pool unit 11.
  • the hybrid model creation device 10 can exclude from the hybrid model candidates those models that have stronger correlations than the threshold with all other models among the pooled models.
  • step S1 shown in FIG. 3 a model having a strong correlation with all other models is excluded from a plurality of pooled models as a predetermined model.
  • the present invention is not limited to this.
  • step 3 shown in FIG. 3 a hybrid model candidate may be created by not including a combination of models with a strong correlation. A specific example of this case will be described below as a third embodiment.
  • FIG. 6 is a flowchart showing an example of detailed processing of step S3 according to the third embodiment.
  • the hybrid model creation device 10 uses the verification data set to acquire the estimation results of each of the multiple models (S311). More specifically, before creating a plurality of hybrid model candidates, the hybrid model candidate creating unit 13 inputs a plurality of verification data sets to each of the plurality of models pooled in the model pooling unit 11 to classify them into categories. is obtained by estimating the estimation result of each of the plurality of models. In addition, the hybrid model candidate creation unit 13 inputs a plurality of verification data sets to each of the plurality of models selected by the model selection unit 12 to estimate the category, thereby obtaining estimation results for each of the plurality of models. You may Here, the estimation result may be the final output result of the model or the intermediate quantity of the model, as described in the second embodiment. For example, in a deep-learned model, the estimation result is the intermediate or final layer output result of the deep-learned model.
  • the hybrid model creation device 10 uses the estimation results obtained in step S311 to calculate the correlations of all of the pooled or selected models (S312). More specifically, the hybrid model candidate creation unit 13 calculates the correlation between two models for all of the multiple models pooled in the model pool unit 11 or selected by the model selection unit 12 . Since the method of calculating the correlation has been described in the second embodiment, the description thereof will be omitted here.
  • the hybrid model creation device 10 selects two or more models from the pooled models so as not to include a combination of two models having a correlation stronger than a threshold (S313). More specifically, the hybrid model candidate creation unit 13 combines the two or more models selected by the model selection unit 12 so as not to include a combination of two models having a correlation stronger than a threshold, so that the hybrid model candidate creation unit 13 Create multiple model candidates.
  • the hybrid model creation device 10 can create hybrid model candidates by combining weakly correlated models from a plurality of selected models.
  • FIG. 7A is a diagram for explaining the accuracy of a hybrid model candidate when combining three models with a strong correlation according to the third embodiment.
  • FIG. 7B is a diagram for explaining the accuracy of a hybrid model candidate when three weakly correlated models are combined according to the third embodiment.
  • the hybrid model candidate shown in FIGS. 7A and 7B combines the estimated results of the three models using logistic regression or the like. In order to simplify the explanation, it is assumed that the hybrid model candidates in FIGS. 7A and 7B output the majority of the estimation results of the three models.
  • FIG. 7A shows binary estimation results and determinations when 10 verification data out of the verification data set are used for each of models 1, 2, and 3, which have strong correlations, and a hybrid model candidate. The results and the true values of 10 validation data are shown.
  • the accuracies (estimated accuracies) of model 1, model 2 and model 3 are 80%, 70% and 80%, and the hybrid model combining model 1, model 2 and model 3
  • the candidate accuracy (determination accuracy) is 80%.
  • FIG. 7B shows binary estimation results and determinations when using 10 validation data out of the validation data set for each of models 1, 2, and 3 with weak correlations, and a hybrid model candidate. The results and the true values of 10 validation data are shown.
  • the accuracies (estimated accuracies) of model 1, model 2 and model 3 are 80%, 60% and 50%, and the hybrid model candidate combining model 1, model 2 and model 3
  • the accuracy (determination accuracy) of is 90%.
  • the hybrid model creation device 10 can create hybrid model candidates by combining models with weak correlations. Since the hybrid model creation device 10 can select one hybrid model from such hybrid model candidates, it is possible to create a hybrid model with higher accuracy.
  • Example 4 In a fourth embodiment, a specific example of generating hybrid model candidates using logistic regression or the like will be described.
  • the hybrid model candidate creation unit 13 creates multiple hybrid model candidates for category determination by combining two or more models selected by the model selection unit 12 using logistic regression or the like. Although the maximum number of models to be combined is set in advance, it may be set each time a hybrid model candidate is created.
  • the hybrid model candidate creating unit 13 creates each of the plurality of hybrid model candidates as a machine learning model.
  • the machine learning model is input with two or more output results obtained by inputting a verification data set into each of two or more models selected to configure the hybrid model candidate and estimating the category. , is a model for outputting the judgment result of judging the category of the verification data set.
  • the hybrid model candidate creation unit 13 compares the judgment results output to the plurality of created hybrid model candidates. More specifically, the hybrid model candidate creation unit 13 compares the determination results output after performing machine learning on the plurality of created hybrid model candidates.
  • FIG. 8 is a diagram for conceptually explaining an example of the details of the hybrid model candidate creation process 13a according to the fourth embodiment.
  • the hybrid model candidate creation process 13a shown in FIG. 8 is an example of details of the hybrid model candidate creation process 13a shown in FIG.
  • the hybrid model candidate creation unit 13 performs hybrid model candidate creation processing 13a for creating hybrid model candidates by combining the models 1, 2, and 3 selected by the model selection unit 12. More specifically, the hybrid model candidate creating unit 13 creates machine learning models 1 & 2 (hybrid model candidate 1) by combining the model 1 and the model 2 using logistic regression, for example. Further, the hybrid model candidate creating unit 13 creates machine learning models 2 & 3 (hybrid model candidate 2) by combining the model 2 and the model 3 using logistic regression, for example. Further, the hybrid model candidate creating unit 13 creates machine learning models 1 & 3 (hybrid model candidate 3) by combining the model 1 and the model 3 using logistic regression, for example. In the example shown in FIG. 8, the maximum number of models to be combined is two, and machine learning models are created by combining them in a round-robin manner.
  • the hybrid model candidate creation unit 13 uses the verification data set to learn the machine learning models 1 & 2, the machine learning models 2 & 3, and the machine learning models 1 & 3, and then the output result (determination result) obtained. to get The hybrid model candidate creation unit 13 performs comparison processing for comparing the output results of the machine learning models 1&2, the machine learning models 2&3, and the machine learning models 1&3.
  • the hybrid model candidate creating unit 13 ranks the results of the comparison processing, for example, in descending order of accuracy. In the example shown in FIG. 8, the ranking is in the order of machine learning models 2&3, machine learning models 1&3, and machine learning models 1&2.
  • a machine learning model obtained by combining using logistic regression can be expressed using a logistic function (sigmoid function) as shown in (Formula 8) below. Although two models are combined in (Equation 8), the same applies when three or more models are combined.
  • function S b ( ⁇ 0 + ⁇ 1 x 1 + ⁇ 2 x 2 ) is a sigmoid function with outputs from 0 to 1, ⁇ 0 is a constant, ⁇ 1 and ⁇ 2 are x 1 and x2 coefficients. Also, x 1 and x 2 denote the outputs of the two models.
  • x 1 and x 2 correspond to outputs (estimation results) obtained after learning two models, respectively, and are expressed by probabilities.
  • the output of the function S b ( ⁇ 0 + ⁇ 1 x 1 + ⁇ 2 x 2 ) is the output (judgment result) obtained after learning the coefficient using the verification data set for the machine learning model that combines the two models. and is expressed with a probability of 0 to 1.
  • machine learning models 1 & 2 which are obtained by combining using logistic regression, use the output of model 1 and the output of model 2 as inputs, and make a decision by applying a logistic function whose coefficients are learned using a verification data set. It is a hybrid model candidate that outputs results.
  • machine learning models 2 & 3 which are obtained by combining using logistic regression, use the output of model 2 and the output of model 3 as inputs and apply a logistic function that has learned coefficients using the verification data set. It is a hybrid model candidate that outputs the determination result.
  • Machine learning models 1 & 3 which are obtained by combining using logistic regression, use the output of model 1 and the output of model 3 as inputs, and apply the logistic function whose coefficients are learned using the verification data set to obtain the judgment result. It is a hybrid model candidate to be output.
  • the method of combining multiple models is not limited to the method using logistic regression. If machine learning can be performed using the output (estimation results) obtained after training multiple models as input, it is possible to appropriately select machine learning methods such as support vector machines, random forests, gradient boosting methods, and neural networks.
  • FIG. 9 is a flowchart showing an example of processing of the hybrid model creation device 10 according to the fourth embodiment. Note that steps S1, S2, S5, and S6 shown in FIG. 9 are the same as steps S1, S2, S5, and S6 described with reference to FIG. 3, and description thereof will be omitted.
  • step S321 the hybrid model creation device 10 acquires estimation results for each of the multiple models using the verification data set. More specifically, the hybrid model candidate creation unit 13 inputs a plurality of verification data sets to each of a plurality of models pooled in the model pool unit 11 or selected by the model selection unit 12, and selects categories. By estimating, the estimation result of each of the plurality of models is acquired. The estimation result may be the final output result of the model, or an intermediate quantity of the model, as described above. It should be noted that step S321 may be executed before step S2 when obtaining estimation results for each of a plurality of models pooled in the model pool unit 11 .
  • the hybrid model creation device 10 creates a plurality of hybrid model candidates by combining two or more models selected in step S2 as machine learning models (S322).
  • each of the plurality of hybrid model candidates is a machine learning model that outputs the judgment result of judging the category of the verification data set by inputting the estimation results output from two or more models selected as a combination.
  • This machine learning model is typically a model obtained by combining two or more models selected as a combination using logistic regression.
  • the machine learning model is created by the hybrid model candidate creating unit 13 according to the user's instruction.
  • the hybrid model creation device 10 compares the determination results output to each of the plurality of hybrid model candidates created in step S322 (S41). More specifically, the hybrid model candidate creation unit 13 inputs, for example, a verification data set to each of the hybrid model candidates, and compares the accuracy of the output judgment results.
  • the hybrid model candidate creation unit 13 may compare the importance of two or more configured models that can be calculated from the determination results of each of the hybrid model candidates. More specifically, when comparing a plurality of hybrid model candidates, the hybrid model candidate creation unit 13 selects the candidate hybrid model selected for constructing the hybrid model candidate based on the determination results output to each of the plurality of hybrid model candidates. The respective importance of two or more models may be calculated. Then, the hybrid model candidate creation unit 13 may perform the comparison processing in step S41 by notifying the models with the calculated importance levels below a preset threshold value.
  • the hybrid model candidate creation unit 13 may make the above notification to the hybrid model selection unit 14, or may make the above notification by displaying on a display or the like the models with importance levels below the threshold. good too.
  • the hybrid model selection unit 14 selects one of the plurality of hybrid model candidates as a hybrid model, excluding hybrid model candidates having a model with a degree of importance below a preset threshold. can be selected.
  • the output of the function S b ( ⁇ 0 + ⁇ 1 x 1 + ⁇ 2 x 2 ) is the machine learning model that combines the two models, and the coefficients using the validation data set. This is an output (judgment result) obtained after learning.
  • the coefficient ⁇ 1 indicates the importance of the model that outputs x 1 in this machine learning model
  • the coefficient ⁇ 2 indicates the importance of the model that outputs x 2 in this machine learning model. That is, the coefficient ⁇ i indicates the importance of model i that outputs x i in a machine learning model that combines a plurality of models.
  • the model i has an influence (contribution) on the decision result in the machine learning model ) is small, it can be analyzed.
  • the coefficient ⁇ i is a negative value
  • the model i may cause overfitting of the machine learning model. This is because it is considered that the judgment result of the machine learning model and each of the plurality of models constituting the machine learning model should have a positive correlation.
  • a machine learning model that combines multiple models learns the coefficients using the verification dataset, and by analyzing the coefficients, it is possible to analyze the importance of each of the multiple combined models.
  • the model is a model that constitutes a machine learning model. i should not be used.
  • Example 5 processing speed is taken into consideration when creating hybrid model candidates by machine learning using logistic regression. A specific example thereof will be described below.
  • the hybrid model candidate creating unit 13 receives a verification data set and selects a category of the verification data set. Measure (acquire) the processing time required for estimation.
  • the verification data set contains X pieces of sample data.
  • the hybrid model candidate creation unit 13 calculates the average processing time, which is the processing time per piece of sample data, for each of the plurality of models from the measured processing time.
  • the hybrid model candidate creation unit 13 creates a plurality of hybrid model candidates only from among the two or more models selected by the model selection unit 12, with only the combination that satisfies the execution time requirement for the total average processing time. do. Note that the method of creating a hybrid model candidate by machine learning using logistic regression is as described in Example 4, so description thereof will be omitted here.
  • the hybrid model candidate creating unit 13 receives a verification data set and selects a category of the verification data set. Get the processing time required for estimation.
  • the verification data set contains X pieces of sample data.
  • the hybrid model candidate creation unit 13 calculates the average processing time, which is the processing time per piece of sample data, for each of the plurality of models from the acquired processing time.
  • the hybrid model candidate creating unit 13 defines the value of the average processing time of each of the multiple models with respect to the sum of the average processing times of all of the multiple models as the hardware cost.
  • the hardware cost Cm can be defined as in (Equation 9) below.
  • c m avg(processing speed of model)/sum(processing speed of avg_all_models) (Formula 9)
  • the hybrid model candidate creation unit 13 adds the hardware cost of each of the two or more models selected to form the hybrid model candidate to the loss function of the machine learning model of each of the plurality of hybrid model candidates. Add a weighted regularization term.
  • the regularization term that takes into account the hardware cost is, for example, a regularization term such as Lasso (L1 norm or L1 regularization) multiplied by the parameter ⁇ and the hardware cost C m ⁇ ⁇ C m ⁇ L1 regularization term can be expressed as
  • the parameter ⁇ is a hyperparameter that can change the weight of the hardware cost. Details will be described later.
  • the hybrid model candidate creation unit 13 adds a regularization term that takes into account the hardware cost, and then executes logistic regression machine learning. As a result, it is possible to reduce the coefficient (weight) of a model that contributes little to the hybrid model candidate despite the high calculation cost, so that the model that contributes little to the hybrid model candidate can be excluded.
  • the logistic regression loss function E(w) is expressed as (Equation 10).
  • learning is performed so as to obtain a combination of weights (coefficients) that minimizes the loss function E(w).
  • Equation 11 a loss function E ′ (w) obtained by adding an L1 regularization term to the loss function E(w), for example, is expressed as (Equation 11).
  • Equation 11 the parameter ⁇ is a hyperparameter.
  • explanatory variables are the output values of each model. Therefore, using the hardware cost Cm of the corresponding model, the loss function E ′ (w) with the hardware cost added can be expressed as in (Equation 12).
  • the L1 regularization term As the regularization term has been described, but the L2 regularization term may be used. Also in this case, a loss function can be similarly defined in consideration of the hardware cost Cm . Note that the L1 regularization term can be expected to have the effect of not only reducing the value of the weight (coefficient) but also making it zero. Therefore, the L1 regularization term is better than the L2 regularization term for the purpose of creating hybrid model candidates by excluding models with long processing times.
  • FIG. 10 is a flowchart showing an example of detailed processing of step S3 according to the fifth embodiment. 10 corresponds to another example of the processing of steps S321 and S322 shown in FIG.
  • step S3 the hybrid model creation device 10 uses the verification data set to obtain the processing time and estimation results for each of the multiple models (S331). More specifically, the hybrid model candidate creation unit 13 inputs a plurality of verification data sets to each of the plurality of models selected by the model selection unit 12 to estimate the category. The hybrid model candidate creation unit 13 calculates the processing time and the estimation result required from inputting the verification data set to estimating the category of the verification data set for each of the plurality of models selected by the model selection unit 12. get.
  • the estimation result may be the final output result of the model, or an intermediate quantity of the model, as described above. Note that the processing time and estimation result may be obtained from each of a plurality of models pooled in the model pool unit 11 . In this case, step S331 may be performed before step S2.
  • the hybrid model generation device 10 defines the value of the time required for each of the plurality of models with respect to the sum of all the processing times of the plurality of models as the hardware cost. (S332).
  • the processing time used to define the hardware cost is the average processing time.
  • the hybrid model creation device 10 creates a plurality of hybrid model candidates by combining two or more models selected in step S2 as machine learning models.
  • the hybrid model creation device 10 adds a regularization term that takes into consideration the hardware cost to the loss function of each of the plurality of hybrid model candidates during machine learning (S333). More specifically, the loss function of each of the plurality of hybrid model candidates is regularized by adding (multiplying) the hardware cost of each of the two or more models selected to construct the hybrid model candidate. term is added.
  • the hybrid model candidate creation unit 13 Before comparing a plurality of hybrid model candidates in subsequent step S4, the hybrid model candidate creation unit 13 performs coefficient analysis from the output (determination result) obtained after learning using the verification data set. As a result, the hybrid model candidate creation unit 13 can exclude hybrid model candidates including models requiring a long processing time. Therefore, in the subsequent step S4, the hybrid model candidate creation unit 13 may perform comparison processing of a plurality of hybrid model candidates after excluding hybrid model candidates including models requiring a long processing time.
  • Example 6 A hybrid model candidate is created and machine-learned as a machine learning model that takes as input the estimation results output from two or more models selected as a combination and outputs the judgment result of judging the category of the verification data set. .
  • the estimation results output from two or more models reliably indicate NG, and the true value (label) is also NG. is excluded and machine learning is performed.
  • FIG. 11 is a diagram conceptually showing an example of a hybrid model candidate created by combining model 1 and model 2 according to the sixth embodiment.
  • the hybrid model candidate shown in FIG. 11 is a logistic regression model (boundary) created by machine learning.
  • the vertical axis is the output value that is output (estimated) when the verification data set is input to model 2, and is expressed in terms of probability.
  • the horizontal axis is the output value that is output (estimated) when the verification data set is input to model 1, and is expressed in terms of probability.
  • the sample data included in the verification data set is an inspection image of a manufactured product
  • the black circles are inspection images in which the true value of the sample data is a non-defective product, and are called non-defective product images.
  • a white circle is an inspection image in which the true value of the sample data is a defective product, and is called a defective product image.
  • the output of the defective product image with large output values (probability) for both model 1 and model 2 (referred to as the output showing clear NG) is machine-learned so as to become the logistic regression model (boundary) shown in FIG. In some cases, it can be seen that the importance is relatively low.
  • the output in the area surrounded by the circle is the output indicating a clear NG.
  • the number of clear NGs contained in the circled area is large. For this reason, when creating a hybrid model candidate by machine learning using the output of model 1 and model 2 as shown in FIG. 11 and the true value (label) of the verification data set, It is strongly affected by such an output that clearly shows NG, and there is a possibility that the boundary shown in FIG. 11 cannot be obtained.
  • machine learning is performed by excluding the output that clearly shows NG, which is the output in the area surrounded by the circle.
  • the hybrid model candidate creation unit 13 inputs a verification data set to each of the two or more models selected to configure the hybrid model candidate, and causes the category to be estimated. output values that are higher than the threshold value and are estimated to be defective are excluded from the output values of .
  • the hybrid model candidate creation unit 13 uses as inputs a plurality of output values from which output values higher than the threshold are excluded, and uses the true values of the verification data set corresponding to the plurality of output values. Create multiple hybrid model candidates by performing machine learning.
  • FIG. 12 is a flowchart showing an example of detailed processing of step S3 according to the sixth embodiment. 12 corresponds to another example of the processing of steps S321 and S322 shown in FIG.
  • step S3 the hybrid model creation device 10 obtains a plurality of output values by estimating each of the two or more models that constitute the hybrid model candidate using the verification data set (S341).
  • the hybrid model creation device 10 excludes output values that are higher than a threshold value and are estimated to be defective from the plurality of output values acquired in step S341 (S342).
  • an output value that is higher than the threshold value and is estimated to be a defective product is an output value that clearly indicates NG as described with reference to FIG. 11 .
  • the hybrid model generating apparatus 10 uses as inputs a plurality of output values from which output values higher than the threshold are excluded in step S342, and the true values of the verification data set corresponding to the plurality of output values.
  • a plurality of hybrid model candidates are created by performing machine learning using (S342).
  • the hybrid model creation device 10 can create a plurality of hybrid model candidates with high determination accuracy by performing machine learning while excluding outputs included in areas where clear NGs are gathered.
  • Example 7 In the sixth embodiment, a case has been described in which machine learning is performed by excluding outputs included in a region where clear NGs are gathered among the outputs of two or more models constituting a hybrid model candidate, but the present invention is not limited to this.
  • a method using a convex hull will be described as another method of excluding outputs clearly indicating NG.
  • the convex hull means the smallest convex polygon (convex polyhedron) that includes all given points.
  • FIG. 13 is a diagram conceptually showing the outputs of the models 1 and 2 according to the seventh embodiment and the convex hull of the output distribution corresponding to the defective product image.
  • FIG. 14 is a diagram conceptually showing an example of a hybrid model candidate created from the outputs of models 1 and 2, in which outputs corresponding to defective product images excluding the vertices of the convex hull shown in FIG. 13 are removed. .
  • FIG. 14(a) conceptually shows the outputs of model 1 and model 2 from which outputs indicating NG other than the vertices of the convex hull shown in FIG. 13 are removed.
  • an example of a logistic regression model (boundary) as a hybrid model candidate created by machine learning from the outputs of model 1 and model 2 shown in (a) of FIG. 14 is conceptually shown. It is shown.
  • the hybrid model candidate creation unit 13 inputs a verification data set to each of the two or more models selected to configure the hybrid model candidate, and causes the category to be estimated. Among the output values of , the convex hull is calculated when the output values estimated to be defective are plotted. Next, the hybrid model candidate creation unit 13 excludes the output values included in the convex hull except for the vertices of the convex hull from the plurality of output values. Then, the hybrid model candidate creation unit 13 inputs and uses a plurality of output values obtained by excluding the output values included in the convex hull except for the vertices of the convex hull, and uses the plurality of output values for verification corresponding to the plurality of output values. Create multiple hybrid model candidates by performing machine learning using the true values of the dataset.
  • miss-miss determination 0.
  • FIG. 15 is a flowchart showing an example of detailed processing of step S3 according to the seventh embodiment. 15 corresponds to another example of the processing of steps S321 and S322 shown in FIG.
  • step S3 the hybrid model creation device 10 obtains a plurality of output values by estimating each of the two or more models that constitute the hybrid model candidate using the verification data set (S351).
  • the hybrid model creation device 10 calculates a convex hull when plotting the output values estimated to be defective among the plurality of output values acquired in step S351 (S352).
  • the hybrid model creation device 10 excludes the output values included in the convex hull excluding the vertices of the convex hull from the plurality of output values acquired in step S351 (S353).
  • the hybrid model generating apparatus 10 uses as input a plurality of output values obtained by excluding the output values included in the convex hull excluding the vertices of the convex hull, and verifies data corresponding to the plurality of output values.
  • Machine learning is performed using the set of true values to create a plurality of hybrid model candidates (S354).
  • the hybrid model creation device 10 creates a plurality of hybrid model candidates with high judgment accuracy such that the oversight (oversight judgment) is 0. can do.
  • the number of models (number of dimensions) selected to construct a hybrid model candidate is large, such as 10 or more, the number of vertices of the convex hull becomes enormous, and the calculation cost of the convex hull increases. becomes large, the method using the convex hull may not be adopted.
  • FIG. 16 is a diagram conceptually showing outputs and exclusion regions of models 1 and 2 according to the seventh embodiment.
  • FIG. 17 is a diagram conceptually showing an example of a hybrid model candidate created from outputs of models 1 and 2 from which outputs corresponding to defective product images included in the exclusion area shown in FIG. 16 are removed.
  • (a) of FIG. 17 conceptually shows the outputs of the model 1 and the model 2 from which the output indicating NG included in the exclusion area shown in FIG. 16 is removed.
  • FIG. 17(b) shows an example of a conceptual logistic regression model (boundary) as a hybrid model candidate created by machine learning from the outputs of model 1 and model 2 shown in FIG. 17(a). It is shown.
  • the output value (probability) indicating NG is large, and the output indicating definite NG where the true value is also NG gathers. It can be calculated as an exclusion area. Such a calculation method can be used as an approximate method for calculating the convex hull. Then, machine learning may be performed by excluding outputs that clearly indicate NG in the exclusion area.
  • Example 8 As a comparison method for comparing a plurality of hybrid model candidates, there is a method for comparing the judgment results of each of the hybrid model candidates.
  • the results of machine learning decisions are usually output as probabilities.
  • the probability output as the determination result does not represent the actual probability of the category indicated as the determination result. That is, for example, even if the determination result of determining whether or not the manufactured product shown in the inspection image input as sample data is defective is 0.9, the probability that the manufactured product is defective is 90. %, and it is known that there is a difference between the actual probability and the judgment result.
  • the miss rate of the hybrid model candidate is used as the judgment result output by each of the plurality of hybrid model candidates.
  • FAR tables of a plurality of models selected to create a hybrid model candidate are calculated and used as parameters for adjusting the overlook rate of the hybrid model candidate.
  • FIG. 18 is a diagram for explaining a method of calculating the FAR curve for the model 1 according to the eighth embodiment.
  • FIG. 19 is a diagram illustrating an example of a FAR table of model 1 according to the eighth embodiment.
  • Model 1 is one of multiple models selected to create a hybrid model candidate.
  • FAR is an abbreviation for False Acceptance Rate, which is the probability of erroneously determining NG as OK.
  • the FAR value is called a miss rate.
  • FA is an abbreviation for False Accept, which means to erroneously determine NG as OK.
  • FA is referred to as miss or miss determination.
  • the FAR table is a table of miss rates (FAR values) when the threshold is varied with a predetermined step size.
  • the hybrid model candidate creation unit 13 creates a FAR table for each of the multiple models selected to create the hybrid model candidate using the verification data set during machine learning.
  • the output value and frequency obtained by inputting the verification data set into model 1 and estimating the category are obtained.
  • the distribution of output values (probabilities) indicating defective products shown in FIG. A FAR curve shown in (b) can be obtained. Note that the area ratio when the area of the entire distribution is 1 corresponds to the overlook rate (FAR value).
  • the oversight rate (FAR value) is obtained by obtaining the oversight rate (FAR value) at a predetermined step size in the distribution of output values (probabilities) indicating defective products shown in (a) of FIG. can.
  • the step size is set to 0.0078125, and the FAR values from 0 to 1 are described for the index assigned to each step size.
  • the hybrid model candidate creation unit 13 inputs a plurality of data indicating defective products in the verification data set for each of the plurality of selected models, and outputs the output value obtained by estimating the category.
  • a FAR table can be created from the distribution.
  • the hybrid model candidate creation unit 13 can obtain the miss rate by varying the threshold value in the distribution of the acquired output values, and thus can create the FAR table, which is a table of the miss rate.
  • the hybrid model candidate creation unit 13 inputs the data samples included in the verification data set to each of the two or more models selected to form the hybrid model candidate, and causes the category to be estimated. Get results.
  • the hybrid model candidate creation unit 13 compares the acquired estimation result (output value) with a FAR table created in advance to obtain a first FAR value of each of the two or more models for the data sample. Get the 1FAR value.
  • the probability that an inspection image is defective can be estimated (adjusted) based on the distribution of output values (probabilities) indicating defective products when the FAR table is created.
  • the hybrid model candidate creation unit 13 multiplies the first FAR values of each of the two or more acquired models. Thereby, the hybrid model candidate creation unit 13 can acquire the second FAR value, which is the FAR value of the hybrid model candidate combined with the two or more models.
  • FIG. 20 is a diagram conceptually showing the first FAR values of each of the two models according to Example 8 and the second FAR values of the hybrid model candidate created by combining the two models. As shown in FIG. 20, by multiplying the respective first FAR values of two or more models, a second FAR value that is improved over the respective first FAR values of the two or more models can be obtained.
  • the FAR distributions of the multiple models that make up the hybrid model candidate are independent. Therefore, by the law of probability for independent events, the first FAR value of each of the two or more models can be multiplied to obtain the second FAR value of the hybrid model candidate combined with the two or more models.
  • the method of calculating the correlation coefficient is as follows. That is, first, the hybrid model candidate creation unit 13 inputs a plurality of verification data sets for each of a plurality of models selected to create a plurality of hybrid model candidates, and causes the categories to be estimated, thereby estimating the plurality of models. Get the estimation results for each of the models in . Next, the hybrid model candidate creation unit 13 may calculate correlation coefficients of all combinations of two models out of the plurality of models using the obtained estimation result. As a result, the hybrid model candidate creation unit 13 multiplies the first FAR values of the two or more acquired models, and further multiplies by a coefficient that decreases as the correlation coefficient increases, thereby obtaining the corrected second FAR value. value can be obtained.
  • the hybrid model candidate creation unit 13 determines that the data sample is non-defective.
  • the hybrid model candidate creation unit 13 can acquire this determination result as the determination result when the hybrid model candidate is caused to input the data sample.
  • the hybrid model candidate creation unit 13 can acquire the determination result adjusted using the second FAR value and the preset threshold value as the determination result when data samples are input to a plurality of hybrid model candidates. Then, the hybrid model candidate creation unit 13 can compare a plurality of hybrid model candidates using the adjusted determination result.
  • the FAR threshold should be determined in advance based on what degree of miss rate the user using the hybrid model can tolerate.
  • Model 1 and model 2 are a plurality of models constituting hybrid model candidates.
  • the second FAR value can be obtained as a value obtained by multiplying them. If the second FAR value is smaller than the FAR threshold value of 1/1,000,000, the sample data can be judged as NG (indicating a defective product), and if it is larger, it can be judged as OK (indicating a non-defective product).
  • the hybrid model creation apparatus 10 and the hybrid model creation method according to the present disclosure can create a hybrid model that does not use all of a plurality of models prepared and pooled in advance.
  • the hybrid model creation device 10 and the hybrid model creation method according to the present disclosure can create hybrid model candidates excluding models that have high calculation costs and do not contribute much. can be created in
  • the hybrid model creation device 10 and the hybrid model creation method according to the present disclosure can create hybrid model candidates by excluding models that do not contribute to accuracy improvement using the importance, so that hybrid models can be created lightly and effectively. .
  • the hybrid model creation device 10 and the like according to the present disclosure have been described above based on the embodiment and each example, the present disclosure is not limited to these embodiments and the like. As long as it does not deviate from the gist of the present disclosure, various modifications that a person skilled in the art can think of are applied to the embodiments and each example, and other modifications constructed by combining some components of the embodiments and each example Forms are also included within the scope of this disclosure.
  • the hybrid model creation device 10 creates hybrid model candidates by combining a plurality of models selected from a plurality of pooled models using logistic regression or the like, and compares them. Although one hybrid model was selected in , it is not limited to this. Combine multiple models selected from multiple pooled models, create hybrid model candidates that perform estimation processing with logical formulas in the order of combination, and select one hybrid model by comparing accuracy You may
  • FIG. 21 is a diagram showing an example of a hybrid model creation method according to another embodiment.
  • FIG. 21 shows a hybrid model creation method when model 1, model 2, and model 3 are selected from a plurality of pooled models.
  • three different models connected by arrows are combined in this order to create a hybrid model candidate.
  • the hybrid model candidates are compared with accuracies obtained by ORing or ANDing the accuracies of Model 1, Model 2, and Model 3 in the order in which they were combined.
  • the example shown in FIG. 21 indicates that the hybrid model candidate combining the order of model 3-model 1-model 2 has the highest accuracy of 93%, and thus is selected as the hybrid model.
  • FIG. 22 is a diagram showing another example of a hybrid model creation method according to another embodiment.
  • model 1, model 2 and model 3 are selected from a plurality of pooled models
  • a hybrid model candidate is created by combining at least two of model 1, model 2 and model 3. It shows how to do it.
  • the hybrid model candidate in which model 2 and model 1 are combined in this order has the highest accuracy of 93%, so it is selected as the hybrid model.
  • the determination threshold determination unit 15 that configures the hybrid model generation device 10 determines the determination threshold using the confusion matrix. may be used to determine the determination threshold in the following two steps.
  • FIGS. 23A and 23B are diagrams showing examples of tables of confusion matrices according to other embodiments.
  • the judgment threshold determination unit 15 acquires the judgment result (binary prediction value of OK or NG) of the hybrid model selected by the hybrid model selection unit 14 using the verification data set.
  • the determination threshold determination unit 15 sets the threshold to 0.5, and creates a confusion matrix table shown in FIG. 23A, for example, from combinations of determination results and true values (binary values of OK or NG).
  • step 2 the desired accuracy, such as an overdetection rate of 0.86%, is input, and the above judgment result (binary prediction value of OK or NG) is converted to the true value (OK or NG). ) to create a confusion matrix table shown in FIG. 23B.
  • the threshold of 0.42 shown in FIG. 23B can be selected as the optimal threshold (decision threshold).
  • Some of the components that make up the hybrid model creation device 10 may be a computer system made up of a microprocessor, ROM, RAM, hard disk unit, display unit, keyboard, mouse, and the like.
  • a computer program is stored in the RAM or hard disk unit. The function is achieved by the microprocessor operating according to the computer program.
  • the computer program is constructed by combining a plurality of instruction codes indicating instructions to the computer in order to achieve a predetermined function.
  • a system LSI is an ultra-multifunctional LSI manufactured by integrating multiple components on a single chip. Specifically, it is a computer system that includes a microprocessor, ROM, RAM, etc. . A computer program is stored in the RAM. The system LSI achieves its functions by the microprocessor operating according to the computer program.
  • Some of the components that make up the hybrid model creation device 10 may be made up of an IC card or a single module that can be attached to and detached from each device.
  • the IC card or module is a computer system composed of a microprocessor, ROM, RAM and the like.
  • the IC card or the module may include the super multifunctional LSI.
  • the IC card or the module achieves its function by the microprocessor operating according to the computer program. This IC card or this module may have tamper resistance.
  • some of the components that make up the above-described hybrid model creation device 10 include a computer-readable recording medium for the computer program or the digital signal, such as a flexible disk, hard disk, CD-ROM, MO , DVD, DVD-ROM, DVD-RAM, BD (Blu-ray (registered trademark) Disc), semiconductor memory, or the like. Moreover, it may be the digital signal recorded on these recording media.
  • a computer-readable recording medium for the computer program or the digital signal such as a flexible disk, hard disk, CD-ROM, MO , DVD, DVD-ROM, DVD-RAM, BD (Blu-ray (registered trademark) Disc), semiconductor memory, or the like.
  • BD Blu-ray (registered trademark) Disc
  • some of the components that make up the above-described hybrid model creation apparatus 10 transmit the computer program or the digital signal via an electric communication line, a wireless or wired communication line, a network represented by the Internet, data broadcasting, or the like. may be transmitted as
  • the present disclosure may be the method shown above. Moreover, it may be a computer program for realizing these methods by a computer, or it may be a digital signal composed of the computer program.
  • the present disclosure may also be a computer system comprising a microprocessor and memory, the memory storing the computer program, and the microprocessor operating according to the computer program. .
  • the present disclosure can be used for a method, a hybrid model method, a hybrid model creation apparatus, a program, and the like for creating a hybrid model that combines machine learning models for performing non-defective product determination in an inspection process.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Manufacturing & Machinery (AREA)
  • Quality & Reliability (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

まず、入力されるデータのカテゴリを推定する複数のモデルをプールし（Ｓ１）、複数のモデルの少なくとも一つのモデルは、機械学習されたモデルである。次に、プールされている複数のモデルから２つ以上のモデルを選択して組み合わせることで、カテゴリを判定するハイブリッドモデル候補を複数作成し（Ｓ２）、複数のハイブリッドモデル候補を比較することで（Ｓ４）、複数のハイブリッドモデル候補のうちの１つをハイブリッドモデルとして選択する（Ｓ６）。

Description

ハイブリッドモデル作成方法、ハイブリッドモデル作成装置、及び、プログラム
　本開示は、ハイブリッドモデル作成方法、ハイブリッドモデル作成装置、及び、プログラムに関する。
　ＡＩ技術を使用した外観検査システムが一般的になりつつある。ＡＩモデルの種類によって利点と不利点とが異なることから、複数のＡＩモデルを組み合わせてそれぞれの利点を相補的に取得することで精度を高める技術が提案されている（例えば特許文献１参照）。特許文献１には、装置が有する複数のモデルすべてを使用して得た結果を統合することで、最終判定結果を得ることが開示されている。
国際公開第２０１８／０７９８４０号
　しかしながら、上記特許文献１に開示される技術では、装置が有する複数のモデルすべてを使用するので、他のモデルと相補的でない冗長なモデルが組み合わされて使用されてしまうという課題がある。
　本開示は、上述の事情を鑑みてなされたもので、より精度が高いハイブリッドモデルを作成することができるハイブリッドモデル作成方法等を提供することを目的とする。
　上記目的を達成するために、本開示の一形態に係るハイブリッドモデル作成方法は、入力されるデータのカテゴリを推定する複数のモデルをプールし、前記複数のモデルの少なくとも一つのモデルは、機械学習されたモデルであり、プールされている複数のモデルから２つ以上のモデルを選択して組み合わせることで、前記カテゴリを判定するハイブリッドモデル候補を複数作成し、複数の前記ハイブリッドモデル候補を比較することで、前記複数のハイブリッドモデル候補のうちの１つをハイブリッドモデルとして選択する。
　これにより、複数のモデルを用いてより精度が高いハイブリッドモデルを作成することができる。
　なお、これらの全般的または具体的な態様は、装置、方法、集積回路、コンピュータプログラムまたはコンピュータで読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
　本開示により、複数のモデルを用いてより精度が高いハイブリッドモデルを作成することができるハイブリッドモデル作成方法などを提供できる。
図１は、実施の形態に係るハイブリッドモデル作成装置の機能構成を示すブロック図である。 図２は、実施の形態に係るハイブリッドモデル作成方法が実行される際の処理を概念的に説明するための図である。 図３は、実施の形態に係るハイブリッドモデル作成装置の動作概要を示すフローチャートである。 図４は、実施例１に係るステップＳ１の詳細処理の一例を示すフローチャートである。 図５は、実施例２に係るステップＳ１の詳細処理の一例を示すフローチャートである。 図６は、実施例３に係るステップＳ３の詳細処理の一例を示すフローチャートである。 図７Ａは、実施例３に係る相関の強い３つのモデルを組み合わせたときのハイブリッドモデル候補の精度を説明するための図である。 図７Ｂは、実施例３に係る相関の弱い３つのモデルを組み合わせたときのハイブリッドモデル候補の精度を説明するための図である。 図８は、実施例４に係るハイブリッドモデル候補作成処理の詳細の一例を概念的に説明するための図である。 図９は、実施例４に係るハイブリッドモデル作成装置の処理の一例を示すフローチャートである。 図１０は、実施例５に係るステップＳ３の詳細処理の一例を示すフローチャートである。 図１１は、実施例６に係るモデル１とモデル２とで組み合わせて作成されるハイブリッドモデル候補の一例を概念的に示す図である。 図１２は、実施例６に係るステップＳ３の詳細処理の一例を示すフローチャートである。 図１３は、実施例７に係るモデル１とモデル２との出力と不良品画像に対応する出力の分布の凸包とを概念的に示す図である。 図１４は、図１３に示す凸包の頂点を除く不良品画像に対応する出力を除去したモデル１とモデル２との出力から作成されるハイブリッドモデル候補の一例を概念的に示す図である。 図１５は、実施例７に係るステップＳ３の詳細処理の一例を示すフローチャートである。 図１６は、実施例７に係るモデル１とモデル２との出力と除外領域とを概念的に示す図である。 図１７は、図１６に示す除外領域に含まれる不良品画像に対応する出力を除去したモデル１とモデル２との出力から作成されるハイブリッドモデル候補の一例を概念的に示す図である。 図１８は、実施例８に係るＦＡＲ曲線をモデル１に対して算出する方法を説明するための図である。 図１９は、実施例８に係るモデル１のＦＡＲ表の一例を示す図である。 図２０は、実施例８に係る２つのモデルそれぞれの第１ＦＡＲ値と、２つのモデルを組み合わせて作成されるハイブリッドモデル候補の第２ＦＡＲ値とを概念的に示す図である。 図２１は、その他の実施の形態に係るハイブリッドモデル作成方法の一例を示す図である。 図２２は、その他の実施の形態に係るハイブリッドモデル作成方法の他の一例を示す図である。 図２３Ａは、その他の実施の形態に係る混同行列の表の一例を示す図である。 図２３Ｂは、その他の実施の形態に係る混同行列の表の一例を示す図である。
　以下、本開示の実施の形態について、図面を用いて詳細に説明する。なお、以下で説明する実施の形態は、いずれも本開示の一具体例を示す。以下の実施の形態で示される数値、形状、材料、規格、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序等は、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、本開示の独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また、各図は、必ずしも厳密に図示したものではない。各図において、実質的に同一の構成については同一の符号を付し、重複する説明は省略又は簡略化する場合がある。
　（実施の形態）
　まず、本実施の形態に係るハイブリッドモデル作成装置及びハイブリッドモデル作成方法の概要について説明する。
　［１．ハイブリッドモデル作成装置１０の概要］
　以下、本実施の形態に係るハイブリッドモデル作成装置１０の構成等の概要について説明する。
　図１は、本実施の形態に係るハイブリッドモデル作成装置１０の機能構成を示すブロック図である。図２は、本実施の形態に係るハイブリッドモデル作成方法が実行される際の処理を概念的に説明するための図である。
　ハイブリッドモデル作成装置１０は、コンピュータ等で実現され、複数のモデルを用いて、より精度が高いハイブリッドモデルを作成することができる装置である。
　本実施の形態では、図１に示されるように、ハイブリッドモデル作成装置１０は、モデルプール部１１と、モデル選択部１２と、ハイブリッドモデル候補作成部１３と、ハイブリッドモデル選択部１４と、判定閾値決定部１５とを備える。なお、判定閾値決定部１５は、ハイブリッドモデル作成装置１０とは、別の装置に備えられてもよい。
　［１－１．モデルプール部１１］
　モデルプール部１１は、ＨＤＤ（Hard Disk Drive）またはメモリ等で構成され、入力されるデータのカテゴリを推定する複数のモデルをプール（記憶）している。本実施の形態では、モデルプール部１１は、図２に示すように、例えばモデル１、モデル２、モデル３及びモデル４などの予め作成された複数のモデル１１ａをプールしている。ここで、複数のモデル１１ａの少なくとも一つのモデルは、機械学習されたモデルである。複数のモデル１１ａのそれぞれは、ＡＩモデルとも称することができる。本実施の形態では、入力されるデータは、製造品の検査画像であるとして説明する。複数のモデル１１ａのうちの少なくとも１つのモデルは、深層学習により学習されたＡＩモデルである。複数のモデル１１ａには、人手により特徴量が設計されたＡＩモデルが含まれていてもよい。例えば、複数のモデル１１ａのそれぞれは、製造品の検査画像を入力とし、検査画像に映る製造品が不良である確率を推定して出力する。なお、複数のモデル１１ａのそれぞれは、検査画像に映る製造品が不良であるか否かの２値の推定結果を出力してもよい。
　［１－２．モデル選択部１２］
　モデル選択部１２は、モデルプール部１１にプールされている複数のモデルから２つ以上のモデルを選択する。本実施の形態では、モデル選択部１２は、モデルプール部１１にプールされている複数のモデルのうち所定のモデルを除外した上で２つ以上のモデルを選択する。図２に示す例では、モデル選択部１２は、例えばモデル１、モデル２、モデル３及びモデル４のうち、モデル４を所定のモデルとして除外した上で、２つ以上のモデルを選択するモデル選択処理１２ａを行う。モデル選択部１２は、モデルプール部１１にプールされている複数のモデルから所定のモデルを除外してから、２つ以上のモデルを選択してもよいし、モデルプール部１１にプールされている複数のモデルのうち、２つ以上のモデルを所定のモデルを除外した上で選択してもよい。また、所定のモデルは、例えば推定精度の低いモデルであってもよいし、他のモデルとの相関が強いモデルであってもよい。このような所定のモデルを除外する方法等の詳細は、後述する実施例１及び実施例２で説明するのでここでの説明は省略する。
　［１－３．ハイブリッドモデル候補作成部１３］
　ハイブリッドモデル候補作成部１３は、モデル選択部１２により選択された２つ以上のモデルを組み合わせることで、カテゴリを判定するハイブリッドモデル候補を複数作成する。なお、ハイブリッドモデル候補作成部１３は、閾値より強い相関があるモデルの組み合わせを含めないように、モデル選択部１２により選択された２つ以上のモデルを組み合わせることで、ハイブリッドモデル候補を複数作成してもよい。ハイブリッドモデル候補は、モデル選択部１２により選択された２つ以上のモデルを単純に連結（カスケード）することで組み合わせてもよいし、後述するようにロジスティック回帰などを用いて組み合わせてもよい。
　図２に示す例では、ハイブリッドモデル候補作成部１３は、モデル選択部１２により選択されたモデル１、モデル２及びモデル３を組み合わせることでハイブリッドモデル候補を作成するハイブリッドモデル候補作成処理１３ａを行う。より具体的には、ハイブリッドモデル候補作成部１３は、例えばモデル１とモデル２とを組み合わせたハイブリッドモデル候補１と、例えばモデル２とモデル３とを組み合わせたハイブリッドモデル候補２を作成する。また、ハイブリッドモデル候補作成部１３は、例えばモデル１とモデル３とを組み合わせたハイブリッドモデル候補３と、例えばモデル１とモデル２とモデル３とを組み合わせたハイブリッドモデル候補４を作成する。本実施の形態では、判定されるカテゴリとしては、検査画像に映る製造品が良品または不良品であるかである。つまり、ハイブリッドモデル候補３は、検査画像に映る製造品が良品または不良品であるかを判定する。なお、ハイブリッドモデル候補１～３は、検査画像に映る製造品が不良であるかを確率で判定（推定）した判定結果を出力してもよい。
　ハイブリッドモデル候補を作成する方法等の詳細については、後述する実施例３～実施例６で説明するのでここでの説明は省略する。
　また、ハイブリッドモデル候補作成部１３は、作成したハイブリッドモデル候補を比較する。
　図２に示す例では、ハイブリッドモデル候補作成部１３は、作成したハイブリッドモデル候補１～４を比較する比較処理を行う。ハイブリッドモデル候補１～４の比較方法としては、例えばハイブリッドモデル候補１～４のそれぞれの判定結果の精度を比較する方法、当該それぞれの判定結果から算出できる構成される２つ以上のモデルのそれぞれの重要度（寄与度とも称される）を比較する方法などが挙げられる。
　なお、複数のハイブリッドモデル候補の比較方法等の詳細については、実施例２等で後述するのでここでの説明は省略する。
　［１－４．ハイブリッドモデル選択部１４］
　ハイブリッドモデル選択部１４は、複数のハイブリッドモデル候補の比較結果に基づき、複数のハイブリッドモデル候補のうちの１つをハイブリッドモデルとして選択する。
　図２に示す例では、ハイブリッドモデル選択部１４は、ハイブリッドモデル候補１～４の比較結果から、ハイブリッドモデル候補１～４のうちの１つをハイブリッドモデルとして選択するハイブリッドモデル選択処理１４ａを行う。
　ハイブリッドモデル選択処理１４ａでは、ハイブリッドモデル候補１～４の比較結果に基づき、判定結果の精度のうちで一番精度の高い、または、重要度が高いモデルの組み合わせからなるハイブリッドモデル候補が、ハイブリッドモデルとして選択される。
　なお、ハイブリッドモデルの選択方法の詳細については、後述するのでここでの説明は省略する。
　［１－５．判定閾値決定部１５］
　判定閾値決定部１５は、例えば製造品の検査画像などの検証用データセットを用いて、ハイブリッドモデル選択部１４により選択されたハイブリッドモデルの感度を調整し、誤判定を抑制するために許容できる過検出率の閾値を決定する。判定閾値決定部１５は、例えば製造品の検査画像などの検証用データセットを入力して当該製造品が良品または不良品であるかを判定させた判定結果を取得する。判定閾値決定部１５は、取得した判定結果から混同行列を生成し、誤判定を抑制するために許容できる過検出率の閾値（判定閾値）を決定する。なお、図２に示す判定閾値決定処理１５ａにおいて示されるCascading Modelは、ハイブリッドモデル選択部１４により選択されたハイブリッドモデルを意味し、判定閾値が最適化されている。
　［２．ハイブリッドモデル作成装置１０の動作概要］
　以上のように構成されたハイブリッドモデル作成装置１０の動作概要について以下説明する。
　図３は、本実施の形態に係るハイブリッドモデル作成装置１０の動作概要を示すフローチャートである。
　まず、ハイブリッドモデル作成装置１０は、入力されるデータのカテゴリを推定する複数のモデルをプールする（Ｓ１）。本実施の形態では、複数のモデルの少なくとも一つのモデルは、機械学習されたモデルである。また、例えば、複数のモデルのそれぞれは、製造品の検査画像を入力とし、検査画像に映る製造品が不良である確率を推定して出力する。
　次に、ハイブリッドモデル作成装置１０は、プールされている複数のモデルから２つ以上のモデルを選択する（Ｓ２）。本実施の形態では、ハイブリッドモデル作成装置１０は、プールされている複数のモデルから、一部（所定のモデル）を除いて２つ以上のモデルを選択する。
　次に、ハイブリッドモデル作成装置１０は、ステップＳ２で選択された２つ以上のモデルを組み合わせることで、カテゴリを判定するハイブリッドモデル候補を複数作成する（Ｓ３）。本実施の形態では、ハイブリッドモデル作成装置１０は、ステップＳ２で選択された２つ以上のモデルをシーケンシャルにカスケードして組み合わせてもよいし、ロジスティック回帰を用いて組み合わせてもよい。
　次に、ハイブリッドモデル作成装置１０は、ステップＳ３で作成した複数のハイブリッドモデル候補を比較する（Ｓ４）。本実施の形態では、ハイブリッドモデル作成装置１０は、例えばハイブリッドモデル候補のそれぞれの判定結果の精度を比較したり、ハイブリッドモデル候補のそれぞれの判定結果から算出できる構成される２つ以上のモデルのそれぞれの重要度を比較したりすることができる。
　次に、ハイブリッドモデル作成装置１０は、全てのハイブリッドモデル候補で比較したかを判定する（Ｓ５）。ステップＳ５において、全てのハイブリッドモデル候補で比較していない場合（Ｓ５でＮｏ）、ステップＳ４に戻る。
　一方、ステップＳ５において、全てのハイブリッドモデル候補で比較済みの場合（Ｓ５でＹｅｓ）、複数のハイブリッドモデル候補のうちの１つをハイブリッドモデルとして選択する（Ｓ６）。本実施の形態では、ハイブリッドモデル作成装置１０は、ハイブリッドモデル候補のそれぞれの判定結果のうちで一番精度の高い、または、重要度が高いモデルの組み合わせからなるハイブリッドモデル候補をハイブリッドモデルとして選択することができる。
　このように、本実施の形態のハイブリッドモデル作成方法によれば、プールされている複数のモデルの全部を用いずに、複数のハイブリッドモデル候補を作成し、例えば判定精度などを用いて複数のハイブリッドモデル候補を比較する。これにより、例えば判定結果のうちで一番精度の高いハイブリッドモデル候補をハイブリッドモデルとして選択することができる。つまり、複数のモデルを用いてより精度が高いハイブリッドモデルを作成することができる。
　（実施例１）
　図３に示すステップＳ１において、プールされている複数のモデルから、推定精度の低いモデルを所定のモデルとして除いてもよい。すなわち、プールされている複数のモデルのうち、推定精度の低いモデルをハイブリッドモデル候補から除外してもよい。以下、この場合の具体例を実施例１として説明する。なお、推定精度は、正解率に限らず、適合率、再現率、適合率及び再現率の調和平均により算出されるＦ値、ＲＯＣ（Receiver Operating Characteristic）曲線のＡＵＣ(Area Under Curve)並びに、正解率のうちの少なくとも一の組み合わせであればよい。
　図４は、実施例１に係るステップＳ１の詳細処理の一例を示すフローチャートである。
　ステップＳ１において、まず、ハイブリッドモデル作成装置１０は、入力されるデータのカテゴリを推定する複数のモデルをプールする（Ｓ１１１）。
　次に、ハイブリッドモデル作成装置１０は、検証用データセットを用いて、複数のモデルそれぞれの推定精度を取得する（Ｓ１１２）。より具体的には、モデル選択部１２は、２つ以上のモデルを選択する前に、モデルプール部１１にプールされている複数のモデルそれぞれに、複数の検証用データセットを入力してカテゴリを推定させることで当該複数のモデルそれぞれの推定精度を取得する。
　なお、プールされている複数のモデルそれぞれの推定精度は、予め用意された検証用データセットをすべて用いて算出してもよいが、これに限らない。すべての検証用データセットのうち、モデルによって推定結果が異なる検証用データセットを用いてもよい。例えば、プールされている複数のモデルがモデル１、モデル２、モデル３及びモデル４である場合、モデル１の推定結果と、モデル２、モデル３及びモデル４の推定結果とが異なる検証用データセットを用いる。
　次に、ハイブリッドモデル作成装置１０は、推定精度が閾値以下のモデルを除外する（Ｓ１１３）。より具体的には、モデル選択部１２は、推定精度が閾値以下のモデルを、モデルプール部１１にプールされている複数のモデルの中から除外する。そして、モデル選択部１２は、閾値以下のモデルが除外された複数のモデルから、２つ以上のモデルを選択する。なお、閾値は、事前にユーザにより設定される。
　例えば、プールされている複数のモデルがモデル１、モデル２、モデル３及びモデル４であり、モデル４の推定精度のみが閾値以下の場合、モデル選択部１２は、モデルプール部１１にプールされているモデル１～４からモデル４を除外する。そして、モデル選択部１２は、モデルプール部１１にプールされているモデル１、モデル２及びモデル３から、２つ以上のモデルを選択する。
　このようにして、ハイブリッドモデル作成装置１０は、プールされている複数のモデルのうち、推定精度が閾値以下のモデルをハイブリッドモデル候補から除外することができる。
　（実施例２）
　図３に示すステップＳ１において、プールされている複数のモデルから、他のすべてのモデルとの相関が強いモデルを所定のモデルとして除いてもよい。すなわち、プールされている複数のモデルのうち、他のすべてのモデルとの相関が強いモデルをハイブリッドモデル候補から除外してもよい。以下、この場合の具体例を実施例２として説明する。
　図５は、実施例２に係るステップＳ１の詳細処理の一例を示すフローチャートである。
　ステップＳ１において、まず、ハイブリッドモデル作成装置１０は、入力されるデータのカテゴリを推定する複数のモデルをプールする（Ｓ１２１）。
　次に、ハイブリッドモデル作成装置１０は、検証用データセットを用いて、複数のモデルそれぞれの推定結果を取得する（Ｓ１２２）。より具体的には、モデル選択部１２は、２つ以上のモデルを選択する前に、モデルプール部１１にプールされている複数のモデルそれぞれに、複数の検証用データセットを入力してカテゴリを推定させることで当該複数のモデルそれぞれの推定結果を取得する。ここで、推定結果は、モデルの最終出力結果でもよいし、モデルの中間量であってもよい。例えば、深層学習されたモデルでは、推定結果は、深層学習されたモデルの中間層または最終層の出力結果である。
　次に、ハイブリッドモデル作成装置１０は、ステップＳ１２２で取得した推定結果を用いて、プールされている複数のモデルすべての相関を算出する（Ｓ１２３）。より具体的には、モデル選択部１２は、モデルプール部１１にプールされている複数のモデルのすべてについて２つのモデルの相関を算出する。
　ここで、相関の算出方法について説明する。
　検証用データセットに対するｊ（ｊは自然数）番目のモデルの推定結果をｃｊとする。例えば検証用データセットのうちのｉ（ｉは自然数）番目の検証用データに対する推定結果をｃｊ，ｉとする。また、推定結果は、モデルの最終出力結果またはスカラーの中間量であるとする。
　この場合、ｊ番目とｋ（ｋは自然数、かつｊ≠ｋ）番目のモデルとの相関は、（式１）または、（式２）、（式３）もしくは（式４）を用いて算出することができる。なお、（式１）は、推定結果の一致率（Jcacard係数）を算出する式であり、推定結果が０または１の２値の場合に用いることができる。（式１）においてδは、クロネッカーのδである。
Figure JPOXMLDOC01-appb-M000001
Figure JPOXMLDOC01-appb-M000002
Figure JPOXMLDOC01-appb-M000003
Figure JPOXMLDOC01-appb-M000004
　一方で、（式２）～（式４）は、推定結果が２値である場合に限らず連続値の場合にも用いることができる。（式２）は、共分散を算出する式であり、Ｅ［Ｘ］はＸの平均を示す。（式３）のＶ［Ｘ］はＸの分散を示す。また、（式３）は相関係数を算出する式であり、（式４）はコサイン類似度を算出する式であり、ｃｊはｃｊ，ｋをｉに対して並べて作ったベクトルである。
　続いて、推定結果がベクトルの中間量である場合の相関の算出方法について説明する。
　この場合、ｊ番目とｋ番目のモデルとの相関は、（式５）または、（式６）を用いて、検証用データごとの中間量類似度ｓｉｍｉを算出することができる。なお、ｆｊ，ｉは、複数値からなるベクトルの中間量である。そして、中央値または（式７）で示される平均値などの統計量を算出する。これにより、推定結果がベクトルの中間量であっても算出した相関を比較することができる。
Figure JPOXMLDOC01-appb-M000005
Figure JPOXMLDOC01-appb-M000006
Figure JPOXMLDOC01-appb-M000007
　以下、図５に戻って説明を続ける。
　次に、ハイブリッドモデル作成装置１０は、ステップＳ１２３で算出された相関に基づき、他のすべてのモデルとの相関が閾値より強いモデルを除外する（Ｓ１２４）。より具体的には、モデル選択部１２は、他のすべてのモデルとの相関係数の平均または中央値が閾値より強いモデルを、モデルプール部１１にプールされている複数のモデルの中から除外する。そして、モデル選択部１２は、閾値以下のモデルが除外された複数のモデルから、２つ以上のモデルを選択する。なお、閾値は、事前にユーザにより設定される。
　例えば、プールされている複数のモデルがモデル１、モデル２、モデル３及びモデル４であり、モデル４と他のモデル１、２または３の相関が閾値より強い場合、モデル選択部１２は、モデルプール部１１にプールされているモデル１～４からモデル４を除外する。そして、モデル選択部１２は、モデルプール部１１にプールされているモデル１、モデル２及びモデル３から、２つ以上のモデルを選択する。
　このようにして、ハイブリッドモデル作成装置１０は、プールされている複数のモデルのうち、他のすべてのモデルとの相関が閾値より強いモデルをハイブリッドモデル候補から除外することができる。
　（実施例３）
　実施例２では、図３に示すステップＳ１において、プールされている複数のモデルから、他のすべてのモデルとの相関が強いモデルを所定のモデルとして除いた場合について説明したが、これに限らない。図３に示すステップ３において、相関の強いモデルの組み合わせを含めないようにしてハイブリッドモデル候補を作成してもよい。以下、この場合の具体例を実施例３として説明する。
　図６は、実施例３に係るステップＳ３の詳細処理の一例を示すフローチャートである。
　ステップＳ３において、まず、ハイブリッドモデル作成装置１０は、検証用データセットを用いて、複数のモデルそれぞれの推定結果を取得する（Ｓ３１１）。より具体的には、ハイブリッドモデル候補作成部１３は、ハイブリッドモデル候補を複数作成する前に、モデルプール部１１にプールされている複数のモデルそれぞれに、複数の検証用データセットを入力してカテゴリを推定させることで当該複数のモデルそれぞれの推定結果を取得する。なお、ハイブリッドモデル候補作成部１３は、モデル選択部１２に選択された複数のモデルそれぞれに、複数の検証用データセットを入力してカテゴリを推定させることで当該複数のモデルそれぞれの推定結果を取得してもよい。ここで、推定結果は、実施例２で説明したのと同様に、モデルの最終出力結果でもよいし、モデルの中間量であってもよい。例えば、深層学習されたモデルでは、推定結果は、深層学習されたモデルの中間層または最終層の出力結果である。
　次に、ハイブリッドモデル作成装置１０は、ステップＳ３１１で取得した推定結果を用いて、プールされているまたは選択された複数のモデルすべての相関を算出する（Ｓ３１２）。より具体的には、ハイブリッドモデル候補作成部１３は、モデルプール部１１にプールされているまたはモデル選択部１２に選択された複数のモデルのすべてについて２つのモデルの相関を算出する。なお、相関の算出方法については実施例２で説明したのでここでの説明を省略する。
　次に、ハイブリッドモデル作成装置１０は、プールされている複数のモデルから、閾値より強い相関がある２つのモデルの組み合わせを含めないように、２つ以上のモデルを選択する（Ｓ３１３）。より具体的には、ハイブリッドモデル候補作成部１３は、閾値より強い相関がある２つのモデルの組み合わせを含めないように、モデル選択部１２により選択された２つ以上のモデルを組み合わせることで、ハイブリッドモデル候補を複数作成する。
　このようにして、ハイブリッドモデル作成装置１０は、選択された複数のモデルから、相関が弱いモデルを組み合わせたハイブリッドモデル候補を作成することができる。
　ここで、相関が弱いモデルを組み合わせたハイブリッドモデル候補を作成する理由について説明する。
　図７Ａは、実施例３に係る相関の強い３つのモデルを組み合わせたときのハイブリッドモデル候補の精度を説明するための図である。図７Ｂは、実施例３に係る相関の弱い３つのモデルを組み合わせたときのハイブリッドモデル候補の精度を説明するための図である。図７Ａ及び図７Ｂに示されるハイブリッドモデル候補は、ロジスティック回帰などを用いて３つのモデルの推定結果を組み合わせる。なお、説明を簡単にするため、図７Ａ及び図７Ｂにおいてハイブリッドモデル候補は、３つのモデルの推定結果の多数決を出力するものとして説明する。
　図７Ａには、相関の強いモデル１、モデル２及びモデル３それぞれと、ハイブリッドモデル候補とに、検証用データセットのうちの１０個の検証用データを用いたときの２値の推定結果及び判定結果と、１０個の検証用データの真の値とが示されている。図７Ａに示されているように、モデル１、モデル２及びモデル３の精度（推定精度）は、８０％、７０％及び８０％であり、モデル１、モデル２及びモデル３を組み合わせたハイブリッドモデル候補の精度（判定精度）は、８０％となっている。
　図７Ｂには、相関の弱いモデル１、モデル２及びモデル３それぞれと、ハイブリッドモデル候補とに、検証用データセットのうちの１０個の検証用データを用いたときの２値の推定結果及び判定結果と、１０個の検証用データの真の値とが示されている。図７Ｂに示されているように、モデル１、モデル２及びモデル３の精度（推定精度）は８０％、６０％及び５０％であり、モデル１、モデル２及びモデル３を組み合わせたハイブリッドモデル候補の精度（判定精度）は９０％となっている。
　つまり、相関の強い３つのモデルを組み合わせてもハイブリッドモデル候補の精度は改善しない。一方、相関の弱い３つのモデルの精度が高くなくても、相関の弱い３つのモデルを組み合わせたハイブリッドモデル候補の精度は改善することが可能である。
　以上のように、実施例３によれば、ハイブリッドモデル作成装置１０は、相関が弱いモデルを組み合わせたハイブリッドモデル候補を作成することができる。そして、ハイブリッドモデル作成装置１０は、このようなハイブリッドモデル候補から１つのハイブリッドモデルを選べるので、より精度が高いハイブリッドモデルを作成することができる。
　（実施例４）
　実施例４では、ロジスティック回帰などを用いてハイブリッドモデル候補を作成する場合の具体例について説明する。
　本実施例では、ハイブリッドモデル候補作成部１３は、モデル選択部１２により選択された２つ以上のモデルを、ロジスティック回帰などを用いて組み合わせることで、カテゴリを判定するハイブリッドモデル候補を複数作成する。なお、組み合わせるモデルの数の最大数は、予め設定されているが、ハイブリッドモデル候補を作成する際に都度設定されてもよい。ハイブリッドモデル候補作成部１３は、複数のハイブリッドモデル候補のそれぞれを機械学習モデルとして作成する。機械学習モデルは、当該ハイブリッドモデル候補を構成するために選択された２つ以上のモデルのそれぞれに検証用データセットを入力してカテゴリを推定させることで得た２つ以上の出力結果を入力とし、検証用データセットのカテゴリを判定した判定結果を出力させるモデルである。
　また、ハイブリッドモデル候補作成部１３は、作成した複数のハイブリッドモデル候補に出力させた判定結果を比較する。より具体的には、ハイブリッドモデル候補作成部１３は、作成した複数のハイブリッドモデル候補を機械学習させた後に出力させた判定結果を比較する。
　図８は、実施例４に係るハイブリッドモデル候補作成処理１３ａの詳細の一例を概念的に説明するための図である。図８に示すハイブリッドモデル候補作成処理１３ａは、図２に示されるハイブリッドモデル候補作成処理１３ａの詳細の一例である。
　図８に示す例では、ハイブリッドモデル候補作成部１３は、モデル選択部１２により選択されたモデル１、モデル２及びモデル３を組み合わせることでハイブリッドモデル候補を作成するハイブリッドモデル候補作成処理１３ａを行う。より具体的には、ハイブリッドモデル候補作成部１３は、例えばモデル１とモデル２とをロジスティック回帰を用いて組み合わせた機械学習モデル１＆２（ハイブリッドモデル候補１）を作成する。また、ハイブリッドモデル候補作成部１３は、例えばモデル２とモデル３とをロジスティック回帰を用いて組み合わせた機械学習モデル２＆３（ハイブリッドモデル候補２）を作成する。また、ハイブリッドモデル候補作成部１３は、例えばモデル１とモデル３とをロジスティック回帰を用いて組み合わせた機械学習モデル１＆３（ハイブリッドモデル候補３）を作成する。なお、図８に示す例では、組み合わせるモデルの数の最大数は２であるとして、総当たりに組み合わせた機械学習モデルが作成されている。
　図８に示す例では、ハイブリッドモデル候補作成部１３は、機械学習モデル１＆２、機械学習モデル２＆３及び機械学習モデル１＆３を、検証用データセットを用いて学習させた後に得られる出力結果（判定結果）を取得する。ハイブリッドモデル候補作成部１３は、機械学習モデル１＆２、機械学習モデル２＆３及び機械学習モデル１＆３の出力結果を比較する比較処理を行う。ハイブリッドモデル候補作成部１３は、比較処理の結果、例えば精度の高い順にランキングする。図８に示す例では、機械学習モデル２＆３、機械学習モデル１＆３及び機械学習モデル１＆２の順にランキングされている。
　ここで、ロジスティック回帰を用いて複数のモデルを組み合わせる方法について説明する。
　ロジスティック回帰を用いて組み合わせることで得られる機械学習モデルは、下記の（式８）で示されるようなロジスティック関数（シグモイド関数）を用いて表すことができる。なお、（式８）では、２つのモデルを組み合わせているが、３つ以上のモデルを組み合わせる場合も同様である。
Figure JPOXMLDOC01-appb-M000008
　（式８）において、関数Ｓｂ（β０＋β１ｘ１＋β２ｘ２）は、０～１までの出力を有するシグモイド関数であり、β０は定数であり、β１及びβ２はｘ１及びｘ２の係数である。また、ｘ１及びｘ２は、２つのモデルの出力を示す。
　本実施例では、ｘ１及びｘ２は、２つのモデルそれぞれを学習させた後に得られる出力（推定結果）に該当し、確率で表現される。関数Ｓｂ（β０＋β１ｘ１＋β２ｘ２）の出力は、２つのモデルを組み合わせた機械学習モデルを、検証用データセットを用いて係数を学習させた後に得られる出力（判定結果）に該当し、０～１の確率で表現される。
　例えば、ロジスティック回帰を用いて組み合わせることで得られる機械学習モデル１＆２は、モデル１の出力及びモデル２の出力を入力として、検証用データセットを用いて係数を学習させたロジスティック関数を作用させて判定結果を出力するハイブリッドモデル候補である。同様に、ロジスティック回帰を用いて組み合わせることで得られる機械学習モデル２＆３は、モデル２の出力及びモデル３の出力を入力として、検証用データセットを用いて係数を学習させたロジスティック関数を作用させて判定結果を出力するハイブリッドモデル候補である。ロジスティック回帰を用いて組み合わせることで得られる機械学習モデル１＆３は、モデル１の出力及びモデル３の出力を入力として、検証用データセットを用いて係数を学習させたロジスティック関数を作用させて判定結果を出力するハイブリッドモデル候補である。
　なお、複数のモデルを組み合わせる方法は、ロジスティック回帰を用いる方法に限らない。複数のモデルそれぞれを学習させた後に得られる出力（推定結果）を入力として機械学習することができれば、サポートベクトルマシン、ランダムフォレスト、勾配ブ―スティング法、ニューラルネットワークといった機械学習手法を適宜選択できる。
　次に、以上のように説明した実施例４に係るハイブリッドモデル作成装置１０の処理について説明する。
　図９は、実施例４に係るハイブリッドモデル作成装置１０の処理の一例を示すフローチャートである。なお、図９に示すステップＳ１、ステップＳ２、ステップＳ５及びステップＳ６は、図３で説明したステップＳ１、ステップＳ２、ステップＳ５及びステップＳ６と同様であるため説明を省略する。
　ステップＳ３２１において、ハイブリッドモデル作成装置１０は、検証用データセットを用いて、複数のモデルそれぞれの推定結果を取得する。より具体的には、ハイブリッドモデル候補作成部１３は、モデルプール部１１にプールされているまたはモデル選択部１２により選択された複数のモデルそれぞれに、複数の検証用データセットを入力してカテゴリを推定させることで当該複数のモデルそれぞれの推定結果を取得する。推定結果は、上述したように、モデルの最終出力結果でもよいし、モデルの中間量であってもよい。なお、モデルプール部１１にプールされている複数のモデルそれぞれの推定結果を取得する場合、ステップＳ３２１は、ステップＳ２の前に実行されてもよい。
　次に、ハイブリッドモデル作成装置１０は、ステップＳ２で選択された２つ以上のモデルを組み合わせた複数のハイブリッドモデル候補を、機械学習モデルとして作成する（Ｓ３２２）。
　ここで、複数のハイブリッドモデル候補のそれぞれは、組み合わせとして選ばれた２つ以上のモデルから出力された推定結果を入力として、検証用データセットのカテゴリを判定した判定結果を出力させる機械学習モデルである。この機械学習モデルは、典型的には、組み合わせとして選ばれた２つ以上のモデルを、ロジスティック回帰を用いて組み合わせることで得られるモデルである。また、機械学習モデルは、ユーザの指示に従いハイブリッドモデル候補作成部１３により作成される。
　次に、ハイブリッドモデル作成装置１０は、ステップＳ３２２で作成した複数のハイブリッドモデル候補それぞれに出力させた判定結果を比較する（Ｓ４１）。より具体的には、ハイブリッドモデル候補作成部１３は、例えばハイブリッドモデル候補のそれぞれに検証用データセットを入力して、出力させた判定結果の精度を比較する。
　なお、ハイブリッドモデル候補作成部１３は、ハイブリッドモデル候補のそれぞれの判定結果から算出できる構成される２つ以上のモデルのそれぞれの重要度を比較してもよい。より具体的には、ハイブリッドモデル候補作成部１３は、複数のハイブリッドモデル候補を比較する際、複数のハイブリッドモデル候補それぞれに出力させた判定結果から、当該ハイブリッドモデル候補を構成するために選択された２つ以上のモデルのそれぞれの重要度を算出してもよい。そして、ハイブリッドモデル候補作成部１３は、算出された重要度のうち予め設定されていた閾値を下回った重要度のモデルを通知することで、ステップＳ４１の比較処理を行ってもよい。
　また、ハイブリッドモデル候補作成部１３は、上記の通知をハイブリッドモデル選択部１４に対して行ってもよいし、閾値を下回った重要度のモデルをディスプレイなどに表示するなどで上記の通知を行ってもよい。これにより、ステップＳ６において、ハイブリッドモデル選択部１４は、予め設定されていた閾値を下回った重要度のモデルを有するハイブリッドモデル候補を除いた複数のハイブリッドモデル候補のうちの１つを、ハイブリッドモデルとして選択することができる。
　以下、重要度（寄与度）を比較する方法について説明する。
　（式８）において、上述したように、関数Ｓｂ（β０＋β１ｘ１＋β２ｘ２）の出力は、２つのモデルを組み合わせた機械学習モデルを、検証用データセットを用いて係数を学習させた後に得られる出力（判定結果）である。係数β１は、この機械学習モデルにおいてｘ１を出力するモデルの重要度を示し、係数β２は、この機械学習モデルにおいてｘ２を出力するモデルの重要度を示す。つまり、係数βｉは、複数のモデルを組み合わせた機械学習モデルにおいてｘｉを出力するモデルｉの重要度を示す。
　ここで、係数βｉが０である、または、係数βｉが他の係数βｋ（ｉ≠ｋ）と比べて小さい場合には、モデルｉは、機械学習モデルにおいて判定結果に与える影響（貢献）が小さいと解析できる。
　また、係数βｉが負の値である場合、モデルｉは、機械学習モデルの過学習の原因となっている可能性があると解析できる。機械学習モデルの判定結果と、機械学習モデルを構成する複数のモデルのそれぞれは、正の相関をもつべきと考えられるからである。
　このように、複数のモデルを組み合わせた機械学習モデルを、検証用データセットを用いて係数を学習させ、係数を解析することで、組み合わせた複数のモデルそれぞれの重要度を解析することができる。
　なお、係数βｉが０である、もしくは、係数βｉが他の係数βｋと比べて小さい場合、または、係数βｉが負の値である場合には、機械学習モデルを構成するモデルとしてモデルｉを用いないようにすればよい。
　このように、ロジスティック回帰を用いて複数のモデルを組み合わせる場合、組み合わせられる複数のモデルのそれぞれの重要度の算出は容易である。一方、他の機械学習モデルでは、上述した係数解析の手法を用いることができない場合がある。しかし、推論結果が出たときの特徴量の寄与を解釈するためのツールであるＳＨＡＰ(SHapley Additive exPlanation)を利用すれば、組み合わせられる複数のモデルのそれぞれの重要度を算出することができる。
　（実施例５）
　複数のモデルには計算コストが高いモデルが含まれている場合がある。このような場合、計算コストが高いモデルが組み合わされて作成されたハイブリッドモデル候補は、使用するハードウェアの要件または実行時間の要件を満たせない可能性がある。なお、実行時間が要件内であっても処理速度は速い方がよいと考えられる。
　そこで、実施例５では、ロジスティック回帰を用いてハイブリッドモデル候補を機械学習により作成するときに、処理速度を加味して作成する。以下、その具体例について説明する。
　処理速度を加味する方法としては、ハイブリッドモデル候補を構成する複数のモデルのそれぞれの実行時間の合計を用いる方法と、機械学習する際の損失関数に正則化項を追加する方法とがある。
　処理速度を加味する１つ目の方法として、ハイブリッドモデル候補を構成する複数のモデルのそれぞれの実行時間の合計を用いる方法について説明する。
　まず、ハイブリッドモデル候補作成部１３は、モデルプール部１１にプールされているまたはモデル選択部１２により選択された複数のモデルのそれぞれにおいて、検証用データセットが入力されて検証用データセットのカテゴリを推定するまでに要した処理時間を計測（取得）する。ここで、検証用データセットにはＸ個のサンプルデータが含まれているとする。
　次に、ハイブリッドモデル候補作成部１３は、計測した処理時間から、複数のモデルのそれぞれについて、１個のサンプルデータ当たりの処理時間である平均処理時間を算出する。
　次に、ハイブリッドモデル候補作成部１３は、モデル選択部１２で選択された２つ以上のモデルのうち、平均処理時間の合計が実行時間の要件を満たす組み合わせのみで、複数のハイブリッドモデル候補を作成する。なお、ロジスティック回帰を用いてハイブリッドモデル候補を機械学習により作成する方法については、実施例４で説明した通りであるので、ここでの説明は省略する。
　続いて、処理速度を加味する２つ目の方法として、機械学習する際の損失関数に正則化項を追加する方法について説明する。
　まず、ハイブリッドモデル候補作成部１３は、モデルプール部１１にプールされているまたはモデル選択部１２により選択された複数のモデルのそれぞれにおいて、検証用データセットが入力されて検証用データセットのカテゴリを推定するまでに要した処理時間を取得する。ここで、検証用データセットにはＸ個のサンプルデータが含まれているとする。
　次に、ハイブリッドモデル候補作成部１３は、取得した処理時間から、複数のモデルのそれぞれについて、１個のサンプルデータ当たりの処理時間である平均処理時間を算出する。ハイブリッドモデル候補作成部１３は、複数のモデルのすべての平均処理時間の和に対する複数のモデルのそれぞれの平均処理時間の値をハードウェアコストと定義する。
　すなわち、ハードウェアコストＣｍは、下記の（式９）のように定義できる。
　cm=avg(modelの処理速度)/sum(avg_all_modelsの処理速度)　　　（式９）
　なお、ロジスティック回帰を用いて、ハイブリッドモデル候補を機械学習により作成する方法については、実施例４で説明した通りであるので、ここでの説明は省略する。
　次に、ハイブリッドモデル候補作成部１３は、複数のハイブリッドモデル候補それぞれの機械学習モデルの損失関数に、当該ハイブリッドモデル候補を構成するために選択された２つ以上のモデルのそれぞれのハードウェアコストを加味した正則化項を追加する。
　ハードウェアコストを加味した正則化項は、例えば、Ｌａｓｓｏ（Ｌ１ノルムまたはＬ１正則化）などの正則化項に、パラメータαとハードウェアコストＣｍとを乗算したα・Ｃｍ・Ｌ１正則化項で表すことができる。ここで、パラメータαは、ハードウェアコストの重みを変えることができるハイパーパラメータである。詳細について後述する。
　次に、ハイブリッドモデル候補作成部１３は、ハードウェアコストを加味した正則化項を追加したうえで、ロジスティック回帰の機械学習を実行する。これにより、計算コストが大きい割にハイブリッドモデル候補への貢献が小さいモデルの係数（重み）を小さくすることができるので、ハイブリッドモデル候補への貢献が小さいモデルを除外することができる。
　ここで、ハードウェアコストを正則化項として追加する方法の詳細例について説明する。
　学習に用いるデータセットのデータ数をＮとし、データセットのｎ番目のデータの真値をｔｎとし、ｎ番目のデータの説明変数セットをφｎとすると、ロジスティック回帰の損失関数Ｅ（ｗ）は、（式１０）のように表される。そして、機械学習を行う際には、損失関数Ｅ（ｗ）を最小化するような重み（係数）の組み合わせを得るように学習することになる。
Figure JPOXMLDOC01-appb-M000009
　ここで、説明変数の次元数をｍとすると、例えばＬ１正則化項を損失関数Ｅ（ｗ）に追加した損失関数Ｅ´（ｗ）は、（式１１）のように表される。（式１１）において、パラメータαは、ハイパーパラメータである。
Figure JPOXMLDOC01-appb-M000010
　本実施例では、説明変数は、各モデルの出力値である。したがって、対応するモデルのハードウェアコストＣｍを用いると、ハードウェアコストを加味した損失関数Ｅ´（ｗ）は、（式１２）のように表すことができる。
Figure JPOXMLDOC01-appb-M000011
　なお、ロジスティック回帰の場合においてハードウェアコストを正則化項として追加する方法について説明したがこれに限らない。一般の機械学習に対しても、同様に、損失関数Ｅ（ｗ）に（式１２）の右辺第二項を追加すれば、ハードウェアコストＣｍを加味した損失関数Ｅ´（ｗ）を作ることができる。
　また、上記では、正則化項としてＬ１正則化項を用いる場合の例を説明したが、Ｌ２正則化項を用いてもよい。この場合でも、同様に、ハードウェアコストＣｍを加味した損失関数を定義できる。なお、Ｌ１正則化項は、重み（係数）の値を小さくできるだけでなく０にする効果が期待できる。このため、処理時間の長いモデルを除外した組み合わせによりハイブリッドモデル候補を作成するという目的には、Ｌ２正則化項よりもＬ１正則化項を用いた方がよい。
　次に、以上のように説明した実施例５に係るハイブリッドモデル候補の作成処理について説明する。
　図１０は、実施例５に係るステップＳ３の詳細処理の一例を示すフローチャートである。なお、図１０は、図９に示すステップＳ３２１及びステップＳ３２２の処理の別の例に該当する。
　ステップＳ３において、ハイブリッドモデル作成装置１０は、検証用データセットを用いて、複数のモデルそれぞれにおける処理時間と推定結果とを取得する（Ｓ３３１）。より具体的には、ハイブリッドモデル候補作成部１３は、モデル選択部１２により選択された複数のモデルそれぞれに、複数の検証用データセットを入力してカテゴリを推定させる。ハイブリッドモデル候補作成部１３は、モデル選択部１２により選択された複数のモデルそれぞれにおいて、検証用データセットが入力されて検証用データセットのカテゴリを推定するまでに要した処理時間と推定結果とを取得する。推定結果は、上述したように、モデルの最終出力結果でもよいし、モデルの中間量であってもよい。なお、処理時間と推定結果とは、モデルプール部１１にプールされている複数のモデルそれぞれから取得してもよい。この場合、ステップＳ３３１は、ステップＳ２の前に実行されてもよい。
　次に、ハイブリッドモデル作成装置１０は、ステップＳ３３１で取得した処理時間に基づき、当該複数のモデルのすべての処理時間の和に対する当該複数のモデルのそれぞれの当該要する時間の値をハードウェアコストと定義する（Ｓ３３２）。ここで、ハードウェアコストを定義するために用いる処理時間は、平均処理時間である。
　次に、ハイブリッドモデル作成装置１０は、ステップＳ２で選択された２つ以上のモデルを組み合わせた複数のハイブリッドモデル候補を、機械学習モデルとして作成する。ここで、ハイブリッドモデル作成装置１０は、機械学習する際の複数のハイブリッドモデル候補それぞれの損失関数にハードウェアコストを加味した正則化項を追加する（Ｓ３３３）。より具体的には、複数のハイブリッドモデル候補のそれぞれの損失関数には、当該ハイブリッドモデル候補を構成するために選択された２つ以上のモデルのそれぞれのハードウェアコストが加味（乗算）された正則化項が追加される。
　なお、続くステップＳ４において複数のハイブリッドモデル候補を比較する前に、ハイブリッドモデル候補作成部１３は、検証用データセットを用いて学習させた後に得られる出力（判定結果）から係数解析を行う。これにより、ハイブリッドモデル候補作成部１３は、処理時間の長いモデルを含むハイブリッドモデル候補を除外することができる。よって、ハイブリッドモデル候補作成部１３は、続くステップＳ４において、処理時間の長いモデルを含むハイブリッドモデル候補を除外した上で複数のハイブリッドモデル候補の比較処理を行えばよい。
　（実施例６）
　ハイブリッドモデル候補は、組み合わせとして選ばれた２つ以上のモデルから出力された推定結果を入力として、検証用データセットのカテゴリを判定した判定結果を出力させる機械学習モデルとして作成され、機械学習される。実施例６では、機械学習モデルを機械学習する際に、２つ以上のモデルから出力された推定結果が確実にＮＧを示しかつ、真の値（ラベル）もＮＧである明確なＮＧを示す出力を、除外して機械学習される場合について説明する。
　図１１は、実施例６に係るモデル１とモデル２とで組み合わせて作成されるハイブリッドモデル候補の一例を概念的に示す図である。図１１に示すハイブリッドモデル候補は、機械学習により作成されるロジスティック回帰モデル（境界）である。縦軸は、検証用データセットをモデル２に入力したときに出力（推定）される出力値であり、確率で表現される。同様に、横軸は、検証用データセットをモデル１に入力したときに出力（推定）される出力値であり、確率で表現される。図１１において、検証用データセットに含まれるサンプルデータが製造品の検査画像であるとすると、黒丸は、サンプルデータの真の値が良品である検査画像であり、良品画像と称している。白丸は、サンプルデータの真の値が不良品である検査画像であり、不良品画像と称している。
　ハイブリッドモデル候補を作成する際、真の値が不良品である検査画像を良品と判定するような見逃し判定を極力抑えるすなわち判定精度を底上げすることが必要になる。見逃し判定は、ＮＧ（真の値が不良品）をＯＫ（良品）と誤判定することである。判定精度を底上げする方法としては、上述したように、各モデルで推定結果が異なっているサンプルデータを用いて機械学習されることがある。また、図１１に示すロジスティック回帰モデル（境界）となるように機械学習させるために、境界に近い良品画像に対応するモデル１及びモデル２の出力の存在が重要である。一方、モデル１及びモデル２の出力値（確率）が共に大きい不良品画像の出力（明確なＮＧを示す出力と称する）は、図１１に示すロジスティック回帰モデル（境界）となるように機械学習させる場合には、相対的に重要度が低いことがわかる。
　また、図１１に示す例では、円で囲まれた領域の出力は、明確なＮＧを示す出力である。円で囲まれた領域に含まれている明確なＮＧの数は多い。このため、図１１に示すようなモデル１及びモデル２の出力と、検証用データセットの真の値（ラベル）とでハイブリッドモデル候補を機械学習で作成する際、円で囲まれた領域にあるような、明確なＮＧを示す出力に強く影響を受け、図１１に示す境界を得られない可能性がある。
　そこで、ハイブリッドモデル候補を機械学習で作成する際に、円で囲まれた領域にある出力である明確なＮＧを示す出力を、除外して機械学習する。
　具体的には、ハイブリッドモデル候補作成部１３は、当該ハイブリッドモデル候補を構成するために選択された２つ以上のモデルのそれぞれに検証用データセットを入力してカテゴリを推定させることで得た複数の出力値から、閾値より高い値で不良品であると推定された出力値を除外する。次いで、ハイブリッドモデル候補作成部１３は、閾値より高い出力値が除外された複数の出力値を入力として用いて、かつ、当該複数の出力値に対応する検証用データセットの真の値を用いて機械学習を行うことで、複数のハイブリッドモデル候補を作成する。
　次に、以上のように説明した実施例６に係るハイブリッドモデル候補の作成処理について説明する。
　図１２は、実施例６に係るステップＳ３の詳細処理の一例を示すフローチャートである。なお、図１２は、図９に示すステップＳ３２１及びステップＳ３２２の処理の別の例に該当する。
　ステップＳ３において、ハイブリッドモデル作成装置１０は、検証用データセットを用いて、ハイブリッドモデル候補を構成する２つ以上のモデルのそれぞれに推定させて複数の出力値を取得する（Ｓ３４１）。
　次に、ハイブリッドモデル作成装置１０は、ステップＳ３４１で取得した複数の出力値から、閾値より高い値で不良品であると推定された出力値を除外する（Ｓ３４２）。ここで、閾値より高い値で不良品であると推定された出力値は、図１１を用いて説明した明確なＮＧを示す出力値である。
　次に、ハイブリッドモデル作成装置１０は、ステップＳ３４２で閾値より高い出力値が除外された複数の出力値を入力として用いて、かつ、当該複数の出力値に対応する検証用データセットの真の値を用いて機械学習を行うことで、複数のハイブリッドモデル候補を作成する（Ｓ３４２）。
　このように、ハイブリッドモデル作成装置１０は、明確なＮＧが集まる領域に含まれる出力を除外して機械学習することで、判定精度の高い複数のハイブリッドモデル候補を作成することができる。
　（実施例７）
　実施例６では、ハイブリッドモデル候補を構成する２つ以上のモデルのそれぞれの出力のうち明確なＮＧが集まる領域に含まれる出力を除外して機械学習する場合について説明したが、これに限らない。実施例７では、明確なＮＧを示す出力を除外する別の方法として、凸包を用いる方法について説明する。なお、凸包とは、与えられた点をすべて包含する最小の凸多角形（凸多面体）のことを意味する。
　図１３は、実施例７に係るモデル１とモデル２との出力と不良品画像に対応する出力の分布の凸包とを概念的に示す図である。図１４は、図１３に示す凸包の頂点を除く不良品画像に対応する出力を除去した、モデル１とモデル２との出力から作成されるハイブリッドモデル候補の一例を概念的に示す図である。図１４の（ａ）には、図１３に示す凸包の頂点以外のＮＧを示す出力が除去された、モデル１とモデル２との出力が概念的に示されている。図１４の（ｂ）には、図１４の（ａ）に示されるモデル１とモデル２との出力から機械学習で作成されるハイブリッドモデル候補としてのロジスティック回帰モデル（境界）の一例が概念的に示されている。
　具体的には、ハイブリッドモデル候補作成部１３は、当該ハイブリッドモデル候補を構成するために選択された２つ以上のモデルのそれぞれに検証用データセットを入力してカテゴリを推定させることで得た複数の出力値うち、不良品であると推定された出力値をプロットしたときの凸包を算出する。次いで、ハイブリッドモデル候補作成部１３は、複数の出力値から、凸包の頂点を除き凸包に含まれる出力値を除外する。そして、ハイブリッドモデル候補作成部１３は、凸包の頂点を除き凸包に含まれる出力値が除外された複数の出力値を入力して用いて、かつ、当該複数の出力値に対応する検証用データセットの真の値を用いて機械学習を行うことで、複数のハイブリッドモデル候補を作成する。
　これにより、見逃し（見逃し判定）が０となるような判定精度を有するハイブリッドモデル候補を作成することができる。
　次に、以上のように説明した実施例７に係るハイブリッドモデル候補の作成処理について説明する。
　図１５は、実施例７に係るステップＳ３の詳細処理の一例を示すフローチャートである。なお、図１５は、図９に示すステップＳ３２１及びステップＳ３２２の処理の別の例に該当する。
　ステップＳ３において、ハイブリッドモデル作成装置１０は、検証用データセットを用いて、ハイブリッドモデル候補を構成する２つ以上のモデルのそれぞれに推定させて複数の出力値を取得する（Ｓ３５１）。
　次に、ハイブリッドモデル作成装置１０は、ステップＳ３５１で取得した複数の出力値のうち、不良品であると推定された出力値をプロットしたときの凸包を算出する（Ｓ３５２）。
　次に、ハイブリッドモデル作成装置１０は、ステップＳ３５１で取得した複数の出力値から、凸包の頂点を除く凸包に含まれる出力値を除外する（Ｓ３５３）。
　次に、ハイブリッドモデル作成装置１０は、凸包の頂点を除く凸包に含まれる出力値が除外された複数の出力値を入力として用いて、かつ、当該複数の出力値に対応する検証用データセットの真の値を用いて機械学習を行うことで、複数のハイブリッドモデル候補を作成する（Ｓ３５４）。
　このように、凸包を用いて明確なＮＧを示す出力を除外することで、ハイブリッドモデル作成装置１０は、見逃し（見逃し判定）が０となるような判定精度の高い複数のハイブリッドモデル候補を作成することができる。
　なお、ハイブリッドモデル候補を構成するために選択されたモデルの数（次元数）が例えば１０以上などの大きい数の場合には、凸包の頂点の数が膨大になったり、凸包の算出コストが大きくなったりするため、凸包を用いる方法が採用できない場合がある。
　このような場合には、実施例６で説明したが、図１６に示されるような明確なＮＧが集まる領域（除外領域）に含まれる出力を除外すればよい。
　図１６は、実施例７に係るモデル１とモデル２との出力と除外領域とを概念的に示す図である。図１７は、図１６に示す除外領域に含まれる不良品画像に対応する出力を除去したモデル１とモデル２との出力から作成されるハイブリッドモデル候補の一例を概念的に示す図である。図１７の（ａ）には、図１６に示す除外領域に含まれるＮＧを示す出力が除去されたモデル１とモデル２との出力が概念的に示されている。図１７の（ｂ）には、図１７の（ａ）に示されるモデル１とモデル２との出力から機械学習で作成されるハイブリッドモデル候補としてのロジスティック回帰モデル（境界）の一例が概念的に示されている。
　図１６及び図１７に示すように、モデル１の出力及びモデル２の出力において共に、ＮＧを示す出力値（確率）が大きく、真の値もＮＧである明確なＮＧを示す出力が集まる領域を除外領域として算出すればよい。このような算出方法は、凸包の算出の近似的な方法として用いることができる。そして、除外領域にある明確なＮＧを示す出力を、除外して機械学習すればよい。
　なお、このような近似的手法は、次元数が小さい低次元の場合においても有効である。凸包を用いる手法を行う場合、次元数が小さい低次元のときには機械学習に用いることができるモデルの出力が少なくなりすぎ、機械学習が不安定になるからである。
　（実施例８）
　複数のハイブリッドモデル候補を比較する比較方法として、ハイブリッドモデル候補のそれぞれの判定結果を比較する方法がある。
　ここで、通常、機械学習による判定結果は確率で出力される。しかし、判定結果として出力される確率は、判定結果として示されるカテゴリの実際の確率を表すわけではない。つまり、例えば、サンプルデータとして入力された検査画像に示される製造品が不良品であるか否かを判定した判定結果が０．９であっても、その製造品が不良品である確率は９０％であるとは限らず、実際の確率と判定結果との間には差異があることが知られている。
　また、ＡＩ判定結果として示される確率を実際の確率に合わせこむ技術も知られており、Confidence Calibrationと呼ばれている。
　本実施例では、複数のハイブリッドモデル候補それぞれに出力させた判定結果として、ハイブリッドモデル候補の見逃し率を使用する。また、ハイブリッドモデル候補を作成するために選択された複数のモデルのＦＡＲ表を算出し、ハイブリッドモデル候補の見逃し率を調整するパラメータとして使用する。
　図１８は、実施例８に係るＦＡＲ曲線をモデル１に対して算出する方法を説明するための図である。図１９は、実施例８に係るモデル１のＦＡＲ表の一例を示す図である。モデル１は、ハイブリッドモデル候補を作成するために選択された複数のモデルのうちの一つである。
　ここで、ＦＡＲは、False Acceptance Rateの略であり、ＮＧをＯＫと判定と誤判定する確率である。本実施例では、ＦＡＲ値を見逃し率と称する。また、ＦＡは、False Acceptの略であり、ＮＧをＯＫと判定と誤判定することである。本実施例では、ＦＡを見逃しまたは見逃し判定と称している。ＦＡＲ表は、所定のステップサイズで閾値を変動させたときの見逃し率（ＦＡＲ値）を表にしたものである。
　具体的には、まず、ハイブリッドモデル候補作成部１３は、機械学習の際、検証用データセットを用いて、ハイブリッドモデル候補を作成するために選択された複数のモデルそれぞれのＦＡＲ表を作成する。
　例えば図１８に示す例で説明すると、まず、モデル１に検証用データセットを入力してカテゴリを推定させることで得た出力値と頻度とを取得する。次いで、図１８の（ａ）に示すように、検証用データセットのうち良品を示す出力値（確率）及びその頻度で示される分布と、検証用データセットのうち不良品を示す出力値（確率）及びその頻度で示される分布とに層別する。次いで、図１８の（ａ）に示される不良品を示す出力値（確率）の分布において、閾値を徐々に増やしたときに良品と判定される出力値の面積割合を取得することで図１８の（ｂ）に示すＦＡＲ曲線を得ることができる。なお、当該分布全体の面積を１としたときの面積割合が、見逃し率（ＦＡＲ値）に該当する。また、図１８の（ａ）に示される不良品を示す出力値（確率）の分布において、所定のステップサイズで見逃し率（ＦＡＲ値）を取得することで、図１９に示されるＦＡＲ表を取得できる。なお、図１９に示されるＦＡＲ表では、ステップサイズが０．００７８１２５と設定され、ステップサイズごとに振られたインデックスに対して０～１のＦＡＲ値が記載されている。
　このように、ハイブリッドモデル候補作成部１３は、選択された複数のモデルのそれぞれにおいて、検証用データセットのうち不良品を示す複数のデータを入力してカテゴリを推定させることで得た出力値の分布からＦＡＲ表を作成できる。ハイブリッドモデル候補作成部１３は、取得した出力値の分布において閾値を変動させることで見逃し率を得ることができるので、見逃し率の表であるＦＡＲ表を作成することができる。
　次に、ハイブリッドモデル候補作成部１３は、ハイブリッドモデル候補を構成するために選択された２つ以上のモデルのそれぞれに、検証用データセットに含まれるデータサンプルを入力してカテゴリを推定させた推定結果を取得する。ハイブリッドモデル候補作成部１３は、取得した推定結果（出力値）と、予め作成しておいたＦＡＲ表とを照合することで、当該データサンプルに対する２つ以上のモデルのそれぞれのＦＡＲ値である第１ＦＡＲ値を取得する。
　ここで、ハイブリッドモデル候補を構成する例えばモデル１に、真の値が不良品を示す検査画像であるサンプル画像を入力したときの推定結果として０．９９が得られたとする。この場合、図１９に示すモデル１のＦＡＲ表から、推定結果が０．９９であるときのＦＡＲ値を取得する。具体的には、Ｔａｂｌｅ［（１－推定結果）／ｓｔｅｐ＿ｓｉｚｅ］＝Ｔａｂｌｅ［（１－０．９９）／０．００７８１２５］＝Ｔａｂｌｅ［１］と算出できることから、図１９に示すＦＡＲ表において、Ｉｎｄｅｘ＝１のＦＡＲ値を取得する。これにより、ハイブリッドモデル候補作成部１３は、第１ＦＡＲ値としてＦＡＲ値＝０．００００２３を取得できる。
　このようにして、本実施例では、検査画像が不良品である確率を、ＦＡＲ表を作成したときの不良品を示す出力値（確率）の分布に基づいて推定（調整）することができる。
　次に、ハイブリッドモデル候補作成部１３は、取得した２つ以上のモデルのそれぞれの第１ＦＡＲ値を乗算する。これにより、ハイブリッドモデル候補作成部１３は、当該２つ以上のモデルで組み合わされたハイブリッドモデル候補のＦＡＲ値である第２ＦＡＲ値を取得することができる。
　図２０は、実施例８に係る２つのモデルそれぞれの第１ＦＡＲ値と、２つのモデルを組み合わせて作成されるハイブリッドモデル候補の第２ＦＡＲ値とを概念的に示す図である。図２０に示すように、２つ以上のモデルのそれぞれの第１ＦＡＲ値を乗算することで、２つ以上のモデルのそれぞれの第１ＦＡＲ値よりも改善された第２ＦＡＲ値を得ることができる。
　ここで、ハイブリッドモデル候補を構成する複数のモデルのＦＡＲ分布は独立であると仮定している。このため、独立な事象に対する確率の法則により、２つ以上のモデルのそれぞれの第１ＦＡＲ値を乗算することで、当該２つ以上のモデルで組み合わされたハイブリッドモデル候補の第２ＦＡＲ値を取得できる。
　なお、ハイブリッドモデル候補を構成する複数のモデルのＦＡＲ分布が独立でない場合には、複数のモデルすべての相関係数を算出して、性能が良いものが支配的となるように第２ＦＡＲ値を補正すればよい。
　相関係数の算出方法は、例えば次の通りである。すなわち、まず、ハイブリッドモデル候補作成部１３は、複数のハイブリッドモデル候補を作成するために選択された複数のモデルのそれぞれにおいて、複数の検証用データセットを入力してカテゴリを推定させることで当該複数のモデルそれぞれの推定結果を取得する。次いで、ハイブリッドモデル候補作成部１３は、取得した推定結果を用いて、複数のモデルのうち２つのモデルの組み合わせすべての相関係数を算出すればよい。これにより、ハイブリッドモデル候補作成部１３は、取得した２つ以上のモデルのそれぞれの第１ＦＡＲ値を乗算して、さらに、相関係数が大きいほど小さくなる係数を乗算することで、補正した第２ＦＡＲ値を取得することができる。
　次に、ハイブリッドモデル候補作成部１３は、第２ＦＡＲ値が、事前に設定された閾値（ＦＡＲ閾値）より小さい場合に、当該データサンプルが良品であると判定する。ハイブリッドモデル候補作成部１３は、この判定結果を、ハイブリッドモデル候補に当該データサンプル入力させたときの判定結果として取得することができる。これにより、ハイブリッドモデル候補作成部１３は、第２ＦＡＲ値と事前に設定された閾値とを用いて調整した判定結果を、複数のハイブリッドモデル候補にデータサンプルを入力したときの判定結果として取得できる。そして、ハイブリッドモデル候補作成部１３は、調整した判定結果を用いて、複数のハイブリッドモデル候補を比較できる。
　なお、ＦＡＲ閾値は、事前にハイブリッドモデルを利用するユーザがどの程度の見逃し率を許容できるかに基づいて決定されればよい。
　ここで、例えば真の値が不良品を示す検査画像のうち１ｐｐｍの見逃し率を許容することをユーザが決定し、事前に閾値（ＦＡＲ閾値）を１／１，０００，０００と設定したとする。また、ハイブリッドモデル候補を構成する複数のモデルがモデル１とモデル２である。この場合、上述のようにして、あるサンプルデータに対するモデル１とモデル２とのそれぞれの第１ＦＡＲ値を取得すると、第２ＦＡＲ値は、これらを乗算した値として取得できる。そして、第２ＦＡＲ値が、ＦＡＲ閾値である１／１，０００，０００より小さければサンプルデータはＮＧ（不良品を示す）、大きければＯＫ（良品を示す）と判定できる。
　以上の実施の形態及び実施例によれば、本開示に係るハイブリッドモデル作成装置１０及びハイブリッドモデル作成方法は、予め準備されプールされている複数のモデルを全部使用しないハイブリッドモデルを作成することができる。また、本開示に係るハイブリッドモデル作成装置１０及びハイブリッドモデル作成方法は、処理速度の観点から、計算コストが高く貢献のすくないモデルを除外したハイブリッドモデル候補を作成できるので、ハイブリッドモデルを軽量かつ効果的に作成できる。さらに、本開示に係るハイブリッドモデル作成装置１０及びハイブリッドモデル作成方法は、重要度を用いて精度向上に貢献しないモデルを除外したハイブリッドモデル候補を作成できるので、ハイブリッドモデルを軽量かつ効果的に作成できる。
　以上、本開示に係るハイブリッドモデル作成装置１０などについて、実施の形態及び各実施例に基づいて説明したが、本開示は、これら実施の形態等に限定されるものではない。本開示の主旨を逸脱しない限り、当業者が思いつく各種変形を実施の形態及び各実施例に施したものや、実施の形態及び各実施例における一部の構成要素を組み合わせて構築される別の形態も、本開示の範囲内に含まれる。
　（その他の実施の形態）
　（１）上記の実施の形態では、ハイブリッドモデル作成装置１０は、プールされている複数のモデルから選択した複数のモデルを、ロジスティック回帰などを用いて組み合わせたハイブリッドモデル候補を作成し、比較することで１つのハイブリッドモデルを選択したが、これに限らない。プールされている複数のモデルから選択した複数のモデルを組み合わせされて、組み合わせた順番に論理式で推定処理を行わせるハイブリッドモデル候補を作成して、精度を比較することで１つのハイブリッドモデルを選択してもよい。
　図２１は、その他の実施の形態に係るハイブリッドモデル作成方法の一例を示す図である。
　図２１では、プールされている複数のモデルから、モデル１、モデル２及びモデル３が選択された場合のハイブリッドモデル作成方法が示されている。図２１では、矢印で繋がれている異なる３つのモデルをこの順で組み合わせてハイブリッドモデル候補を作成する。ハイブリッドモデル候補は、モデル１、モデル２及びモデル３の組み合わせされた順番にそれぞれの精度の論理和または論理積を取った精度で比較される。図２１に示される例では、モデル３－モデル１－モデル２の順で組み合わせたハイブリッドモデル候補の精度が９３％と一番高いため、ハイブリッドモデルとして選択されることが示されている。
　図２２は、その他の実施の形態に係るハイブリッドモデル作成方法の他の一例を示す図である。図２２では、プールされている複数のモデルから、モデル１、モデル２及びモデル３が選択されている場合に、モデル１、モデル２及びモデル３の少なくとも２つ以上を組み合わせたハイブリッドモデル候補を作成する方法が示されている。図２２では、モデル２とモデル１とがこの順で組み合わされたハイブリッドモデル候補の精度が９３％と一番高いため、ハイブリッドモデルとして選択される。
　（２）上記の実施の形態では、ハイブリッドモデル作成装置１０を構成する判定閾値決定部１５は、混同行列を用いて判定閾値を決定すると説明したが、図２３Ａ及び図２３Ｂに示す混同行列の表を用いて、以下の２ステップで判定閾値を決定してもよい。
　図２３Ａ及び図２３Ｂは、その他の実施の形態に係る混同行列の表の一例を示す図である。
　まず、ステップ１において、判定閾値決定部１５は、検証用データセットを用いてハイブリッドモデル選択部１４により選択されたハイブリッドモデルの判定結果（ＯＫまたはＮＧの２値の予測値）を取得する。判定閾値決定部１５は、閾値を０．５として、判定結果と真の値（ＯＫまたはＮＧの２値）との組み合わせから、例えば図２３Ａに示す混同行列にまとめた表を作成する。
　次に、ステップ２において、例えば過検出率を０．８６％など、所望の精度を入力して、上記の判定結果（ＯＫまたはＮＧの２値の予測値）を、真の値（ＯＫまたはＮＧの２値）のリストに並び替えて図２３Ｂに示す混同行列の表を作成する。ここで、０．８６%の過検出率が所望の精度である場合、図２３Ｂに示される閾値０．４２を最適な閾値（判定閾値）として選択することができる。
　また、以下に示す形態も、本開示の一つ又は複数の態様の範囲内に含まれてもよい。
　（３）上記のハイブリッドモデル作成装置１０を構成する構成要素の一部は、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムであってもよい。前記ＲＡＭ又はハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
　（４）上記のハイブリッドモデル作成装置１０を構成する構成要素の一部は、１個のシステムＬＳＩ（Large Scale Integration：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。前記ＲＡＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、システムＬＳＩは、その機能を達成する。
　（５）上記のハイブリッドモデル作成装置１０を構成する構成要素の一部は、各装置に脱着可能なＩＣカード又は単体のモジュールから構成されているとしてもよい。前記ＩＣカード又は前記モジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。前記ＩＣカード又は前記モジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、前記ＩＣカード又は前記モジュールは、その機能を達成する。このＩＣカード又はこのモジュールは、耐タンパ性を有するとしてもよい。
　（６）また、上記のハイブリッドモデル作成装置１０を構成する構成要素の一部は、前記コンピュータプログラム又は前記デジタル信号をコンピュータで読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ－ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭ、ＢＤ（Blu-ray（登録商標） Disc）、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されている前記デジタル信号であるとしてもよい。
　また、上記のハイブリッドモデル作成装置１０を構成する構成要素の一部は、前記コンピュータプログラム又は前記デジタル信号を、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。
　（７）本開示は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。
　（８）また、本開示は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムにしたがって動作するとしてもよい。
　（９）また、前記プログラム又は前記デジタル信号を前記記録媒体に記録して移送することにより、又は前記プログラム又は前記デジタル信号を、前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
　（１０）上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。
　本開示は、検査工程における良品判定などを行うために機械学習のモデルを組み合わせたハイブリッドモデルを作成する方法、ハイブリッドモデル方法、ハイブリッドモデル作成装置、及び、プログラムなどに利用できる。
　１０　ハイブリッドモデル作成装置
　１１　モデルプール部
　１１ａ　モデル
　１２　モデル選択部
　１２ａ　モデル選択処理
　１３　ハイブリッドモデル候補作成部
　１３ａ　ハイブリッドモデル候補作成処理
　１４　ハイブリッドモデル選択部
　１４ａ　ハイブリッドモデル選択処理
　１５　判定閾値決定部
　１５ａ　判定閾値決定処理

Claims (16)

  1. 　入力されるデータのカテゴリを推定する複数のモデルをプールし、
    　前記複数のモデルの少なくとも一つのモデルは、機械学習されたモデルであり、
    　プールされている複数のモデルから２つ以上のモデルを選択して組み合わせることで、前記カテゴリを判定するハイブリッドモデル候補を複数作成し、
    　複数の前記ハイブリッドモデル候補を比較することで、前記複数のハイブリッドモデル候補のうちの１つをハイブリッドモデルとして選択する、
    　ハイブリッドモデル作成方法。
  2. 　前記入力されるデータは、製造品の検査画像であり、
    　判定されるカテゴリは、前記製造品が良品または不良品であるかである、
    　請求項１に記載のハイブリッドモデル作成方法。
  3. 　前記複数のハイブリッドモデル候補を作成する際、
    　当該ハイブリッドモデル候補を構成するために選択された前記２つ以上のモデルのそれぞれに検証用データセットを入力してカテゴリを推定させることで得た複数の出力値から、閾値より高い値で不良品であると推定された出力値を除外し、
    　前記閾値より高い出力値が除外された前記複数の出力値を入力として用いて、かつ、前記複数の出力値に対応する検証用データセットの真の値を用いて機械学習を行うことで、前記複数のハイブリッドモデル候補を作成する、
    　請求項２に記載のハイブリッドモデル作成方法。
  4. 　前記複数のハイブリッドモデル候補を作成する際、
    　当該ハイブリッドモデル候補を構成するために選択された前記２つ以上のモデルのそれぞれに複数の検証用データセットを入力してカテゴリを推定させることで得た複数の出力値のうち、不良品であると推定された出力値をプロットしたときの凸包を算出し、
    　前記複数の出力値から、前記凸包の頂点を除き前記凸包に含まれる出力値を除外し、
    　前記凸包の頂点を除き前記凸包に含まれる出力値が除外された前記複数の出力値を入力して用いて、かつ、前記複数の出力値に対応する検証用データセットの真の値を用いて機械学習を行うことで、前記複数のハイブリッドモデル候補を作成する、
    　請求項２に記載のハイブリッドモデル作成方法。
  5. 　前記２つ以上のモデルを選択する前に、プールされている複数のモデルそれぞれに、複数の検証用データセットを入力してカテゴリを推定させることでプールされている前記複数のモデルそれぞれの推定精度を取得し、
    　前記推定精度が閾値以下のモデルを、プールされている前記複数のモデルの中から除外し、
    　前記閾値以下のモデルが除外された前記複数のモデルから、前記２つ以上のモデルを選択する、
    　請求項１～４のいずれか１項に記載のハイブリッドモデル作成方法。
  6. 　前記２つ以上のモデルを選択する前に、プールされている複数のモデルそれぞれに、複数の検証用データセットを入力してカテゴリを推定させることでプールされている前記複数のモデルそれぞれの推定結果を取得し、
    　前記推定結果を用いて、プールされている前記複数のモデルのすべての相関を算出し、
    　他のすべてのモデルとの相関が閾値より強いモデルをプールされている前記複数のモデルの中から除外し、
    　前記閾値より強いモデルが除外された後において前記複数のモデルから、前記２つ以上のモデルを選択する、
    　請求項１～４のいずれか１項に記載のハイブリッドモデル作成方法。
  7. 　前記ハイブリッドモデル候補を複数作成する前に、プールされているまたは選択された複数のモデルそれぞれに、複数の検証用データセットを入力してカテゴリを推定させることで当該複数のモデルそれぞれの推定結果を取得し、
    　前記推定結果を用いて、当該複数のモデルのすべての相関を算出し、
    　前記ハイブリッドモデル候補を複数作成する際に、閾値より強い相関がある２つのモデルの組み合わせを含めないように、選択された前記２つ以上のモデルを組み合わせることで、前記ハイブリッドモデル候補を複数作成する、
    　請求項１～４のいずれか１項に記載のハイブリッドモデル作成方法。
  8. 　深層学習されたモデルでは、前記推定結果は、前記深層学習されたモデルの中間層または最終層の出力結果である、
    　請求項６または７に記載のハイブリッドモデル作成方法。
  9. 　前記複数のハイブリッドモデル候補それぞれは、当該ハイブリッドモデル候補を構成するために選択された前記２つ以上のモデルのそれぞれに複数の検証用データセットを入力してカテゴリを推定させることで得た２つ以上の出力結果を入力として、前記複数の検証用データセットのカテゴリを判定した判定結果を出力させる機械学習モデルであり、
    　前記複数のハイブリッドモデル候補に出力させた判定結果を比較することで、前記複数のハイブリッドモデル候補のうちの１つをハイブリッドモデルとして選択する、
    　請求項１～８のいずれか１項に記載のハイブリッドモデル作成方法。
  10. 　前記複数のハイブリッドモデル候補を比較する際、
    　　前記複数のハイブリッドモデル候補それぞれに出力させた判定結果から、当該ハイブリッドモデル候補を構成するために選択された前記２つ以上のモデルのそれぞれの重要度を算出し、
    　　算出された重要度のうち予め設定されていた閾値を下回った重要度のモデルを通知する、
    　請求項９に記載のハイブリッドモデル作成方法。
  11. 　前記複数のハイブリッドモデル候補を比較する際、
    　　前記複数のハイブリッドモデル候補それぞれに出力された判定結果から、当該ハイブリッドモデル候補を構成するために選択された前記２つ以上のモデルのそれぞれの重要度を算出し、
    　前記ハイブリッドモデルとして選択する際、
    　算出された重要度のうち予め設定されていた閾値を下回った重要度のモデルを有するハイブリッドモデル候補を除いた前記複数のハイブリッドモデル候補のうちの１つを、ハイブリッドモデルとして選択する、
    　請求項９に記載のハイブリッドモデル作成方法。
  12. 　さらに、前記複数のハイブリッドモデル候補を作成するために選択された複数のモデルのそれぞれにおいて、検証用データセットが入力されて前記検証用データセットのカテゴリを推定するまでに要した処理時間を取得し、
    　取得した前記処理時間に基づき、前記複数のモデルのすべての前記処理時間の和に対する前記複数のモデルのそれぞれの当該処理時間の値をハードウェアコストと定義し、
    　前記複数のハイブリッドモデル候補を作成する際、
    　前記複数のハイブリッドモデル候補それぞれの機械学習モデルの損失関数に、当該ハイブリッドモデル候補を構成するために選択された前記２つ以上のモデルのそれぞれのハードウェアコストを加味した正則化項を追加する、
    　請求項９～１１のいずれか１項に記載のハイブリッドモデル作成方法。
  13. 　さらに、前記複数のハイブリッドモデル候補を作成するために選択された複数のモデルのそれぞれにおいて、前記入力されるデータとして、検証用データセットのうち不良品を示す複数のデータを入力してカテゴリを推定させることで得た出力値の分布に基づいて、閾値を変動させたときの見逃し率の表であるＦＡＲ表を作成し、
    　前記複数のハイブリッドモデル候補を比較する際、
    　当該ハイブリッドモデル候補を構成するために選択された前記２つ以上のモデルのそれぞれに、検証用データセットに含まれるデータサンプルを入力してカテゴリを推定させることで得た出力値と、前記ＦＡＲ表とを照合することで、前記データサンプルに対する前記２つ以上のモデルのそれぞれの第１ＦＡＲ値を取得し、
    　取得した前記２つ以上のモデルのそれぞれの第１ＦＡＲ値を乗算することで、前記ハイブリッドモデル候補の第２ＦＡＲ値を取得し、
    　前記第２ＦＡＲ値が事前に設定された閾値より小さい場合に、前記データサンプルが良品であるとの判定結果を、複数のハイブリッドモデル候補それぞれに出力させた判定結果として取得して、比較する、
    　請求項２に記載のハイブリッドモデル作成方法。
  14. 　さらに、前記複数のハイブリッドモデル候補を作成するために選択された複数のモデルのそれぞれにおいて、複数の検証用データセットを入力してカテゴリを推定させることで前記選択された複数のモデルそれぞれの推定結果を取得し、
    　前記推定結果を用いて、前記選択された複数のモデルのうち２つのモデルの組み合わせすべての相関係数を算出し、
    　前記第２ＦＡＲ値を取得する際、
    　取得した前記２つ以上のモデルのそれぞれの第１ＦＡＲ値を乗算して、さらに、前記相関係数が大きいほど小さくなる係数を乗算することで、前記第２ＦＡＲ値を取得する、
    　請求項１３に記載のハイブリッドモデル作成方法。
  15. 　入力されるデータのカテゴリを推定する複数のモデルをプールするモデルプール部と、
    　前記複数のモデルの少なくとも一つのモデルは、機械学習されたモデルであり、プールされている複数のモデルから２つ以上のモデルを選択するモデル選択部と、
    　選択された前記２つ以上のモデルを組み合わせることで、前記カテゴリを判定するハイブリッドモデル候補を複数作成し、複数の前記ハイブリッドモデル候補を比較するハイブリッドモデル候補作成部と、
    　前記複数のハイブリッドモデル候補のうちの１つをハイブリッドモデルとして選択するハイブリッド選択部とを備える、
    　ハイブリッドモデル作成装置。
  16. 　入力されるデータのカテゴリを推定する複数のモデルをプールし、
    　前記複数のモデルの少なくとも一つのモデルは、機械学習されたモデルであり、
    　プールされている複数のモデルから２つ以上のモデルを選択して組み合わせることで、前記カテゴリを判定するハイブリッドモデル候補を複数作成し、
    　複数の前記ハイブリッドモデル候補を比較することで、前記複数のハイブリッドモデル候補のうちの１つをハイブリッドモデルとして選択することを、
    　コンピュータに実行させるプログラム。
PCT/JP2022/014692 2021-04-05 2022-03-25 ハイブリッドモデル作成方法、ハイブリッドモデル作成装置、及び、プログラム WO2022215559A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2023512942A JPWO2022215559A1 (ja) 2021-04-05 2022-03-25
US18/283,411 US20240160196A1 (en) 2021-04-05 2022-03-25 Hybrid model creation method, hybrid model creation device, and recording medium
CN202280019081.2A CN116917910A (zh) 2021-04-05 2022-03-25 混合模型制作方法、混合模型制作装置以及程序

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202163171016P 2021-04-05 2021-04-05
US63/171,016 2021-04-05

Publications (1)

Publication Number Publication Date
WO2022215559A1 true WO2022215559A1 (ja) 2022-10-13

Family

ID=83545406

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/014692 WO2022215559A1 (ja) 2021-04-05 2022-03-25 ハイブリッドモデル作成方法、ハイブリッドモデル作成装置、及び、プログラム

Country Status (4)

Country Link
US (1) US20240160196A1 (ja)
JP (1) JPWO2022215559A1 (ja)
CN (1) CN116917910A (ja)
WO (1) WO2022215559A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116822253A (zh) * 2023-08-29 2023-09-29 山东省计算中心（国家超级计算济南中心） 适用于masnum海浪模式的混合精度实现方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019015654A (ja) * 2017-07-10 2019-01-31 ファナック株式会社 機械学習装置、検査装置及び機械学習方法
CN112085205A (zh) * 2019-06-14 2020-12-15 第四范式（北京）技术有限公司 用于自动训练机器学习模型的方法和系统
JP6801149B1 (ja) * 2020-01-20 2020-12-16 楽天株式会社 情報処理装置、情報処理方法およびプログラム
KR102211852B1 (ko) * 2020-03-20 2021-02-03 주식회사 루닛 데이터의 특징점을 취합하여 기계 학습하는 방법 및 장치
US20210081725A1 (en) * 2018-08-07 2021-03-18 Advanced New Technologies Co., Ltd. Method, apparatus, server, and user terminal for constructing data processing model

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019015654A (ja) * 2017-07-10 2019-01-31 ファナック株式会社 機械学習装置、検査装置及び機械学習方法
US20210081725A1 (en) * 2018-08-07 2021-03-18 Advanced New Technologies Co., Ltd. Method, apparatus, server, and user terminal for constructing data processing model
CN112085205A (zh) * 2019-06-14 2020-12-15 第四范式（北京）技术有限公司 用于自动训练机器学习模型的方法和系统
JP6801149B1 (ja) * 2020-01-20 2020-12-16 楽天株式会社 情報処理装置、情報処理方法およびプログラム
KR102211852B1 (ko) * 2020-03-20 2021-02-03 주식회사 루닛 데이터의 특징점을 취합하여 기계 학습하는 방법 및 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116822253A (zh) * 2023-08-29 2023-09-29 山东省计算中心（国家超级计算济南中心） 适用于masnum海浪模式的混合精度实现方法及系统
CN116822253B (zh) * 2023-08-29 2023-12-08 山东省计算中心（国家超级计算济南中心） 适用于masnum海浪模式的混合精度实现方法及系统

Also Published As

Publication number Publication date
US20240160196A1 (en) 2024-05-16
CN116917910A (zh) 2023-10-20
JPWO2022215559A1 (ja) 2022-10-13

Similar Documents

Publication Publication Date Title
US6636862B2 (en) Method and system for the dynamic analysis of data
US20190087737A1 (en) Anomaly detection and automated analysis in systems based on fully masked weighted directed
JP4627674B2 (ja) データ処理方法及びプログラム
Liquet et al. Bayesian variable selection regression of multivariate responses for group data
US20110029469A1 (en) Information processing apparatus, information processing method and program
US10394631B2 (en) Anomaly detection and automated analysis using weighted directed graphs
JP7028322B2 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
US20190311258A1 (en) Data dependent model initialization
CN111834010A (zh) 一种基于属性约简和XGBoost的COVID-19检测假阴性识别方法
US20200334557A1 (en) Chained influence scores for improving synthetic data generation
US11748600B2 (en) Quantization parameter optimization method and quantization parameter optimization device
WO2022215559A1 (ja) ハイブリッドモデル作成方法、ハイブリッドモデル作成装置、及び、プログラム
WO2007020466A2 (en) Data classification apparatus and method
CN114169460A (zh) 样本筛选方法、装置、计算机设备和存储介质
US20210248293A1 (en) Optimization device and optimization method
CN112801231A (zh) 用于业务对象分类的决策模型训练方法和装置
CN114830137A (zh) 用于生成预测模型的方法和系统
US20230214668A1 (en) Hyperparameter adjustment device, non-transitory recording medium in which hyperparameter adjustment program is recorded, and hyperparameter adjustment program
CN111026661B (zh) 一种软件易用性全面测试方法及系统
CN114386580A (zh) 决策模型训练、决策方法、装置、电子设备及存储介质
Mbaluka et al. Application of principal component analysis and hierarchical regression model on Kenya macroeconomic indicators
de Almeida et al. Multiple objective particle swarm for classification-rule discovery
US20230206054A1 (en) Expedited Assessment and Ranking of Model Quality in Machine Learning
US20220237459A1 (en) Generation method, computer-readable recording medium storing generation program, and information processing apparatus
US20220215272A1 (en) Deterioration detection method, computer-readable recording medium storing deterioration detection program, and information processing apparatus

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22784544

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2023512942

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 202280019081.2

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 18283411

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22784544

Country of ref document: EP

Kind code of ref document: A1