WO2023073967A1 - Accuracy determination program, accuracy determination device, and accuracy determination method - Google Patents

Accuracy determination program, accuracy determination device, and accuracy determination method Download PDF

Info

Publication number
WO2023073967A1
WO2023073967A1 PCT/JP2021/040157 JP2021040157W WO2023073967A1 WO 2023073967 A1 WO2023073967 A1 WO 2023073967A1 JP 2021040157 W JP2021040157 W JP 2021040157W WO 2023073967 A1 WO2023073967 A1 WO 2023073967A1
Authority
WO
WIPO (PCT)
Prior art keywords
machine learning
learning model
data
accuracy
correction
Prior art date
Application number
PCT/JP2021/040157
Other languages
French (fr)
Japanese (ja)
Inventor
顕一郎 成田
理史 新宮
Original Assignee
富士通株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士通株式会社 filed Critical 富士通株式会社
Priority to PCT/JP2021/040157 priority Critical patent/WO2023073967A1/en
Publication of WO2023073967A1 publication Critical patent/WO2023073967A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Abstract

An accuracy determination program causes a computer to execute a process in which on the basis of a second plurality of data pieces obtained by converting a first plurality of data pieces in accordance with a first rule, a first machine learning model is updated to generate a second machine learning model, a fourth plurality of data pieces obtained by converting a third plurality of data pieces in accordance with the first rule are inputted into the second machine learning model to acquire a prediction result, feature values established on the basis of parameters of the first machine learning model for each of the fourth plurality of data pieces are clustered to decide correct labels for each of the fourth plurality of data pieces, and the accuracy of the second machine learning model is determined on the basis of the prediction result and the correct labels. The computer can thereby show the effect that a fairness correction process has on the accuracy of a machine learning model.

Description

精度判定プログラム、精度判定装置、および精度判定方法Accuracy Judgment Program, Accuracy Judgment Apparatus, and Accuracy Judgment Method
　本発明は、精度判定技術に関する。 The present invention relates to accuracy determination technology.
　ローン審査など機械学習モデルを用いて審査や審査の支援が行われる場合がある。しかしながら、機械学習モデルが不公平なバイアスを持つデータで訓練されてしまった結果、例えば、性差に依存した判定が行われてしまう場合がある。 In some cases, such as loan screening, machine learning models are used to support screening and screening. However, machine learning models may be trained on unfairly biased data, resulting in, for example, gender-dependent decisions.
　そこで、不公平なバイアスを持つデータを排除して機械学習モデルによる判定の公平性を担保するための公平性是正処理が必要になってくる。 Therefore, fairness correction processing is required to eliminate data with unfair biases and ensure the fairness of judgments by machine learning models.
特表２０１８－５１３４９０号公報Japanese Patent Publication No. 2018-513490 特開２０１７－０６８７１０号公報JP 2017-068710 A 米国特許出願公開第２０１８／０２８５７７２号明細書U.S. Patent Application Publication No. 2018/0285772
　しかしながら、機械学習モデルの予測精度は公平性是正処理により劣化する場合がある。公平性是正処理を施した場合に予測精度がどれくらいであるのかは、人手で付された正解ラベルを有するテストデータがないと判定できない。そのため、特に、機械学習モデルの運用中に公平性是正処理による機械学習モデルへの精度影響がわからないと、公平性是正処理を機械学習モデルに適用してよいかの判断ができない。 However, the prediction accuracy of machine learning models may deteriorate due to fairness correction processing. How much the prediction accuracy is when fairness correction processing is performed cannot be determined without test data having correct labels attached manually. Therefore, unless the influence of fairness correction processing on the accuracy of the machine learning model is known during the operation of the machine learning model, it is impossible to judge whether the fairness correction processing can be applied to the machine learning model.
　１つの側面では、公平性是正処理による機械学習モデルへの精度影響を示すことを目的とする。 In one aspect, we aim to show the accuracy impact of fairness correction processing on machine learning models.
　１つの態様において、精度判定プログラムは、第１の複数のデータを第１のルールに従って変換して得られる第２の複数のデータに基づいて、第１の機械学習モデルを更新して第２の機械学習モデルを生成し、第３の複数のデータを第１のルールに従って変換して得られる第４の複数のデータを第２の機械学習モデルへ入力することによって、予測結果を取得し、第４の複数のデータのそれぞれの第１の機械学習モデルのパラメータに基づいて定まる特徴量をクラスタリングすることによって、第４の複数のデータのそれぞれの正解ラベルを決定し、予測結果と正解ラベルとに基づいて、第２の機械学習モデルの精度を判定する処理をコンピュータに実行させる。 In one aspect, the accuracy determination program updates the first machine learning model based on the second plurality of data obtained by converting the first plurality of data according to the first rule, and updates the second Obtaining a prediction result by generating a machine learning model and inputting a fourth plurality of data obtained by converting the third plurality of data according to the first rule to the second machine learning model, By clustering the feature amounts determined based on the parameters of the first machine learning model for each of the plurality of data in 4, the correct label for each of the plurality of data in 4th is determined, and the prediction result and the correct label are combined. Based on this, the computer is caused to execute processing for determining the accuracy of the second machine learning model.
　１つの側面では、公平性是正処理による機械学習モデルへの精度影響を示すことができる。 In one aspect, it is possible to show the accuracy impact of fairness correction processing on machine learning models.
図１は、本実施形態にかかる是正処理の一例を示す図である。FIG. 1 is a diagram showing an example of correction processing according to this embodiment. 図２は、実施例１にかかる精度判定装置５の構成例を示す図である。FIG. 2 is a diagram illustrating a configuration example of the accuracy determination device 5 according to the first embodiment. 図３は、実施例２にかかる分類システム１の構成例を示す図である。FIG. 3 is a diagram illustrating a configuration example of the classification system 1 according to the second embodiment. 図４は、本実施形態にかかる精度判定方法の一例を示す図である。FIG. 4 is a diagram showing an example of an accuracy determination method according to this embodiment. 図５は、本実施形態にかかる予測精度および公平性スコアの表示例を示す図である。FIG. 5 is a diagram showing a display example of prediction accuracy and fairness score according to the present embodiment. 図６は、本実施形態にかかる予測精度および公平性スコアの出力方法の一例を示す図である。FIG. 6 is a diagram showing an example of a prediction accuracy and fairness score output method according to the present embodiment. 図７は、本実施形態にかかる精度判定処理の流れの一例を示すフローチャートである。FIG. 7 is a flowchart showing an example of the flow of accuracy determination processing according to this embodiment. 図８は、本実施形態にかかる情報処理装置１０のハードウェア構成例を示す図である。FIG. 8 is a diagram showing a hardware configuration example of the information processing apparatus 10 according to this embodiment.
　以下に、本実施形態にかかる精度判定プログラム、精度判定装置、および精度判定方法の実施例を図面に基づいて詳細に説明する。なお、この実施例により本実施形態が限定されるものではない。また、各実施例は、矛盾のない範囲内で適宜組み合わせることができる。 Examples of the accuracy determination program, the accuracy determination device, and the accuracy determination method according to the present embodiment will be described below in detail based on the drawings. In addition, this embodiment is not limited by this Example. Moreover, each embodiment can be appropriately combined within a range without contradiction.
　まず、機械学習による不公平な判定とその是正処理について説明する。図１は、本実施形態にかかる是正処理の一例を示す図である。図１の左側の表は、属性Ａ～Ｄを入力データ、すなわち、特徴量とし、“Ａ”か“Ｂ”の分類結果を正解ラベルとして機械学習により生成した機械学習モデルの判定結果の一例を示すものである。 First, we will explain the unfair judgment by machine learning and its corrective action. FIG. 1 is a diagram showing an example of correction processing according to this embodiment. The table on the left side of FIG. 1 shows an example of the judgment result of a machine learning model generated by machine learning using attributes A to D as input data, that is, feature amounts, and using the classification results of "A" or "B" as correct labels. is shown.
　図１の左側の表を参照すると、Ｎｏ．３の女性とＮｏ．５の男性は、性別以外の属性Ｂ～Ｄが全て同一であるのに異なる判定結果となっている。これは、機械学習モデルによって性差に依存した不公平な判定が行われたことを示している。 　Referring to the table on the left side of Fig. 1, No. 3 woman and No. 5 men have different determination results even though attributes B to D other than gender are all the same. This indicates that the machine learning model made gender-dependent unfair judgments.
　そこで、公平性是正処理として、図１の右側の表に示すように、性別を示す属性Ａを保護属性として保護属性以外の属性Ｂ～Ｄの数値を変更して判定結果が性差に依存しないように機械学習モデルを再訓練させる。なお、保護属性である属性Ａ以外の属性Ｂ～Ｄの数値は、所定のルールに従って変換されてもよいし、数値的にあり得る範囲でランダムに変更されてもよい。また、属性Ｂ～Ｄの全ての数値が変更されなくてよい。 Therefore, as a fairness correcting process, as shown in the table on the right side of FIG. to retrain the machine learning model. Note that the numerical values of attributes B to D other than attribute A, which is a protected attribute, may be converted according to a predetermined rule, or may be changed randomly within a numerically possible range. Also, all the numerical values of attributes B to D need not be changed.
　また、公平性是正処理による効果は、例えば、公平性是正処理による公平性スコアの一例であるＤＩスコアにより判定可能である。ＤＩスコアは、次の式（１）を用いて算出可能である。 Also, the effect of the fairness correction process can be determined, for example, by the DI score, which is an example of the fairness score of the fairness correction process. The DI score can be calculated using the following formula (1).
Figure JPOXMLDOC01-appb-M000001
Figure JPOXMLDOC01-appb-M000001
　式（１）を用いて、是正前後の判定結果の公平性スコアを算出して比較することにより公平性是正処理の効果が判定可能である。 The effect of the fairness correction process can be determined by calculating and comparing the fairness scores of the determination results before and after correction using formula (1).
　このような公平性是正処理によって、不公平な判定を行うように訓練されてしまった機械学習モデルを是正し、効果を確認できる。しかしながら、公平性是正処理では入力データを加工するため、機械学習モデルの予測精度が劣化する可能性がある。そのため、特に機械学習モデルをシステムに導入して運用する場合に公平性是正処理を適用するとシステムへの影響が大きくなるという問題がある。このような問題に対応するため、例えば、機械学習モデルの運用中に、機械学習モデルの精度評価の一例であるＡＣＣ（ａｃｃｕｒａｃｙ：正解率）を観測し、運用中の機械学習モデルの予測精度の評価を行うことが考えられる。しかしながら、運用中は入力データに対する正解ラベルがわからないため、機械学習モデルの出力結果の評価が困難である。また、正解ラベルは人手で付ける必要があり、コストがかかる。そこで、本実施形態では、公平性是正処理による機械学習モデルへの精度影響を示すことを目的の一つとする。 With such fairness correction processing, machine learning models that have been trained to make unfair judgments can be corrected and the effects can be confirmed. However, since input data is processed in fairness correction processing, the prediction accuracy of the machine learning model may deteriorate. Therefore, especially when a machine learning model is introduced into a system and operated, there is a problem that the application of fairness correction processing has a large influence on the system. In order to deal with such problems, for example, ACC (accuracy), which is an example of accuracy evaluation of the machine learning model, is observed while the machine learning model is in operation, and the prediction accuracy of the machine learning model in operation is evaluated. It is conceivable to conduct an evaluation. However, since the correct label for the input data is unknown during operation, it is difficult to evaluate the output result of the machine learning model. In addition, the correct label must be attached manually, which is costly. Therefore, one of the objects of the present embodiment is to show the effect of the fairness correction process on the accuracy of the machine learning model.
［精度判定装置５の機能構成］
　まず、図２を用いて、本実施形態の実施例１にかかる精度判定装置５の機能構成を説明する。図２は、実施例１にかかる精度判定装置５の構成例を示す図である。精度判定装置５は、公平性是正処理による機械学習モデルへの精度影響を示す。 [Functional configuration of accuracy determination device 5]
First, with reference to FIG. 2, the functional configuration of the accuracy determination device 5 according to Example 1 of the present embodiment will be described. FIG. 2 is a diagram illustrating a configuration example of the accuracy determination device 5 according to the first embodiment. Accuracy determination device 5 indicates the impact of the fairness correction process on the accuracy of the machine learning model.
　精度判定装置５は、機械学習モデルへの精度影響を示すため、機械学習モデルのパラメータに基づく特徴量のクラスタリングによる正解ラベルと、是正データで機械学習モデルを再訓練して生成された是正モデルの予測結果とを比較する。精度判定装置５は、モデル記憶部１１、分類部１３、生成部１４、ラベル付与部１５、判定部１６、および学習部１７を有する。 In order to show the accuracy influence on the machine learning model, the accuracy determination device 5 uses the correct label by clustering the feature amount based on the parameter of the machine learning model and the corrective model generated by retraining the machine learning model with the corrective data. Compare with prediction results. Accuracy determination device 5 includes model storage unit 11 , classification unit 13 , generation unit 14 , label assignment unit 15 , determination unit 16 , and learning unit 17 .
　モデル記憶部１１は、機械学習モデルを記憶する。より具体的には、モデル記憶部１１は、機械学習モデルのニューラルネットワークのパラメータを記憶する。パラメータには、ニューロン間の重みが含まれる。ニューロン間の重みは、機械学習により更新される。 The model storage unit 11 stores machine learning models. More specifically, the model storage unit 11 stores neural network parameters of the machine learning model. The parameters include weights between neurons. Weights between neurons are updated by machine learning.
　是正部１２は、例えば、図１の右側の表に示すように、機械学習モデルに対する入力データを所定のルールに従って作成された是正フィルタを用いて変換して是正データを生成する。是正データは、不公平な判定を行うように訓練されてしまった機械学習モデルを是正するために、入力データとして機械学習モデルに入力されたり、訓練データとして機械学習モデルの再訓練に用いられたりする。 For example, as shown in the table on the right side of FIG. 1, the correction unit 12 converts the input data for the machine learning model using a correction filter created according to a predetermined rule to generate correction data. Correction data is input to a machine learning model as input data to correct a machine learning model that has been trained to make unfair judgments, or is used as training data to retrain the machine learning model. do.
　分類部１３は、モデル記憶部１１が記憶する機械学習モデルに基づいて、是正部１２によって入力データを変換して生成される是正データを分類する。 The classification unit 13 classifies the correction data generated by converting the input data by the correction unit 12 based on the machine learning model stored in the model storage unit 11 .
　生成部１４は、機械学習モデルの出力層のニューロンの出力値と判定結果とに基づいて、是正データの特徴量空間であるＤＴ（Ｄｕｒａｂｌｅ　Ｔｏｐｏｌｏｇｙ　Ｓｐａｃｅ）空間に、是正データに対応する各点をプロットする。ここで、ＤＴ空間は、出力層の各ニューロンの出力値に対応した軸を有する、是正データの特徴量空間である。そして、生成部１４は、ＤＴ空間にプロットした各点を分類ごとの密度に基づいてクラスタリングする。このようなＤＴ空間に対する処理の詳細については後述する。 The generation unit 14 plots each point corresponding to the correction data in a DT (Durable Topology Space) space, which is the feature amount space of the correction data, based on the output values of the neurons in the output layer of the machine learning model and the judgment results. do. Here, the DT space is a feature amount space of corrected data having an axis corresponding to the output value of each neuron in the output layer. Then, the generation unit 14 clusters the points plotted in the DT space based on the density of each classification. Details of such processing for the DT space will be described later.
　ラベル付与部１５は、生成部１４によるクラスタリング結果から各クラスタのラベルを決定し、各クラスタに属する各点に対応する是正データに、決定されたラベルを付与する。 The label assigning unit 15 determines the label of each cluster from the clustering result by the generating unit 14, and assigns the determined label to the correction data corresponding to each point belonging to each cluster.
　判定部１６は、分類部１３によって分類された分類結果、すなわち、是正データに対する機械学習モデルの予測結果と、ラベル付与部１５によって付与されたラベルとに基づいて、機械学習モデルの予測精度を判定する。判定部１６は、ラベル付与部１５によって付与されたラベルを正解ラベルとすることで、公平性是正処理による機械学習モデルの予測精度への影響を判定できる。 The determination unit 16 determines the prediction accuracy of the machine learning model based on the classification result classified by the classification unit 13, that is, the prediction result of the machine learning model for the correction data and the label assigned by the label assignment unit 15. do. The determination unit 16 can determine the influence of the fairness correction process on the prediction accuracy of the machine learning model by using the label assigned by the label assignment unit 15 as the correct label.
　学習部１７は、是正データを特徴量とし、ラベル付与部１５によって付与されたラベルを正解ラベルとして、モデル記憶部１１が記憶する機械学習モデルを再訓練して更新する。 The learning unit 17 retrains and updates the machine learning model stored in the model storage unit 11, using the correction data as the feature amount and the label given by the labeling unit 15 as the correct label.
　次に、図３を用いて、本実施形態の実施例２にかかる分類システム１の機能構成を説明する。図３は、実施例２にかかる分類システム１の構成例を示す図である。図３に示すように、分類システム１は、入力センサ２、データ記憶装置３、分類装置４、精度判定装置５、および表示装置６を有する。 Next, the functional configuration of the classification system 1 according to Example 2 of this embodiment will be described using FIG. FIG. 3 is a diagram illustrating a configuration example of the classification system 1 according to the second embodiment. As shown in FIG. 3 , the classification system 1 has an input sensor 2 , a data storage device 3 , a classification device 4 , an accuracy determination device 5 and a display device 6 .
　入力センサ２は、分類対象のデータを取得するセンサである。例えば、画像を分類する場合には、入力センサ２はカメラである。 The input sensor 2 is a sensor that acquires data to be classified. For example, when classifying images, the input sensor 2 is a camera.
　データ記憶装置３は、入力センサ２により取得された入力データを記憶する。データ記憶装置３は、例えば、画像データを記憶する。 The data storage device 3 stores the input data acquired by the input sensor 2. The data storage device 3 stores image data, for example.
　分類装置４は、データ記憶装置３が記憶する入力データを、入力データごとに運用モデルを用いて分類する装置である。ここで、運用モデルとは、分類システム１において運用される機械学習モデルを指す。分類装置４は、例えば、カメラ装置によって撮像した人物が写った画像を運用モデルに入力し、当該人物が制服を着用しているか否かを判定し、着用か非着用を分類結果として出力する。また、分類装置４は、分類結果を表示装置６に送信してもよい。 The classification device 4 is a device that classifies the input data stored in the data storage device 3 using an operation model for each input data. Here, the operating model refers to a machine learning model operated in the classification system 1 . The classification device 4, for example, inputs an image of a person captured by a camera device into the operation model, determines whether the person wears a uniform, and outputs whether the person wears a uniform or not as a result of classification. Also, the classification device 4 may transmit the classification result to the display device 6 .
　精度判定装置５は、公平性是正処理による運用モデルへの精度影響を示すため、運用モデルを予め複製して是正モデルとして記憶する（ｔ１）。是正モデルは初回のみ運用モデルの複製であるが、その後は、是正データに基づいて再訓練され是正モデルのパラメータが更新されていくことになる。なお、運用モデルの一例は第１の機械学習モデル、是正モデルの一例は第２の機械学習モデルにそれぞれ相当する。 The accuracy determination device 5 duplicates the operation model in advance and stores it as a correction model in order to show the accuracy impact of the fairness correction process on the operation model (t1). The corrective model is a copy of the operational model only for the first time, but after that, it is retrained based on the corrective data and the parameters of the corrective model are updated. An example of the operation model corresponds to the first machine learning model, and an example of the corrective model corresponds to the second machine learning model.
　また、精度判定装置５は、例えば、所定のルールに従って作成された是正フィルタに入力データを通すことで、入力データに対して公平性是正処理を実行し、是正データを生成する（ｔ２）。なお、是正データは入力データごとに生成される。また、複数の是正案として所定のルールが複数ある場合は、各ルールに従って是正フィルタが作成され、各是正フィルタに入力データを通すことで各是正案に対応する複数の是正データが生成される。なお、所定のルールの一例は、第１のルールに相当する。 Also, the accuracy determination device 5 performs fairness correction processing on the input data by passing the input data through a correction filter created according to a predetermined rule, for example, and generates correction data (t2). Correction data is generated for each input data. If there are a plurality of predetermined rules as a plurality of correction proposals, a correction filter is created according to each rule, and input data is passed through each correction filter to generate a plurality of correction data corresponding to each correction proposal. An example of the predetermined rule corresponds to the first rule.
　また、精度判定装置５は、是正データに基づいて是正モデルを再訓練して更新する（ｔ３）。なお、複数の是正案がある場合は、各是正案に対応する是正データに基づいて、各是正案に対応する是正モデルが更新される。また、ここで再訓練され更新された是正モデルの一例は、第１の複数のデータを第１のルールに従って変換して得られる第２の複数のデータに基づいて、第１の機械学習モデルを更新して生成される第２の機械学習モデルに相当する。 Also, the accuracy determination device 5 retrains and updates the correction model based on the correction data (t3). If there are multiple correction proposals, the correction model corresponding to each correction proposal is updated based on the correction data corresponding to each correction proposal. Also, an example of the retrained and updated corrective model here is a first machine learning model based on a second plurality of data obtained by transforming the first plurality of data according to the first rule. It corresponds to the second machine learning model generated by updating.
　次に、精度判定装置５は、是正データを是正モデルに入力して、公平性是正処理による運用モデルへの精度影響を判定する（ｔ４）。なお、複数の是正案がある場合は、各是正データは対応する是正モデルに入力され、是正案ごとに精度影響が判定される。また、精度影響について、正解付きデータを使って一定期間ごとに入力データに対するラベル付けを行い、人手で観測することもできるが正解付きデータの作成にはなどにコストがかかってしまう。そのため、本実施形態では、精度判定装置５が、入力データに対する是正モデルの出力結果を基に密度ベースでクラスタリングし、クラスタリング結果に基づいて入力データに自動的にラベル付けを行う。 Next, the accuracy determination device 5 inputs the correction data to the correction model and determines the effect of the fairness correction process on the accuracy of the operation model (t4). If there are multiple correction proposals, each correction data is input to the corresponding correction model, and the accuracy impact is determined for each correction proposal. In addition, regarding the accuracy effect, it is possible to label the input data at regular intervals using data with correct answers and manually observe it, but it costs money to create data with correct answers. Therefore, in this embodiment, the accuracy determination device 5 performs density-based clustering based on the output results of the corrective model for the input data, and automatically labels the input data based on the clustering results.
　図４は、本実施形態にかかる精度判定方法の一例を示す図である。まず、精度判定装置５は、是正モデルに複数の是正データを入力し、個別に判定を行い、当該判定結果に基づいて是正データごとにラベルを付与する。ここで付与されるラベルを「個別ラベル」とする。なお、個別ラベルの一例は、第３の複数のデータを第１のルールに従って変換して得られる第４の複数のデータ、すなわち、是正データを第２の機械学習モデルへ入力することによって習得される予測結果に相当する。 FIG. 4 is a diagram showing an example of the accuracy determination method according to this embodiment. First, the accuracy determination device 5 inputs a plurality of correction data to the correction model, performs individual determination, and assigns a label to each correction data based on the determination result. The label assigned here is called an “individual label”. An example of the individual label is acquired by inputting the fourth plurality of data obtained by converting the third plurality of data according to the first rule, that is, the correction data to the second machine learning model. corresponds to the predicted result.
　是正モデルによる判定は、是正モデルの出力層のニューロンの出力値に基づいて行われる。また、精度判定装置５は、図４に示すように、出力層のニューロンの出力値と判定結果とに基づいてＤＴ空間に点９をプロットする。当該ＤＴ空間は、出力層の各ニューロンの出力値に対応した軸を有する、入力データの特徴量空間である。また、ＤＴ空間の各軸は出力層の各ニューロンの出力値に対応する。また、図４の例では、出力層のニューロンは３つあるのでＤＴ空間は３次元空間であるが、説明の便宜上、ＤＴ空間は２次元で表現される。図４の例では、是正モデルによる判定結果、すなわち、個別ラベルは点９の種類、例えば、○白丸と●黒丸とにより表現される。 Judgments by the correction model are made based on the output values of neurons in the output layer of the correction model. Further, the accuracy determination device 5 plots points 9 in the DT space based on the output values of the neurons in the output layer and the determination results, as shown in FIG. The DT space is a feature amount space of input data having an axis corresponding to the output value of each neuron in the output layer. Each axis of the DT space corresponds to the output value of each neuron in the output layer. In addition, in the example of FIG. 4, since there are three neurons in the output layer, the DT space is a three-dimensional space, but for convenience of explanation, the DT space is expressed in two dimensions. In the example of FIG. 4, the judgment result by the corrective model, that is, the individual label is represented by the types of points 9, for example, ◯ white circles and ● black circles.
　次に、精度判定装置５は、ＤＴ空間における点９の分類ごとの密度に基づいて点９をクラスタリングし、各クラスタを作成する。なお、点９の密度とは、例えば、特徴量の単位区間あたりの点９の個数である。図４の例では、○白丸を含むクラスタＡと、●黒丸を含むクラスタＢとが作成される。 Next, the accuracy determination device 5 clusters the points 9 based on the density of each classification of the points 9 in the DT space to create each cluster. Note that the density of the points 9 is, for example, the number of points 9 per unit section of the feature amount. In the example of FIG. 4, a cluster A containing a white circle and a cluster B containing a black circle are created.
　次に、精度判定装置５は、クラスタ内の個別ラベルの割合で各クラスタの新ラベルを決定し、各クラスタに属する点９ごとに、対応する入力データに新ラベルを付与する。ここで付与される新ラベルを「疑似ラベル」とし、疑似ラベルを正解ラベルとすることで、精度判定装置５は、公平性是正処理による運用モデルへの精度影響を判定できる。なお、疑似ラベルの一例は、第４の複数のデータのそれぞれの第１の機械学習モデル、すなわち運用モデルのパラメータに基づいて定まる特徴量をクラスタリングすることによって決定される正解ラベルに相当する。 Next, the accuracy determination device 5 determines a new label for each cluster based on the ratio of individual labels in the cluster, and assigns a new label to the corresponding input data for each point 9 belonging to each cluster. By using the new label assigned here as a “pseudo label” and the pseudo label as a correct label, the accuracy determination device 5 can determine the accuracy impact of the fairness correction process on the operational model. An example of a pseudo label corresponds to a correct label determined by clustering feature amounts determined based on the parameters of the first machine learning model, that is, the operational model of each of the fourth plurality of data.
　機械学習モデルの予測精度は、既存技術の評価指標、例えば、Ａｃｃｕｒａｃｙ（正解率）によって判定される。Ａｃｃｕｒａｃｙは、次の式（２）を用いて算出可能である。 The prediction accuracy of the machine learning model is determined by the evaluation index of existing technology, such as Accuracy (correct answer rate). Accuracy can be calculated using the following formula (2).
Figure JPOXMLDOC01-appb-M000002
Figure JPOXMLDOC01-appb-M000002
　式（２）において、正解数は、例えば、疑似ラベルを正解ラベルとして、全入力データ数から、是正モデルによる分類結果と異なる疑似ラベルの数、すなわち不正解数を引いた数である。 In Equation (2), the number of correct answers is, for example, the number of pseudo labels that differ from the classification results of the corrective model, that is, the number of incorrect answers, subtracted from the total number of input data, with the pseudo labels as the correct labels.
　このように、精度判定装置５は、例えば、式（２）を用いて、公平性是正処理による運用モデルへの精度影響を判定できる。また、精度判定装置５は、例えば、式（１）を用いて、是正モデルによる分類結果と疑似ラベルとの各々で公平性スコアを算出し、比較することで公平性是正処理の効果を判定できる。 In this way, the accuracy determination device 5 can determine the impact of the fairness correction process on the operational model accuracy using, for example, Equation (2). Further, the accuracy determination device 5 can determine the effect of the fairness correction process by calculating the fairness score for each of the classification result by the correction model and the pseudo label using, for example, Equation (1) and comparing them. .
　図３の説明に戻り、また、精度判定装置５は、式（１）および（２）を用いてそれぞれ算出された、是正モデルの予測精度および公平性スコアを表示装置６に出力して表示させることができる（ｔ５）。また、運用モデルの予測精度および公平性スコアを併せて出力することで精度判定装置５またはユーザは公平性是正処理による精度影響とその効果をより詳しく把握できる。 Returning to the description of FIG. 3, the accuracy determination device 5 outputs the prediction accuracy and the fairness score of the correction model calculated using the equations (1) and (2) to the display device 6 for display. (t5). In addition, by outputting the prediction accuracy and the fairness score of the operation model together, the accuracy determination device 5 or the user can grasp the accuracy influence and its effect due to the fairness correction process in more detail.
　図５は、本実施形態にかかる予測精度および公平性スコアの表示例を示す図である。図５は、公平性スコアをｘ軸、予測精度をｙ軸とする２軸表示のグラフである。図５の例では、運用モデルの予測精度および公平性スコアと、是正案１～５として各是正案に対応する是正モデルの予測精度および公平性スコアとが示されている。このように、精度判定装置５が複数の是正案を出力することで、精度判定装置５またはユーザは最適な是正案を選択できる。図５の例では、是正案３が運用モデルと比較して予測精度および公平性スコアがバランスよく効果的に上回っているため、選択され得る。このような是正案の選択は、例えば、予測精度や公平性スコアに対して所定の閾値を設定し、精度判定装置５によって実行可能である。 FIG. 5 is a diagram showing a display example of prediction accuracy and fairness score according to this embodiment. FIG. 5 is a two-axis graph with the fairness score on the x-axis and the prediction accuracy on the y-axis. In the example of FIG. 5, the prediction accuracy and fairness score of the operating model and the prediction accuracy and fairness score of the corrective model corresponding to each corrective action plan as Corrective Proposals 1-5 are shown. In this manner, the accuracy determination device 5 outputs a plurality of correction proposals, so that the accuracy determination device 5 or the user can select the optimum correction proposal. In the example of FIG. 5, Remedy 3 can be selected because it effectively outperforms the operational model in predictive accuracy and fairness score in a balanced manner. Selection of such a correction plan can be performed by the accuracy determination device 5 by setting predetermined thresholds for prediction accuracy and fairness score, for example.
　ここで、複数の是正案を出力する方法についてより詳しく説明する。図６は、本実施形態にかかる予測精度および公平性スコアの出力方法の一例を示す図である。図６に示すように、精度判定装置５は、複数の異なるルール１～５に従ってそれぞれ作成された是正フィルタ１～５に入力データを通し、それぞれの是正データを生成し、対応する是正モデルに入力する。そして、精度判定装置５は、各是正データに対して、図４に示したように疑似ラベルを付与し、疑似ラベルに基づいて是正案ごとに予測精度および公平性スコアを算出して表示装置６に出力して表示させる。 Here, we will explain in more detail how to output multiple correction proposals. FIG. 6 is a diagram showing an example of a prediction accuracy and fairness score output method according to the present embodiment. As shown in FIG. 6, the accuracy determination device 5 passes input data through correction filters 1 to 5 respectively created according to a plurality of different rules 1 to 5, generates respective correction data, and inputs them to the corresponding correction models. do. Then, the accuracy determination device 5 assigns a pseudo label to each correction data as shown in FIG. output to and display.
　また、精度判定装置５は、運用モデルを、再訓練により更新された是正モデルの複製に差し替える（ｔ６）。なお、複数の是正案がある場合、運用モデルは、選択された１つの是正案に対応する是正モデルの複製に差し替えられる。また、運用モデルを差し替える際、精度判定装置５は、是正フィルタも分類装置４に適用し、当該是正フィルタを用いて運用モデルへの入力データを是正データに変換するようにしてもよい。分類装置４に適用される是正フィルタも、複数の是正案がある場合は、選択された１つの是正案に対応する是正フィルタである。このようにして、精度判定装置５は、公平性是正処理による機械学習モデルへの精度影響を示しつつ、適切な公平性是正処理を機械学習モデルに適用できる。 The accuracy determination device 5 also replaces the operational model with a copy of the corrective model updated by retraining (t6). Note that if there are multiple corrective proposals, the operational model is replaced with a copy of the corrective model corresponding to one selected corrective proposal. Further, when replacing the operation model, the accuracy determination device 5 may also apply a correction filter to the classification device 4, and use the correction filter to convert input data to the operation model into correction data. The remediation filter applied to the classifier 4 is also the remediation filter corresponding to the selected remediation proposal when there are multiple remediation proposals. In this manner, the accuracy determination device 5 can apply an appropriate fairness correction process to the machine learning model while indicating the accuracy impact of the fairness correction process on the machine learning model.
［処理の流れ］
　次に、図７を用いて、精度判定装置５による精度判定処理の流れを説明する。図７は、本実施形態にかかる精度判定処理の流れの一例を示すフローチャートである。図７に示す精度判定処理は、例えば、運用モデルに入力データが入力される際に、当該入力データを用いて実行される。また、精度判定処理に用いられる是正モデルは初回時のみ運用モデルが複製される。 [Process flow]
Next, the flow of accuracy determination processing by the accuracy determination device 5 will be described with reference to FIG. FIG. 7 is a flowchart showing an example of the flow of accuracy determination processing according to this embodiment. The accuracy determination process shown in FIG. 7 is executed using the input data, for example, when the input data is input to the operational model. Further, as for the corrective model used in the accuracy determination process, the operation model is duplicated only at the first time.
　まず、図７に示すように、精度判定装置５は、入力データに対して公平性是正処理を実行する（ステップＳ１０１）。より具体的には、例えば、精度判定装置５は、複数の異なるルールに従ってそれぞれ作成された是正フィルタの各々に入力データを通し、それぞれの是正案に対する是正データを生成する。 First, as shown in FIG. 7, the accuracy determination device 5 executes fairness correction processing on input data (step S101). More specifically, for example, the accuracy determination device 5 passes input data through each of correction filters created according to a plurality of different rules to generate correction data for each correction proposal.
　次に、精度判定装置５は、是正案ごとに、対応する是正データに基づいて是正モデルを再訓練して更新する（ステップＳ１０２）。これにより、是正案ごとの是正モデルが生成される。 Next, the accuracy determination device 5 retrains and updates the correction model based on the corresponding correction data for each correction proposal (step S102). This generates a corrective model for each corrective action plan.
　次に、精度判定装置５は、是正案ごとに、ステップＳ１０１で生成された是正データの各々を、対応する是正モデルに入力し、是正モデルの出力値に基づいて是正データの各々の分類について判定する（ステップＳ１０３）。 Next, the accuracy determination device 5 inputs each of the correction data generated in step S101 to the corresponding correction model for each correction proposal, and determines each classification of the correction data based on the output value of the correction model. (step S103).
　次に、精度判定装置５は、ステップＳ１０３の判定結果を基に密度ベースでクラスタリングして是正データにラベル付けを行い、当該ラベルを正解ラベルとして判定結果に基づいて是正モデルの精度を算出する（ステップＳ１０４）。ステップＳ１０３も、是正案ごとに実行される。 Next, the accuracy determination device 5 clusters the correction data based on the density based on the determination result of step S103, labels the correction data, and calculates the accuracy of the correction model based on the determination result using the label as the correct label ( step S104). Step S103 is also executed for each corrective action.
　次に、精度判定装置５は、是正案ごとに、ステップＳ１０３の判定結果に基づいて、是正モデルの公平性スコアを算出する（ステップＳ１０５）。なお、ステップＳ１０４およびＳ１０５の是正モデルの精度および公平性スコア算出の実行順序は逆であってもよいし、並列で実行されてもよい。 Next, the accuracy determination device 5 calculates the fairness score of the correction model based on the determination result of step S103 for each correction proposal (step S105). Note that the execution order of corrective model accuracy and fairness score calculation in steps S104 and S105 may be reversed, or may be executed in parallel.
　次に、精度判定装置５は、ステップＳ１０４で算出された精度と、ステップＳ１０５で算出された公平性スコアとに基づいて、運用モデルに適用する是正案を選択する（ステップＳ１０６）。是正案の選択について、例えば、運用モデルと比較して予測精度および公平性スコアが最も上回っている是正案が選択されてよい。または、精度判定装置５が、ユーザに対して、運用モデルの予測精度および公平性スコアと共に、各是正案の予測精度および公平スコアを提示し、ユーザによって１つの是正案が選択されてよい。 Next, the accuracy determination device 5 selects a correction plan to be applied to the operation model based on the accuracy calculated in step S104 and the fairness score calculated in step S105 (step S106). For the selection of remedies, for example, the remedies with the highest predictive accuracy and fairness scores compared to the operational model may be selected. Alternatively, the accuracy determination device 5 may present to the user the prediction accuracy and fairness score of each corrective action plan together with the predictive accuracy and fairness score of the operational model, and one corrective action plan may be selected by the user.
　次に、精度判定装置５は、ステップＳ１０６で選択された是正案に対応する是正モデルを複製して、運用モデルと差し替えることにより、運用モデルを更新する（ステップＳ１０７）。また、この際、精度判定装置５は、ステップＳ１０６で選択された是正案に対応する是正フィルタを複製するなどし、当該是正フィルタを用いて運用モデルへの入力データを是正データに変換するように適用してもよい。なお、ステップＳ１０７で図７に示す精度判定処理は終了するが、例えば、運用モデルに入力データが入力される際に、ステップＳ１０６で選択された是正モデルを用いて、ステップＳ１０１から処理が繰り返される。 Next, the accuracy determination device 5 duplicates the correction model corresponding to the correction plan selected in step S106 and replaces it with the operation model, thereby updating the operation model (step S107). At this time, the accuracy determination device 5 duplicates the correction filter corresponding to the correction plan selected in step S106, and uses the correction filter to convert input data to the operation model into correction data. may apply. Although the accuracy determination process shown in FIG. 7 ends at step S107, for example, when input data is input to the operation model, the process is repeated from step S101 using the corrective model selected at step S106. .
［効果］
　上述したように、精度判定装置５は、第１の複数のデータを第１のルールに従って変換して得られる第２の複数のデータに基づいて、第１の機械学習モデルを更新して第２の機械学習モデルを生成し、第３の複数のデータを第１のルールに従って変換して得られる第４の複数のデータを第２の機械学習モデルへ入力することによって、予測結果を取得し、第４の複数のデータのそれぞれの第１の機械学習モデルのパラメータに基づいて定まる特徴量をクラスタリングすることによって、第４の複数のデータのそれぞれの正解ラベルを決定し、予測結果と正解ラベルとに基づいて、第２の機械学習モデルの精度を判定する。 [effect]
As described above, the accuracy determination device 5 updates the first machine learning model based on the second plurality of data obtained by converting the first plurality of data according to the first rule, and updates the second Obtaining a prediction result by generating a machine learning model of and inputting a fourth plurality of data obtained by converting the third plurality of data according to the first rule to the second machine learning model, A correct label for each of the fourth plurality of data is determined by clustering the feature amounts determined based on the parameters of the first machine learning model for each of the fourth plurality of data, and the prediction result and the correct label are determined. to determine the accuracy of the second machine learning model.
　このように、精度判定装置５は、是正データで再訓練して生成された是正モデルの予測結果と、運用モデルのパラメータに基づく特徴量をクラスタリングすることによって決定される正解ラベルとに基づいて是正モデルの精度を判定する。これにより、精度判定装置５は、公平性是正処理による機械学習モデルへの精度影響を示すことができる。 In this way, the accuracy determination device 5 corrects based on the prediction result of the correction model generated by retraining with the correction data and the correct label determined by clustering the feature amount based on the parameter of the operation model. Determine model accuracy. As a result, the accuracy determination device 5 can indicate the influence of the fairness correction process on the accuracy of the machine learning model.
　また、第１の複数のデータに含まれる特徴量および正解ラベルの少なくとも１つを第１のルールに従って変換して第２の複数のデータを取得する処理を精度判定装置５に実行させる。 Also, it causes the accuracy determination device 5 to execute a process of converting at least one of the feature amount and the correct label included in the first plurality of data according to the first rule to acquire the second plurality of data.
　これにより、精度判定装置５は、機械学習モデルに対する公平性を是正できる。 As a result, the accuracy determination device 5 can correct the fairness of the machine learning model.
　また、精度判定装置５によって実行される、第２の機械学習モデルを生成する処理は、第１の複数のデータを複数種類の第１のルールに従って変換して得られる第２の複数のデータに基づいて、第１のルールの種類ごとに第１の機械学習モデルを更新して複数の第２の機械学習モデルを生成する処理を含み、所定の条件に基づいて、複数の第２の機械学習モデルから１つの第２の機械学習モデルを選択する処理を精度判定装置５に実行させる。 Further, the process of generating the second machine learning model, which is executed by the accuracy determination device 5, converts the first plurality of data according to the plurality of types of first rules to the second plurality of data. Based on, including a process of updating the first machine learning model for each type of the first rule to generate a plurality of second machine learning models, based on a predetermined condition, a plurality of second machine learning The accuracy determination device 5 is made to execute a process of selecting one second machine learning model from the models.
　これにより、精度判定装置５は、機械学習モデルの予測精度の劣化を考慮しつつ、より適切に公平性を是正できる。 As a result, the accuracy determination device 5 can correct fairness more appropriately while taking into consideration the deterioration of the prediction accuracy of the machine learning model.
　また、精度判定装置５によって実行される、１つの第２の機械学習モデルを選択する処理は、第１のルールの種類ごとの第２の複数のデータの公平性スコアと、第２の機械学習モデルの精度とに基づいて、１つの第２の機械学習モデルを選択する処理を含む。 Further, the process of selecting one second machine learning model, which is executed by the accuracy determination device 5, includes the fairness score of the second plurality of data for each type of the first rule, and the second machine learning Selecting a second machine learning model based on the accuracy of the model.
　これにより、精度判定装置５は、機械学習モデルの予測精度の劣化を考慮しつつ、より適切に公平性を是正できる。 As a result, the accuracy determination device 5 can correct fairness more appropriately while taking into consideration the deterioration of the prediction accuracy of the machine learning model.
　また、第２の複数のデータの公平性スコアと、第２の機械学習モデルの精度とを軸とするグラフを出力する処理を精度判定装置５に実行させる。 Also, it causes the accuracy determination device 5 to execute a process of outputting a graph with the axes of the fairness scores of the second plurality of data and the accuracy of the second machine learning model.
　これにより、精度判定装置５は、機械学習モデルの予測精度の劣化を考慮しつつ、より適切に公平性を是正するために、機械学習モデルの予測精度と公平性スコアをユーザに提示できる。 As a result, the accuracy determination device 5 can present the prediction accuracy and fairness score of the machine learning model to the user in order to correct the fairness more appropriately while considering the deterioration of the prediction accuracy of the machine learning model.
［システム］
　上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報は、特記する場合を除いて任意に変更されてもよい。また、実施例で説明した具体例、分布、数値などは、あくまで一例であり、任意に変更されてもよい。 [system]
Information including processing procedures, control procedures, specific names, and various data and parameters shown in the above documents and drawings may be arbitrarily changed unless otherwise specified. Further, the specific examples, distributions, numerical values, etc. described in the embodiments are merely examples, and may be arbitrarily changed.
　また、精度判定装置５の構成要素の分散や統合の具体的形態は図示のものに限られない。例えば、精度判定装置５の分類部１３が複数の処理部に分散されたり、精度判定装置５の生成部１４とラベル付与部１５とが１つの処理部に統合されたりしてもよい。つまり、その構成要素の全部または一部は、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合されてもよい。さらに、各装置の各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。 Further, the specific forms of dispersion and integration of the components of the accuracy determination device 5 are not limited to those shown in the drawings. For example, the classification unit 13 of the accuracy determination device 5 may be distributed among a plurality of processing units, or the generation unit 14 and the labeling unit 15 of the accuracy determination device 5 may be integrated into one processing unit. In other words, all or part of the constituent elements may be functionally or physically distributed and integrated in arbitrary units according to various loads, usage conditions, and the like. Further, each processing function of each device may be implemented in whole or in part by a CPU and a program analyzed and executed by the CPU, or implemented as hardware based on wired logic.
　図８は、本実施形態にかかる情報処理装置１０のハードウェア構成例を示す図である。分類装置４も精度判定装置５と同様のハードウェア構成を採用できるため、図８では、精度判定装置５および分類装置４をまとめて情報処理装置１０として、そのハードウェア構成例を示す。図８に示すように、情報処理装置１０は、通信インタフェース１０ａ、ＨＤＤ（Hard　Disk　Drive）１０ｂ、メモリ１０ｃ、プロセッサ１０ｄを有する。また、図８に示した各部は、バスなどで相互に接続される。 FIG. 8 is a diagram showing a hardware configuration example of the information processing apparatus 10 according to this embodiment. Since the classification device 4 can also employ the same hardware configuration as the accuracy determination device 5, FIG. As shown in FIG. 8, the information processing device 10 has a communication interface 10a, a HDD (Hard Disk Drive) 10b, a memory 10c, and a processor 10d. 8 are interconnected by a bus or the like.
　通信インタフェース１０ａは、ネットワークインタフェースカードなどであり、他の情報処理装置との通信を行う。ＨＤＤ１０ｂは、例えば、情報処理装置１０が精度判定装置５の場合、図２などに示した各機能を動作させるプログラムやデータを記憶する。 The communication interface 10a is a network interface card or the like, and communicates with other information processing devices. For example, when the information processing device 10 is the accuracy determination device 5, the HDD 10b stores programs and data for operating each function shown in FIG. 2 and the like.
　プロセッサ１０ｄは、ＣＰＵ（Central　Processing　Unit）、ＭＰＵ（Micro　Processing　Unit）、ＧＰＵ（Graphics　Processing　Unit）などである。また、プロセッサ１０ｄは、ＡＳＩＣ（Application　Specific　Integrated　Circuit）やＦＰＧＡ（Field　Programmable　Gate　Array）などの集積回路により実現されるようにしてもよい。プロセッサ１０ｄは、例えば、情報処理装置１０が精度判定装置５の場合、図２などに示した各処理部と同様の処理を実行するプログラムをＨＤＤ１０ｂなどから読み出してメモリ１０ｃに展開する。これにより、プロセッサ１０ｄは、図２などで説明した各機能を実現するプロセスを実行するハードウェア回路として動作可能である。 The processor 10d is a CPU (Central Processing Unit), MPU (Micro Processing Unit), GPU (Graphics Processing Unit), or the like. Also, the processor 10d may be realized by an integrated circuit such as an ASIC (Application Specific Integrated Circuit) or an FPGA (Field Programmable Gate Array). For example, when the information processing device 10 is the accuracy determination device 5, the processor 10d reads a program for executing the same processing as each processing unit shown in FIG. Thereby, the processor 10d can operate as a hardware circuit that executes processes for realizing each function described with reference to FIG. 2 and the like.
　また、情報処理装置１０は、媒体読取装置によって記録媒体から上記プログラムを読み出し、読み出された上記プログラムを実行することで上記実施例と同様の機能を実現することもできる。なお、この他の実施例でいうプログラムは、情報処理装置１０によって実行されることに限定されるものではない。例えば、他の情報処理装置がプログラムを実行する場合や、これらが協働してプログラムを実行するような場合にも、上記実施例が同様に適用されてよい。 Further, the information processing apparatus 10 can also realize the same functions as the above embodiments by reading the program from the recording medium by the medium reading device and executing the read program. Note that the programs referred to in other embodiments are not limited to being executed by the information processing apparatus 10 . For example, the above-described embodiments may be similarly applied when other information processing apparatuses execute programs or when they cooperate to execute programs.
　当該プログラムは、インターネットなどのネットワークを介して配布されてもよい。また、当該プログラムは、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＭＯ（Magneto－Optical　disk）、ＤＶＤ（Digital　Versatile　Disc）などのコンピュータ可読記憶媒体に記録されてよい。そして、当該プログラムは、情報処理装置１０などによって記録媒体から読み出されることによって実行されてもよい。 The program may be distributed via a network such as the Internet. Also, the program may be recorded on a computer-readable storage medium such as a hard disk, flexible disk (FD), CD-ROM, MO (Magneto-Optical disk), DVD (Digital Versatile Disc). Then, the program may be executed by being read from a recording medium by the information processing apparatus 10 or the like.
　１　　　分類システム
　２　　　入力センサ
　３　　　データ記憶装置
　４　　　分類装置
　５　　　精度判定装置
　６　　　表示装置
　９　　　点
　１０　　情報処理装置
　１０ａ　通信インタフェース
　１０ｂ　ＨＤＤ
　１０ｃ　メモリ
　１０ｄ　プロセッサ
　１１　　モデル記憶部
　１２　　是正部
　１３　　分類部
　１４　　生成部
　１５　　ラベル付与部
　１６　　判定部
　１７　　学習部 REFERENCE SIGNS LIST 1 classification system 2 input sensor 3 data storage device 4 classification device 5 accuracy determination device 6 display device 9 points 10 information processing device 10a communication interface 10b HDD
10c memory 10d processor 11 model storage unit 12 correction unit 13 classification unit 14 generation unit 15 labeling unit 16 determination unit 17 learning unit

Claims (7)

  1. 　第１の複数のデータを第１のルールに従って変換して得られる第２の複数のデータに基づいて、第１の機械学習モデルを更新して第２の機械学習モデルを生成し、
    　第３の複数のデータを前記第１のルールに従って変換して得られる第４の複数のデータを前記第２の機械学習モデルへ入力することによって、予測結果を取得し、
    　前記第４の複数のデータのそれぞれの前記第１の機械学習モデルのパラメータに基づいて定まる特徴量をクラスタリングすることによって、前記第４の複数のデータのそれぞれの正解ラベルを決定し、
    　前記予測結果と前記正解ラベルとに基づいて、前記第２の機械学習モデルの精度を判定する、
    　処理をコンピュータに実行させることを特徴とする精度判定プログラム。     updating the first machine learning model to generate a second machine learning model based on a second plurality of data obtained by transforming the first plurality of data according to a first rule;
    Obtaining a prediction result by inputting a fourth plurality of data obtained by converting the third plurality of data according to the first rule into the second machine learning model;
    Determining a correct label for each of the fourth plurality of data by clustering feature amounts determined based on the parameters of the first machine learning model for each of the fourth plurality of data;
    Determining the accuracy of the second machine learning model based on the prediction result and the correct label;
    An accuracy determination program characterized by causing a computer to execute processing.
  2. 　前記第１の複数のデータに含まれる特徴量および正解ラベルの少なくとも１つを前記第１のルールに従って変換して前記第２の複数のデータを取得する、
    　処理を前記コンピュータに実行させることを特徴とする請求項１に記載の精度判定プログラム。     obtaining the second plurality of data by converting at least one of the feature amount and the correct label included in the first plurality of data according to the first rule;
    2. The accuracy determination program according to claim 1, causing the computer to execute the processing.
  3. 　前記第２の機械学習モデルを生成する処理は、
    　前記第１の複数のデータを複数種類の前記第１のルールに従って変換して得られる第２の複数のデータに基づいて、前記第１のルールの種類ごとに前記第１の機械学習モデルを更新して複数の前記第２の機械学習モデルを生成する、
    　処理を含み、
    　所定の条件に基づいて、複数の前記第２の機械学習モデルから１つの前記第２の機械学習モデルを選択する、
    　処理を前記コンピュータに実行させることを特徴とする請求項１または２に記載の精度判定プログラム。     The process of generating the second machine learning model includes:
    Updating the first machine learning model for each type of the first rule based on the second plurality of data obtained by converting the first plurality of data according to the plurality of types of the first rule to generate a plurality of said second machine learning models;
    including processing;
    Selecting one said second machine learning model from a plurality of said second machine learning models based on a predetermined condition;
    3. The accuracy determination program according to claim 1, causing the computer to execute the processing.
  4. 　前記１つの第２の機械学習モデルを選択する処理は、前記第１のルールの種類ごとの前記第２の複数のデータの公平性スコアと、前記第２の機械学習モデルの精度とに基づいて、前記１つの第２の機械学習モデルを選択する、
    　処理を含むことを特徴とする請求項３に記載の精度判定プログラム。     The process of selecting the one second machine learning model is based on the fairness score of the second plurality of data for each type of the first rule and the accuracy of the second machine learning model , selecting the one second machine learning model;
    4. The accuracy determination program according to claim 3, further comprising processing.
  5. 　前記第２の複数のデータの公平性スコアと、前記第２の機械学習モデルの精度とを軸とするグラフを出力する、
    　処理を前記コンピュータに実行させることを特徴とする請求項１に記載の精度判定プログラム。     outputting a graph whose axes are the fairness score of the second plurality of data and the accuracy of the second machine learning model;
    2. The accuracy determination program according to claim 1, causing the computer to execute the processing.
  6. 　第１の複数のデータを第１のルールに従って変換して得られる第２の複数のデータに基づいて、第１の機械学習モデルを更新して第２の機械学習モデルを生成し、
    　第３の複数のデータを前記第１のルールに従って変換して得られる第４の複数のデータを前記第２の機械学習モデルへ入力することによって、予測結果を取得し、
    　前記第４の複数のデータのそれぞれの前記第１の機械学習モデルのパラメータに基づいて定まる特徴量をクラスタリングすることによって、前記第４の複数のデータのそれぞれの正解ラベルを決定し、
    　前記予測結果と前記正解ラベルとに基づいて、前記第２の機械学習モデルの精度を判定する、
    　処理を実行する制御部を備えた精度判定装置。     updating the first machine learning model to generate a second machine learning model based on a second plurality of data obtained by transforming the first plurality of data according to a first rule;
    Obtaining a prediction result by inputting a fourth plurality of data obtained by converting the third plurality of data according to the first rule into the second machine learning model;
    Determining a correct label for each of the fourth plurality of data by clustering feature amounts determined based on the parameters of the first machine learning model for each of the fourth plurality of data;
    Determining the accuracy of the second machine learning model based on the prediction result and the correct label;
    An accuracy determination device having a control unit that executes processing.
  7. 　第１の複数のデータを第１のルールに従って変換して得られる第２の複数のデータに基づいて、第１の機械学習モデルを更新して第２の機械学習モデルを生成し、
    　第３の複数のデータを前記第１のルールに従って変換して得られる第４の複数のデータを前記第２の機械学習モデルへ入力することによって、予測結果を取得し、
    　前記第４の複数のデータのそれぞれの前記第１の機械学習モデルのパラメータに基づいて定まる特徴量をクラスタリングすることによって、前記第４の複数のデータのそれぞれの正解ラベルを決定し、
    　前記予測結果と前記正解ラベルとに基づいて、前記第２の機械学習モデルの精度を判定する、
    　処理をコンピュータが実行する精度判定方法。     updating the first machine learning model to generate a second machine learning model based on a second plurality of data obtained by transforming the first plurality of data according to a first rule;
    Obtaining a prediction result by inputting a fourth plurality of data obtained by converting the third plurality of data according to the first rule into the second machine learning model;
    Determining a correct label for each of the fourth plurality of data by clustering feature amounts determined based on the parameters of the first machine learning model for each of the fourth plurality of data;
    Determining the accuracy of the second machine learning model based on the prediction result and the correct label;
    Accuracy determination method in which processing is performed by a computer.
PCT/JP2021/040157 2021-10-29 2021-10-29 Accuracy determination program, accuracy determination device, and accuracy determination method WO2023073967A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/040157 WO2023073967A1 (en) 2021-10-29 2021-10-29 Accuracy determination program, accuracy determination device, and accuracy determination method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/040157 WO2023073967A1 (en) 2021-10-29 2021-10-29 Accuracy determination program, accuracy determination device, and accuracy determination method

Publications (1)

Publication Number Publication Date
WO2023073967A1 true WO2023073967A1 (en) 2023-05-04

Family

ID=86157666

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/040157 WO2023073967A1 (en) 2021-10-29 2021-10-29 Accuracy determination program, accuracy determination device, and accuracy determination method

Country Status (1)

Country Link
WO (1) WO2023073967A1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021012594A (en) * 2019-07-08 2021-02-04 キヤノン株式会社 System, method, and program
JP2021012593A (en) * 2019-07-08 2021-02-04 キヤノン株式会社 System, method, and program
US20210209499A1 (en) * 2020-01-02 2021-07-08 Intuit Inc. Paired-consistency-based model-agnostic approach to fairness in machine learning models

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021012594A (en) * 2019-07-08 2021-02-04 キヤノン株式会社 System, method, and program
JP2021012593A (en) * 2019-07-08 2021-02-04 キヤノン株式会社 System, method, and program
US20210209499A1 (en) * 2020-01-02 2021-07-08 Intuit Inc. Paired-consistency-based model-agnostic approach to fairness in machine learning models

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KAMISHIMA, TOSHIHIRO ET AL.: "Issues surrounding the automation of moral automation: normative choice and cooperative evolution" fairness in machine learning and data mining", JOURNAL OF THE JAPANESE SOCIETY FOR ARTIFICIAL INTELLIGENCE, vol. 34, no. 2, 2019, pages 196 - 204, XP009545174 *

Similar Documents

Publication Publication Date Title
US9390373B2 (en) Neural network and method of neural network training
Suresh et al. Misplaced trust: Measuring the interference of machine learning in human decision-making
JP6954082B2 (en) Learning program, prediction program, learning method, prediction method, learning device and prediction device
Kamar et al. Identifying and accounting for task-dependent bias in crowdsourcing
CN111226236A (en) Multi-target generator in deep learning
EP3598288A1 (en) System and method for generating photorealistic synthetic images based on semantic information
US20210196428A1 (en) Artificial Intelligence (AI) based Decision-Making Model for Orthodontic Diagnosis and Treatment Planning
JP2017102906A (en) Information processing apparatus, information processing method, and program
JP7409513B2 (en) Machine learning data generation program, machine learning data generation method, and machine learning data generation device
JP7213701B2 (en) Machining equipment, machining method, machining program, and inspection equipment
Orriols et al. The class imbalance problem in learning classifier systems: a preliminary study
JP6988995B2 (en) Image generator, image generator and image generator
Zhou et al. The role of sensory uncertainty in simple contour integration
WO2023073967A1 (en) Accuracy determination program, accuracy determination device, and accuracy determination method
Riazy et al. Systematic literature review of fairness in learning analytics and application of insights in a case study
Curth et al. Understanding the impact of competing events on heterogeneous treatment effect estimation from time-to-event data
JP2022037623A (en) Abnormality detection method, abnormality detection device, and abnormality detection program
WO2021079444A1 (en) Display method, display program, and information processing device
KR20210081077A (en) A method and apparatus for determining whether the product is defective or not
JP2023176667A (en) Determination program, determination apparatus, and determination method
JP7211430B2 (en) Machine learning device, machine learning method, and program
Ghodsi et al. Context matters for fairness--a case study on the effect of spatial distribution shifts
EP4328801A2 (en) Determination program, determination apparatus, and determination method
JP7206892B2 (en) Image inspection device, learning method for image inspection, and image inspection program
WO2023062750A1 (en) Data generation method, data generation program, and information processing device

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21962507

Country of ref document: EP

Kind code of ref document: A1