JP7409513B2 - 機械学習データ生成プログラム、機械学習データ生成方法および機械学習データ生成装置 - Google Patents

Description

本開示は、機械学習データの生成技術に関する。

機械学習は、入試や採用、与信など、個人に対する意思決定に利用されるようになってきているが、性別や人種など、差別してはならない属性（保護属性）が予測結果に影響するケースが発生している。

近年では、差別のような潜在的な社会的問題に配慮し、予測結果からバイアスを無くすように是正する技術として、機械学習済みの分類器を用いたインスタンス（既知のデータ）の修正技術などが利用されている。例えば、訓練データまたはテストデータに対し、分類器を用いてインスタンスの分類スコアを算出し、ラベル毎にソートして２グループ間で確率が合うようにラベルを変更した後、分類スコアでソートすることで、曖昧性の高いラベルが付与されたインスタンスに修正する。

特表２０１９－５１９０２１号公報

しかしながら、上記技術では、或る属性だけに着目して、ラベルを変更してインスタンスを修正し、公平性の是正を実行した場合、他の属性での偏り（不公平性）が大きくなる可能性がある。

例えば、複数の保護属性がある場合、上記技術では、１保護属性ずつ順に是正する。しかし、１保護属性を是正する際、別の保護属性の内訳を考慮しないので、別の保護属性の差別が悪化したり、一度是正した別の保護属性の結果が変更されたり、保護属性を組み合わせたグループの差別は是正されない。

なお、複数の保護属性を組み合わせたグループに対し、選択した２グループ間（ペア）で差別是正を行うことも考えられるが、是正される内容が選択されグループのペアによって決定されるので、グループ選択を繰り返すことで得られる最終的な是正結果が局所解となることがある。このように、一部のグループが持つ特徴により、全体の特徴に反した是正が行われる可能性がある。

一つの側面では、機械学習データの公平性を向上することができる機械学習データ生成プログラム、機械学習データ生成方法および機械学習データ生成装置を提供することを目的とする。

第１の案では、機械学習データ生成プログラムは、それぞれに正例または負例がラベル付けされた複数のデータを取得し、複数のデータのそれぞれに関連付けられた第１の属性と第２の属性との組の複数の種類毎に、正例のデータ数と負例のデータ数との比率を算出し、複数の種類のそれぞれに対して算出された比率の差が閾値以上である場合、複数の種類に含まれる第１の種類と他の全ての種類それぞれとの組み合わせ毎に、比率に基づいて、第１の種類に対応する第１の属性と第２の属性とが関連付いたデータのうち、変更候補のデータを特定し、組み合わせ毎に特定された変更候補のデータに基づいて、第１の種類に対応する第１の属性と第２の属性とが関連付いたデータのうち、第１のデータを選択し、複数のデータに含まれる第１のデータのラベルを変更することによって機械学習データを生成する、処理をコンピュータに実行させることを特徴とする。

一つの側面では、機械学習データの公平性を向上することができる。

図１は、実施形態に係る情報処理を説明する図である。 図２は、情報処理装置の機能ブロックの例を示す図である。 図３は、訓練データの例を示す図である。 図４は、グループ化部２２２によるグループ化の例を示す図である。 図５は、是正試行部２２３によるグループのペアの是正処理の例を示す図である。 図６は、集約部２２４による、是正処理の試行結果の集約結果の例を示す図である。 図７は、算出部２２５による超過度の算出の例を示す図である。 図８は、算出部２２５による超過度の算出の例を示す図である。 図９は、選択部２２７および変更部２２８によるインスタンスの選択および修正の例を示す図である。 図１０は、是正後のグループの例を示す図である。 図１１は、装置において実行される処理（是正済み訓練データの生成方法）の例を示すフローチャートである。 図１２は、取得部２２１によって取得された訓練データを示す図である。 図１３は、グループ化部２２２によるグループ化を示す図である。 図１４は、是正試行部２２３によるグループのペアの是正処理を示す図である。 図１５は、集約部２２４による、是正処理の試行結果の集約結果を示す図である。 図１６は、算出部２２５による超過度の算出を示す図である。 図１７は、算出部２２５による超過度の算出を示す図である。 図１８は、選択部２２７および変更部２２８によるインスタンスの選択および修正を示す図である。 図１９は、是正後のグループを示す図である。 図２０は、装置において実行される是正済み訓練データの生成処理の例を示すフローチャートである。 図２１は、装置において実行される是正済み訓練データの生成処理の例を示すフローチャートである。 図２２は、実施形態に係る情報処理を説明する図である。 図２３は、装置のハードウェア構成例を説明する図である。

以下、実施形態を図面に基づいて詳細に説明する。この実施形態により発明は限定されない。各形態は、矛盾のない範囲内で適宜組み合わされてよい。

近年、機械学習は、入試や採用、与信など、個人に対する意思決定に利用されるようになってきている。しかし、性別や人種など、差別してはならない保護属性が分類結果（予測結果）に影響するケースが発生しており、問題となっている。そのため、差別のような潜在的な社会的問題に配慮し、予測結果からバイアスを無くすように是正する公平性配慮型機械学習が期待される。

ここで、公平性配慮型機械学習におけるグループの公平性とは、保護属性の値に依存したグループ間における公平性であり、グループ毎の確率がグループ間で一致することを指す。例えば、保護属性が性別であれば、男性グループと女性グループが存在し、採用率やローン審査率が一致することなどである。公平性配慮型機械学習では、入出力するデータにグループ間で確率に差があればデータを修正することで是正する。ただし、公平性と精度はトレードオフになっているので、なるべくデータ修正を抑えた上で公平性を満たすことが求められる。

また、保護属性は単独ではなく、複数指定されることがある。例えば、属性の種類や数は、社会的背景や文化的背景およびユースケースに応じて決定され、複数指定される場合、それらを組み合わせた分のグループが存在する。

開示される技術によれば、特に、複数の保護属性の組でグループ化されたグループに依存したグループ間での分類結果の差（不公平）が是正される。公平性を満たすかどうかの判断として、ある閾値（許容度）が用いられてよい。許容度は保護属性毎に設定されてよく、その場合、厳しく是正したい保護属性の場合には比較的小さい値に設定され、そうでなければ比較的大きい値に設定されてよい。単一の保護属性でグループ化されたグループ間の公平性を是正することが可能な既存の公平性アルゴリズムがそのまま用いられてよい。公平性アルゴリズムは、データ修正（pre-processing、post-processing）を対象とする。公平性を配慮してモデルを構築するアルゴリズム（in-processing）も対象となりうる。公平性アルゴリズムは元のグループ間の順位（例えば正例の比率の順位）を逆転しない２値の分類問題を対象としてよい。以下では、特にpre-processingを対象とする場合について説明する。

図１は、実施形態に係る情報処理装置２０を説明する図である。図１には、機械学習に関するフェーズとして、データ準備フェーズ、訓練フェーズおよび分類フェーズが例示される。

データ準備フェーズにおいて、情報処理装置２０は、訓練データ１０を是正する。訓練データ１０は、保護属性が分類結果に大きな影響を及ぼし得る不公平なデータ、つまり公平性配慮の無いデータである。この不公平が、情報処理装置２０によって是正され、是正済み訓練データ３０として生成される。

訓練フェーズにおいて、訓練装置４０が、是正済み訓練データ３０を用いた機械学習によって、訓練済みモデル５０を生成する。分類フェーズにおいて、分類装置６０が、訓練済みモデル５０を用いて分類（予測）を行う。

ここで、情報処理装置２０は、複数の保護属性を組み合わせたグループに対して、必要最低限のデータ修正によって公平性を満たす、訓練データのデータ修正を実行する。具体的には、情報処理装置２０は、それぞれに正例または負例がラベル付けされた複数のデータを取得する。続いて、情報処理装置２０は、複数のデータそれぞれに関連付けられた第１の属性と第２の属性との組の複数の種類ごとに、正例のデータ数と負例のデータ数との比率を算出する。

そして、情報処理装置２０は、複数の種類（グループ）のそれぞれに対して算出された比率の差が閾値以上である場合、複数の種類に含まれる第１の種類と他の全ての種類それぞれとの組み合わせ毎に、比率に基づいて、第１の種類に対応する第１の属性と第２の属性とが関連付いたデータのうち、変更候補のデータを特定する。

続いて、情報処理装置２０は、組み合わせ毎に特定された変更候補のデータに基づいて、第１の種類に対応する第１の属性と第２の属性とが関連付いたデータのうち、第１のデータを選択する。その後、情報処理装置２０は、複数のデータに含まれる第１のデータのラベルを変更することによって機械学習データである是正済み訓練データ３０を生成する。

つまり、情報処理装置２０は、複数の保護属性を組み合わせたグループを生成し、その中から、２グループを選択したペア全てに対し、差別是正処理を試行し、その試行結果をグループ毎に集約し、スコアの高いインスタンスから順に修正する。このように、情報処理装置２０は、２値分類アルゴリズムを多値分類に適用するone－versus－one分類の考えを取り入れ、不要なデータ修正を抑制しつつ、機械学習データや分類データの公平性を向上することができる。

図２は、情報処理装置の機能ブロックの例を示す図である。情報処理装置２０は、入力部２１と、制御部２２と、記憶部２３と、出力部２４とを含む。

入力部２１には、訓練データ１０が入力される。制御部２２は、入力部２１に入力された訓練データ１０を用いて、是正済み訓練データ３０を生成する。制御部２２の詳細については後述する。記憶部２３は、制御部２２の処理に必要な種々のプログラムや制御部２０が各種処理の過程で生成する各種中間データなどを記憶する。例えば、記憶部２３は、訓練データ１０と是正済み訓練データ３０を記憶する。出力部２４は、記憶部２３によって生成された是正済み訓練データ３０を出力する。

制御部２２について詳述する。制御部２２は、取得部２２１と、グループ化部２２２と、是正試行部２２３と、集約部２２４と、算出部２２５と、特定部２２６と、選択部２２７と、変更部２２８とを含む。

取得部２２１は、入力部２１に入力され訓練データ１０を取得して、記憶部１３に格納する。訓練データ１０の例について、図３を参照して説明する。

図３は、訓練データ１０の例を示す図である。訓練データ１０は、複数のインスタンスのデータを含む。各データは、インスタンスｉｄ（identifier（識別子））および属性が関連付けられるとともに、ラベル付けされている。インスタンスの例は、人である。

属性は、保護属性および非保護属性に分類される。保護属性は、分類結果への影響を低減することが意図されている属性である。非保護属性は、保護属性以外の属性である。保護属性の例は、性別、人種、宗教等である。非保護属性の例は、年齢、住所、点数（例えば試験の点数）等である。図３においては、属性が属性１～属性５として示される。保護属性（属性１および属性２）の内容も、Ａ１、Ｂ１、Ａ２およびＢ２として示される。非保護属性（属性３～属性５）の内容も、ａ３～ｆ３、ａ４～ｆ４およびａ５～ｆ５として示される。

ラベルは、分類結果を示し、具体的には正例（favorable）または負例（unfavorable）の２値を示す。正例および負例の例は、例えば試験の合否を示す合格および不合格である。

図２に戻り、グループ化部２２２は、取得部２２１によって取得された訓練データ１０を、複数の保護属性の組にグループ化する。これについて、図４を参照して説明する。

図４は、グループ化部２２２によるグループ化の例を示す図である。グループ化部２２２は、図３に示した訓練データ１３の保護属性であるＡ１、Ａ２、Ｂ１、Ｂ２それぞれを組み合わせたペアを生成することで、グループ１～グループ４の４つにグループ化する。グループ１は、属性１がＡ１、属性２がＡ２のグループである。他のグループ２～グループ４についても、図４に示されるとおりである。各グループに対応するインスタンスおよびラベルが、丸印で図示される。丸印の数は、インスタンスの数（この例では４）に対応する。丸印は、実線丸印または破線丸印で示される。実線丸印は、正例のラベルに対応する。破線丸印は、負例のラベルに対応する。このとき、グループ化部２２２は、要素メトリクスを算出してよい。要素メトリクスの例は、正例のデータ数と負例のデータ数との比率である。比率の例は、全インスタンス数に対する正例のインスタンス数の比率（正例のインスタンス数／全インスタンス数）、全インスタンス数に対する負例のインスタンス数の比率（負例のインスタンス数／全インスタンス数）、負例のインスタンス数に対する正例のインスタンス数の比率（正例のインスタンス数／負例のインスタンス数）および正例のインスタンス数に対する負例のインスタンス数（負例のインスタンス数／正例のインスタンス数）である。以下、とくに説明がある場合を除き、比例は、全インスタンス数に対する正例のインスタンス数の比率（正例のインスタンス数／全インスタンス数）であるものとする。

図２に戻り、是正試行部２２３は、グループ化部２２２によってグループ化されたグループのペア（組の種類のペア）に対して、是正処理を試行する。これについて、図５を参照して説明する。

図５は、是正試行部２２３によるグループのペアの是正処理の例を示す図である。是正試行部２２３は、グループ１～グループ４の４つのグループの組み合わせから、グループ１とグループ２のペア、グループ１とグループ３のペア、グループ１とグループ４のペア、グループ２とグループ３のペア、グループ２とグループ４のペア、グループ３とグループ４のペアを生成して、６つのグループのペアを生成する。そして、是正試行部２２３は、６つのグループのペアそれぞれに対して、是正処理を試行する。

是正試行部２２３は、６つのペアそれぞれについて、ペアを構成する２つのグループ間の是正処理を試行する。是正試行部２２３は、例えばバイアス間アルゴリズム等とも称される公平性アルゴリズムを用いることによって是正処理を試行する。２グループ間の公平性アルゴリズムは公知であるので、ここでは詳細な説明は行わない。是正処理の例は、インスタンスのラベル変更である。ラベル変更は、正例から負例への変更および負例から正例への変更を含む。是正処理の他の例は、属性の追加、修正等である。以下、特に説明がある場合を除き、是正処理がラベル変更であるものとする。なお、是正試行部２２３によって行われるのは是正処理の試行であるので、是正処理の結果は取得できるが、その結果通りに直ちに２グループ間の公平性が是正される、すなわちラベル変更によりインスタンスが修正されるわけではないことに留意されたい。

図５には、是正処理の結果も例示される。修正対象のインスタンスが、ハッチングで示される。この例では、グループ１およびグループ２のペアにおいて、グループ１の（左から）２番目のインスタンスが修正対象である。他のペアについても、図５に示される通りである。なお、グループ３およびグループ４のペアにおいては、修正対象のインスタンスは存在しない。

図２に戻り、集約部２２４は、是正試行部２２３による是正処理の試行結果を、グループごとに集約する。これについて、図６を参照して説明する。

図６は、集約部２２４による、是正処理の試行結果の集約結果の例を示す図である。集約部２２４は、図５に示した６つのグループペアの是正処理の試行結果を、グループ１、グループ２、グループ３、グループ４ごとに集約する。すなわち、図６に示すように、集約部２２４は、グループ１～グループ４それぞれに３通りの是正処理の試行結果を集約する。例えば、グループ１を例にして集約を説明すると、集約部２２４は、グループ１とグループ２のペアから、１つの負例のラベル（破線丸印）、２つの正例のラベル（実践丸印）、１つの変更対象のラベル（ハッチング）とを集約する。同様に、集約部２２４は、グループ１とグループ３のペアから、１つの負例のラベル、２つの正例のラベル、１つの変更対象のラベルとを集約し、グループ１とグループ４のペアから、１つの負例のラベル、１つの正例のラベル、２つの変更対象のラベルとを集約する。

また、集約部２２４は、インスタンスにスコアを付与する。スコア付与のタイミングはとくに限定されず、後述の選択部２２７による選択までに実行することができる。スコアは、インスタンスの修正の必要性が高いことを示す指標（確信度）である。集約部２２４は、そのインスタンスを修正対象とする試行結果の数が多いほど高くなるようにスコアを定める。例えば、集約部２２４は、試行結果の数の割合（比率、確率等）に基づいて、スコアを定める。図６に示される例では、グループ１の２番目のインスタンスは、３通りの是正処理の試行結果すべてによって修正対象とされているため、スコアは、３／３すなわち１．０である。グループ１の３番目のインスタンスのスコアは、１／３すなわち０．３３であり、グループ２の４番目のインスタンスおよびグループ３の３番目のインスタンスも同様である。グループ４の３番目のインスタンスのスコアは、２／３すなわち０．６７である。スコアが図示されない他のインスタンスのスコアは、０／３すなわち０である。スコアが付与されたインスタンスは、修正対象候補のインスタンスとなりうる。

図２に戻り、算出部２２５は、グループのペアごとに、超過度を算出する。超過度は、ペアを構成するグループ同士の間の不公平の程度が一定以上であることを示す。超過度の算出について、図７および８を参照して説明する。

図７および図８は、算出部２２５による超過度の算出の例を示す図である。図７を参照して、算出部２２５は、ペアを構成する２つのグループを、特権グループと非特権グループと分類する。特権グループは、優遇されるグループである。非特権グループは、冷遇されるグループである。この分類は、要素メトリクス（例えば正例の比率）の大きさに基づいて行われる。例えば、算出部２２５は、２つのグループのうち、正例の比率が大きいグループを、特権グループに分類する。算出部２２５は、２つのグループのうち、正例の比率が小さいグループを、非特権グループに分類する。図７に示される例では、算出部２２５は、グループ１およびグループ２のペアにおいては、グループ１を特権グループに分類し、グループ２を非特権グループに分類する。他のグループのペアについても、図７に示されるとおりである。

算出部２２５は、それぞれのペアについて、公平性メトリクスδを算出する。公平性メトリクスδは、データおよびモデルの公平性を測るためのメトリクスである。グループ間の公平性を判断するために、一例として、下記の式（１）にしたがって算出される統計的均一性（statistical parity）を一例とする公平性メトリクスδを用いるものとする。ただし、これ以外にも、公平性メトリクスは、確率、距離および分布などをベースとして多種存在しており、それらのいずれかがユースケースに応じて適宜選択され、用いられてよい。

上記の式（１）において、Ｙはラベルを示し、Ｙ＝１は正例を示す。Ｄは保護属性を示し、Ｄ＝ｕｎｐｒｉｖｉｌｅｄｇｅｄは非特権グループであることを示し、Ｄ＝ｐｒｉｖｉｌｅｄｇｅｄは特権グループであることを示す。右辺第１項は、非特権グループの正例の分布を示す。右辺第２項は、特権グループの正例の分布を示す。公平性メトリクスδの値が大きいほど、グループ間の不公平が大きいことを示す。

図７において、グループ１およびグループ２のペアにおける公平性メトリクスδが、δ１２（＝Ｐｒ２－Ｐｒ１）として示される。分布Ｐｒ２は、グループ２の分布である。分布Ｐｒ１は、グループ１の分布である。他のグループのペアについても、図７に示されるとおりである。

算出部２２５は、公平性メトリクスδから、超過度を算出する。超過度は、公平性メトリクスδに対して設定された閾値の一例である許容度εから、算出された公平性メトリクスδがどの程度外れているのかを示す。この例では、算出部２２５は、超過度を、属性別に算出して小計する。これにより、属性に応じて異なる許容度εが設定されうる。図７において、グループ１およびグループ２のペアにおける超過度のうち、属性１に応じた超過度が、超過度Ｅ１２－１として示される。属性２に応じた超過度が、超過度Ｅ１２－２として示される。超過度Ｅ１２－１および超過度Ｅ１２－２の小計値（合計値）が、超過度Ｅ１２として示される。他のグループのペアについても、図７に示される通りである。

図８を参照して、算出部２２５は、図７に示す超過度の小計値から、各グループの超過度を算出する。算出部２２５は、そのグループに関する小計値を加算または減算した値（ここでは絶対値）として超過度を算出する。図８において、グループ１の超過度が、超過度Ｅ１として示される。ここで、算出部２２５は、小計値を加算するか減算するかを、小計値が算出されたグループのペアにおいて、そのグループが特権グループおよび非特権グループのいずれであったかに応じて決定する。この例では、算出部２２５は、特権グループであった場合に小計値を加算し、非特権グループであった場合に小計値を減算する。特権グループ（優遇されるグループ）と非特権グループ（冷遇されるグループ）とでは、是正の方向が異なるからである。例えば加算だけにすると、優遇および冷遇の両方での是正が必要な場合に、一方の是正によって他方の超過度が大きくなってしまう。加算および減算を使い分けることで、超過度が大きくなり過ぎないようにすることができる。超過度は後述するように是正の優先度を高めるという意味もあり、超過度の抑制は、是正の優先度を下げることにつながる。図８に示される例では、算出部２２５は、グループ１の超過度Ｅ１を、Ｅ１＝｜Ｅ１２＋Ｅ１３＋Ｅ１４｜として算出する。他のグループについても、図８に示されるとおりである。

図２に戻り、特定部２２６は、算出部２２５によって算出された超過度に基づいて、是正対象のグループを特定（選択）する。例えば、特定部２２６は、超過度が最も大きいグループを、是正対象のグループとして特定する。超過度が最も大きいグループが複数存在する場合には、例えば、特定部２２６は、最も修正候補（ラベルの変更候補）のインスタンスの数またはスコア（確信度）の高いグループを是正対象グループとして特定する。ここでは、グループ１が是正対象として特定されるものとする。

選択部２２７は、特定部２２６によって特定されたグループに含まれるインスタンスから、修正対象となるインスタンスを選択（特定）する。変更部２２８は、選択されたインスタンスのラベルを変更することによってインスタンスを修正する。これについて、図９および図１０を参照して説明する。

図９は、選択部２２７および変更部２２８によるインスタンスの選択および修正の例を示す図である。上述のようにグループ１が是正対象であり、図９の左側には、グループ１の集約結果（図６）が再掲される。２番目のインスタンスのスコアが１．０で最も高いので、選択部２２７は、２番目のインスタンスを、修正対象のインスタンスとして選択する。変更部２２８は、選択部２２７によって選択された２番目のインスタンスのラベルを変更する。この例では、変更部２２８は、図９の右側に示されるように、２番目のインスタンスのラベルを正例から負例に変更する。

図１０は、是正後のグループの例を示す図である。先に説明した図４と比較すると、グループ１の２番目のインスタンスのラベルが正例から負例に変更されており、その分、グループ１と他のグループ２～４との正例の比率の差が小さくなっている。すなわち、グループ間の公平性が是正（不公平性が低減）されている。

上述の図７～図１０等を参照して説明した特定部２２６、選択部２２７および変更部２２８による処理は、超過度が許容度εに収まるまで、繰り返し実行されてよい。その際、グループ間の公平性（正例の比率の順位）が逆転しない範囲で各処理が実行されてよい。その場合、例えば、変更部２２８は、特定部２２６によって特定されたグループにおいて選択部２２７によって選択されたラベルを変更してもグループ間の順位が変わらない場合に、そのラベルデータを変更する。これにより、超過度が収束しやすくなる。

例えば以上のようにして訓練データ１０（図１）を是正することにより、制御部２２は、是正済み訓練データ３０を生成する。

なお、公平性アルゴリズムによっては、非保護属性を修正または追加するが、その場合、変更部２２８は、修正候補の中から適当な集約関数を用いて採用してよい。例えば、変更部２２８は、名義尺度であれば多数決を採用したり、比例尺度であれば平均を取ったりすることができる。

図１１は、装置において実行される処理である是正済み訓練データの生成方法の例を示すフローチャートである。

取得部２２１は、入力部２１に入力された訓練データ１０を取得する（Ｓ１）。

続いて、グループ化部２２２は、先に図４を参照して説明したように、取得部２２１によって取得された訓練データ１０をグループ化する（Ｓ２）。

そして、是正試行部２２３は、先に図５を参照して説明したように、グループのペアごとに是正処理を試行する（Ｓ３）。

その後、集約部２２４は、先に図６を参照して説明したように、是正処理の試行結果をグループごとに集約する（Ｓ４）。

続いて、算出部２２５は、先に図７および図８を参照して説明したように、超過度を算出する（Ｓ５）。

そして、特定部２２６は、先に図７および図８を参照して説明したように、是正対象のグループを特定する（Ｓ６）。

続いて、選択部２２７は、先に図９を参照して説明したように、修正対象のインスタンスを選択する（Ｓ７）。

その後、変更部２２８は、先に図９を参照して説明したように、インスタンスを修正する（Ｓ８）。

その後、制御部２２は、超過度が許容度εの範囲内であるか否かを判断する（Ｓ９）。超過度が許容度εの範囲内である場合（Ｓ９：Ｙｅｓ）、制御部２２は、フローチャートの処理を終了する。そうでない場合（Ｓ９：Ｎｏ）、制御部２２は、Ｓ６に処理を戻す。なお、Ｓ６～Ｓ９の処理が繰り返し実行される間、先に述べたように、グループ間の公平性（正例の比率の順位）が逆転しない範囲でそれらの処理が実行されてよい。これに関するフローについては、後に説明する図２０および図２１で例示される。

以上のようにして生成された是正済み訓練データ３０は、複数の保護属性がある場合に、保護属性を組み合わせグループ全体に対して最適化するように是正されている。仮に、複数の保護属性がある場合に一つの保護属性ずつ順に是正した場合、１つの保護属性を是正する際に別の保護属性の内容が考慮されないため、別の保護属性の差別が悪化するといった問題がある。一度是正した別の保護属性の結果が変更される問題、保護属性を組み合わせたグループの差別が是正されない問題もある。また、複数の保護属性を組み合わせたグループに対し、選択した２グループ間（ペア）で是正を行い、次のペアで是正を行い、という処理を繰り返すことも考えられる。しかしこの場合には、修正されるインスタンスが、選択したグループのペアによって決定されるため、修正結果が局所解となってしまう。本実施形態の手法によれば、これらの問題が低減される。

次に、図１２～図２１を参照して、上述した処理の具体例を説明する。これまでの説明と重複する内容については詳細な説明は省略する。

図１２は、取得部２２１によって取得された訓練データを示す図である。インスタンスは、試験の受験者（応募者）ある。保護属性は、性別および宗教である。非保護属性は、年齢、住所および点数（試験の点数）である。ラベルは、合格（正例）および不合格（負例）である。

図１３は、グループ化部２２２によるグループ化を示す図である。グループ化部２２２は、男性および宗教Ａのグループ、男性および宗教Ｂのグループ、女性および宗教Ａのグループ、ならびに、女性および宗教Ｂのグループにグループ化する。各グループに含まれるインスタンスの数（丸印の数）は、１０である。実線丸印は合格（正例）に対応し、破線丸印は不合格（負例）に対応する。

図１４は、是正試行部２２３によるグループのペアの是正処理を示す図である。是正試行部２２３は、６つのグループのペアそれぞれについて是正処理を試行する。修正対象のインスタンスが、ハッチングで示される。

図１５は、集約部２２４による、是正処理の試行結果の集約結果を示す図である。インスタンスに付与されたスコアも図示される。

図１６および図１７は、算出部２２５による超過度の算出を示す図である。図１６を参照して、ここでは、算出部２２５は、性別に応じた超過度の許容度ε_１を０．２に設定し、宗教に応じた超過度の許容度ε_２を０．３に設定する。算出部２２５は、これらの超過度を超えた分を、属性別の超過度として算出する。男性および宗教Ａのグループと、女性および宗教Ａのグループとのペアにおいて、公平性メトリクスδが－０．３である。性別の超過度は、許容度ε_２（０．２）を０．１だけ上回るため、０．１である。宗教の超過度は、許容度ε_１（０．３）を上回らないので、０である。超過度の小計値（合計値）は、０．１である。他のグループについても、図１６に示されるとおりである。

図１７を参照して、算出部２２５は、各グループの超過度を、小計値を加算または減算した値として算出する。算出部２２５は、男性および宗教Ａのグループの超過度を０．７として算出する。他のグループについても、図１７に示されるとおりである。

図１７に示される４つのグループのうち、最も超過度の大きい男性および宗教Ａのグループが、特定部２２６によって、是正対象のグループとして特定される。

図１８は、選択部２２７および変更部２２８によるインスタンスの選択および修正を示す図である。図１８の左側に示されるように、男性および宗教Ａのグループに含まれるインスタンスのうち最も高い１．０のスコアが付与されたインスタンスが、選択部２２７によって、修正対象のインスタンスとして選択される。図１８の右側に示されるように、選択部２２７によって選択されたインスタンスのラベルが変更部２２８によって合格から不合格に変更され、インスタンスが修正される。

図１９は、是正後のグループを示す図である。先に説明した図１３と比較すると、男性および宗教Ａのグループの（上から）２番目のインスタンスのラベルが正例から負例に変更されている。その結果、男性および宗教Ａのグループと、他のグループとの正例の比率の差が小さくなっている。すなわち、グループ間の公平性が是正（不公平性が低減）されている。

以上説明した是正済み訓練データの生成方法は一例に過ぎず、さまざまな観点から生成方法が特定される。いくつかの例を、図２０および図２１を参照して説明する。

図２０は、装置において実行される処理である是正済み訓練データの生成処理の例を示すフローチャートである。

是正試行部２２３は、保護属性を組み合わせたグループのすべてのペアに対し、公平性アルゴリズムによる是正処理を実行する（Ｓ１１）。具体例については先に図５および図１４を参照して説明したとおりである。

続いて、集約部２２４は、グループ毎に是正処理結果を集約し、修正されたインスタンスを修正候補とする（Ｓ１２）。具体例については先に図６および図１５を参照して説明したとおりである。図６および図１５においてハッチングで示されるインスタンスが、是正候補のインスタンスである。

そして、算出部２２５は、全グループの要素メトリクス（例えば正例の比率）を算出し、全ペアの要素グループの特権性を判定する（Ｓ１３）。具体例については先に図７および図１６を参照して説明したとおりである。

次に、算出部２２５は、全ペアの公平性メトリクスから、ペア別属性別超過度、およびペア別超過度を算出する（Ｓ１４）。具体例については先に図７および図１６を参照して説明したとおりである。

そして、算出部２２５は、ペア別超過度から、グループ別超過度を算出し、０を超過するグループを是正対象グループ候補とする（Ｓ１５）。具体例については先に図７および図１６を参照して説明したとおりである。

ここで、制御部２２は、是正対象グループ候補があるか否かを判断する。是正対象グループ候補がある場合（Ｓ１６：Ｙｅｓ）、制御部２２は、Ｓ１７に処理を進める。そうでない場合（Ｓ１６：Ｎｏ）、制御部２２は、フローチャートの処理を終了する。

そして、特定部２２６は、是正対象グループ候補の中で最も大きい超過度を持つグループを是正対象グループとする（Ｓ１７）。具体例についてはこれまで説明したとおりである。

ここで、制御部２２は、是正対象グループに、修正候補となるインスタンスがあるか否かを判断する（Ｓ１８）。修正候補となるインスタンスがある場合（Ｓ１８：Ｙｅｓ）、制御部２２は、Ｓ１９に処理を進める。そうでない場合（Ｓ１８：Ｎｏ）、制御部２２は、Ｓ２２に処理を進める。

続いて、選択部２２７は、修正候補となるインスタンス毎に確信度（スコア）を算出し、最も確信度の高いインスタンスを選択する（Ｓ１９）。具体例については、先に図９および図１８を参照して説明したとおりである。

そして、制御部２２は、選択したインスタンスを修正した場合、要素メトリクス（例えば正例の比率）の順位が変わるか否かを判断する（Ｓ２０）。順位が変わる場合（Ｓ２０：Ｙｅｓ）、制御部２２は、Ｓ２２に処理を進める。そうでない場合（Ｓ２０：Ｎｏ）、制御部２２は、Ｓ２１に処理を進める。

次に、変更部２２８は、選択したインスタンスの修正内容をグループ別集約結果に反映し、修正候補から除外する（Ｓ２１）。具体例については、先に図９、図１０、図１８および図１９を参照して説明したとおりである。Ｓ２１の処理が完了した後、制御部２２は、Ｓ１６に処理を戻す。

その後、制御部２２は、是正グループ候補から除外する（Ｓ２２）。すなわち、制御部２２は、先のＳ１７で是正対象とされたグループを、是正グループ候補から除外する。Ｓ２２の処理が完了した後、制御部２２は、Ｓ１６に処理を戻す。

例えば以上のようにして、是正済み訓練データ３０を生成することができる。とくにＳ２０の処理を経ることによって、要素メトリクス（例えば正例の比率）の順位が変わらない範囲でインスタンスが是正されるので、処理が収束し易くなる。

図２１は、装置において実行される処理である是正済み訓練データの生成処理の例を示すフローチャートである。

Ｓ３１～Ｓ３５の処理は、先に図２０を参照して説明したＳ１１～Ｓ１５の処理と同様であるので、ここでは説明は繰り返さない。

制御部２２は、是正対象グループ候補があるか否かを判断する（Ｓ３６）。是正対象グループ候補がある場合（Ｓ３６：Ｙｅｓ）、制御部２２は、Ｓ３７に処理を進める。そうでない場合（Ｓ３６：Ｎｏ）、制御部２２は、フローチャートの処理を終了する。

制御部２２は、是正対象グループ候補の中で超過度が最大となるグループが複数あるか否かを判断する（Ｓ３７）。超過度が最大となるグループが複数ある場合（Ｓ３７：Ｙｅｓ）、制御部２２は、Ｓ３８に処理を進める。そうでない場合（Ｓ３７：Ｎｏ）、制御部２２は、Ｓ３９に処理を進める。

特定部２２６は、超過度が最大となるグループの中で、最も修正候補のインスタンスの数または確信度（スコア）の高いグループを是正対象グループとする（Ｓ３８）。具体例についてはこれまで説明したとおりである。Ｓ３８の処理が完了した後、制御部２２は、Ｓ４０に処理を進める。

特定部２２６は、超過度が最大となるグループを是正対象グループとする（Ｓ３９）。具体例についてはこれまで説明したとおりである。Ｓ３９の処理が完了した後、制御部２２は、Ｓ４０に処理を進める。

Ｓ４０～Ｓ４４の処理は、先に図２０を参照して説明したＳ１８～Ｓ２２の処理と同様であるので、ここでは説明は繰り返さない。Ｓ４３またはＳ４４の処理が完了した後、制御部２２は、Ｓ３６に処理を戻す。

例えば以上のようにして、是正済み訓練データ３０を生成することができる。とくにＳ３７～Ｓ３９の処理を経ることによって、超過度が最大となるグループが複数存在する場合でも、是正対象グループを特定することができる。

以上説明した情報処理装置２０によれば、グループのペアそれぞれについての是正処理の試行結果を集約し、その集約結果に基づいてラベル変更する。これにより、例えば特定のグループのペアにだけ着目してラベル変更する場合と比較して、グループ全体の間での不公平性が大きくなることを防ぐことができる。したがって、訓練データ１０の公平性を向上することができる。

超過度が最も大きいグループのペアにおけるグループのインスタンスを修正することで、適切な是正を行うことができる。一つのインスタンスの修正後、別のインスタンスも修正することで、さらに是正を行うことができる。

公平性メトリクスδを算出すること、また、公平性メトリクスδが閾値に対して超過しているグループを、是正対称のグループとして特定することで、公平性是正の必要性が高い是正対称のグループを特定することができる。

公平性メトリクスの超過度の小計値の加算または減算の結果に基づいて是正対称のグループを特定することで、例えば優遇される特権グループと冷遇される非特権グループとの是正の方向の違いを考慮することができる。

２つのグループ間の公平性を是正する公平性アルゴリズムを用いて修正対称のインスタンスを選択することで、既存の公平性アルゴリズムを活用することができる。

要素メトリクス（例えば正例の比率）の順位が変わらない場合にラベル変更すること、すなわち順位が変わらない範囲でインスタンスを是正することで、処理が収束し易くなる。

超過度が最大となるグループが複数存在する場合には、最も修正候補のインスタンスの数または確信度（スコア）の高いグループを是正対象グループとすることで、是正対称を特定することができる。

保護属性を組み合わせたグループに処理を適用することで、差別してはならない保護属性による分類結果への影響を低減することができる。

以上では、実施形態に係る処理が訓練データを是正するpre-processingを対象とする例について説明した。ただし、実施形態に係る処理は、機械学習済みのモデルによって生成された分類データ（予測データ）を是正するpost-processingを対象とすることもできる。pre-processingと同じ方式を適用できるからである。pre-processingとの違いはデータの種類だけで、pre-processingが訓練／テストといった、元のデータのラベル（観測ラベルや正解ラベルとも言われる）を変更するのに対し、post-processingは予測データのラベルを変更する。予測データもラベルの他に保護属性も分かるので、それを使ってペア毎に是正処理を行い、その結果を集約して、修正するインスタンスを決めていく。post-processingについて、図２２を参照して説明する。

図２２は、実施形態に係る情報処理を説明する図である。データ準備フェーズにおいて、訓練データ１０の是正は行われない。学習フェーズにおいて、訓練装置４０が、訓練データ１０を用いた機械学習によって、訓練済みモデル５０Ａを生成する。分類フェーズにおいて、分類装置６０Ａが、訓練済みモデル５０Ａを用いて分類を行う。訓練済みモデル５０Ａの分類結果が、分類データ７０として図示される。分類データ７０は、訓練データ１０と同様のデータ構造を有する。分類データ７０は、情報処理装置２０Ａによって是正される。情報処理装置２０Ａは、情報処理装置２０（図１）と同様の構成を備えていてよい。分類データ７０が訓練データ１０と同様のデータ構造を有することから、情報処理装置２０Ａは、情報処理装置２０が訓練データ１０を是正するのと同様に、分類データ７０を是正することができる。是正されたデータが、是正済み分類データ８０として図示される。是正済み分類データ８０は、是正済み訓練データ３０（図１）と同様に、不公平が是正されたデータである。

実施形態に係る処理は、in-processingを対象とすることもできる。この場合、例えば図１に示される分類装置６０（分類アルゴリズム）が、公平性アルゴリズムに内包された構成とすることで、公平性に配慮した分類アルゴリズムとして扱われる。in-processingにおいては、データ修正というよりは、バイアスのかかりにくいようなモデルを構築する。モデルであるので、入力は訓練／テスト、出力は予測となる。この場合でも、これまで説明した方式が同じように適用できる。すなわち、訓練／テストをペア毎で是正処理を行い、その結果となる予測データを集約し、インスタンスを修正する。pre-processingおよびpost-processingと比較して、精度および公平性の観点で有利となりうる。

上記実施の形態で用いた訓練データの数や種類、保護属性等の種別、ラベル例、インスタンス例等は、あくまで一例であり、任意に変更することができる。

上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散や統合の具体的形態は図示のものに限られない。つまり、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、要素メトリクスは、制御部２２におけるグループ化部２２２以外の是正試行部２２３、集約部２２４、算出部２２５等が算出することもできる。また、スコアの付与は、算出部２２５や特定部２２６が実行することもできる。

さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵ（Central Processing Unit）および当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。

上述した情報処理装置２０のハードウェア構成の例について、図２３を参照して説明する。なお、情報処理装置２０Ａ、訓練装置４０および分類装置６０についても同様のハードウェア構成を有するので、ここでは、情報処理装置２０についてのみ説明する。

図２３は、ハードウェア構成例を説明する図である。情報処理装置２０は、通信装置２０ａ、表示装置２０ｂ、ＨＤＤ（Hard Disk Drive）２０ｃ、メモリ２０ｄ、プロセッサ２０ｅを有する。それらはバス等で相互に接続される。

通信装置２０ａは、ネットワークインタフェースカードなどであり、他のサーバとの通信を行う。表示装置２０ｂは、是正結果などを表示する装置であり、例えばタッチパネルやディスプレイなどである。ＨＤＤ２０ｃは、図２に示した機能を動作させるプログラムやＤＢを記憶する。

プロセッサ２０ｅは、プログラムをＨＤＤ２０ｃ等から読み出してメモリ２０ｄに展開することで、図２等で説明した各機能を実行するプロセスを動作させる。例えば、このプロセスは、情報処理装置２０が有する制御部２２と同様の機能を実行する。具体的には、プロセッサ２０ｅは、プログラムをＨＤＤ２０ｃ等から読み出す。そして、プロセッサ２０ｅは、制御部２２等と同様の処理を実行するプロセスを実行する。

このように、情報処理装置２０は、プログラムを読み出して実行することで是正済み訓練データ（機械学習データ）の生成方法を実行する情報処理装置として動作する。また、情報処理装置２０は、媒体読取装置によって記録媒体からプログラムを読み出し、読み出されたプログラムを実行することで上記した実施例と同様の機能を実現することもできる。なお、この他の実施例でいうプログラムは、情報処理装置２０によって実行されることに限定されるものではない。例えば、他のコンピュータまたはサーバがプログラムを実行する場合や、これらが協働してプログラムを実行するような場合にも、本発明を同様に適用することができる。

このプログラムは、インターネットなどのネットワークを介して配布することができる。また、このプログラムは、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＭＯ（Magneto－Optical disk）、ＤＶＤ（Digital Versatile Disc）などのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することができる。

１０ 訓練データ
２０ 情報処理装置
２１ 入力部
２２ 制御部
２３ 記憶部
２４ 出力部
３０ 是正済み訓練データ
４０ 訓練装置
５０ 訓練済みモデル
６０ 分類装置
７０ 分類データ
８０ 是正済み分類データ
２２１ 取得部
２２２ グループ化部
２２３ 是正試行部
２２４ 集約部
２２５ 算出部
２２６ 特定部
２２７ 選択部
２２８ 変更部

Claims (12)

1. それぞれに正例または負例がラベル付けされた複数のデータを取得し、
   前記複数のデータのそれぞれに関連付けられた第１の属性と第２の属性との組の複数の種類毎に、正例のデータ数と負例のデータ数との比率を算出し、
   前記複数の種類のそれぞれに対して算出された前記比率の差が閾値以上である場合、前記複数の種類に含まれる第１の種類と他の全ての種類それぞれとの組み合わせ毎に、前記比率に基づいて、前記第１の種類に対応する前記第１の属性と前記第２の属性とが関連付いたデータのうち、変更候補のデータを特定し、
   前記組み合わせ毎に特定された前記変更候補のデータに基づいて、前記第１の種類に対応する前記第１の属性と前記第２の属性とが関連付いたデータのうち、第１のデータを選択し、
   前記複数のデータに含まれる前記第１のデータのラベルを変更することによって機械学習データを生成する、
   処理をコンピュータに実行させることを特徴とする機械学習データ生成プログラム。
2. 前記特定する処理は、前記複数の種類のうち、前記比率の差が前記閾値から最も離れている種類を、前記第１の種類として選択する処理、
   を含むことを特徴とする請求項１に記載の機械学習データ生成プログラム。
3. 前記特定する処理は、前記選択する処理によって前記第１のデータが選択され、前記生成する処理によって前記第１のデータのラベルが変更された後、前記複数の種類のうちの前記第１の種類とは別の第１の種類と他の全ての種類それぞれとの組み合わせ毎に、前記比率に基づいて、前記別の第１の種類に対応する前記第１の属性と前記第２の属性とが関連付いたデータのうち、変更候補のデータを特定する処理、
   を含むことを特徴とする請求項１または２に記載の機械学習データ生成プログラム。
4. 前記算出する処理は、前記比率の差として、２つの前記種類の間の確率、距離および分布の少なくとも一つに基づく値である公平性メトリクスを算出する処理、
   を含み、
   前記特定する処理は、前記算出する処理によって算出された前記公平性メトリクスに基づいて、前記第１の種類を選択する処理、
   を含むことを特徴とする請求項１に記載の機械学習データ生成プログラム。
5. 前記特定する処理は、前記複数の種類のうち、前記公平性メトリクスが閾値に対して超過している種類から、前記第１の種類を選択する処理、
   を含むことを特徴とする請求項４に記載の機械学習データ生成プログラム。
6. 前記特定する処理は、前記第１の属性および前記第２の属性それぞれに対して設定された閾値に対する前記公平性メトリクスの超過度の小計値の加算または減算の結果に基づいて、前記第１の種類を選択する処理、
   を含むことを特徴とする請求項４に記載の機械学習データ生成プログラム。
7. 前記選択する処理は、２つの前記種類の間の公平性を是正する公平性アルゴリズムを用いて、前記第１のデータを選択する処理、
   を含むことを特徴とする請求項１に記載の機械学習データ生成プログラム。
8. 前記生成する処理は、前記選択する処理によって選択された前記第１のデータのラベルを変更しても前記複数の種類間の前記比率の順位が変わらない場合に、前記第１のデータのラベルを変更する処理、
   を含むことを特徴とする請求項１に記載の機械学習データ生成プログラム。
9. 前記特定する処理は、前記複数の種類のうち、前記比率の差が前記閾値から最も離れている種類が複数ある場合には、前記変更候補の数が最も多いまたは前記比率が最も大きい種類を前記第１の種類とする処理、
   を含むことを特徴とする請求項１に記載の機械学習データ生成プログラム。
10. 前記第１の属性および前記第２の属性は、いずれも保護属性である、
    ことを特徴とする請求項１に記載の機械学習データ生成プログラム。
11. それぞれに正例または負例がラベル付けされた複数のデータを取得し、
    前記複数のデータのそれぞれに関連付けられた第１の属性と第２の属性との組の複数の種類毎に、正例のデータ数と負例のデータ数との比率を算出し、
    前記複数の種類のそれぞれに対して算出された前記比率の差が閾値以上である場合、前記複数の種類に含まれる第１の種類と他の全ての種類それぞれとの組み合わせ毎に、前記比率に基づいて、前記第１の種類に対応する前記第１の属性と前記第２の属性とが関連付いたデータのうち、変更候補のデータを特定し、
    前記組み合わせ毎に特定された前記変更候補のデータに基づいて、前記第１の種類に対応する前記第１の属性と前記第２の属性とが関連付いたデータのうち、第１のデータを選択し、
    前記複数のデータに含まれる前記第１のデータのラベルを変更することによって機械学習データを生成する、
    処理をコンピュータが実行することを特徴とする機械学習データ生成方法。
12. それぞれに正例または負例がラベル付けされた複数のデータを取得し、
    前記複数のデータのそれぞれに関連付けられた第１の属性と第２の属性との組の複数の種類毎に、正例のデータ数と負例のデータ数との比率を算出し、
    前記複数の種類のそれぞれに対して算出された前記比率の差が閾値以上である場合、前記複数の種類に含まれる第１の種類と他の全ての種類それぞれとの組み合わせ毎に、前記比率に基づいて、前記第１の種類に対応する前記第１の属性と前記第２の属性とが関連付いたデータのうち、変更候補のデータを特定し、
    前記組み合わせ毎に特定された前記変更候補のデータに基づいて、前記第１の種類に対応する前記第１の属性と前記第２の属性とが関連付いたデータのうち、第１のデータを選択し、
    前記複数のデータに含まれる前記第１のデータのラベルを変更することによって機械学習データを生成する、
    処理を実行する制御部を含むことを特徴とする機械学習データ生成装置。

Images