JP7276757B2

JP7276757B2 - モデル公平性のためのシステムおよび方法

Info

Publication number: JP7276757B2
Application number: JP2022504034A
Authority: JP
Inventors: カンカー，シーン，ジャバド; ヴィーン，マイケル，イーガンヴァン; リ，フェン; エバーシュタイン，マーク，フレデリック; バレンティン，ジョセ，エフライン; ブジック，ジェローム，ルイ; ラムメリル，ジョン，ウィッケンズ
Original assignee: ゼストファイナンス，インコーポレーテッド
Priority date: 2019-03-18
Filing date: 2020-03-18
Publication date: 2023-05-18
Anticipated expiration: 2040-03-18
Also published as: JP2022525702A; US10977729B2; EP3942384A1; BR112021018532A2; CA3134043A1; US20210133870A1; US20200302524A1; WO2020191057A1; US11893466B2; US20240127125A1; EP3942384A4

Description

［関連出願の相互参照］
本出願は、この参照によってその全体が本明細書に組み込まれている、２０１９年３月１８日に出願された米国特許仮出願第６２／８２０，１４７号明細書の優先権を主張するものである。

本発明は一般にモデリングシステム（modeling system）の分野に関し、より詳細には、モデリングシステム分野の有用な新規のモデルトレーニングシステムに関する。

モデリングシステムの分野では、予測モデル（predictive model）の公平性（fairness）を向上させることが求められている。消費者に貸付金を与えるべきかどうかを判断するために機械学習モデルが使用される信用リスク（credit risk）モデリングの分野では、人種および民族、性別、年齢ならびに他の保護された属性（protected attribute）（以後、保護属性）に関して貸出しの判断が公平であること、異なる影響の源が識別され、中立化または正当化されることが特に重要である。１９７４年１０月２８日に制定されたアメリカ合衆国法である信用機会均等法（Equal Credit Opportunity Act）（ＥＣＯＡ）（合衆国法律集タイトル１５の第１６９１条以降の条文（15 U.S.C. § 1691 et seq.）に成文化されている）は、公平な信用判断を保証する手続きを規定しており、この法律は参照によって本明細書に組み込まれている。

実施形態による、システムの概略図である。実施形態による、システムの概略図である。実施形態による、システムの概略図である。実施形態による、方法の概略図である。実施形態による、方法の概略図である。実施形態による、モデルを示す図である。実施形態による、モデルを示す図である。実施形態による、モデルを示す図である。実施形態による、モデルを示す図である。実施形態による、モデルを示す図である。

本明細書に開示された実施形態は一般に、有用な新規の方法がより公平なモデルを生成することを可能にし、詳細には、新規の有用な方法が、ＥＣＯＡなどの法律および規制に従う信用リスクモデルを生成することを可能にする。
好ましい実施形態の以下の説明が本開示をこれらの好ましい実施形態に限定することは意図されておらず、むしろ、好ましい実施形態の以下の説明が、そのような実施形態を当業者が実施および使用することを可能にすることが意図されている。

１．概要
人々の生命に影響を与える実世界のシナリオでモデル（例えば予測モデル）を展開する（deploy）かどうかを判定する際に、そのようなモデルが人々の生命に影響を与える程度の公平性は、モデルを展開するかどうかまたはモデル開発を続けるかどうかを判定する際の考慮事項となりうる。例えば、１つのモデルが、あるクラス（class）（例えば人種、民族、年齢、性別、出身国、性的指向、人口統計（demographics）、軍隊での地位などに基づくクラス）の人々を他のクラスの人々よりも有利に扱うかどうかは、そのモデルを展開するかどうか判定する際の考慮事項となることがある。

公平性は、人々の生命に直接に影響を与えないモデルを展開するかどうか、または人々の生命にまったく影響を及ぼさないモデルを展開するかどうかを判断する際にも関心事となりうる。例えば、さまざまな薬物の効能に関係した値を予測する予測モデルに関して、特定の製造業者によって生産された薬物を有利に扱わないようにそのモデルをトレーニングすることが望まれることがありうる。あるクラスのデータセットに関して公平であるようにモデルをトレーニングすることが有用である例はこの他にもいくつかある。

同様に、多くの場合に、１つまたは複数の選択された特徴（例えばセンシティブ属性（sensitive attribute））の変化に対して（少なくともある程度）不変であるように、モデルをトレーニングすることが望ましい。

本明細書の実施形態は、モデルをトレーニングする有用な新規のシステムおよび方法を提供することによって上記のことに対処する。

いくつかの変形形態では、このシステム（例えば１００）が、モデルトレーニングシステム（例えば１１０）、モデル（例えば１１１）および敵対的分類器（adversarial classifier）（例えば１１２）のうちの少なくとも１つを含む。

いくつかの変形形態では、この方法（例えば２００）が、モデルを生成すること（例えばＳ２１０）、モデルを事前トレーニングすること（例えばＳ２２０）、疑わしい特徴（suspect feature）を選択すること（例えばＳ２３０）、敵対的分類器を事前トレーニングすること（例えばＳ２４０）、敵対的分類器を使用することによってモデルを評価すること（例えば２５０）、敵対的分類器を使用することによって新たなモデルを生成すること（例えばＳ２６０）、新たなモデルを既存のモデル（pre-existing model）と比較すること（例えばＳ２７０）、およびユーザインタフェースを提供すること（例えばＳ２８０）のうちの少なくとも１つを含む。いくつかの変形形態では、Ｓ２５０でモデルを評価することが、出力（例えばスコア、予測など）を生成するためにモデル１１１（または１１１ａ～ｄ）によって使用される入力データセットに関連した１つまたは複数のセンシティブ属性の値を、モデルによって生成された出力を使用することによって予測することを含む。

いくつかの例では、センシティブ属性の値を予測するように敵対的分類器をトレーニングすることができ、敵対的分類器１１２によって決定されるセンシティブ属性値予測の正解率（accuracy）を最小化するように、モデルをトレーニングすることができる。

いくつかの変形形態では、この方法を使用して、適当な任意のタイプのモデルをトレーニングすることができる。いくつかの変形形態では、この方法を使用して、元のモデルと結合されてアンサンブル（ensemble）を形成したより公平なモデルを、より公平な結果を生み出すようにトレーニングすることができる。

いくつかの変形形態では、この方法を使用して、ビジネス制約（business constraint）（例えば信用判断ビジネス制約、賃貸借ビジネス制約など）を満たすモデルをトレーニングすることができる。

本明細書の実施形態は、さまざまなタイプの予測モデルに対する敵対的トレーニング；モデルの中および／または値の中に存在することが敵対的トレーニング中に変更されるべきではない１つまたは複数の特徴を指定するモデル制約パラメータに従った、予測モデルの敵対的トレーニング；正解率および公平性メトリック（metric）をより十分に満たす敵対的トレーニングを受けたモデルの選択；生産において使用する、敵対的トレーニングを受けたモデルの選択を正当化するレポートの自動生成；ならびに敵対的トレーニングを受けたモデルに対する公平性メトリック、正解率メトリックおよび経済的見通し（economic projection）を表示し、敵対的トレーニング中に使用されるパラメータに対するユーザ入力を受け取るオペレータ装置ユーザインタフェース、を実行するための実用的なシステムおよび方法を含む敵対的トレーニング技法の実用的適用を提供する。いくつかの変形形態では、このシステム（例えば１１０）が、オペレータによって提供されたモデル上で敵対的トレーニングをオペレータが実行することを可能にし、指定された公平性および正解率制約を満たす敵対的トレーニングを受けたモデルをオペレータに提供するサービスとしてのソフトウェア（Software As A Service）（ＳＡＡＳ）を（例えばアプリケーションサーバ１１４を介して）提供する。いくつかの変形形態では、システム（例えば１１０）が、元のモデル、敵対的トレーニングプロセス、結果として得られたモデル、ならびにモデル解析および比較を記載したレポートを生成する。このモデル解析および比較は例えば、元のモデルとより公平な代替モデルとの間の公平性および正解率の差、元のモデルおよびより公平なモデルのそれぞれの入力変数の重要性、ならびに元のモデルおよび公平な代替モデルに関する他の比較および解析を示す。

本明細書に記載された敵対的トレーニング技法を、予測に使用されるモデルであって、公平性が、そのモデルを生産において使用するのを許すかどうかを判断するための因子であるモデルに適用することができる。本明細書の実施形態を、信用貸出し、住居の賃貸、保険申込み、賃貸借、雇用、詐欺の検知、入会（例えば入学）、奨学金、広告、住宅販売、薬物試験、科学研究、医療結果の解析などに関する判断において使用する予測モデルに適用することができる。

２．利益
この技術の変形形態は、いくつかの利益および／または利点を提供しうる。

第１に、さまざまなタイプのモデルに対して敵対的トレーニングを実行することによって、さまざまなタイプの予測モデルの公平性を向上させることができる。

第２に、モデルの敵対的トレーニング用の（本明細書に記載された）ユーザインタフェースを提供することによって、より公平なモデルを生成する際のユーザビリティ（usability）を向上させることができる。

第３に、（本明細書に記載された）公平性および正解率メトリックならびに経済的見通しを含むモデル選択レポートの自動生成によって、モデルを展開して生産に供する判断をより簡単に正当化することができる。

第４に、（本明細書に記載された）ロジスティック回帰モデルの敵対的トレーニングを実行することによって、ニューラルネットワークモデルに移動する必要なしに、既存のロジスティック回帰モデルを、公平性向上のために再トレーニングすることができる。

第５に、（本明細書に記載された）ツリーモデルの敵対的トレーニングを実行することによって、ニューラルネットワークモデルに移動する必要なしに、既存のツリーモデルを、公平性向上のために再トレーニングすることができる。

第６に、指定されたモデル制約に従って敵対的トレーニングを実行することによって、敵対的トレーニングの計算複雑さおよび性能を向上させることができる。さらに、モデルを展開して生産環境に供するための制約を満たすモデルのトレーニングに、敵対的トレーニングを拘束することができる。

３．システム
本明細書にはさまざまなシステムが開示されている。いくつかの変形形態では、このシステムを、人工知能（ＡＩ）、機械学習、予測モデルなどのうちの１つまたは複数を使用する適当な任意のタイプのシステムとすることができる。例示的なシステムは、信用システム、薬物評価システム、大学入学システム、人的資源システム、申込者スクリーニングシステム、サーベイランスシステム、法執行システム、軍事システム、軍事ターゲティングシステム、広告システム、顧客サポートシステム、コールセンターシステム、支払いシステム、調達システムなどを含む。いくつかの変形形態では、このシステムが、１つまたは複数のモデルをトレーニングするように機能する。いくつかの変形形態では、このシステムが、１つまたは複数のモデルを使用して、判断を下す、レポートを作成する、動作を始動させるなどのために使用することができる出力を生成するように機能する。

このシステムは、ローカル（例えばオンプレミス（on-premises））システム、クラウドベースのシステム、またはローカルシステムとクラウドベースのシステムの任意の組合せとすることができる。このシステムは、シングルテナントシステム（single-tenant system）、マルチ（multi-）テナントシステム、またはシングルテナント構成要素とマルチテナント構成要素の組合せとすることができる。

いくつかの変形形態では、このシステム（例えば１００）（またはシステムの構成要素、例えばモデルトレーニングシステム１１０）を、オンプレミスモデリングシステム、クラウドベースのモデリングシステム、またはオンプレミス構成要素とクラウドベースの構成要素の任意の組合せとすることができる。いくつかの実施形態では、モデリングシステムが、モデル開発システムおよびモデル実行システムを含む。いくつかの実施形態では、モデル開発システムが、ＲまたはＰｙｔｈｏｎなどのプログラミング環境およびツールにオペレータが（例えば１２０を介して）アクセスすることを可能にするグラフィカルユーザインタフェース（例えば１１５）を提供し、モデル開発システムが、オペレータが機械学習モデルを用意、構築、説明、確認、発表およびモニタリングすることを可能にするライブラリおよびツールを含む。いくつかの実施形態では、モデル開発システムが、予測モデルを生成および解析するプロセスに関してビジネスユーザを案内するモデル開発ワークフローにオペレータが（例えば１２０を介して）アクセスすることを可能にするグラフィカルユーザインタフェース（例えば１１５）を提供する。いくつかの実施形態では、モデル実行システムが、機械学習モデルを発表、確認、実行およびモニタリングすることを可能にするツールおよびサービスを提供する。いくつかの実施形態では、モデリングシステムが、変数、特徴、モデルおよびモデリングプロセスに関するデータを記憶し、それらのデータを提供する意味層（semantic layer）を利用するツールを含む。いくつかの実施形態では、この意味層が、リポジトリに記憶されたナレッジグラフ（knowledge graph）である。いくつかの実施形態では、このリポジトリが記憶システムである。いくつかの実施形態では、このリポジトリが記憶媒体に含まれている。いくつかの実施形態では、記憶システムがデータベースまたはファイルシステムであり、記憶媒体がハードドライブである。

いくつかの変形形態では、このシステムがモデルトレーニングシステムである。

他の変形形態では、このシステムがモデルトレーニングシステムを含む。

いくつかの変形形態では、このシステムが、モデルによって生成される出力値に対する識別された１つまたは複数のモデル属性（入力）の影響を低減させるようモデルをトレーニングするように（および任意選択でトレーニングされたモデルを使用するように）機能する。いくつかの変形形態では、このシステムが、敵対的分類器を使用することによって計算された情報（例えば敵対的分類器予測損失（prediction loss）情報）に基づいてモデルを再トレーニングすることができる。

いくつかの変形形態では、このシステム（例えば１００）が、モデルトレーニングシステム（例えば１１０）、モデル（例えば１１１）、敵対的分類器（例えば１１２）、データ記憶装置（例えば１１３）、アプリケーションサーバ（例えば１１４）、ユーザインタフェース（例えば１１５）およびオペレータ装置（例えば１２０）のうちの１つまたは複数を含む。いくつかの変形形態では、適当な任意のやり方でこのシステムの構成要素を配置することができる。

いくつかの変形形態では、システムが敵対的ネットワークを含む。いくつかの変形形態では、モデル（例えば１１１）と敵対的分類器（例えば、１１２）とが、入力データセットに含まれる特徴に基づいてモデル１１１が予測を生成する敵対的ネットワークを形成し、この予測に基づいて、敵対的分類器１１２が、（入力データセットに関連した）センシティブ属性に対する値を予測する。いくつかの実施態様では、センシティブ属性がモデル１１１に対して使用可能ではない。いくつかの実施態様では、代替モデルが生成され、その代替モデルのトレーニング目的が、敵対的分類器の誤り率を増大させることである。いくつかの実施態様では、敵対的トレーニングデータ（例えば１つまたは複数のセンシティブ属性に対する履歴モデル予測および対応する値を識別するデータセット）が、（例えばＳ２４０において）敵対的分類器に対する初期トレーニングデータの役目を果たし、敵対的分類器をトレーニングすることが、受入れ可能な正解率を敵対的分類器が達成するまで、敵対的分類器に、敵対的トレーニングデータからのサンプルを提示することを含む。いくつかの変形形態では、（例えばＳ２２０で）（例えば２６２で）モデル（例えば１１１）が、初期トレーニングデータセットを用いて事前トレーニングされる。事前トレーニングの後に、（例えばそれぞれＳ２６２およびＳ２６１で）モデルと敵対的分類器の両方を敵対的にトレーニングすることができる。いくつかの変形形態では、（例えばそれぞれＳ２６２およびＳ２６１で、）目的関数の勾配（gradient）を反復的に計算し、（例えば勾配降下法（gradient descent process）または他の任意の適当な方法を実行することにより）モデルの少なくとも１つのパラメータの値を、計算された勾配に比例する量だけ低減させることによって、モデルと敵対的分類器のうちの１つまたは複数をトレーニングすることができる。いくつかの変形形態では、（例えばＳ２６１、Ｓ２６２での）敵対的トレーニング中に計算された勾配（例えば勾配降下法に対する勾配）が、米国特許出願第１６／６８８，７８９号明細書に開示されているプロセス（例えば、いくつかの実施形態ではラドン－ニコディム微分（Radon-Nikodym derivative）およびルベーグ測度（Lebesgue）を使用した汎用インテグレーテッドグラジエンツ法）を実行することによって計算される。しかしながら、適当な任意のトレーニングプロセスを実行することができる。

図１Ａ～Ｃは、変形形態による例示的なシステム１００を示している。

モデルトレーニングシステム１１０は、モデル（例えば１１１）をトレーニング（例えば事前トレーニング、敵対的トレーニングなど）するように機能する。いくつかの変形形態では、モデルトレーニングシステム１１０が、敵対的分類器モデル（例えば１１２）を使用することによってモデル（例えば１１１）をトレーニングするように機能する。モデルトレーニングシステムは、敵対的分類器１１２からのデータ（例えば敵対的分類器の予測損失を識別するデータ）を使用してモデルをトレーニングする適当な任意のタイプのモデルトレーニングシステムとすることができる。例示的なモデルトレーニングシステムは、Ｐｙｔｈｏｎモデリングシステム、Ｒモデリングシステムなどを含むことができる。いくつかの変形形態では、モデルトレーニングシステムが、敵対的分類器１１２から受け取ったデータに基づいてトレーニングデータを選択するトレーニングセット選択器（training set selector）を含む。いくつかの実施態様では、トレーニングセット選択器が、敵対的分類器から受け取った情報（例えば除去された属性に対する敵対的分類器の予測正解率を識別する情報）に基づいてトレーニングセットから属性を除去する。いくつかの実施態様では、トレーニングセット選択器が、敵対的分類器から受け取った情報に基づいてトレーニングデータセットから属性を除去するためにトレーニング選択器が使用する１つまたは複数のルールを含む。例えば、敵対的分類器が、モデルによって生成された出力からセンシティブ属性の値を正確に予測することができる場合、モデルトレーニングシステムは、モデル（例えば１１１）をトレーニングするために使用されるトレーニングデータからセンシティブ属性を除去することができる。

いくつかの変形形態では、出力（例えばスコア、予測など）を生成するためにモデル１１１（または１１１ａ～ｄ）が使用する入力データセットに関連した１つまたは複数のセンシティブ属性の値を、モデルによって生成された出力を使用することによって予測するように、敵対的分類器１１２が機能する。例えば、モデル１１１によって出力された信用予測が１人の女性信用申込者に関係しているかどうかを判定するように敵対的分類器をトレーニングすることができる（この例では、センシティブ属性が「性別」であり、値が「男性」または「女性」の一方である）。

いくつかの変形形態では、敵対的分類器への入力がモデル出力およびセンシティブ属性である。いくつかの変形形態では、センシティブ属性が、既存のモデル（Ｍ）に対するトレーニングデータのそれぞれの行に関連した特徴であるが、既存のモデル（Ｍ）に対するトレーニングデータには含まれていない。

いくつかの変形形態では、敵対的分類器が機械学習モデルである。しかしながら、敵対的分類器は、センシティブ属性値を予測することができる適当な任意のタイプのシステムとすることができる。

いくつかの変形形態では、敵対的分類器１１２が、評価中のモデル（例えば１１１、１１１ａ～ｄ）のモデルスコアに基づいてセンシティブ属性を予測するモデルである。

センシティブ属性は、個人のクラス（例えば人種、民族、年齢、性別、出身国、性的指向、人口統計、軍隊での地位などに基づくクラス）、製品の製造業者、またはモデルによって生成される出力（例えば予測）に影響を及ぼすべきでない任意のタイプの情報を識別する特徴とすることができる。いくつかの変形形態では、（例えば求められているとき、例えば申込者の保護されたクラス会員身分をモデル入力変数として含めることが禁じられている公平な貸出し申込みにおいて求められているときには、）センシティブ属性がモデルへの入力特徴である必要がない。いくつかの変形形態では、本明細書に開示された方法が、ＥＣＯＡおよび他の公平貸出し規制が求める条件下でモデルをより公平にする手法を提供する。

いくつかの実施形態では、敵対的分類器と同時に公平な代替モデルがトレーニングされる。いくつかの実施形態では、この公平な代替モデルがトレーニング行のサブセットでトレーニングされ、次いで、この公平な代替モデルが、それぞれの行に対するスコアを生成するために呼び出される。それぞれのスコアは、保護属性または属性の組合せを公平な代替モデルスコアに基づいて予測するようにそれぞれが設計された１つまたは多くの敵対的分類器によって評価される。いくつかの実施形態では、敵対的分類器が、このモデルスコアに基づいて、保護属性を予測する。いくつかの実施形態では、敵対的分類器が、公平な代替モデルと同時にトレーニングされ、敵対的分類器が、公平な代替モデルスコアおよび既知の保護属性に基づいてトレーニングされ、これらはそれぞれ、公平な代替モデルからスコアを生成するために使用される同じ行に対応する。いくつかの実施形態では、初期トレーニングエポック（epoch）の後、公平な代替モデルを（バックプロパゲーションまたは他の手段によって）更新する前に、公平な代替モデルの目的関数に敵対的分類器の誤り率が結合され、このプロセスが、トレーニングデータが尽きるまで、トレーニングデータの後続のサンプルを選択し、公平な代替モデルをトレーニングし、敵対的分類器を記載されたとおりにトレーニングすることにより継続する。いくつかの実施形態では、公平な代替モデルの中の目的関数が、モデルの元の目的関数の出力と敵対的分類器の誤り率との線形結合である。いくつかの実施形態では、保護属性ごとに敵対的分類器が存在する。他の実施形態では、全ての保護属性を表すバイナリフラグを予測する１つの敵対的分類器が存在する。いくつかの変形形態では、敵対的分類器がニューラルネットワークである。いくつかの変形形態では、より公平な代替モデルがニューラルネットワークである。いくつかの変形形態では、公平な代替モデルの損失関数と敵対的モデルの正解率の線形結合を調整することによって、より公平な一連の代替モデルが生成される。いくつかの実施形態では、ユーザがグラフィカルユーザインタフェースを操作することによって、公平な代替モデルおよび線形結合パラメータの数が選択される。いくつかの実施形態では、それぞれのモデルが経時的に安定した結果を生み出すかどうか、所望のビジネス成績を上げるかどうか、およびその他の形で生産に使用するのに適しているかどうかをユーザが判定するのを補助するために、それぞれの公平な代替モデルが解析され、レポートが作成される。いくつかの実施形態では、モデルおよびビジネス問題の属性に基づく予め定められた選択基準（selection criterion）を使用して、最良の代替モデルが選択される。

いくつかの変形形態では、システムの１つまたは複数の構成要素が、プロセッサ（例えばＣＰＵ（中央処理ユニット）、ＧＰＵ（グラフィック処理ユニット）、ＮＰＵ（ニューラル処理ユニット）など）、表示装置、メモリ、記憶装置、可聴出力装置、入力装置、出力装置および通信インタフェースのうちの１つまたは複数を含むハードウェア装置として実装される。いくつかの変形形態では、ハードウェア装置に含まれる１つまたは複数の構成要素が、バスを介して通信可能に結合されている。いくつかの変形形態では、ハードウェアシステムに含まれる１つまたは複数の構成要素が、通信インタフェースを介して外部システム（例えばオペレータ装置１２０）に通信可能に結合されている。

通信インタフェースは、ネットワーク（例えば私設ネットワーク、公衆ネットワーク、インターネットなど）を介してこのハードウェアシステムと別の装置（例えばオペレータ装置１２０、モデル実行システムなど）との間でデータを伝達するように機能する。

いくつかの変形形態では、記憶装置が、モデル１１１、敵対的分類器１１２、ユーザインタフェース１１５、アプリケーションサーバ１１４、および本明細書に記載された方法２００の少なくとも一部分を実行するように機能するトレーニングモジュールのうちの１つまたは複数のものの機械実行可能命令を含む。

いくつかの変形形態では、記憶装置がデータ１１３を含む。いくつかの変形形態では、データ１１３が、トレーニングデータ、モデル１１１の出力、敵対的分類器１１２の出力、（本明細書に記載されている）正解率メトリック、（本明細書に記載されている）公平性メトリック、（本明細書に記載されている）経済的見通しなどのうちの１つまたは複数を含む。

入力装置は、ユーザ入力を受け取るように機能する。いくつかの変形形態では、入力装置が、ボタンとタッチスクリーン入力装置（例えば容量性タッチ入力装置）とのうちの少なくとも一方を含む。

４．方法
いくつかの変形形態では、この方法が、少なくとも１つのモデル（例えば１１１）をトレーニングするように機能する。いくつかの変形形態では、この方法が、１つまたは複数の選択された特徴（例えば属性）の変化に対して（少なくともある程度）不変であるよう少なくとも１つのモデルをトレーニングするように機能する。

いくつかの変形形態では、この方法（例えば２００）が、モデルを生成すること（例えばＳ２１０）、モデルを事前トレーニングすること（例えばＳ２２０）、疑わしい特徴を選択すること（例えばＳ２３０）、敵対的分類器を事前トレーニングすること（例えばＳ２４０）、敵対的分類器を使用することによってモデルを評価すること（例えば２５０）、敵対的分類器を使用することによって新たなモデルを生成すること（例えばＳ２６０）、新たなモデルを既存のモデルと比較すること（例えば２７０）、およびユーザインタフェースを提供すること（例えばＳ２８０）のうちの少なくとも１つを含む。いくつかの変形形態では、Ｓ２６０が、敵対的分類器を再トレーニングする（例えば敵対的トレーニングする）こと（例えばＳ２６１）、（例えばＳ２１０で生成された）モデルを修正する（例えば敵対的トレーニングする）こと（例えばＳ２６２）、修正されたモデルを評価すること（例えばＳ２６３）、修正されたモデルが制約を満たしているかどうかを判定すること（例えばＳ２６４）、および新たなモデルを提供すること（例えばＳ２６５）のうちの少なくとも１つを含む。いくつかの変形形態では、Ｓ２６４で制約が満たされていない場合、処理はＳ２６１に戻り、別のトレーニング反復が実行される。いくつかの変形形態では、Ｓ２６４で制約が満たされている場合、処理はＳ２６５に進む。いくつかの変形形態では、Ｓ２６３でモデルを評価することが、出力（例えばスコア、予測など）を生成するためにモデル１１１（または１１１ａ～ｄ）が使用する入力データセットに関連した１つまたは複数のセンシティブ属性の値を、モデルによって生成された出力を使用することによって予測することを含む。

いくつかの変形形態では、このシステム（例えば１００）の少なくとも１つの構成要素が、方法（例えば２００）の少なくとも一部分を実行する。

図２Ａ～Ｂは、変形形態による方法２００を示す図である。

いくつかの変形形態では、Ｓ２１０が、初期モデル（例えば図１Ｂに示された１１１ａ）を生成するように機能し、この初期モデルは、Ｓ２５０で、敵対的分類器（例えば１１２）を使用することによって評価される。いくつかの変形形態では、Ｓ２１０で生成された初期モデルが、（例えばＳ２５０での評価に基づいて）Ｓ２６０で修正される（例えば、１つまたは複数の新たなモデル１１１ｂ～ｄを生成するようにモデルパラメータが修正される）。いくつかの実施態様では、初期モデルを生成することが、（例えばＰｙｔｈｏｎ、Ｒ、モデル開発システム、テキストエディタ、ワークフローツール、ウェブアプリケーションなどを使用することによって）そのモデルを定義することを含む。

Ｓ２１０で生成される初期モデル（例えば１１１ａ）は、適当な任意のタイプのモデル（例えば図３～７に示されているようなモデルまたは他の任意の適当なタイプのモデル）とすることができる。この初期モデルは、モデルパラメータの初期セット（例えば重み、サポートベクター、係数など）を有し、この初期セットは、Ｓ２６０で（例えば敵対的トレーニング中に）調整されうる。

いくつかの変形形態では、初期モデル１１１ａが、ツリーモデル、ロジスティック回帰モデル、パーセプトロン、順伝播型ニューラルネットワーク、オートエンコーダ、確率論ネットワーク、畳込みニューラルネットワーク、放射基底関数ネットワーク、多層パーセプトロン、ディープニューラルネットワーク、もしくは回帰型ニューラルネットワークのうちの１つもしくは複数のモデル、または適当な任意のタイプの微分可能もしくは非微分可能モデルを含むことができ、回帰型ニューラルネットワークは、ボルツマンマシン、エコーステートネットワーク、長・短期記憶（long short-term memory）（ＬＳＴＭ）、階層的ニューラルネットワーク、確率的ニューラルネットワークおよび他のタイプの微分可能ニューラルネットワークを含む。いくつかの変形形態では、初期モデルが教師あり学習モデルである。いくつかの変形形態では、初期モデルが識別モデル（discriminative model）である。いくつかの変形形態では、初期モデルが予測モデルである。いくつかの変形形態では、初期モデルが、入力変数の例が与えられた場合にラベル（label）を予測するように機能するモデルである。

いくつかの変形形態では、初期モデル１１１ａが単一のモデルである。

いくつかの変形形態では、初期モデル１１１ａが、線形結合、ニューラルネットワーク、バギング、ブースティングおよびスタッキングのうちのいずれか１つによってアンサンブリング（ensembling）を実行する（例えば異種、同種）アンサンブルモデル（アンサンブル学習モデル）である。いくつかの変形形態では、初期モデル１１１ａが、微分可能モデルおよび非微分可能モデルを含むアンサンブルである。しかしながら、初期モデルは、適当な任意のタイプのアンサンブルとすることができる。

初期モデル１１１ａを信用モデルとすることができる。しかしながら、いくつかの変形形態では、初期モデル１１１ａを、信用貸出し、住居の賃貸、保険申込み、賃貸借、雇用、詐欺の検知、入会（例えば入学）、奨学金、広告、住宅販売、薬物試験、科学研究、医療結果の解析などの適当な任意の目的に使用することができる。

いくつかの変形形態では、初期モデル１１１ａが、既存のモデル（Ｍ）（例えば、信用スコアを生成するために生産環境において現在使用されている信用モデル）である。

いくつかの変形形態では、初期モデル１１１ａが、既存のモデル（Ｍ）の代替物である代替モデル（Ｆ）（例えば公平な代替物）（例えば現在使用されている信用モデルの代替モデルなど）であり、Ｆが、入力変数（ｘ）に基づいてトレーニングされる。

代替モデル（Ｆ）は、適当な任意のタイプのモデルとすることができる。いくつかの変形形態では、代替モデル（Ｆ）が、線形モデル、ニューラルネットワークまたは他の任意の微分可能モデルのうちの１つまたは複数のモデルを含む。いくつかの変形形態では、ＭおよびＦがともに微分可能モデルである。他の変形形態では、ＭおよびＦが区分的に一定（piecewise constant）である。他の変形形態では、ＭおよびＦが区分的に微分可能である。他の変形形態では、ＭおよびＦが、微分可能モデルと非微分可能モデルのアンサンブルである。

いくつかの変形形態では、初期モデル１１１ａが、入力変数（ｘ）に基づいてトレーニングされたアンサンブル（Ｅ）である。アンサンブル（Ｅ）は適当な任意のタイプのアンサンブルとすることができる。いくつかの変形形態では、アンサンブル（Ｅ）が、ツリーモデルと線形モデルのうちの１つまたは複数のモデルを含む。いくつかの変形形態では、アンサンブル（Ｅ）が、ツリーモデル、線形モデルおよびニューラルネットワークモデルのうちの１つまたは複数のモデルを（単独でまたは適当な任意の組合せで）含む。

一例では、勾配演算子を持たない既存のモデル（Ｍ）の場合、または敵対的トレーニングを直接に適用できないモデルの場合に、既存のモデル（Ｍ）から、敵対的分類器１１２を使用することによってトレーニング可能であるような代替モデル（Ｆ）が生成される。第１の例では、ロジスティック回帰モデルからニューラルネットワークモデルが生成され、このニューラルネットワークが、ロジスティック回帰モデル入力ｘで、ロジスティック回帰モデルのスコアを予測するようにトレーニングされる。第２の例では、ツリーベースのモデルからニューラルネットワークモデルが生成され、このニューラルネットワークが、ツリーベースのモデル入力ｘで、ツリーベースのモデルのスコアを予測するようにトレーニングされる。これらの代理（proxy）モデルは微分可能であるため、勾配（例えば目的関数の勾配など）を計算することが可能であり、この勾配を（例えばＳ２６０での）敵対的トレーニング中に使用して、代理モデルのパラメータを調整することができる。

いくつかの変形形態では、初期モデルが区分的に微分可能である。そのような場合には、（初期モデルのパラメータを調整するために）（例えばＳ２６０での）敵対的トレーニング中に使用される勾配が、（本明細書に開示された）汎用インテグレーテッドグラジエンツプロセスを使用して計算され、この勾配は、ラドン－ニコディム微分およびルベーグ測度に基づく。いくつかの変形形態では、初期モデルが、連続モデルと区分的に一定のモデルのアンサンブルである。いくつかの変形形態では、初期モデルが、連続モデルと不連続モデルのアンサンブルである。いくつかの変形形態では、アンサンブル関数が、ニューラルネットワークなどの連続関数である。

Ｓ２１０は、既存のモデル（Ｍ）にアクセスすること、既存のモデル（Ｍ）を使用して、トレーニングデータセットの少なくとも１つのセットに対するモデル出力値を生成すること、および既存のモデル（Ｍ）によって生成されるモデル出力値を、既存のモデル（Ｍ）をトレーニングするために使用されたデータセット（および特徴）に基づいて予測するように、代替モデル（Ｆ）（例えば１１１ａ）をトレーニングすることを含むことができる。このようにすると、既存のモデル（Ｍ）によって生成されたであろうモデル出力を予測するような代替モデル（Ｆ）が生成される。

Ｓ２１０は、代替モデル（Ｆ）のモデルタイプを選択することを含むことができ、代替モデル（Ｆ）をトレーニングすることは、選択されたモデルタイプのモデルとして代替モデル（Ｆ）をトレーニングすることを含む。いくつかの変形形態では、代替モデル（Ｆ）のモデルタイプが既存のモデル（Ｍ）のモデルタイプと同じである。いくつかの変形形態では、モデルタイプが自動的に選択される。いくつかの実施態様では、モデルタイプが、候補モデルタイプのリストならびに一組の最適化基準および選択基準に基づいて自動的に選択され、いくつかの変形形態では、候補モデルタイプのリストならびに一組の最適化基準および選択基準がオペレータによって提供される。いくつかの変形形態では、最適化基準が、公平性メトリックおよび正解率メトリック（または公平性および経済的メトリック）を含み、選択基準が、元のモデルに適用された最適化基準に基づいて設定されたしきい値を含み、または公平性メトリック向上と収益性低下の比などの最適化基準、経済的基準、人口統計的基準などに関する任意の計算可能関数を含む。いくつかの変形形態では、経済的基準が、貸付けからの予想純利益、リスク計算における値、予め定められた経済シナリオなどのうちの１つまたは複数を含む。いくつかの変形形態では、人口統計的基準が、人種、民族、性別、年齢、軍隊での地位、身体障害の状態、婚姻状態、性的指向、地理的基準、グループの会員資格、宗教、政党、および他の任意の適当な基準のうちの１つまたは複数を含む。いくつかの変形形態では、モデルタイプが、（例えばオペレータ装置１２０、ユーザインタフェース１１５などを介して）受け取ったユーザ入力に基づいて選択される。いくつかの変形形態では、代替モデル（Ｆ）がニューラルネットワークである。いくつかの変形形態では、代替モデル（Ｆ）がアンサンブルモデルである。いくつかの変形形態では、代替モデル（Ｆ）がＸＧＢｏｏｓｔモデルである。いくつかの変形形態では、代替モデル（Ｆ）が後にＳ２５０で評価される。

Ｓ２１０は、初期モデルのモデルタイプを記録することを含むことができる。

いくつかの変形形態では、この方法が任意選択でＳ２２０を含み、Ｓ２２０は、初期モデル（例えばＳ２１０で生成された初期モデル、記憶装置から呼び出された初期モデルなど）を、そのモデルに対するトレーニングデータセット（例えば完全なトレーニングデータセット）で、敵対的分類器をトレーニングする（例えばＳ２４０で事前トレーニングする）ために使用する履歴モデル出力値を生成するように、非敵対的事前トレーニングするように機能する。

Ｓ２２０は、システム１００の記憶装置（例えば１１３）から初期モデル（例えば１１１ａ）を呼び出すことを含むことができる。あるいは、Ｓ２２０は、システム１００の外部のシステムから初期モデル（例えば１１１）を呼び出すことを含むことができる。

いくつかの変形形態では、この方法が任意選択でＳ２３０を含み、Ｓ２３０は、疑わしい特徴を選択するように機能する。いくつかの変形形態では、Ｓ２３０が、敵対的分類器１１２をトレーニングするために、センシティブ属性であることが知られている（またはセンシティブ属性であることが疑われる）特徴を選択するように機能する。いくつかの変形形態では、センシティブ属性が予め決定されている。いくつかの変形形態では、センシティブ属性がトレーニング中に動的に選択される。いくつかの変形形態では、センシティブ属性を識別する情報が、ユーザ入力装置（例えばオペレータ装置１２０のユーザ入力装置）を介して受け取られる。いくつかの変形形態では、センシティブ属性を識別する情報が、モデル（例えば機械学習モデルなど）を使用することによって生成される。いくつかの変形形態では、このモデル（例えば初期モデル）が、米消費者金融保護局（Consumer Finance Protection Bureau）刊行の「Using publicly available information to proxy for unidentified race and ethnicity」に記載されたＢＩＳＧ法を実施する。いくつかの変形形態では、センシティブ属性が、人種、民族、性別、年齢、軍隊での地位および人口統計属性のうちの少なくとも１つの属性を含む。

Ｓ２４０は、初期モデル（例えば１１１ａ）を評価するために使用される敵対的分類器（例えば１１２）に対して非敵対的事前トレーニングを実行するように機能する。いくつかの変形形態では、Ｓ２４０が、（センシティブ属性の）センシティブ属性値を、事前トレーニングされたモデル（例えばＳ２２０でトレーニングされたモデルまたは他のやり方で事前トレーニングされたモデル）（例えば初期モデル）によって生成されたモデル出力から予測する敵対的分類器を事前トレーニングすることを含む。いくつかの変形形態では、Ｓ２４０が、Ｓ２３０で選択された疑わしいそれぞれの特徴の値を、事前トレーニングされたモデル（例えばＳ２２０でトレーニングされたモデルまたは他のやり方で事前トレーニングされたモデル）（例えば初期モデル）によって生成されたモデル出力から予測する敵対的分類器を事前トレーニングすることを含む。

いくつかの変形形態では、初期モデルによって生成された履歴モデル出力値および（それぞれの履歴モデル出力値に対する）対応する履歴センシティブ属性値を使用することによって、敵対的分類器１１２がトレーニングされる。いくつかの変形形態では、履歴モデル出力値および対応するセンシティブ属性値が記憶される（例えば記憶装置１１３に記憶される）。

いくつかの変形形態では、敵対的分類器１１２をトレーニングするために使用されるセンシティブ属性値が、初期モデルを事前トレーニングするために使用されたトレーニングデータセットに含まれている（または初期モデルを事前トレーニングするために使用されたトレーニングデータセットに関連づけられている）。いくつかの変形形態では、（例えばＳ２４０で）敵対的分類器１１２をトレーニングするために使用されるセンシティブ属性値が、初期モデルを事前トレーニングするために使用されたトレーニングデータセットに含まれていない。いくつかの変形形態では、敵対的分類器１１２をトレーニングするために使用されるセンシティブ属性値が、初期モデルを事前トレーニングするために使用されたトレーニングデータセットに基づく。いくつかの変形形態では、敵対的分類器１１２をトレーニングするために使用されるセンシティブ属性値が、機械学習モデルおよび初期モデルを事前トレーニングするために使用されたトレーニングデータセットに基づいて生成される。

いくつかの変形形態では、履歴モデル出力値に対応するセンシティブ属性値が、米消費者金融保護局（Consumer Finance Protection Bureau）刊行の「Using publicly available information to proxy for unidentified race and ethnicity」に記載されたＢＩＳＧ法を実行することによって決定される。いくつかの変形形態では、センシティブ属性値が、申込者またはユーザの直接の報告によって提供される。いくつかの変形形態では、センシティブ属性値が予測モデルを使用して計算される。いくつかの変形形態では、センシティブ属性値が、データベースまたはウェブサービスから検索される。いくつかの変形形態では、これらの全ての選択肢の徹底的な発展を提供するために、これらのモデルおよび解析が、それぞれの保護属性識別方法に基づいて、および保護属性識別方法の出力のさまざまな信頼度しきい値に基づいて、それぞれのデータセットを考慮して、組合せで、実行される。

いくつかの変形形態では、Ｓ２５０が、Ｓ２４０でトレーニングされた敵対的分類器を使用することによって初期モデルを評価するように機能する。いくつかの変形形態では、Ｓ２５０が、初期モデルが１つまたは複数の制約を満たしているかどうかを判定することを含む。いくつかの変形形態では、この制約が公平性制約を含む。いくつかの実施態様では、公平性制約が、初期モデルからの出力に基づいて敵対的分類器がその属性の値を予測する１つまたは複数のセンシティブ属性に対する予測正解率しきい値を含み、初期モデルに対する敵対的分類器１１２の予測正解率が、これらのしきい値のうちの１つまたは複数のしきい値よりも低い場合に、初期モデルは公平性制約を満たしている。しかしながら、初期モデルは、敵対的分類器１１２を使用することによって他のやり方で評価することもできる。

いくつかの変形形態では、初期モデルが制約を満たしているとＳ２５０で判定されたことに応答して、初期モデルが、生産環境（例えばオペレータ装置とモデル実行システムのうちの１つまたは複数に提供された生産環境）で使用される。

いくつかの変形形態では、初期モデルが１つまたは複数の制約を満たしていないとＳ２５０で判定されたことに応答して、（例えばＳ２６０で）新たなモデルが生成される。

いくつかの変形形態では、Ｓ２６０が、敵対的分類器１１２を使用することによって少なくとも１つの新たなモデル（例えば１１１ｂ～ｄ）を生成するように機能する。いくつかの実施態様では、モデルトレーニングシステム１１０が少なくとも１つの新たなモデルを生成する。この新たなモデルは、新たなモデルパラメータを有する初期モデルの一バージョン（version）、初期モデルを１つもしくは複数の追加のモデルと結合してアンサンブルとすることによって構築された新たなモデル、初期モデルの出力に１つもしくは複数の変換（transformation）を追加することによって構築された新たなモデル、初期モデルとは異なるモデルタイプを有する新たなモデル、または新たな構造（construction）および／もしくはモデルパラメータを有する他の任意の適当な新たなモデル（図３～７に示された例）とすることができる。

第１の変形形態では、Ｓ２６０で、モデルトレーニングシステム１１０が、（例えばＳ２６２で）敵対的トレーニングプロセスを実行することにより初期モデル（例えば１１１ａ）を再トレーニングすることによって新たなモデルを生成する。いくつかの実施態様では、初期モデルを再トレーニングすることが、新たなモデルに対する新たな一組のモデルパラメータを選択することを含む。

第２の変形形態では、Ｓ２６０で、モデルトレーニングシステム１１０が、初期モデルに基づいて新たなモデル（例えば図３～７に示されたモデル）を生成し、最初に、トレーニングデータを使用することによって（例えばＳ２２０で初期モデルを事前トレーニングするために使用されたトレーニングデータセット、別のトレーニングデータセットなどを使用することによって）新たなモデル（または新たなモデルの１つもしくは複数のサブモデル）をトレーニングする。いくつかの変形形態では、最初に（初期モデルに基づく）新たなモデルをトレーニングした後に、（例えば２６２で）（例えば新たなモデルに対する新たなモデルパラメータを選択することにより）敵対的トレーニングプロセスを実行することによって、新たなモデルが再トレーニングされる。図３～７は、初期モデルに基づいて生成することができるモデルの例を示している。

第１の例では、新たなモデル（例えば図４に示されたモデル）が、初期モデルの出力値の分布を変換する変換（例えば、平滑化近似経験的累積分布関数（smoothed approximate empirical cumulative distribution function）（ＥＣＤＦ））を含む。

第２の例では、新たなモデル（例えば図５に示されたモデル）が、初期モデルおよび１つまたは複数のサブモデルの出力が（例えば単純な線形スタッキング関数を使用して）一緒にアンサンブルされる複合モデルである。

第３の例では、新たなモデル（例えば図６に示されたモデル）が、初期モデルおよび１つまたは複数のサブモデルの出力が（例えば単純な線形スタッキング関数を使用して）一緒にアンサンブルされ、アンサンブルの出力値の分布が（例えば平滑化近似経験的累積分布関数（ＥＣＤＦ）によって）変換される複合モデルである。

第４の例では、新たなモデル（例えば図７に示されたモデル）が、初期モデルおよび１つまたは複数のサブモデルの出力（および任意選択で入力データ（ベースシグナル（base signal）））が（例えばニューラルネットワークスタッキング関数を使用して）一緒にアンサンブルされ、アンサンブルの出力値の分布が（例えば平滑化近似経験的累積分布関数（ＥＣＤＦ）によって）変換される複合モデルである。

第５の例では、新たなモデル（例えば１１１ｅ）が、初期モデル（例えば１１１ａ）の修正されたバージョン（例えば１１１ｂ～ｄ）（例えば異なるパラメータを有する初期モデルの一バージョン）である。

第６の例では、新たなモデル（例えば１１１ｅ）が、既存のモデル（Ｍ）と初期モデル（例えば１１１ａ）の修正されたバージョン（Ｆ）（例えば１１１ｂ～ｄ）とのアンサンブルである。いくつかの変形形態では、ＭおよびＦがともに微分可能モデルである。いくつかの変形形態では、ＭおよびＦが区分的に一定である。いくつかの変形形態では、ＭおよびＦが区分的に微分可能である。いくつかの変形形態では、このアンサンブルが、少なくとも１つの微分可能モデルおよび少なくとも１つの非微分可能モデルを含む。このアンサンブルの第１の例では、このアンサンブルが、Ｆモデル出力とＭモデル出力の線形結合である。このアンサンブルの第２の例では、このアンサンブルが、ＦとＭの合成（composition）（例えばＦ（Ｍ（ｘ），ｘ））である。しかしながら、ＦとＭの適当な任意のアンサンブルを新たなモデル（例えば１１１ｅ）として生成することができる。

第７の例では、初期モデル（例えば１１１ａ）がアンサンブル（Ｅ）であり、新たなモデル（例えば１１１ｅ）を生成することが、ＥのＡＵＣ（area under the curve（曲線下面積））を最大化し、その一方で敵対的分類器１１２の正解率を最小化する新たなモデルＦ（Ｅ（ｘ），ｘ）を学習することを含む。いくつかの実施態様では、新たなモデルを学習することが、１）入力データｘ、および２）このアンサンブルによって入力データｘから生成された出力（例えばＥ（ｘ））に基づいて出力を生成するモデルを構築することを含み、この新たなモデルＦ（Ｅ（ｘ），ｘ）（またはＦ（Ｅ（ｘ），ｘ）の１つまたは複数のサブモデル）が、トレーニングデータを使用することによって（例えばＳ２２０で初期モデルを事前トレーニングするために使用されたトレーニングデータセット、別のトレーニングデータセットなどを使用することによって）トレーニングされる。いくつかの変形形態では、最初に新たなモデルＦ（Ｅ（ｘ），ｘ）をトレーニングした後に、（例えば２６２で）ＥのＡＵＣを最大化し、その一方で敵対的分類器１１２の正解率を最小化する新たなモデルＦ（Ｅ（ｘ），ｘ）（およびＥ（ｘ））に対する新たなモデルパラメータを選択することにより敵対的トレーニングプロセスを実行することによって、新たなモデルＦ（Ｅ（ｘ），ｘ）が再トレーニングされる。

第７の例では、初期モデル（例えば１１１ａ）がアンサンブル（Ｅ）であり、新たなモデル（例えば１１１ｅ）を生成することが、サブモデルとしてＥを含む新たなモデルＦ（ｘ）を学習すること、およびＦとＥをアンサンブル（ＦＥ）内で結合してモデルスコアを生成することを含む。

いくつかの実施態様では、新たなモデルＦ（ｘ）を学習することが、最初に、トレーニングデータを使用することによって（例えばＳ２２０で初期モデルを事前トレーニングするために使用されたトレーニングデータセット、別のトレーニングデータセットなどを使用することによって）Ｆ（ｘ）をトレーニングすることを含み、最初に新たなモデルＦ（ｘ）をトレーニングした後に、ＥのＡＵＣを最大化し、その一方で敵対的分類器１１２の正解率を最小化する新たなモデルＦ（ｘ）（およびＥ（ｘ））に対する新たなモデルパラメータを選択することによって、新たなモデルＦ（ｘ）が再トレーニングされる。

いくつかの変形形態では、アンサンブルＦＥが線形結合（例えばｗ×Ｆ（ｘ）＋（１－ｗ）×Ｅ（ｘ））である。いくつかの変形形態では、線形結合ＦＥの係数が、機械学習モデル（例えばリッジ回帰（ridge regression）など）に基づいて決定される。いくつかの変形形態では、アンサンブルＦＥが、ニューラルネットワークに基づいてアンサンブルされ、このニューラルネットワークは、限定はされないが、パーセプトロン、多層パーセプトロンまたはディープニューラルネットワークなどを含む。

いくつかの変形形態では、新たなモデル（例えば１１１ｅ）が、既存のモデル（Ｍ）のモデルタイプとは異なるモデルタイプを有する。

いくつかの変形形態では、新たなモデル（例えば１１１ｅ）が、既存のモデル（Ｍ）のモデルタイプと同じモデルタイプを有する。いくつかの変形形態では、初期モデルが、既存のモデル（Ｍ）のモデルタイプとは異なるモデルタイプを有し、新たなモデルを生成することが、（敵対的分類器１１２を使用することによってトレーニングされた）敵対的トレーニングを受けたモデル（例えば１１１ｂ～ｄ）に対応し、既存のモデル（Ｍ）と同じモデルタイプを有する新たなモデルを生成することを含む。既存のモデル（Ｍ）と同じモデルタイプを有する新たなモデルを生成することによって、既存のモデル（Ｍ）のモデルタイプを有するモデルに依存する既存のシステムおよびプロセスは、少なくとも１つの態様において既存のモデル（Ｍ）に比べて公平性が向上した新たなモデルを用いて動作することができる。

いくつかの変形形態では、Ｓ２６０が、敵対的分類器１１２およびモデル（例えば１１１ａ～ｄ）を反復的にトレーニングすることによって敵対的トレーニングを実行することを含む。いくつかの変形形態では、敵対的分類器およびモデルを反復的にトレーニングすることが、複数のそれぞれの反復中に、最初に、（例えばＳ２６１で）モデル（例えば１１１ａ）を固定したまま、単一のエポックに関して、敵対的分類器１１２を、（例えば敵対的分類器に対する損失関数を最小化するように敵対的分類器のモデルパラメータを調整することによって）トレーニングすること、および、次いで、（例えばＳ２６２で）敵対的分類器を固定したまま、（例えばモデルに対する損失関数を最小化するようにモデルのモデルパラメータを調整することによって）モデル（例えば１１１ｂ）を、（例えばモデル（例えば１１１ａ）を事前トレーニングするために使用された）トレーニングデータセットの１つまたは複数のサンプルでトレーニングすることを含む。

いくつかの変形形態では、敵対的トレーニング（例えばＳ２６１、Ｓ２６２）が、敵対的分類器のパラメータおよびモデルのパラメータを反復的に調整することを含む。第１の変形形態では、モデル（例えばモデル１１１）および敵対的分類器（例えば１１２）の敵対的トレーニングが、１つまたは複数のモデルパラメータの値を大きくすることを含む。第２の変形形態では、敵対的トレーニングが、１つまたは複数のモデルパラメータの値を小さくすることを含む。第３の変形形態では、敵対的トレーニングが、１つまたは複数のモデルパラメータの値を小さくし、１つまたは複数のモデルパラメータの値を大きくすることを含む。

いくつかの変形形態では、少なくとも１つのモデルパラメータが、目的関数（例えば費用関数、損失関数）に基づいて調整される。いくつかの変形形態では、少なくとも１つのモデルパラメータが、（例えば目的関数の値の倍数に基づいてパラメータを小さくすることによって）目的関数の値を小さくするように調整される。

いくつかの変形形態では、少なくとも１つのモデルパラメータを調整することが、目的関数の勾配と微分のうちの少なくとも一方を決定することを含む。いくつかの変形形態では、少なくとも１つのモデルパラメータが、（例えば目的関数の勾配の値の倍数に基づいてパラメータを小さくすることによって）目的関数の勾配を小さくするように調整される。いくつかの変形形態では、少なくとも１つのモデルパラメータが、（例えば目的関数の微分の値の倍数に基づいてパラメータを低減させることによって）目的関数の微分を小さくするように調整される。

いくつかの変形形態では、モデル（例えば１１１）に関して、目的関数が、モデルに対する現在のモデルパラメータ（例えばＷ_ｆ）および敵対的分類器に対する現在のパラメータ（例えばＷ_ａ）に基づいて計算される。

いくつかの変形形態では、モデル（例えば１１１）に関して、目的関数が、モデル（例えば１１１）に対するモデル予測損失メトリックと敵対的分類器１１２に対する敵対的分類器予測損失メトリックとの差（例えばＬｏｓｓ_ｙ－Ｌｏｓｓ_ｚ）である。いくつかの変形形態では、モデル（例えば１１１）に関して、目的関数が、モデル（例えば１１１）に対するモデル予測損失メトリックと敵対的分類器１１２に対する敵対的分類器予測損失メトリックの倍数（例えばＬ）との差（例えばＬｏｓｓ_ｙ－Ｌ×Ｌｏｓｓ_ｚ）である。いくつかの実施態様では、Ｌの値が大きいほどモデルの予測は公平になり、その一方で予測正解率は犠牲になるため、Ｌが、公平性と正解率の間のトレードオフを指定するパラメータである。いくつかの変形形態では、モデルに対する予測損失メトリックが、実際のターゲット値と、トレーニングデータのサンプルおよびモデルに対する現在のモデルパラメータ（例えばＷ_ｆ）を使用してモデルによって予測されたターゲット値との差である。いくつかの変形形態では、敵対的分類器に対する予測損失メトリックが、実際のセンシティブ属性値と、モデル（例えば１１１）の出力および敵対的分類器に対する現在のモデルパラメータ（例えばＷ_ａ）を使用して敵対的分類器によって予測されたセンシティブ属性値との差である。

いくつかの変形形態では、敵対的分類器（例えば１１２）に関して、目的関数が、敵対的分類器１１２に対する敵対的分類器の予測損失メトリック（例えばＬｏｓｓ_ｚ）である。いくつかの変形形態では、敵対的分類器に対する予測損失メトリックが、敵対的分類器に対する現在のモデルパラメータ（例えばＷ_ａ）に基づいて計算される。いくつかの変形形態では、敵対的分類器に対する予測損失メトリックが、実際のセンシティブ属性値と、モデル（例えば１１１）の出力および敵対的分類器に対する現在のモデルパラメータ（例えばＷ_ａ）を使用して敵対的分類器によって予測されたセンシティブ属性値との差である。

いくつかの変形形態では、少なくとも１つのモデルパラメータを調整することが、モデルと敵対的分類器のうちの１つまたは複数のものの勾配と微分のうちの少なくとも一方を決定することを含む。

いくつかの変形形態では、モデルまたは敵対的分類器のモデルパラメータＷ（例えばＷ_ｆ、Ｗ_ａ）を調整することが、目的関数Ｊ（Ｗ）の勾配Ｇを計算すること、パラメータＷを、勾配Ｇに比例した量だけ更新すること（例えばＷ＝Ｗ－ｎＧ、ｎは学習率（learning rate）である）、および停止条件が満たされる（例えば目的関数Ｊ（Ｗ）の値の低減が止まる）まで繰り返すことを含む。

いくつかの変形形態では、目的関数Ｊ（Ｗ）の勾配Ｇが、モデルの勾配演算子と敵対的分類器の勾配演算子のうちの１つまたは複数の勾配演算子を使用することによって計算される。いくつかの変形形態では、目的関数Ｊ（Ｗ）の勾配Ｇが、米国特許出願第１６／６８８，７８９号明細書に開示されているプロセス（例えば、いくつかの実施形態ではラドン－ニコディム微分およびルベーグ測度を使用した汎用インテグレーテッドグラジエンツ法）を実行することによって計算される。いくつかの変形形態では、目的関数Ｊ（Ｗ）の勾配Ｇが、基準入力データセットを識別し；基準入力データセットと評価入力データセット（例えばトレーニングデータセットの現在のサンプル、モデル１１１の現在の出力など）との間の経路（path）を識別し；この経路に沿った目的関数Ｊ（Ｗ）の境界点（boundary point）（例えば目的関数の不連続点が生じる点）（例えば目的関数の不連続点）を、モデルと敵対的分類器のうちの少なくとも一方に関して取得されたモデルアクセス情報を使用することによって識別し；識別されたそれぞれの境界点で経路をセグメント化することによって複数の経路セグメントを識別し；セグメントごとに、そのセグメントに沿った目的関数に対する勾配の積分を決定することによって、サンプルのそれぞれの特徴に対するセグメント寄与値を決定し；境界点ごとに、その境界点に対する境界点寄与値を決定し、その境界点寄与値を、入力空間の少なくとも１つの特徴に割り当て；基準入力データセットとサンプルとの間の経路の終点ごとに、その終点におけるそれぞれの特徴の寄与を割り当て；徴ごとに、その特徴のセグメント寄与値、ならびにその特徴に割り当てられた任意の境界点寄与値および終点寄与値を結合して、少なくとも２つのデータ点に関するその特徴に対する特徴寄与値を生成することによって計算され、目的関数Ｊ（Ｗ）の勾配Ｇが、これらの特徴寄与値のセットである。いくつかの実施態様では、それぞれのセグメントに沿った目的関数に対する勾配の積分を決定するために、ラドン－ニコディム微分およびルベーグ測度が使用される。いくつかの変形形態では、この勾配が、ニューラルネットワークモデルの勾配である。

いくつかの変形形態では、トレーニングデータセットのそれぞれのサンプルについて（モデル１１１に対する）勾配を計算するときに、最初のサンプルに対してはゼロベクトルが基準入力データセットとして選択され、後続のそれぞれサンプルに対しては以前のサンプルが基準入力データセットとして使用される。いくつかの変形形態では、基準データセットが以前に使用されたサンプルである。いくつかの変形形態では、基準データセットが、トレーニングデータセットのランダムに選択されたサンプルである。いくつかの変形形態では、基準データセットが、ランダムに生成された１つまたは複数の値を含むデータセットである。しかしながら、モデル１１１に対する基準入力データセットは、適当な任意のプロセスを使用することによって識別することができる。

いくつかの変形形態では、それぞれのモデル出力について（敵対的分類器１１２に対する）勾配を計算するときに、最初のモデル出力に対してはゼロベクトルが基準入力データセットとして選択され、後続のそれぞれのモデル出力に対しては以前のモデル出力が基準入力データセットとして使用される。いくつかの変形形態では、基準データセットが、モデル出力のランダムに選択されたサンプルである。いくつかの変形形態では、基準データセットが、ランダムに生成された１つまたは複数の値を含むデータセットである。しかしながら、敵対的分類器に対する基準入力データセットは、適当な任意のプロセスを使用することによって識別することができる。

いくつかの変形形態では、適当な任意のタイプのプロセスを使用して、目的関数に対する勾配の積分を決定することができる。

いくつかの変形形態では、選択されたセンシティブ属性（例えばＳ２３０で選択されたセンシティブ属性）ごとに、敵対的分類器およびモデルが反復的にトレーニングされる。いくつかの変形形態では、（例えば保護された一組のクラス会員身分の論理和を計算するなどによって、）センシティブ属性が、任意のサブセット特徴を特徴づける単一の特徴に結合される。

いくつかの変形形態では、（例えばＳ２６０で、）敵対的分類器およびモデルが、モデル制約パラメータに従って反復的にトレーニングされる。

いくつかの変形形態では、このモデル制約パラメータが、（例えばＳ２６０での）敵対的トレーニングプロセス中にモデルパラメータが変更されない特徴を指定する。例えば、パラメータが変更されない特徴を指定することによって、新たなモデルの探索に制約を加えることができる。いくつかの変形形態では、モデル制約パラメータが、（例えばＳ２２０、Ｓ２６２での）トレーニングプロセス中にパラメータが変更されない特徴を指定する。いくつかの変形形態では、モデル制約パラメータが、トレーニングプロセスの間、モデル内に留まる特徴（例えば、ゼロよりも大きなパラメータ値をパラメータが有していなければならない特徴）を指定する。いくつかの変形形態では、モデル制約パラメータが、トレーニングプロセス中にモデルに追加されない特徴（例えばパラメータ値がゼロのままである特徴）を指定する。このようにすると、新たなモデルを探索する探索空間を小さくすることができ、それによって計算複雑さを低減させることおよび所望のビジネス結果を達成することができる。いくつかの変形形態では、制約パラメータが、特徴値に関してモデルスコアが単調に移動しなければならない特徴を指定する。単調制約は、中核的な信用属性が改善したときにモデルスコアが低下することを防ぐなどの特定のビジネス結果をモデルが達成することを可能にする。このようにすると、トレーニングの結果、指定されたモデル制約から新たなモデルが逸脱することがないようなモデル制約を設定することができる。生産環境に適していないモデルが敵対的トレーニング中にトレーニングされることがないように、モデル制約は、生産環境で使用されるモデルに対するモデル制約を満たすトレーニングされたモデルを生成するように、敵対的トレーニングを制限することができる。

いくつかの変形形態では、モデルトレーニングプロセス（例えば２６２）がサンプルパラメータ（例えば重み、サポートベクター、係数など）を適用する。いくつかの実施形態では、サンプル重みが時間属性に基づく。他の変形形態では、サンプル重みが、それぞれのトレーニングデータ列と１対１で対応し、ファイルに入れて提供される。いくつかの変形形態では、サンプル重みが、ユーザインタフェースに提供されている。いくつかの変形形態では、ユーザインタフェースが、ユーザが選択する構成可能な人口統計的基準、モデル正解率または経済的基準、サンプル重み、データファイル、ならびに解析および報告テンプレートに基づいて結果を解析することを可能にする対話型ツールからなる。しかしながら、結果の解析は他のやり方で実行することもできる。

いくつかの変形形態では、Ｓ２６３が、モデル１１１に対するパラメータを修正するために（例えばＳ２６２で）使用される目的関数を計算することを含む。いくつかの変形形態では、Ｓ２６３が、敵対的分類器１１２に対するパラメータを修正するために（例えばＳ２６１で）使用される目的関数を計算することを含む。

いくつかの変形形態では、Ｓ２６３が、トレーニング反復ごとに、（例えばモデル１１１と敵対的分類器１１２のうちの１つまたは複数に対するパラメータを修正するために使用される目的関数によって使用される）少なくとも１つの正解率メトリックを計算することを含む。正解率メトリックは、曲線下面積（ＡＵＣ）メトリック、ｇｉｎｉ、ＫＳ、Ｆ１スコア、ならびにトレーニングされたモデル（例えば１１１）および／または敵対的分類器１１２によって生成されたモデル出力の予測的正解率に関する他の正解率値および統計値のうちの１つまたは複数を含むことができる。いくつかの変形形態では、Ｓ２６３が、新たなそれぞれのトレーニング反復中にそれぞれの正解率メトリックを更新することを含む。いくつかの変形形態では、正解率メトリックが、解析者に解析能力を提供するユーザインタフェースからオペレータによって選択される。いくつかの変形形態では、正解率メトリックが、信用ポリシーに基づく承認された貸付けの収益性の経済的見通しを含むオペレータによって提供される関数、または他の計算可能関数である。

いくつかの変形形態では、Ｓ２６３が、トレーニング反復ごとに、少なくとも１つの公平性メトリックを計算することを含む。この公平性メトリックは、敵対的分類器（例えば１１２）によって生成されたセンシティブ属性予測に関する少なくとも１つのセンシティブ属性に対する正確な予測百分率を含むことができる。いくつかの変形形態では、Ｓ２６３が、新たなそれぞれのトレーニング反復中にそれぞれの公平性メトリックを更新することを含む。いくつかの変形形態では、この公平性メトリックが、保護されたクラスに対する承認の百分率を保護されていないクラスに対する承認の百分率で除することによって与えられるＥＥＯＣ公平性比である。いくつかの変形形態では、この公平性メトリックが、「The U.S. Equal Employment Opportunity Commission, FEDERAL REGISTER, / VOL. 44, NO. 43 / FRIDAY, MARCH 2, 1979 [6570-06-M]」に記載された公平性メトリックである。この文献の内容は参照によって本明細書に組み込まれている。

Ｓ２６３は、敵対的トレーニングを受けたモデル（例えば１１１）（例えばＳ２６５で提供されるモデル）に対する最終的な正解率および公平性メトリックを記録することを含むことができる。

Ｓ２６３は、敵対的トレーニングを受けたモデル（例えば１１１）（例えばステップＳ２１０、Ｓ２２０、Ｓ２３０、Ｓ２４０、Ｓ２５０、Ｓ２６１からＳ２６５のうちの１つまたは複数のステップで生成されたモデル）に対するモデルメタデータを記録することを含むことができる。敵対的トレーニングを受けたモデルに対するモデルメタデータは、モデルによって使用された特徴、モデルをトレーニングするために使用されたトレーニングデータを識別する情報、モデルのトレーニング中に使用さたるモデル制約パラメータ、モデルパラメータ、サンプル重み、選択されたメトリック、ならびに解析および報告テンプレートなどを含むことができる。

いくつかの変形形態では、Ｓ２６０が、少なくとも１つのセンシティブ属性に対する（例えばモデル１１１に対するパラメータを修正するために目的関数の中で使用される）複数の公平性対正解率パラメータ（fairness-versus-accuracy parameter）（Ｌ）値に対して実行され、Ｓ２６０の反復ごとに最終的な正解率および公平性メトリックが記録され、（例えばＳ２６３で決定された）最終的な正解率および公平性メトリックが、敵対的トレーニングを受けたモデルの対応するそれぞれのバージョンに関連づけて記憶される。いくつかの変形形態では、この複数の解析が計算クラスタに関して実行される。いくつかの変形形態では、この複数の解析が、クラウドコンピューティング環境内に分散している。いくつかの変形形態では、可能な限り高速であること／無制限の予算および予算計上などのポリシーに基づいて、クラウドコンピューティングリソースが展開される。本明細書に記載されているとおり、Ｓ２６０は、敵対的トレーニングを受けたそれぞれのモデル（例えば１１１）に対するモデルメタデータを記録することを含むことができる。このようにすると、敵対的トレーニングを受けたいくつかのモデルが生成され、それぞれのモデルは、異なる公平性対正解率パラメータ（Ｌ）値を有するように生成される。

いくつかの変形形態では、Ｌの効率的な選択が、勾配および一般的な探索アルゴリズムに基づいて決定される。

Ｓ２６５は、敵対的トレーニングを受けた複数のモデルに関連づけて記憶された最終的な正解率および公平性メトリックに基づいて、敵対的トレーニングを受けた複数のモデルのうちの１つのモデルを選択することを含むことができる。いくつかの変形形態では、受け取ったユーザ入力（例えばオペレータ装置１２０、ユーザインタフェース１１５などを介して受け取ったユーザ入力）に基づいて、単一のモデルが自動的に選択される。いくつかの変形形態では、所定のモデル選択基準ならびに記録された正解率および公平性メトリックに基づいて、単一のモデルが自動的に選択される。いくつかの変形形態では、選択基準が、少なくとも１つのセンシティブ属性に対する正解率しきい値および公平性しきい値のうちの少なくとも一方のしきい値を含む。

いくつかの変形形態では、自動選択が、選択されたモデルに対する記録された正解率および公平性メトリックを少なくとも含む選択レポートの自動生成を含む。いくつかの変形形態では、自動選択が、敵対的トレーニングを受けたそれぞれの選択されたモデルに対する記録された正解率および公平性メトリックを含む選択レポートの自動生成を含む。いくつかの変形形態では、システム１００（例えば１１０を使用しているシステム１００）が、選択レポートをオペレータ装置に提供する。このようにすると、選択されたモデル、選択されたモデルに対する公平性および正解率メトリック、ならびに選択されなかったモデルに対する公平性および正解率メトリックが、オペレータに報告される。いくつかの変形形態では、このレポートが、複数のモデル変形形態に関して集められた貸付損失および利子などの収益性メトリックの比較を含む経済的解析を含む。この情報を提供することによって、選択されたモデルの選択を正当化する情報をオペレータに報告することができる。いくつかの変形形態では、選択レポートがさらに、モデルごとの公平性対正解率パラメータ（Ｌ）値を含む。いくつかの変形形態では、選択レポートが、モデルの判断に対するモデル入力変数の全体的な影響および保護されたクラスごとの影響を定量化した、この解析における任意のモデルに対するモデル入力寄与を含む。いくつかの変形形態では、選択レポートが、この解析における任意のモデルに対する、入力変数のツーウェイ（two-way）またはｎウェイ結合の寄与を含む。いくつかの変形形態では、選択レポートが、それぞれの代替モデルに対する、敵対動作理由コード（adverse action reason code）またはモデル説明のヒストグラムを含む。いくつかの変形形態では、選択レポートが、それぞれのモデル入力変数の影響を、１つの値範囲にわたって、それぞれのモデルに関して、および保護属性によって構成要素に分解されて示す、部分従属プロット（partial dependence plot）、ＩＣＥプロットおよび他のチャートを含む。

いくつかの変形形態では、Ｓ２６５が、敵対的トレーニングを受けたモデル（例えば１１１ａ～ｄ）にアクセスすること、敵対的トレーニングを受けたモデルを使用して、トレーニングデータセットに対するモデル出力値を生成すること、および敵対的トレーニングを受けたモデルによって生成されたモデル出力値を、敵対的トレーニングを受けたモデルをトレーニングするために使用されたデータセット（および特徴）に基づいて予測するように、新たなモデルをトレーニングすることを含む。このようすると、敵対的トレーニングを受けたモデルによって生成されたであろうモデル出力を予測する新たなモデルが生成される。いくつかの変形形態では、新たなモデルのモデルタイプが、（例えばＳ２１０で）初期モデル（例えば１１１ａ）に対して記録されたモデルタイプである。Ｓ２６５は、新たなモデルのモデルタイプを選択することを含むことができ、新たなモデルをトレーニングすることは、選択されたモデルタイプのモデルとして新たなモデルをトレーニングすることを含む。いくつかの変形形態では、モデルタイプが自動的に選択される。いくつかの変形形態では、モデルタイプが、受け取ったユーザ入力に基づいて選択される。いくつかの変形形態では、新たなモデルがロジスティック回帰モデルである。いくつかの変形形態では、新たなモデルがニューラルネットワークモデルである。いくつかの変形形態では、新たなモデルがツリーモデルである。いくつかの変形形態では、新たなモデルが非微分可能モデルである。

Ｓ２７０は、（例えばＳ２６０で生成された）新たなモデルを既存のモデル（Ｍ）と比較するように機能する。いくつかの実施形態では、システム１００が、（例えばモデルトレーニングシステム１１０を使用することによって、）Ｓ２６０で生成された新たなモデルを、モデル分解（model decomposition）に基づいて既存のモデル（Ｍ）と比較する。モデル分解は、２０１９年３月８日に出願された米国特許出願第１６／２９７，０９９号明細書（「SYSTEMS AND METHODS FOR PROVIDING MACHINE LEARNING MODEL EVALUATION BY USING DECOMPOSITION」）、２０１９年６月７日に出願された米国特許出願第１６／４３４，７３１号明細書（「SYSTEMS AND METHODS FOR DECOMPOSITION OF NON-DIFFERENTIABLE AND DIFFERENTIABLE MODELS」）、および２０１９年１１月１９日に出願された米国特許出願第１６／６８８，７８９号明細書（「SYSTEMS AND METHODS FOR DECOMPOSITION OF DIFFERENTIABLE AND NON-DIFFERENTIABLE MODELS」）に記載されている。これらのそれぞれの文献の内容は参照によって本明細書に組み込まれている。しかしながら、適当な任意のタイプのモデル分解を使用することができる。公平な代替モデルを生成するための敵対的トレーニング法をモデル分解と組み合わせることによって、開示された実施形態は、敵対的トレーニングプロセス中に生成された新たなモデルがなぜ既存のモデルよりも公平であるのかを説明する有用な新規のレポートを提供する。いくつかの変形形態では、説明したこのモデルレポートが、公平なモデルと元のモデルとの比較を含む。いくつかの変形形態では、この比較が、ベースライン母集団（baseline population）に関するモデルスコアに対するモデル入力変数の寄与を含む。いくつかの変形形態では、このベースライン母集団が、承認された一組の貸付けである。いくつかの変形形態では、このベースライン母集団がランダムサンプルである。いくつかの変形形態では、このベースライン母集団が、人口統計的基準に基づいて選択される。いくつかの変形形態では、このベースライン母集団が、人口統計的基準および経済的基準に基づいて選択される。いくつかの変形形態では、このベースライン母集団が、オペレータによってユーザインタフェースに提供される属性に基づいて選択される。いくつかの変形形態では、特徴寄与が、それぞれのモデル全体に対して報告され、他の変形形態では、特徴寄与が、それぞれのセンシティブ属性に対して報告される。

いくつかの変形形態では、この比較が経済的比較を含む。いくつかの実施形態では、この経済的比較が、承認率比較、債務不履行率比較、および年次損失見通しを含む。いくつかの変形形態では、この比較が、人口統計学的属性またはセンシティブ属性に基づいて構成要素に分解される。いくつかの変形形態では、この比較が、ユーザインタフェースにおける属性のユーザ選択に基づいて構成要素に分解される。

Ｓ２８０は、ユーザインタフェース（例えば１１５）を提供するように機能する。いくつかの変形形態では、このユーザインタフェースが選択レポートを含む。いくつかの変形形態では、このユーザインタフェースがグラフィカルユーザインタフェースである。いくつかの変形形態では、このユーザインタフェースが、アプリケーションサーバ（例えば図１Ｃに示された１１４）によって提供される。いくつかの変形形態では、このユーザインタフェースが、システム１１０によってトレーニングされた敵対的トレーニングを受けたそれぞれのモデルに関する情報を表示する。いくつかの変形形態では、敵対的トレーニングを受けたモデルに関する情報が、（本明細書に記載された）モデルメタデータ、正解率メトリック、公平性メトリックなどを含む。いくつかの変形形態では、このユーザインタフェースが、ユーザ選択を受け取るためのユーザ入力要素を含み、このユーザ選択が、システム１１０によってトレーニングされた敵対的トレーニングを受けたモデル、公平性対正解率パラメータ（Ｌ）、センシティブ属性、敵対的分類器によってトレーニングされたモデル、出力モデルのモデルタイプ、システム１１０によってトレーニングされるモデルのモデルタイプ、モデル選択基準、敵対的トレーニング中に変更されない１つまたは複数の特徴を識別する情報、モデル制約パラメータ、および他の任意の適当な情報のうちの少なくとも１つである。

表示されたユーザインタフェースによって、オペレータ装置（例えば１２０）のオペレータは、敵対的トレーニングを受けたモデルが、公平性および正解率要件、ならびに他のモデル制約および／またはビジネス要件を満たしているかどうかを判定することができる。

いくつかの変形形態では、このユーザインタフェースが、元のモデルに関する情報（例えばモデルメタデータ、モデルタイプ、使用された特徴など）を表示する。このようにすると、新たにトレーニングされたモデルを元のモデルと比較することができる。いくつかの変形形態では、このユーザインタフェースが、元のモデルによって使用された特徴、および敵対的トレーニングを受けたそれぞれのモデルによって使用された特徴を表示する。

いくつかの変形形態では、このシステムが、ＥＣＯＡの遵守を可能にするため、この解析およびモデル選択プロセスを文書化したレポートを作成する。いくつかの実施形態では、その他の規制の遵守を可能にするため、このシステムが、この解析およびモデル選択プロセスを文書化したレポートを作成する。このその他の規制は、限定はされないが、ＧＤＰＲ、ＧＬＢＲ、ＦＣＲＡ、および市、郡、州、地方、国または国際レベルが要求または勧告している他の規制を含む。いくつかの変形形態では、このシステムが、企業リスク管理者、自治体、監査人、規制者、裁判官および陪審員が、モデルリスク、モデルの採用に起因する不公平な結果のリスクを評価すること、およびアルゴリズム的バイアスを評価および軽減するようにこのプロセスビジネスの使用を監査することを可能にするレポートを作成する。

第１の例では、この方法が、既存のモデル（Ｍ）の公平な代替モデルである初期モデルＦを（例えばＳ２１０で）用意すること、および入力変数ｘおよび敵対物（adversary）Ａ（例えば敵対的分類器１１２）に基づいてＦをトレーニングすること（例えばＳ２６２）を含み、Ａは、モデルＦのスコアに基づいてセンシティブ属性を予測するモデルであり、代替モデルＦは、線形モデル、ニューラルネットワークまたは他の任意の微分可能モデルのうちの１つまたは複数のモデルを含み、モデルＦは、既存のモデル（Ｍ）に代わるモデルである。

第２の例では、この方法が、既存のモデル（Ｍ）の公平な代替モデルである初期モデルＦを（例えばＳ２１０で）用意すること、変数ｘおよび敵対物Ａに基づいてＦをトレーニングすること（例えばＳ２６２）を含み、Ａは、モデルＦのスコアに基づいてセンシティブ属性を予測するモデルであり、代替モデルＦは、線形モデル、ニューラルネットワークまたは他の任意の微分可能モデルのうちの１つまたは複数のモデルを含み、Ｓ２６０によって生成される新たなモデルは、ＦモデルスコアとＭモデルスコアの線形結合などのＦとＭのアンサンブルである。

第３の例では、この方法が、既存のモデル（Ｍ）の公平な代替モデルである初期モデルＦを（例えばＳ２１０で）用意すること、変数ｘおよび敵対物Ａに基づいてＦをトレーニングすること（例えばＳ２６２）を含み、Ａは、モデルＦのスコアに基づいてセンシティブ属性を予測するモデルであり、代替モデルＦは、線形モデル、ニューラルネットワークまたは他の任意の微分可能モデルのうちの１つまたは複数のモデルを含み、Ｓ２６０によって生成される新たなモデルは、ＦとＭの合成、例えばＦ（Ｍ（ｘ），ｘ）などのＦとＭのアンサンブルである。いくつかの変形形態では、ＭおよびＦがともに微分可能モデルである。他の変形形態では、ＭおよびＦが区分的に一定である。他の変形形態では、ＭおよびＦが区分的に微分可能である。他の変形形態では、ＭおよびＦが、微分可能モデルと非微分可能モデルのアンサンブルである。いくつかの変形形態では、敵対的トレーニングにおいて使用される勾配が、２０１９年１１月１９日に出願された米国特許出願第１６／６８８，７８９号明細書（「SYSTEMS AND METHODS FOR DECOMPOSITION OF DIFFERENTIABLE AND NON-DIFFERENTIABLE MODELS」）に記載されている汎用インテグレーテッドグラジエンツ分解法に基づいて計算される。この文献の内容は参照によって本明細書に組み込まれている。いくつかの変形形態では、敵対的トレーニングにおいて使用される勾配が、（例えばニューラルネットワーク内の勾配を呼び出すことによって）モデルから直接に呼び出される。

第４の例では、この方法が、（例えばＳ２１０で）アンサンブルモデル（Ｅ）を用意すること、および（例えばＳ２２０、Ｓ２６２で）入力変数ｘに基づいてＥをトレーニングすることを含み、アンサンブルモデルＥは、ツリーモデルと線形モデルのうちの少なくとも一方のモデルであり、この方法はさらに、Ｅによって生成されたスコアに基づいてセンシティブ属性を予測するように（例えばＳ２４０で）トレーニングされる敵対的モデル（Ａ）を用意すること、および本明細書に記載された敵対的トレーニング法（例えば方法２００）に基づいて、ＥのＡＵＣ（曲線下面積）を最大化し、その一方でＡの正解率を最小化するモデルＦ（Ｅ（ｘ），ｘ）を（例えばＳ２６０で）学習することを含み、ｘは、入力特徴である。

第５の例では、この方法が、（例えばＳ２１０で）アンサンブルモデル（Ｅ）を用意すること、および（例えばＳ２２０、Ｓ２６２で）入力変数ｘに基づいてＥをトレーニングすることを含み、アンサンブルモデルＥは、ツリーモデルと線形モデルのうちの少なくとも一方のモデルであり、この方法はさらに、Ｅによって生成されたスコアに基づいてセンシティブ属性を予測するように（例えばＳ２４０で）トレーニングされる敵対的モデル（Ａ）を用意することを含み、Ｓ２６０は、（１）第３のモデルＦ（ｘ）を学習することを含み、Ｆは、Ａの正解率を最小化し、ＥのＡＵＣを最大化し、（２）ＦとＥをアンサンブル（ＦＥ）内で結合して、既存のモデル（Ｍ）よりも公平なモデルスコアを生成することを含む。いくつかの変形形態では、アンサンブルＦＥが線形結合（例えばｗ×Ｆ（ｘ）＋（１－ｗ）×Ｅ（ｘ））である。いくつかの変形形態では、線形結合ＦＥの係数が、機械学習モデルに基づいて決定される。いくつかの変形形態では、アンサンブルＦＥが、ニューラルネットワークに基づいてアンサンブルされ、このニューラルネットワークは、限定はされないが、パーセプトロン、多層パーセプトロンまたはディープニューラルネットワークを含む。いくつかの実施形態では、敵対的トレーニングに必要な勾配が、汎用インテグレーテッドグラジエンツを使用して計算される。いくつかの実施形態では、この勾配が、モデルから検索され、またはモデルパラメータに基づいて計算される。

第６の例では、この方法が、（例えばＳ２１０で）アンサンブルモデル（Ｅ）を用意すること、および（例えばＳ２２０、Ｓ２６２で）入力変数ｘに基づいてＥをトレーニングすることを含み、アンサンブルモデルＥは、ツリーモデル、ニューラルネットワークモデル、線形モデルおよびこれらの組合せのうちの少なくとも１つのモデルであり、この方法はさらに、Ｅによって生成されたスコアに基づいてセンシティブ属性を予測するように（例えばＳ２４０で）トレーニングされるモデルである敵対的モデル（Ａ）を用意することを含み、Ｓ２６０は、（１）第３のモデルＦ（ｘ）を学習することを含み、Ｆは、Ａの正解率を最小化し、ＥのＡＵＣを最大化し、（２）ＦとＥをアンサンブル（ＦＥ）内で結合して、既存のモデル（Ｍ）よりも公平なモデルスコアを生成することを含む。いくつかの変形形態では、アンサンブルＦＥが線形結合（例えばｗ×Ｆ（ｘ）＋（１－ｗ）×Ｅ（ｘ））である。いくつかの変形形態では、線形結合ＦＥの係数が、機械学習モデルに基づいて決定され、この機械学習モデルは例えばリッジ回帰を含む。いくつかの変形形態では、アンサンブルＦＥが、ニューラルネットワークに基づいてアンサンブルされ、このニューラルネットワークは、限定はされないが、パーセプトロン、多層パーセプトロンまたはディープニューラルネットワークを含む。

いくつかの変形形態では、初期モデル（例えばＳ２１０で生成され、Ｓ２２０で事前トレーニングされるなどした初期モデル）、またはＳ２６０で生成される任意の新たなモデルを、２つの部分、すなわち不連続サブモデルｄ（ｘ）と、この不連続モデルを通して直接におよび間接的に入力空間の両方の要素（element）を含む形式ｆ（ｘ，ｄ（ｘ））の連続モデルとに分離することができる任意のアンサンブルモデルとすることができる。いくつかの変形形態では、たとえｆ（）自体が連続関数であり、ことによると行儀が良い（well-behaved）場合であっても、ｄ（）自体が連続でない場合には、ｆ（）とｄ（）との合成が連続でない可能性がある。このようないくつかのモデルの概略図が図３～７に示されている。いくつかの実施形態では、特徴重要性（feature importance）を含むモデルの解析が、米国特許出願第１６／６８８，７８９号明細書に開示されているプロセス（汎用インテグレーテッドグラジエンツ法）を実行することによって計算される。

図３は、ベース特徴または「シグナル」の集合が勾配ブーステッドツリーフォレスト（gradient boosted tree forest）（ＧＢＭ）に通され、その操作の結果がスコアとして表現されるパススルーモデル（pass-through model）を示している。いくつかの変形形態では、図３に示されたモデルｆ（）を、ｆ（ｘ，ｙ）と表現することができ、この式で、ｆ（ｘ，ｙ）はｙの恒等関数であり、ｙはｄ（ｘ）として表現され、ｄ（ｘ）は勾配ブーステッドツリーモデルである。いくつかの変形形態において、少なくとも機械学習モデルとみなしたとき、ｆ（ｘ，ｙ）自体は、１つの変数に関する恒等式であるため行儀が良いが、結果として生じるアンサンブルモデルは不連続で、行儀が悪い（ill-behaved）。

図４は、ＧＢＭの出力が続いて、「平滑化近似ＥＣＤＦ」によって変換されるパススルーモデルを示している。経験的累積分布関数（ＥＣＤＦ）は、とりわけ、項目のうちＥＣＤＦのあるレベルよりも低い値を有するある割合の部分が正確にそのあるレベルになるように１つの関数の出力値の分布を変換する関数である。すなわち、Ｅが、モデル関数ｆに関連したＥＣＤＦである場合には、例えば、全ての入力のうち正確に１０％が、Ｅ（ｆ（ｘ））＜０．１となるような入力であり、２０％が、Ｅ（ｆ（ｘ））＜０．２となるような入力である。平滑化近似ＥＣＤＦであるＳは、実際のＥＣＤＦに非常に近いが、連続しており、ほぼどこでも微分可能な連続関数である。すなわち、例えば、全ての入力のほぼ正確に１０％がＳ（ｆ（ｘ））＜０．１となるような入力、２０％が、Ｓ（ｆ（ｘ））＜０．２となるような入力である。いくつかの実施態様では、ＥＣＤＦは連続関数ではなく、微分可能性がはるかに低いが、任意の適当な技法を用いてＥＣＤＦを近似する標準的な手段によって元のＥＣＤＦを任意の近さで近似する平滑近似ＥＣＤＦを構築することができる。いくつかの変形形態では、この技法が、区分的線形近似、多項式補間、単調３次スプライン、一般的な付加モデルの出力などのうちの少なくとも１つである。

ＧＢＭの出力を、平滑化ＥＣＤＦであるＳによって構成することによって、ｆ（ｘ、ｄ（ｘ））＝Ｓ（ｄ（ｘ））の形式のモデルを得る。このモデルは、本明細書に記載された汎用インテグレーテッドグラジエンツ分解法に対する機能要件を満たす。しかしながら、貸手または他の引受人は普通、固定された割合の貸付けだけを承認することを望み、平滑化ＥＣＤＦによるこのような変換はそれを可能にするため、この修正された形式は有用である。しかしながら、本明細書に記載された方法は、このタイプのアンサンブルモデルに対する説明情報を正しく提供する最初の方法である。

図５は、３つのサブモデル、すなわちＧＢＭ、ニューラルネットワーク（ＮＮ）およびエクストリームリーランダムフォレスト（Extremely Random Forest）（ＥＴＦ）の出力が単純な線形スタッキング関数を使用して一緒にアンサンブルされる複合モデルを示している。このようなアンサンブルは、非常に強力な機械学習モデルを提供し、機械学習モデルで頻繁に使用されている。このようなモデルは、ｆ（ｎ（ｘ），ｇ（ｘ），ｅ（ｘ））の形式で示すことができ、この式で、ｆは、最終的な線形アンサンブリング関数（linear ensembling function）を示し、ｎは、ニューラルネットワークサブモデルの連続出力を示し、ｇは、ＧＢＭの不連続出力を示し、ｅは、ＥＴＦの不連続出力を示す。形式の明白な違いにもかかわらず、このようなモデルは、汎用インテグレーテッドグラジエンツ分解法（この方法は、その内容が参照によって本明細書に組み込まれている、２０１９年１１月１９日に出願された「SYSTEMS AND METHODS FOR DECOMPOSITION OF DIFFERENTIABLE AND NON-DIFFERENTIABLE MODELS」という名称の米国特許出願第１６／６８８，７８９号明細書に記載されている）に適合する形式のモデルとみなすことができる。

図６は、図４および５に示されたモデルの諸態様を組み合わせたモデルの概略図を示している。このモデルは、図５に示された３つのサブモデル、すなわちニューラルネットワーク（ＮＮ）、ＧＢＭおよびＥＴＦならびに線形アンサンブリング層を含むが、このモデルは続いて、線形アンサンブリング層の出力を平滑化ＥＣＤＦによって再処理する。この種のモデルは、図５に示されたモデルの高い判別力（discriminative power）を達成するだけでなく、図４に示されたモデルと同様に、より平滑なＥＣＤＦによって出力を生み出すモデルの非常に望ましい均一な出力特性も提供するため、有用である。

図７は、図６に示されたモデルと同様のモデルの概略図を示しているが、図６に示されたモデルの線形スタッキング層の代わりにニューラルネットワークモデルが使用されている。この形式を有するネットワークは、図６に示されたモデルの表現力（representational power）および望ましい出力構造を維持することができるが、その最終的なステップにおいてより大きな柔軟性を追加することができる。このより大きな柔軟性は、特定の公平性基準を満たすモデル、または局所信頼度推定値を提供するモデル、またはこれらの組合せを、他の望ましい特性とともに示すモデルの構築を可能にする。いくつかの変形形態では、図６に示されたディープスタッキングニューラルネットワークモデルの代わりに、例えば放射基底関数層、混合ガウス、回帰型ニューラルネットワーク、ＬＳＴＭ、オートエンコーダなどの任意の適当なタイプの連続機械学習モデルを使用することもできる。

これらのモデルへの入力の数またはタイプに制限はないこと、およびＲ２のサブセットのドメインを含む例示的な関数の以前の使用は単に明瞭さのために示しただけであることは当業者には明白であろう。単一のアンサンブリング層に出力が供給される別個の機械学習モデルの単一の層を示したのも、純粋に教育上の明瞭さのためであることも当業者には明白であろう。実際、これらのシステムのいくつかの変形形態では、アンサンブラ（ensembler）の複雑で込み入ったネットワークを組み立てることができる。このタイプの機械学習モデルが、機械学習競争において高い性能を発揮することはごく普通に見られることであり、このタイプの機械学習モデルは、Ｆａｃｅｂｏｏｋでも、顔認証および識別システムを構築および改良する目的に使用されている。公平性結果およびモデルドライバが十分に理解および精査されていなければならない用途において、本明細書に記載された方法を検討および使用することができるように、いくつかの変形形態では、本明細書に記載された方法が、より公平なモデルの生成およびモデルに対する入力特徴寄与の解析を教示する。

システムおよび／または方法の実施形態は、さまざまなシステム構成要素およびさまざまな方法プロセスのあらゆる組合せおよび置換を含むことができ、本明細書に記載された方法および／またはプロセスの１つまたは複数の事例は、本明細書に記載されたシステム、要素および／もしくは実体の１つもしくは複数の事例によって、ならびに／またはそのような１つもしくは複数の事例を使用して、非同期で（例えば逐次的に）、同時に（例えば並行して）、または他の任意の適当な順序で実行することができる。

当業者なら、以上の詳細な説明ならびに図および特許請求項から理解することだが、下記の特許請求項に定義された本開示の範囲を逸脱することなく、開示された実施形態に修正および変更を加えることができる。

１００システム
１１０モデルトレーニングシステム
１１１モデル
１１１ａモデル
１１１ｂモデル
１１１ｃモデル
１１１ｄモデル
１１１ｅ新たなモデル
１１２敵対的分類器
１１２ａ敵対的分類器
１１２ｂ敵対的分類器
１１２ｃ敵対的分類器
１１２ｄ敵対的分類器
１１３データ、データ記憶装置
１１４アプリケーションサーバ
１１５グラフィカルユーザインタフェース
１２０オペレータ装置

Claims

モデルトレーニングシステムを含むモデリングシステムと、少なくとも１つのライブラリを含むモデル開発システムとを用いる方法であって、
前記モデル開発システムが、
予測モデルを生成することと、
トレーニングデータセットで前記予測モデルを事前トレーニングすることとを含み、
前記モデリングシステムに含まれるアプリケーションサーバが、グラフィカルユーザインタフェースを提供することと、
前記グラフィカルユーザインタフェースが、１つまたは複数のセンシティブ属性を識別する情報を、オペレータ装置から受けることと、
前記モデルトレーニングシステムが、敵対的分類器のための敵対的トレーニングデータを生成することであって、敵対的トレーニングデータのセットのそれぞれが、識別されたセンシティブ属性のそれぞれのための、前記予測モデルによって生成された出力、および対応する実際の値を含む、敵対的トレーニングデータを生成することと、
前記敵対的トレーニングデータの少なくとも一部分が、敵対的分類器を事前トレーニングすることであって、前記敵対的分類器が、前記予測モデルによって生成された出力に基づいて、それぞれのセンシティブ属性に対する値を予測するように構築されている、事前トレーニングすることと、
前記モデルトレーニングシステムが、サブネットワークとして、前記敵対的分類器および前記予測モデルを含む合成ネットワークを生成することであって、前記敵対的分類器および前記予測モデルをそれぞれ反復的にトレーニングするように前記モデルトレーニングシステムを用いることとを含み、
前記モデルトレーニングシステムを用いる前記敵対的分類器を、反復的にトレーニングすることが、前記敵対的分類器に対する目的関数の値を大きくするように、前記敵対的分類器のパラメータを調整することを含み、前記敵対的分類器に対する前記目的関数は、前記敵対的分類器に対するモデル予測損失メトリックであり、
前記モデルトレーニングシステムを用いる前記予測モデルを、反復的にトレーニングすることが、前記敵対的分類器に対する目的関数の値を小さくするように、前記敵対的分類器のパラメータを調整することを含み、前記敵対的分類器に対する前記目的関数は、前記予測モデルに対するモデル予測損失メトリックと、前記敵対的分類器に対する予測損失メトリックとの差であり、
前記オペレータ装置とモデル実行システムのうちの少なくとも一方に、前記反復的にトレーニングされた予測モデルを提供することと、
前記グラフィカルユーザインタフェースが、少なくとも１つのレポートを前記オペレータ装置に提供することであって、前記少なくとも１つのレポートは、前記予測モデルと前記反復的にトレーニングされた予測モデルとの間で、１回または複数回の比較の結果を識別する情報を含み、提供された少なくとも１つのレポートが、前記予測モデルおよび前記反復的にトレーニングされた予測モデルのそれぞれの予測変数の寄与を含む、少なくとも１つのレポートを提供することと、
を含む方法。
少なくとも１つのレポートを作成することが、
前記予測モデルおよび前記反復的にトレーニングされた予測モデルに対して汎用インテグレーテッドグラジエンツ解析を実行し、前記解析の結果を前記少なくとも１つのレポートに含めることを含み、前記予測モデルと前記反復的にトレーニングされた予測モデルのそれぞれに対して汎用インテグレーテッドグラジエンツ解析を実行することが、
前記トレーニングデータセットの基準入力データセットとサンプルとの間の経路を識別することと、
それぞれの不連続点で前記経路をセグメント化することによって複数の経路セグメントを識別することと、
セグメントごとに、そのセグメントに沿った前記モデルの勾配の積分を決定することによって、前記サンプルのそれぞれの特徴に対するセグメント寄与値を決定することと、
不連続点ごとに、その不連続点に対する境界点寄与値を決定し、前記境界点寄与値を、前記モデルの入力空間の少なくとも１つの特徴に割り当てることと、
前記基準入力データセットと前記サンプルとの間の前記経路の終点ごとに、その終点におけるそれぞれの特徴の寄与を割り当てることと、
特徴ごとに、その特徴のセグメント寄与値、ならびにその特徴に割り当てられた任意の境界点寄与値および終点寄与値を結合して、その特徴に対する特徴寄与値を生成することと、
を含み、前記モデルに対する前記汎用インテグレーテッドグラジエンツ解析の結果が、前記特徴寄与値を含むセットである、
請求項１に記載の方法。
それぞれのセグメントに沿った前記勾配の前記積分を決定するために、ラドン－ニコディム微分およびルベーグ測度が使用される、請求項２に記載の方法。
前記予測モデルが信用モデルである、請求項３に記載の方法。
前記識別された１つまたは複数のセンシティブ属性が、人種、民族、年齢、性別、出身国、性的指向、人口統計、および軍隊での地位のうちの１つまたは複数を含む、請求項４に記載の方法。
前記反復的にトレーニングされた予測モデルが、少なくとも１つの非微分可能モデルを含む、請求項５に記載の方法。
前記反復的にトレーニングされた予測モデルが、少なくとも１つの線形モデルを含む、請求項５に記載の方法。
前記反復的にトレーニングされた予測モデルが、少なくとも１つのツリーモデルを含む、請求項５に記載の方法。
前記反復的にトレーニングされた予測モデルが、少なくとも１つのロジスティック回帰モデルを含む、請求項５に記載の方法。
前記反復的にトレーニングされた予測モデルが、ベースシグナルに結合された勾配ブーステッドツリーフォレスト（ＧＢＭ）、および前記ＧＢＭの出力に結合された平滑化近似経験的累積分布関数（ＥＣＤＦ）を少なくとも含み、前記ＧＢＭの出力値が、前記ＥＣＤＦを使用することによって変換され、信用スコアとして表現される、請求項５に記載の方法。
前記反復的にトレーニングされた予測モデルが、ＧＢＭ、ニューラルネットワークおよびエクストリームリーランダムフォレスト（ＥＴＦ）を少なくとも含むサブモデルを含み、前記サブモデルの出力が、スタッキング関数と結合関数のうちの一方の関数を使用して一緒にアンサンブルされ、アンサンブルされた出力が信用スコアとして表現される、請求項５に記載の方法。
前記反復的にトレーニングされた予測モデルが、ニューラルネットワーク（ＮＮ）、ＧＢＭおよびＥＴＦを少なくとも含むサブモデルを含み、前記サブモデルの出力が、線形アンサンブリングモジュールによってアンサンブルされ、前記線形アンサンブリングモジュールの出力が微分可能関数によって処理され、前記微分可能関数の出力が信用スコアとして表現される、請求項５に記載の方法。
前記反復的にトレーニングされた予測モデルが、ニューラルネットワーク（ＮＮ）、ＧＢＭおよびニューラルネットワークアンサンブリングモジュールを少なくとも含み、前記ニューラルネットワークアンサンブリングモジュールの出力が、微分可能関数によって処理される、請求項５に記載の方法。
前記予測モデルが、ロジスティック回帰モデルによって生成される出力値を予測するニューラルネットワークモデルである、
請求項５に記載の方法。
前記モデルトレーニングシステムが、修正されたロジスティック回帰モデルを、前記反復的にトレーニングされた予測モデルによって生成される出力値を予測するようにトレーニングすることと、
前記修正されたロジスティック回帰モデルを、前記オペレータ装置と前記モデル実行システムのうちの少なくとも一方に提供することと
をさらに含む、請求項１４に記載の方法。
前記予測モデルが、ツリーモデルによって生成される出力値を予測する、請求項５に記載の方法。
前記モデルトレーニングシステムが、修正されたツリーモデルを、前記反復的にトレーニングされた予測モデルによって生成される出力値を予測するようにトレーニングすることと、
前記修正されたツリーモデルを、前記オペレータ装置と前記モデル実行システムのうちの少なくとも一方に提供することと、
をさらに含む、請求項１６に記載の方法。
前記アプリケーションサーバが、前記反復的にトレーニングされた予測モデルのスコアと既存の信用モデルのスコアとを結合して、信用申込みを承認するために使用される信用スコアを生成すること
をさらに含む、請求項５に記載の方法。
前記グラフィカルユーザインタフェースが、前記オペレータ装置からモデル制約パラメータを受け取ることであって、前記モデル制約パラメータが、前記予測モデルの反復トレーニング中に変更されないモデルパラメータを識別する、モデル制約パラメータを受け取ることと、
前記グラフィカルユーザインタフェースが、前記反復的にトレーニングされた予測モデルに対して、少なくとも１つの公平性メトリック、及び少なくとも１つの正解率メトリックを前記オペレータ装置に提供することと、
前記予測実行システムが、前記反復的にトレーニングされた予測モデルを受け取り、信用申込みのための信用スコアを生成するために、前記反復的にトレーニングされた予測モデルを実行することと、
を含む、請求項５に記載の方法。
前記予測モデルは、微分可能なニューラルネットワークを含む、請求項１に記載の方法。