JP7346110B2 - システム、方法、及びプログラム - Google Patents

Description

本発明は、機械学習の学習済モデルを管理するシステム、方法、及びプログラムに関する。

機械学習では、学習用データを用いて学習モデルを調整し、調整が完了した学習モデルを学習済モデルとして本番運用する。従来、このような学習済モデルを用いて、ある事柄を予測する予測システムが知られている。例えば、特許文献１には、電力需要量を予測する電力需要量予測方法が開示されている。この特許文献１は、学習モデルを近来の学習用データで学習させることで、現在の学習済モデルよりも予測精度が向上した場合には、学習済モデルを差し替えることを開示している。

特開２０００－２７６４６０号公報

ところで、上述のような学習済モデルには意図しない偏りが生じることがあり、公平性を担保できていない場合がある。例えば、対象者に対するローンの承認可否を予測するシステムでは、対象者の年齢、性別、収入、及び勤続年数などの入力データを基に、学習済モデルによってローンの承認可否を判断する。このような学習済モデルには、女性より男性を承認と予測しやすい、年齢が低い人より高い人を承認と予測しやすい、といった偏りが意図せずに生じることがある。運用中の学習済モデルにこのような偏りがある場合、この偏りを補正し公平性を担保することが望まれる。
しかしながら、特許文献１のような従来技術では、学習済モデルの偏りについては何ら考慮されておらず、公平性を担保することができなかった。
本発明は、学習済モデルの偏りを補正し公平性を担保することができるシステムを提供することを目的とする。

本発明の一実施形態のシステムは、機械学習により作成された第１のモデルを管理するシステムであって、第１の入力値を含む入力を用いた前記第１のモデルによる予測の結果である第１の予測結果が所定の条件を満たす場合に、前記入力に含まれる当該第１の入力値を第２の入力値に置換する置換手段と、前記置換が行われた後の入力を用いた前記第１のモデルによる予測の結果である第２の予測結果を保存する保存手段と、前記第２の予測結果に対するフィードバックを受け付ける受付手段と、前記受け付けたフィードバックに基づき、前記第１の入力値を含む入力と前記第２の予測結果とからなる学習用データを用いた機械学習を行うことで第２のモデルを作成する作成手段と、を有し、前記所定の条件は、前記第１の入力値を含む入力を用いた前記第１のモデルによる予測の結果と、前記第２の入力値を含む入力を用いた前記第１のモデルによる予測の結果と、の間に偏りがある場合に満たされる条件である。

本発明によれば、学習済モデルの偏りを補正し公平性を担保することができる。

本発明の実施例１に係るシステムの全体構成を示す模式図である。 本発明の実施例１に係るシステムを構成する情報処理装置の内部構成を示すブロック図である。 （Ａ）は、公平性管理システム１０１の機能構成の一例を示すブロック図であり、（Ｂ）は、予測システム１０２の機能構成の一例を示すブロック図であり、（Ｃ）は、業務システム１０３の機能構成の一例を示すブロック図である。 公平性管理システム１０１のプレゼンテーション部３０１が生成するＵＩの一例である。 業務システム１０３のプレゼンテーション部３７１が生成するＵＩの一例である。 ローンの審査の予測依頼から審査の最終結果を公平性管理システム１０１にフィードバックするまでの業務システム１０３、公平性管理システム１０１、及び予測システム１０２の処理を示したシーケンス図である。 予測依頼書き換え処理のフローチャートである。 公平性管理システム１０１が学習モデルの再学習を行い、予測システム１０２の学習済モデル３４１を差し替える処理を示したフローチャートである。 学習用データの水増し処理のフローチャートである。

以下、本発明を実施するための形態について、図面を参照して詳細に説明する。

＜システム構成＞
図１は、本発明の実施例１に係るシステムの全体構成を示す模式図である。
本発明の実施例１に係るシステム１００は、公平性管理システム１０１、予測システム１０２、及び業務システム１０３を有して構成される。公平性管理システム１０１、予測システム１０２、及び業務システム１０３は、それぞれが１台以上の情報処理装置で構成されている。複数のシステムが１台の情報処理装置で構成されていてもよい。ここで情報処理装置は、パーソナルコンピュータなどの各種コンピュータ、又は仮想マシンなどのことである。仮想マシンは、例えばソフトウェアプログラムで動作をエミュレートした仮想のコンピュータなどである。この情報処理装置の一例である情報処理装置２００については、図２を用いて後述する。公平性管理システム１０１は、予測システム１０２で動作する学習済モデルが公平性を担保できているかを監視するシステムである。学習済モデルは、学習モデルを学習用データで学習させることで作成される。学習済モデルは、機械学習により作成されたモデルである。

ここで、公平性とは、例えば、学習済モデルを運用して予測結果を受け取るユーザー、及び実際に予測結果に基づくサービス提供を受けるユーザーにとって公平であるかどうかという観点である。また、公平性とは、例えば、学習済モデルが実際に運用される国、及び環境における、制度、慣習、及び文化に基づく基準に対して公平であるかどうかという観点である。つまり、公平性を判断するための基準は、利用者、及び利用環境に応じて変化する可能性がある。
そして、本実施例において、学習済モデルの予測結果を用いたアウトプットについて、そのような公平性が担保されるということは、そのような基準に対しての公平さを満たしている状態であるといえる。なお、公平性を判断するための基準は、例えば、学習済モデルを運用するユーザーなどが設定することができる。

予測システム１０２は、公平性管理システム１０１からの要求を受けて、図３（Ｂ）を参照して後述する学習済モデル３４１を用いて予測を行うシステムである。業務システム１０３は、ユーザーからの申請内容に対してローンの審査を行うシステムである。ネットワーク１０４は、インターネットなどのネットワークであり、特に種類を問わない。公平性管理システム１０１、予測システム１０２、及び業務システム１０３は、ネットワーク１０４を介して、それぞれ同士で通信を行うことができる。

＜情報処理装置の内部構成＞
図２は、図１に示したシステム１００を構成する情報処理装置の内部構成の一例を示すブロック図である。
図１に示した公平性管理システム１０１、予測システム１０２、及び業務システム１０３のそれぞれは、図２の情報処理装置２００によって構成される。
情報処理装置２００は、本実施例に係るシステム１００の動作を制御するプログラムを実行するＣＰＵ２０１を有する。ＣＰＵは、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略称である。情報処理装置２００は、システムバス２０４を有する。ＣＰＵ２０１は、システムバス２０４に接続される各ハードウェアを総括的に制御する。情報処理装置２００は、ＨＤＤ２１０及びディスクコントローラー２０９を有する。ＨＤＤは、Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅの略称である。ＨＤＤ２１０は、記憶装置の一例であり、ここでは大容量記憶装置である。ＨＤＤ２１０は、ＣＰＵ２０１で実行されるプログラムを記憶する。ディスクコントローラー２０９は、ＨＤＤ２１０を制御する。

情報処理装置２００は、メモリー２０２を有する。メモリー２０２は、ＣＰＵ２０１の主メモリー、及びワークエリア等として機能する。情報処理装置２００は、ＮＩＣ２０３を有する。ＮＩＣは、Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄの略称である。ＮＩＣ２０３は、ネットワーク１０４を介して、ネットワーク１０４に接続された他のノードと双方向でデータを送受信する。情報処理装置２００は、キーボード２０６及びキーボードコントローラー２０５を有する。ユーザーは、キーボード２０６を操作して情報処理装置２００に対する指示入力を行う。キーボードコントローラー２０５は、キーボード２０６による指示入力を受け付ける制御を行う。なお、情報処理装置２００は、その役割によっては、キーボードコントローラー２０５及びキーボード２０６を有しない構成でもよい。情報処理装置２００は、ディスプレイ２０８及びディスプレイコントローラー２０７を有する。ディスプレイ２０８は、液晶ディスプレイなどで構成される表示モジュールである。ディスプレイコントローラー２０７は、ディスプレイ２０８に表示する制御を行う。なお、情報処理装置２００は、その役割によっては、ディスプレイ２０８及びディスプレイコントローラー２０７を有しない構成でもよい。

＜公平性管理システムの機能構成＞
図３（Ａ）は、図１に示した公平性管理システム１０１の機能構成の一例を示すブロック図である。
公平性管理システム１０１は、プレゼンテーション部３０１、公平性管理部３０２、閾値格納部３０３、予測結果格納部３０４、再学習部３０５、フィードバックデータ格納部３０６、及び通信部３０７を有する。図３（Ａ）に示す公平性管理システム１０１が有する各構成は、公平性管理システム１０１のＨＤＤ２１０に記憶されているプログラムを、ＣＰＵ２０１がメモリー２０２に読み出して実行することによって実現される。

プレゼンテーション部３０１は、公平さを示す閾値を設定するＵＩを生成するためのソフトウェアモジュールである。ＵＩは、Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅの略称である。公平さを示す閾値を設定するＵＩについては、図４を用いて後述する。
公平性管理部３０２は、学習済モデル及び学習モデルが公平性を担保できているかを判断するソフトウェアモジュールである。公平性を担保できているかを判断する処理については、図７及び図８を用いて後述する。
閾値格納部３０３は、表１を用いて後述する閾値管理テーブルを格納するソフトウェアモジュールである。
予測結果格納部３０４は、表２を用いて後述する予測結果管理テーブル、及び表３を用いて後述する予測結果統計テーブルを格納するソフトウェアモジュールである。
再学習部３０５は、本番で運用されている後述する予測システム１０２の学習済モデル３４１と同じ学習状態の学習済モデルを学習モデルとして再学習させるソフトウェアモジュールである。
フィードバックデータ格納部３０６は、表４を用いて後述するフィードバックデータ管理テーブルを格納するソフトウェアモジュールである。
通信部３０７は、ネットワーク１０４を介して、予測システム１０２、及び業務システム１０３と通信するためのソフトウェアモジュールである。

＜予測システムの機能構成＞
図３（Ｂ）は、予測システム１０２の機能構成の一例を示すブロック図である。
予測システム１０２は、学習済モデル３４１、学習済モデル差し替え部３４２、及び通信部３４３を有する。図３（Ｂ）に示す予測システム１０２が有する各構成は、予測システム１０２のＨＤＤ２１０に記憶されているプログラムを、ＣＰＵ２０１がメモリー２０２に読み出して実行することによって実現される。

学習済モデル３４１は、対象者の年齢、性別、収入、及び勤続年数などの入力データを基にローンの承認可否を判断して予測結果を出力するソフトウェアモジュールである。
学習済モデル差し替え部３４２は、学習済モデル３４１を差し替えるソフトウェアモジュールである。
通信部３４３は、ネットワーク１０４を介して、公平性管理システム１０１、及び業務システム１０３と通信するためのソフトウェアモジュールである。予測システム１０２は、公平性管理システム１０１と通信し、業務システム１０３とは通信しないものであってもよい。

＜業務システムの機能構成＞
図３（Ｃ）は、業務システム１０３の機能構成の一例を示すブロック図である。
業務システム１０３は、プレゼンテーション部３７１、ロジック部３７２、及び通信部３７３を有する。図３（Ｃ）に示す業務システム１０３が有する各構成は、業務システム１０３のＨＤＤ２１０に記憶されているプログラムを、ＣＰＵ２０１がメモリー２０２に読み出して実行することによって実現される。

プレゼンテーション部３７１は、ユーザーからの申請内容を入力して、ローンの承認可否を決定するためのＵＩを生成するためのソフトウェアモジュールである。プレゼンテーション部３７１が生成するＵＩについては、図５を用いて後述する。
ロジック部３７２は、プレゼンテーション部３７１から渡されたデータを処理するソフトウェアモジュールである。
通信部３７３は、ネットワーク１０４を介して、公平性管理システム１０１、及び予測システム１０２と通信するためのソフトウェアモジュールである。業務システム１０３は、公平性管理システム１０１と通信し、予測システム１０２とは通信しないものであってもよい。

＜公平性管理システムが管理するテーブル＞
表１から表４は、公平性管理システム１０１が管理するテーブルの例を示す表である。

表１は、閾値管理テーブルの一例を示す表である。閾値管理テーブルは、閾値格納部３０３に格納される。閾値管理テーブルにおいては、１つのレコードが１つの閾値情報を示している。閾値管理テーブルは、閾値管理ＩＤ、項目、監視対象の値、比較対象の値、閾値、及び期待の結果の各列を有する。
閾値管理ＩＤは、閾値情報を一意に識別するためのＩＤである。
項目は、公平性管理システム１０１が公平性を担保するために監視する入力データの項目である。例えば、表１の１行目においては、性別が監視する項目であることを示している。公平性を担保するために監視する入力データの項目としては、性別、国籍、地域性、学歴、人種、年齢、及び収入などが挙げられる。
監視対象の値は、学習済モデル３４１の偏りにより不利になっていないかを監視する値を示している。例えば、表１の１行目においては、不利になっていないかを監視する値が女性であることを示している。監視する値である「女性」は、第１の入力値の一例である。性別を「女性」とした入力データを用いた学習済モデル３４１の予測結果が第１の予測結果である。
比較対象の値は、監視対象の値の列の値が不利になっていないかを判断するための比較対象の値を示している。例えば、表１の１行目においては、比較対象の値が男性であることを示している。比較対象の値である「男性」は、第２の入力値の一例である。
閾値は、どの程度であれば公平性を担保できるかを示す閾値である。例えば、表１の１行目においては、閾値が０．９であることを示している。
期待の結果は、学習済モデル３４１の予測結果が何であれば有利となるのかを示している。例えば、表１の１行目においては、予測結果が承認であれば有利になることを示している。
つまり、表１の１行目の閾値管理ＩＤがＦ００１である閾値情報は、入力データの性別の項目において、女性の承認率／男性の承認率＜０．９であれば学習済モデル３４１に偏りが生じており、女性が不利になっていると判断することを示している。

表２は、予測結果テーブルの一例を示す表である。予測結果テーブルは、予測結果格納部３０４に格納される。予測結果テーブルにおいては、１つのレコードが１つの予測結果情報を示している。予測結果テーブルは、予測ＩＤ、性別、年齢、収入、及び予測結果の各列を有する。
予測ＩＤは、予測結果情報を一意に示すＩＤである。
性別、年齢、及び収入は、公平性管理システム１０１から予測システム１０２に対して予測を依頼したときの入力データの項目を示している。予測結果テーブルは、この他に、勤続年数などの入力データの項目も有してもよい。
予測結果は、予測システム１０２が予測した結果を示している。
業務システム１０３が、公平性管理システム１０１を介して、予測システム１０２にローンの承認可否を予測依頼する処理については、図６を用いて後述する。

表３は、予測結果統計テーブルの一例を示す表である。予測結果統計テーブルは、予測結果格納部３０４に格納される。予測結果統計テーブルにおいては、１つのレコードが１つの予測結果統計情報を示している。予測結果統計テーブルは、項目、値、申請数、及び承認数の各列を有する。
項目は、統計をとった入力データの項目を示している。
値は、統計をとった入力データの値を示している。
申請数は、予測システム１０２に予測を依頼した数を示している。
承認数は、予測システム１０２が予測結果を承認として返してきた数を示している。
例えば、表３の１行目においては、性別が女性である申請は１００件であり、予測システム１０２は、そのうちの４０件を承認と予測したことを示している。

表４は、フィードバックデータ管理テーブルの一例を示す表である。フィードバックデータ管理テーブルは、フィードバックデータ格納部３０６に格納される。フィードバックデータ管理テーブルにおいては、１つのレコードが１つのフィードバックデータを示している。フィードバックデータは、業務システム１０３から公平性管理システム１０１に送信される情報であり、その処理については図６を用いて後述する。フィードバックデータ管理テーブルは、フィードバックデータＩＤ、性別、年齢、収入、及び最終結果の各列を有する。
フィードバックデータＩＤは、フィードバックデータを一意に識別するＩＤである。
性別、年齢、及び収入は、業務システム１０３から公平性管理システム１０１に対して予測を依頼したときの入力データの項目を示している。フィードバックデータ管理テーブルは、この他に、勤続年数などの入力データの項目も有してもよい。
最終結果は、業務システム１０３で承認可否を決定した結果を示している。

＜公平性管理システムのＵＩ＞
図４は、公平性管理システム１０１のプレゼンテーション部３０１が生成するＵＩの一例である。本ＵＩは、例えば、公平性管理システム１０１の利用者が使用するパソコンのブラウザからのリクエストに応じてプレゼンテーション部３０１が生成し、そのパソコンのブラウザに表示される。パソコンは、パーソナルコンピュータの略称である。このパソコンは、ネットワーク１０４に接続され、公平性管理システム１０１と通信可能である。このパソコンは、公平性管理システム１０１と別の構成であってもよいし、公平性管理システム１０１を構成するものであってもよい。

公平性管理システム１０１に接続されたパソコンのブラウザは、閾値情報設定画面４００を表示する。閾値情報設定画面４００は、プルダウン４０１、プルダウン４０２、プルダウン４０３、テキストボックス４０４、プルダウン４０５、ボタン４０６、及びボタン４０７を有する。
プルダウン４０１は、公平性管理システム１０１が公平性を担保するために監視する入力データの項目（表１の項目に対応）を設定するためのプルダウンである。
プルダウン４０２は、学習済モデル３４１の偏りにより不利になっていないかを監視する値（表１の監視対象の値に対応）を設定するプルダウンである。
プルダウン４０３は、プルダウン４０２で設定した監視する値が不利になっていないかを判断するための比較対象の値（表１の比較対象の値に対応）を設定するためのプルダウンである。
テキストボックス４０４は、どの程度であれば公平性を担保できるかを示す値（表１の閾値に対応）を設定するためのテキストボックスである。
プルダウン４０５は、学習済モデル３４１の予測結果が何であれば有利となるのかを示す結果（表１の期待の結果に対応）を設定するためのプルダウンである。
ボタン４０６は、閾値情報設定画面４００で入力された内容で、閾値情報を設定するためのボタンである。プレゼンテーション部３０１は、パソコンのブラウザからのリクエストによってボタン４０６が押下されたことを検知すると、閾値格納部３０３を介して表１に示した閾値管理テーブルに、閾値情報設定画面４００で入力された閾値情報を保存する。
ボタン４０７は、閾値情報の設定をキャンセルするためのボタンである。

＜ローン申請の審査処理＞
図５、図６、及び図７を用いて、業務システム１０３が、公平性管理システム１０１及び予測システム１０２と連携して、ローンの申請を審査する処理について説明する。

図５は、業務システム１０３のプレゼンテーション部３７１が生成するＵＩの一例である。本ＵＩは、例えば、ローンの申請を審査する担当者が使用するパソコンのブラウザからのリクエストに応じてプレゼンテーション部３７１が生成し、そのパソコンのブラウザに表示される。このパソコンは、ネットワーク１０４に接続され、業務システム１０３と通信可能である。このパソコンは、業務システム１０３と別の構成であってもよいし、業務システム１０３を構成するものであってもよい。

業務システム１０３に接続されたパソコンのブラウザは、ローン審査画面５００を表示する。ローン審査画面５００は、テキストボックス５０１、テキストボックス５０２、プルダウン５０３、プルダウン５０４、プルダウン５０５、ボタン５０６、プルダウン５０７、ボタン５０６、ボタン５０８、及びボタン５０９を有する。
テキストボックス５０１は、ローンの申請者（ローン審査の対象者）の氏名を入力するためのテキストボックスである。
テキストボックス５０２は、ローンの申請者の住所を入力するためのテキストボックスである。
プルダウン５０３は、ローンの申請者の性別を設定するためのプルダウンである。
プルダウン５０４は、ローンの申請者の年齢を設定するためのプルダウンである。
プルダウン５０５は、ローンの申請者の収入を設定するためのプルダウンである。
ローン審査画面５００は、その他、勤続年数などのローンの申請者の情報を入力するコントロールを有してもよい。ここで、コントロールとは、例えば、テキストボックス、プルダウン、又はボタンのようなＵＩ部品を指す。
ボタン５０６は、ローン審査画面５００で設定されているローンの申請者の情報で承認可否を予測するためのボタンである。ボタン５０６が押下されると、これを受けた業務システム１０３は、図６を用いて後述する処理を実行する。
プルダウン５０７は、ローンの承認可否を設定するためのプルダウンである。ボタン５０６が押下されて予測が行われると、その予測結果がプルダウン５０７に設定される。
ボタン５０８は、ローン審査画面５００で入力されている内容でローン承認可否を決定するためのボタンである。
ボタン５０９は、ローンの審査をキャンセルするためのボタンである。

図６は、ローンの審査の予測依頼から審査の最終結果を公平性管理システム１０１にフィードバックするまでの業務システム１０３、公平性管理システム１０１、及び予測システム１０２の処理を示したシーケンス図である。本処理は、パソコンのブラウザからのリクエストによりローン審査画面５００のボタン５０６が押下されたことを、業務システム１０３のプレゼンテーション部３７１が検知すると開始する。

ステップＳ６０１で、業務システム１０３の通信部３７３は、ローン審査画面５００で設定されていたローンの申請者の情報を入力データとして、公平性管理システム１０１にローン審査の予測を依頼する。ここで入力データとして用いるのは、ローン審査画面５００で設定されていたローンの申請者の情報すべてである必要はなく、予測システム１０２の学習済モデル３４１が必要とするデータのみでよい。例えば、本実施例では、氏名及び住所は入力データに含めず、性別、年齢、収入、及び勤続年数などを入力データに含める。本実施例で示すのはあくまで一例であり、必要な入力データは、学習データの分析や、学習モデルの学習で、次元削減などの調整を行ったりしていく中で決定する。学習済モデル３４１は第１のモデルの一例である。

ステップＳ６０２で、公平性管理システム１０１は、予測依頼書き換え処理を実行する。ここで、図７のフローチャートを用いて公平性管理システム１０１が処理する予測依頼書き換え処理について説明する。図７は、予測依頼書き換え処理のフローチャートである。
ステップＳ７０１で、閾値格納部３０３は、表１で示した閾値管理テーブルから閾値情報を１件取得して、ステップＳ７０２に遷移する。
ステップＳ７０２で、公平性管理部３０２は、閾値情報を取得できたかを判断する。公平性管理部３０２は、閾値情報を取得できた場合は、ステップＳ７０３に遷移する。公平性管理部３０２は、閾値情報を取得できなかった場合は、すべての閾値情報についての確認処理が終了したと判断して処理を終了する。

ステップＳ７０３で、公平性管理部３０２は、予測結果格納部３０４を介して、ステップＳ７０２で取得した閾値情報の該当項目に一致する予測結果統計情報を、表３で示した予測結果統計テーブルから取得する。例えば、ステップＳ７０２で取得した閾値情報の閾値管理ＩＤがＦ００１であった場合、項目の列の値は性別（gender）である。このため、公平性管理部３０２は、予測結果統計テーブルのレコードのうち、項目の列が性別（gender）である１行目と２行目のレコードを取得する。そして、公平性管理部３０２は、取得した予測結果統計情報から比率を計算し、ステップＳ７０４に遷移する。
例えば、閾値情報の閾値管理ＩＤがＦ００１であった場合、比率は、女性の承認率／男性の承認率となる。予測結果統計情報から女性の申請数は１００であり承認数は４０であるため、女性の承認率は０．４である。また、男性の申請数は２００であり承認数は１００であるため、男性の承認率は０．５である。そのため、比率は０．８となる。
予測結果の「承認」は、予測結果が所定の予測結果であることの一例である。申請数は、第１の入力値を含む入力を用いて第１のモデルにより予測した予測総数の一例である。承認数は、第１の入力値を含む入力を用いて第１のモデルにより予測した予測結果が所定の予測結果であった回数の一例である。女性の承認率は、第１の割合の一例である。男性の承認率は、第２の割合の一例である。

ステップＳ７０４で、公平性管理部３０２は、ステップＳ７０３で計算した比率が、ステップＳ７０１で取得した閾値情報の閾値を下回っているかを判断する。例えば、閾値情報の閾値管理ＩＤがＦ００１であった場合、表１の閾値の列の値は０．９であり、ステップＳ７０３で計算した比率は０．８であるため、公平性管理部３０２は、比率が閾値を下回っており、偏りが生じている判断する。公平性管理部３０２は、比率が閾値を下回っている場合は、ステップＳ７０５に遷移する。公平性管理部３０２は、比率が閾値を下回っていない場合は、公平性が担保されていると判断してステップＳ７０１に遷移する。「比率が閾値を下回っていること」は、所定の条件の一例である。「比率が閾値を下回っている場合」は、予測の結果が所定の条件を満たす場合の一例である。「比率が閾値を下回っていない場合」は、予測の結果が所定の条件を満たさない場合の一例である。所定の条件は、例えば、第１の入力値を含む入力を用いた第１のモデルによる予測の結果と、第２の入力値を含む入力を用いた第１のモデルによる予測の結果と、の間に偏りがある場合に満たされる条件である。

ステップＳ７０５で、公平性管理部３０２は、ステップＳ６０１で受信した予測依頼の入力データの該当の項目を、閾値情報の比較対象の値に書き換えて、ステップＳ７０１に遷移する。例えば、閾値情報の閾値管理ＩＤがＦ００１であった場合、性別が女性である入力データについて性別を男性に書き換える。この書き換える処理は、置換手段の一例である。公平性管理部３０２がステップＳ７０４で比率と閾値から判断したように、予測システム１０２の学習済モデル３４１には偏りがあり、学習済モデル３４１によれば女性より男性の方が承認と予測しやすい。そのため、本実施例では、ステップＳ７０５のように書き換えを行うことで、予測システム１０２の学習済モデル３４１が承認と判断しやすくする。

図６の説明に戻る。ステップＳ６０３で、公平性管理システム１０１の通信部３０７は、予測システム１０２に予測依頼をする。なお、ここでの予測依頼の入力データは、ステップＳ６０１での予測依頼の入力データとは異なることがある。これは、ステップＳ７０５の処理で予測依頼の入力データの書き換えが行われることがあるためである。

ステップＳ６０４で、予測システム１０２の学習済モデル３４１は、ステップＳ６０３で受信した予測依頼の入力データを用いて予測を行い、承認可否を判断する。性別を「男性」に書き換えた入力データを用いた学習済モデル３４１の予測結果が第２の予測結果である。
ステップＳ６０５で、予測システム１０２の通信部３４３は、ステップＳ６０４で予測した予測結果を公平性管理システム１０１に応答する。
ステップＳ６０６で、公平性管理システム１０１の予測結果格納部３０４は、ステップＳ６０３で予測依頼した入力データとステップＳ６０５で受信した予測結果を、予測結果情報として、表２で示した予測結果テーブルにレコードを追加する。
ステップＳ６０７で、公平性管理システム１０１の予測結果格納部３０４は、ステップＳ６０３で予測依頼した入力データとステップＳ６０５で受信した予測結果から表３で示した予測結果統計テーブルを更新する。例えば、入力データの性別の項目の値が女性で、予測結果が承認であった場合、予測結果格納部３０４は、表３の予測結果統計テーブルの１行目の申請数と承認数をそれぞれ１件加算する。

ステップＳ６０８で、公平性管理システム１０１の通信部３０７は、ステップＳ６０５で受信した予測結果を業務システム１０３に応答する。
ステップＳ６０９で、業務システム１０３のプレゼンテーション部３７１は、ステップＳ６０８で受信した予測結果をローン審査画面５００のプルダウン５０７に表示するＵＩを生成する。ローンの申請を審査する担当者は、予測結果をそのまま受け入れる場合、ブラウザに表示されるローン審査画面５００のボタン５０８を押下して確定する。ローンの申請を審査する担当者は、予測結果と異なる結果としたい場合は、プルダウン５０７を操作して選択肢を変更してからボタン５０８を押下して確定する。業務システム１０３のプレゼンテーション部３７１が、ボタン５０８を押下されたことを検知するとステップＳ６１０に遷移する。

ステップＳ６１０で、業務システム１０３の通信部３７３は、ロジック部３７２を介してローン審査画面５００で入力されている内容をフィードバックデータとして、公平性管理システム１０１に送信する。
ステップＳ６１１で、公平性管理システム１０１のフィードバックデータ格納部３０６は、ステップＳ６１０で受信したフィードバックデータを表４で示したフィードバックデータ管理テーブルに格納する。この処理は、第２の予測結果に対するフィードバックを受け付ける受付手段の一例である。このように、ステップＳ７０４で学習済モデル３４１が公平であるかを判断して、ステップＳ７０５で予測依頼の内容を書き換えることによって、すぐに公平性を担保できるようになる。

ここで、表２で示した予測結果テーブルと表４で示したフィードバックデータ管理テーブルについてさらに説明する。表２の予測結果テーブルには、ステップＳ６０３の予測依頼の入力データが格納される。このため、予測結果テーブルには、ステップＳ６０２の処理により書き換えられた後の予測依頼の入力データが格納される。一方、表４のフィードバックデータ管理テーブルには、ステップＳ６０１の予測依頼の入力データが格納される。この入力データはステップＳ６０２の処理よりも前の入力データであるため、フィードバックデータ管理テーブルには、ステップＳ６０２の処理による書き換え前の入力データが格納される。

＜学習済モデルの差し替え処理＞
次に図８、及び図９を用いて、公平性管理システム１０１が学習モデルの再学習を行い、予測システム１０２の学習済モデル３４１を差し替えるまでの処理について説明する。

図８は、公平性管理システム１０１が学習モデルの再学習を行い、予測システム１０２の学習済モデル３４１を差し替える処理を示したフローチャートである。図８で示すフローチャートの処理は、表４のフィードバックデータ管理テーブルに一定件数格納されたときに実行される。本実施例では一定件数としたが、あくまで一例であり、例えば図８の処理を定期的に実行するようにしてもよい。図８のステップＳ８０１からステップＳ８１１の処理は、公平性管理システム１０１で実行される処理である。図８のステップＳ８５１、及びステップＳ８５２の処理は、予測システム１０２で実行される処理である。

ステップＳ８０１で、フィードバックデータ格納部３０６は、表４のフィードバック管理テーブルからフィードバックデータを一定件数取得して、ステップＳ８０２に遷移する。
ステップＳ８０２で、再学習部３０５は、ステップＳ８０１で取得したフィードバックデータを学習用データと検証用データに分割してステップＳ８０３に遷移する。検証用データとは、学習モデルが、学習済モデルとしての条件を満たしているかを検証するためのデータであり、一般的に検証用データは学習には使用しないようにして、学習用データとは別に用意する。
ステップＳ８０３で、再学習部３０５は、学習用データの水増しを行い、ステップＳ８０４に遷移する。本実施例によれば、学習用データの水増しを行うことで、フィードバックデータが大量に貯まる前であっても再学習させることができ、再学習した学習済モデルをより早く作成することができる。ステップＳ８０３の処理の詳細については、図９を用いて後述する。なお、ステップＳ８０３の処理は、必要に応じて行う処理であり、規定量のフィードバックデータが集まっているならば、水増しなしに、再学習を行ってもよい。

ステップＳ８０４で、再学習部３０５は、予測システム１０２の学習済モデル３４１と同じ学習状態の学習済モデルを学習モデルとして、ステップＳ８０３で水増しした学習用データを用いて再学習してステップＳ８０５に遷移する。なお、学習用データに用いるフィードバックデータには正解データである最終結果が含まれるため、本実施例では学習用データの一部を教師データとして、再学習は教師あり学習であるＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）を用いる。なお、本発明において、ＳＶＭはあくまで一例であり、その他、二項分類を行うアルゴリズムやニューラルネットワークなど様々な機械学習アルゴリズムが適用可能である。
ステップＳ８０５で、再学習部３０５は、ステップＳ８０２で作成した検証用データを入力データとして、ステップＳ８０４で再学習した学習モデルで予測を行い、ステップＳ８０６に遷移する。この再学習した学習モデルは、第２のモデルの一例である。
ステップＳ８０６で、再学習部３０５は、ステップＳ８０５の処理で出力された予測結果と入力データから予測結果統計情報を作成し、ステップＳ８０７に遷移する。

ステップＳ８０７で、閾値格納部３０３は、表１で示した閾値管理テーブルから閾値情報を１件取得して、ステップＳ８０８に遷移する。
ステップＳ８０８で、公平性管理部３０２は、閾値情報を取得できたかを判断する。公平性管理部３０２は、閾値情報を取得できた場合は、ステップＳ８０９に遷移する。公平性管理部３０２は、閾値情報を取得できなかった場合は、すべての閾値情報について公平性を担保できる状態になっていると判断してステップＳ８１１に遷移する。
ステップＳ８０９で、公平性管理部３０２は、ステップＳ８０６で作成した予測結果統計情報から比率を計算しステップＳ８１０に遷移する。比率の計算方法はステップＳ７０３と同じである。
ステップＳ８１０で、公平性管理部３０２は、ステップＳ８０９で計算した比率が、ステップＳ８０７で取得した閾値情報の閾値を下回っているかを判断する。この判断処理は、ステップＳ７０４の処理と同じ処理である。この判断処理は、第２のモデルによる検証用の入力を用いた予測の結果が、所定の条件を満たすか否かを判定する判定手段の一例である。公平性管理部３０２は、比率が閾値を下回っている場合は、再学習した学習モデルは、まだ公平性を担保できる状態ではないと判断して処理を終了する。公平性管理部３０２は、比率が閾値を下回っていない場合は、再学習した学習モデルはステップＳ８０７で取得した閾値情報については公平性が担保されていると判断してステップＳ８０７に遷移する。

ステップＳ８１１で、再学習部３０５は、再学習した学習モデルを学習済モデルとして、通信部３０７を介して、予測システム１０２に送信し、予測システム１０２に対して学習済モデル３４１の差し替えの要求を行い、処理を終了する。
ステップＳ８５１で、予測システム１０２の通信部３４３は、学習済モデル３４１の差し替えの要求があったかを監視する。予測システム１０２は、学習済モデル３４１の差し替えの要求があった場合は、ステップＳ８５２に遷移する。予測システム１０２は、学習済モデル３４１の差し替えの要求がなかった場合は、ステップＳ８５１で学習済モデル３４１の差し替えの要求の監視を続ける。
ステップＳ８５２で、学習済モデル差し替え部３４２は、ステップＳ８８５１で受信した学習済モデルと予測システム１０２の学習済モデル３４１とを差し替えて処理を終了する。この差し替える処理は、第１のモデルを、第２のモデルに差し替える差し替え手段の一例である。このように本実施例によれば、学習済モデル３４１を、フィードバックデータを用いて再学習して作成した、公平性を担保できる状態の学習済モデルに差し替えることができる。この再学習して作成した、公平性を担保できる状態の学習済モデルに差し替える処理は、第２のモデルを作成する作成手段の一例である。

図９を用いて、公平性管理システム１０１が処理する学習用データの水増し処理（ステップＳ８０３）の詳細について説明する。図９は、学習用データの水増し処理のフローチャートである。この水増し処理は、第１の入力値を含む入力と第２の予測結果とからなる学習用データに基づき、当該入力の少なくとも一部の値が重複する学習用データを生成する生成手段の一例である。
ステップＳ９０１で、再学習部３０５は、追加の学習用データを空で定義してステップＳ９０２に遷移する。
再学習部３０５は、ステップＳ９０２からステップＳ９０６までの処理を、学習用データの数だけ繰り返し行う。
ステップＳ９０３で、再学習部３０５は、フィードバックデータから作成した学習用データが、ステップＳ７０５の処理で予測依頼が書き換えられたものであるかを判断する。再学習部３０５は、予測依頼が書き換えられたものであった場合は、ステップＳ９０４に遷移する。再学習部３０５は、予測依頼が書き換えられたものでなかった場合は、ステップＳ９０６に遷移する。

ステップＳ９０４で、再学習部３０５は、学習用データの水増しを行い、ステップＳ９０５に遷移する。この水増しでは、書き換えられた項目の値は固定して、その他の値を変更する。例えば、表４のフィードバックデータＩＤがＤ００２であるレコードが学習用データである場合、ステップＳ７０５の処理で書き換えが行われた性別の女性は固定して、他の項目の値を書き換えたデータを作成し、水増しした学習用データとして用いる。書き換える他の項目の値の例として、年齢を３０歳にしたり、収入を６２０万円にしたりすることが挙げられる。ステップＳ７０５の処理では公平性を担保するために入力データの書き換えが行われているため、そのフィードバックデータを水増しに使うことで、公平性を担保しやすい学習用データが作成される。
ステップＳ９０５で、再学習部３０５は、ステップＳ９０４で水増しにより作成された学習用データを追加の学習用データに追加する。
ステップＳ９０７で、再学習部３０５は、ステップＳ９０５の追加の学習用データを、ステップＳ８０４の再学習で用いる学習用データに追加して、処理を終了する。
以上、本発明によれば、再学習部３０５は、公平性を担保するために入力データの書き換え、フィードバックデータを用いて公平性を担保できる学習済モデルを作成する。このことで、本発明によれば、すぐに公平性を担保できるようにしつつ、再学習した学習済モデルに自動的に差し替えできる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１ 公平性管理システム
１０２ 予測システム
１０３ 業務システム

Claims (6)

1. 機械学習により作成された第１のモデルを管理するシステムであって、
   第１の入力値を含む入力を用いた前記第１のモデルによる予測の結果である第１の予測結果が所定の条件を満たす場合に、前記入力に含まれる当該第１の入力値を第２の入力値に置換する置換手段と、
   前記置換が行われた後の入力を用いた前記第１のモデルによる予測の結果である第２の予測結果を保存する保存手段と、
   前記第２の予測結果に対するフィードバックを受け付ける受付手段と、
   前記受け付けたフィードバックに基づき、前記第１の入力値を含む入力と前記第２の予測結果とからなる学習用データを用いた機械学習を行うことで第２のモデルを作成する作成手段と、を有し、
   前記所定の条件は、前記第１の入力値を含む入力を用いた前記第１のモデルによる予測の結果と、前記第２の入力値を含む入力を用いた前記第１のモデルによる予測の結果と、の間に偏りがある場合に満たされる条件である
   ことを特徴とするシステム。
2. 前記第２のモデルによる検証用の入力を用いた予測の結果が、前記所定の条件を満たすか否かを判定する判定手段をさらに有する
   ことを特徴とする請求項１に記載のシステム。
3. 前記第２のモデルを作成するために、前記第１の入力値を含む入力と前記第２の予測結果とからなる学習用データに基づき、当該入力の少なくとも一部の値が重複する学習用データを生成する生成手段をさらに有し、
   前記作成手段は、前記第１の入力値を含む入力と前記第２の予測結果とからなる学習用データと、前記生成手段で生成された学習用データと、を用いて機械学習を行うことで前記第２のモデルを作成する
   ことを特徴とする請求項１又は２に記載のシステム。
4. 前記第１の入力値を含む入力を用いて前記第１のモデルにより予測した予測結果が所定の予測結果であった回数の、前記第１の入力値を含む入力を用いて前記第１のモデルにより予測した予測総数に対する割合を第１の割合とし、
   前記第２の入力値を含む入力を用いて前記第１のモデルにより予測した予測結果が前記所定の予測結果であった回数の、前記第２の入力値を含む入力を用いて前記第１のモデルにより予測した予測総数に対する割合を第２の割合とし、
   前記所定の条件は、前記第１の割合と前記第２の割合との比率に応じた条件である
   ことを特徴とする請求項１から３のいずれか１項に記載のシステム。
5. 機械学習により作成された第１のモデルを管理するシステムで実行される方法であって、
   第１の入力値を含む入力を用いた前記第１のモデルによる予測の結果である第１の予測結果が所定の条件を満たす場合に、前記入力に含まれる当該第１の入力値を第２の入力値に置換する置換工程と、
   前記置換が行われた後の入力を用いた前記第１のモデルによる予測の結果である第２の予測結果を保存する保存工程と、
   前記第２の予測結果に対するフィードバックを受け付ける受付工程と、
   前記受け付けたフィードバックに基づき、前記第１の入力値を含む入力と前記第２の予測結果とからなる学習用データを用いた機械学習を行うことで第２のモデルを作成する作成工程と、を有し、
   前記所定の条件は、前記第１の入力値を含む入力を用いた前記第１のモデルによる予測の結果と、前記第２の入力値を含む入力を用いた前記第１のモデルによる予測の結果と、の間に偏りがある場合に満たされる条件である
   ことを特徴とする方法。
6. 請求項１乃至４のいずれか１項に記載のシステムの各手段としてコンピュータを機能させるためのプログラム。

Images