JP7448039B2 - ルール更新プログラム、ルール更新方法及びルール更新装置 - Google Patents

Description

本発明は、ルール更新プログラム、ルール更新方法及びルール更新装置に関する。

説明可能なＡＩ（Artificial Intelligence）、いわゆるＸＡＩ（Explainable AI）を実現する側面から、ルール集合に基づく機械学習モデルが提案されている。

上記の機械学習モデルの生成には、データの性質を表す複数の項目の各々に対応する特徴量と、特定のラベルとを含む訓練データのサンプル集合がデータセットとして用いられる。訓練データのデータセットを用いて、項目に対応する特徴量がとり得る数値を項目間で組み合わせる組合せパターンが網羅的に列挙されたルール集合のうち重要度が高いルール集合を抽出するマイニングが実行される。そして、マイニングにより得られたルール集合に含まれるルールの各々を機械学習モデルの説明変数とし、ラベルを機械学習モデルの目的変数とし、各々のルールに付与される重みが回帰分析等の機械学習により決定される。

例えば、ルール集合に基づく機械学習モデルを用いて分類や予測などのタスクが実行される場合、機械学習モデルの出力結果に加えて、出力結果に寄与するルール集合を提示できる。このように提示されるルール集合は、論理式で表現可能であるので、解釈性（説明可能性）に優れる側面がある。

この他、ユーザの納得性の向上を図る側面から、線形回帰モデルを複数列挙する方法が提案されている。例えば、線形回帰モデルに含まれる特徴量を１つずつ交換して同程度の精度のモデルを生成したり、線形回帰モデルに用いる特徴量集合をまるごと別のものに置き換えて同程度の精度のモデルを生成したりする。

Satoshi Hara and Takanori Maehara. Finding alternate features in lasso. In NIPS 2016 workshop on Interpretable Machine Learning for Complex Systems, 2016. Satoshi Hara and Takanori Maehara. Enumerate lasso solutions for feature selection. In Proceedings of the Thirty-First AAAI Conference on Artificial Intelligence, AAAI ’17, page 1985-1991. AAAI Press, 2017.

しかしながら、上記のルール集合には、ユーザから必ずしも納得が得られるルールだけが含まれるとは限らず、ユーザの納得が得られないルールが混在する側面がある。このため、上記のルール集合に基づく機械学習モデルは、解釈性に優れる一方で納得性に欠ける一面がある。

そうであるからと言って、線形回帰モデルを複数列挙する方法を用いて、ユーザの納得が得られないルールの数が低減されたルール集合を獲得することも困難である。なぜなら、線形回帰モデルを複数列挙する方法は、あくまで個々の特徴量に重みを付与する線形回帰モデルを前提とする技術であるので、ルールに重みが付与される機械学習モデルにそのまま適用することは困難であるからである。

１つの側面では、ルール集合に基づく機械学習モデルの納得性向上を実現できるルール更新プログラム、ルール更新方法及びルール更新装置を提供することを目的とする。

一態様のルール更新プログラムは、訓練データを用いた第１のマイニングの結果生成されたルール集合に含まれるルールの少なくとも一部に対するユーザ指定を受け付け、前記ユーザ指定を受け付けたルールに対応するサンプルデータを前記訓練データから特定し、前記ユーザ指定を受け付けたルールに対応する前記サンプルデータに限定した訓練データを用いて第２のマイニングを実行することで、新規ルールを取得する、処理をコンピュータに実行させる。

ルール集合に基づく機械学習モデルの納得性向上を実現できる。

図１は、実施例１に係るサーバ装置の機能構成例を示すブロック図である。 図２は、機械学習モデルの生成方法の一例を示す図である。 図３は、ルール更新方法の一例を示す図である。 図４は、訓練データのサンプル集合の一例を示す図である。 図５は、訓練データのサンプル集合の一例を示す図である。 図６は、初期ルールの集合の一例を示す図である。 図７は、第１モデルデータの一例を示す図である。 図８は、正例ルールの再マイニングの一例を示す図である。 図９は、新規ルールの一例を示す図である。 図１０は、第２モデルデータの一例を示す図である。 図１１は、実施例１に係るルール更新処理の手順を示すフローチャートである。 図１２は、ハードウェア構成例を示す図である。

以下に添付図面を参照して本願に係るルール更新プログラム、ルール更新方法及びルール更新装置について説明する。なお、この実施例は開示の技術を限定するものではない。そして、各実施例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。

図１は、実施例１に係るサーバ装置１０の機能構成例を示すブロック図である。図１に示すサーバ装置１０は、機械学習モデルの生成に用いられたルール集合のうちユーザの納得が得られないルールを新規の代替ルールへ更新するルール更新機能を提供するものである。

このようなルール更新機能は、あくまで１つの側面として、ルール集合に基づく機械学習モデルを生成するモデル生成サービスの一機能としてパッケージ化され得る。なお、上記のルール更新機能は、必ずしも上記のモデル生成サービスにパッケージ化されずともよく、上記のモデル生成サービスや他のサービスにより参照されるライブラリに含まれるモジュールの１つとして提供されてもよい。

サーバ装置１０は、上記のルール更新機能を実現するルール更新プログラムを任意のコンピュータにインストールさせることにより実装できる。一例として、サーバ装置１０は、上記のルール更新機能をオンプレミスに提供するサーバとして実装することができる。他の一例として、サーバ装置１０は、ＳａａＳ（Software as a Service）型のアプリケーションとして実装することで、上記のルール更新機能をクラウドサービスとして提供することもできる。

また、サーバ装置１０は、図１に示すように、ネットワークＮＷを介して、クライアント端末３０と通信可能に接続され得る。例えば、ネットワークＮＷは、有線または無線を問わず、インターネットやＬＡＮ（Local Area Network）などの任意の種類の通信網であってよい。

クライアント端末３０は、上記のルール更新機能の提供を受けるコンピュータの一例である。例えば、クライアント端末３０には、パーソナルコンピュータなどのデスクトップ型のコンピュータなどが対応し得る。これはあくまで一例に過ぎず、クライアント端末３０は、ラップトップ型のコンピュータや携帯端末装置、ウェアラブル端末などの任意のコンピュータであってよい。

なお、図１には、上記のルール更新機能がクライアントサーバシステムで提供される例を挙げるが、この例に限定されず、スタンドアロンで上記のルール更新機能が提供されることとしてもよい。

次に、本実施例に係るルール集合に基づく機械学習モデルの生成方法について例示する。図２は、機械学習モデルの生成方法の一例を示す図である。図２に示す訓練データのデータセット２１には、データの性質を表す複数の項目の各々に対応する特徴量と、特定のラベルとを含む訓練データのサンプル集合が含まれ得る。なお、図２では、機械学習のタスクの一例として、クラス分類を行う機械学習モデルが生成される例を挙げる。

図２に示すように、訓練データのデータセット２１を用いて、項目に対応する特徴量がとり得る数値を項目間で組み合わせる組合せパターンが網羅的に列挙されたルール集合のうち重要度が高いルール集合を抽出するマイニングが実行される（Ｓ１）。

ステップＳ１におけるマイニングでは、特徴量の数値を組み合わせる項目の数を２つから訓練データに含まれる項目の数までの全てを含めることで、全通りの組合せパターンがルール集合として列挙され得る。なお、ここでは、全通りの組合せパターンが列挙される例を挙げたが、特徴量の数値を組み合わせる項目の数をユーザ定義またはシステム定義により設定される上限値までに制限することとしてもよい。

その上で、ステップＳ１におけるマイニングでは、上述の通りに網羅的に列挙されたルール集合を母集団とし、当該母集団とするルール集合のうち重要度が高いルール集合が抽出される。

例えば、「重要度」は、あくまで一例として、支持度（Support）および確信度（Confidence）などの指標により定義することができる。

“Support”は、訓練データのデータセットに含まれるサンプル数のうちマイニングで抽出対象とするルールの条件部にヒットするサンプル数の割合、あるいは、マイニングで抽出対象とするルールの条件部にヒットするサンプル数の頻度を指す。“Support”はヒット数とも呼ばれることがある。

“Confidence”は、マイニングで抽出対象とするルールの条件部にヒットするサンプル数のうち当該ルールの帰結部のラベルと一致するクラスに分類できるサンプル数を指す。“Confidence”は、信頼度、あるいはヒット率とも呼ばれることがある。

これら“Support”および“Confidence”の各々の下限値がユーザ定義またはシステム定義により機械学習モデルのハイパーパラメータとして設定される。

ステップＳ１におけるマイニングでは、“Support”が下限値以上であり、かつ“Confidence”が下限値以上であるルール集合２２を抽出する。これにより、１つの側面として、十分な数のサンプルで期待通りのクラスへの分類を実現するルール集合を獲得できる。以下、ステップＳ１におけるマイニングで抽出される初期のルールのことを指して「初期ルール」と記載する場合がある。

ステップＳ１のマイニングにより得られた初期ルールの集合２２に含まれるルールの各々を機械学習モデルの説明変数とし、各サンプルのラベルを機械学習モデルの目的変数とし、各々のルールに付与される重みが回帰分析等の機械学習により決定される（Ｓ２）。

ステップＳ２の機械学習の結果、ルールごとに当該ルールの重みが付与されたルール集合が機械学習モデル２３として得られる。

このようにして生成された機械学習モデル２３によれば、機械学習モデルの出力結果に加えて、出力結果に寄与するルール集合を提示できる。このように提示されるルール集合は、論理式で表現可能であるので、解釈性（説明可能性）に優れる側面がある。

しかしながら、上記のルール集合には、ユーザから必ずしも納得が得られるルールだけが含まれるとは限らず、ユーザの納得が得られないルールが混在する一面もある。このため、上記のルール集合に基づく機械学習モデルは、解釈性に優れる一方で納得性に欠ける一面がある。

そうであるからと言って、上記の背景技術の欄で挙げた非特許文献１および非特許文献２、すなわち線形回帰モデルを複数列挙する方法を用いて、ユーザの納得が得られないルールの数が低減されたルール集合を獲得することも困難である。

なぜなら、非特許文献１および非特許文献２は、あくまで個々の特徴量に重みを付与する線形回帰モデルを前提とする技術であるので、ルールに重みが付与される機械学習モデルにそのまま適用することは困難であるからである。

このように適用が困難である理由の１つとして、項目の数や項目に対応する特徴量の数値がとり得る範囲の増加にしたがってルールの数が指数関数的に増大することが挙げられる。

すなわち、ルールの数が指数関数的に増大すれば、各ルールの重みを決定する側面から実行される回帰分析などの機械学習の計算コスト、例えば計算量や計算時間を現実的なものに抑えることが困難となる。

さらに、たとえマイニングにより機械学習の計算コストが抑えられたとしても、マイニングの段階で抽出されずに除外されたルールは機械学習モデルの説明変数にも含まれなくなる。このため、ユーザにとって納得性が高いルールがマイニングで埋没し、より納得性の高い機械学習モデルが列挙される可能性が低下する。

そこで、本実施例に係るルール更新機能は、機械学習モデルの生成に用いられた訓練データのサンプル集合のうちユーザ指定を受け付けた初期ルールに対応するサンプルに限定して初期ルールの代替となる新規ルールを獲得する再マイニングを実行する。

図３は、ルール更新方法の一例を示す図である。図３には、図２に示す機械学習モデルの生成に用いられた初期ルールの集合のうちユーザの納得が得られないルールが新規の代替ルールへ更新される例が示されている。なお、図３では、ルール更新に対応する処理に関するフローの矢印を太線で示す。

図３に示すように、ルール更新機能は、図２に示す通りに生成された機械学習モデル２３、例えば初期ルールごとに初期ルールの重みが付与された初期ルールの集合をＧＵＩ（Graphical User Interface）を介してクライアント端末３０に提示できる（Ｓ１１）。

このように初期ルールの集合が提示された際、ルール更新機能は、ユーザ指定４１の一例として、ユーザの理解や納得が得られないルールの指定を受け付けることができる（Ｓ１２）。あくまで一例として、ユーザの直感や経験則、機械学習モデル２３が適用される業務の常識などに反するルール、あるいは条件部に含まれる特徴量の組合せおよび帰結部のラベルが差別的な表現を含むルールなどが指定され得る。ユーザ指定の他の一例として、ルール更新機能は、上記のルールの指定の他、機械学習モデル２３が十分に説明できていない訓練データのサンプルの指定を受け付けることもできる。

図３に示すユーザ指定４１の例で言えば、「ルールＲ１は予測の根拠として不適切」という思考の下でルールＲ１が指定されると共に、「サンプルＰ２に対する説明が（ルールＲ２だけでは）不十分」という思考の下でサンプルＰ２が指定される例が示されている。

ステップＳ１２でユーザ指定を受け付けると、ルール更新機能は、ユーザ指定４１を受け付けたルールに対応する訓練データのサンプルを特定する（Ｓ１３）。例えば、図３に示す例で言えば、訓練データのデータセット２１に含まれるサンプル集合のうち、ユーザ指定４１を受け付けたルールＲ１の条件部に含まれる特徴量の組合せパターンと一致する訓練データのサンプルＰ１及びＰ４が特定される。

その後、ルール更新機能は、ステップＳ１３で特定された訓練データのサンプルＰ１及びＰ４と、ステップＳ１２でユーザ指定を受け付けた訓練データのサンプルＰ２とに限定して再マイニングを実行する（Ｓ１４）。

ステップＳ１４で訓練データのサンプルＰ１、Ｐ２及びＰ４に限定した再マイニングが実行されることで、初期ルールであるルールＲ１の代替となる新規ルール、さらには、サンプルＰ２の説明を補充する新規ルールがルールＲ１１及びＲ１２として抽出される。

ステップＳ１４の再マイニングの結果、ルール更新機能は、初期ルールの集合を次のように更新できる（Ｓ１５）。例えば、図３に示す例で言えば、初期ルールの集合２２から初期ルールの１つであるルールＲ１を削除すると共に、新規ルールとして抽出されたルールＲ１１及びＲ１２が追加されることにより、初期ルールの集合２２が更新後のルール集合４２へ更新される。

以上のように、本実施例に係るルール更新機能は、ユーザの理解や納得が得られないルールの代替となる新規ルールを獲得できる。したがって、本実施例に係るルール更新機能によれば、ルール集合に基づく機械学習モデルの納得性向上を実現できる。さらに、本実施例に係るルール更新機能は、機械学習モデルの説明が不十分である訓練データのサンプルの説明を補充する新規ルールを獲得ができる。それ故、本実施例に係るルール更新機能によれば、ルール集合に基づく機械学習モデルの解釈性（説明可能性）をより高めることもできる。

なお、図３には、初期ルールの集合２２が更新後のルール集合４２へ更新されるまでの説明を行ったが、当然のことながら、更新後のルール集合４２に基づく機械学習モデル４３を生成できることができる。この場合、更新後のルール集合４２に含まれるルールの各々を機械学習モデルの説明変数とし、ラベルを機械学習モデルの目的変数とし、各々のルールに付与される重みを回帰分析等の機械学習により決定する。これにより、更新後のルール集合４２に基づく機械学習モデル４３を生成できる。

次に、本実施例に係るルール更新機能を有するサーバ装置１０の機能的構成の一例について説明する。図１には、サーバ装置１０が有する機能に対応するブロックが模式化されている。図１に示すように、サーバ装置１０は、通信インタフェイス部１１と、記憶部１３と、制御部１５とを有する。なお、図１には、上記のルール更新機能に関連する機能部が抜粋して示されているに過ぎず、図示以外の機能部、例えば既存のコンピュータがデフォルトまたはオプションで装備する機能部がサーバ装置１０に備わることとしてもよい。

通信インタフェイス部１１は、他の装置、例えばクライアント端末３０との間で通信制御を行う通信制御部の一例に対応する。あくまで一例として、通信インタフェイス部１１は、ＬＡＮカードなどのネットワークインターフェイスカードにより実現される。例えば、通信インタフェイス部１１は、クライアント端末３０からルール更新に関するリクエスト、あるいはユーザ指定４１、例えばルールやサンプルの指定などを受け付ける。また、通信インタフェイス部１１は、更新後のルール集合４２、あるいは更新後のルール集合４２に基づく機械学習モデル４３をクライアント端末３０へ出力する。

記憶部１３は、各種のデータを記憶する機能部である。あくまで一例として、記憶部１３は、ストレージ、例えば内部、外部または補助のストレージにより実現され得る。例えば、記憶部１３は、データセット２１と、第１モデルデータ２３と、第２モデルデータ４３とを記憶する。なお、記憶部１３は、データセット２１、第１モデルデータ２３及び第２モデルデータ４３以外にも、上記のルール更新機能で参照される設定、例えば機械学習モデルのハイパーパラメータなどの各種のデータを記憶することができる。

データセット２１は、図２及び図３に示す訓練データのサンプル集合２１の一例に対応し得る。第１モデルデータ２３及び第２モデルデータ４３は、いずれもルール集合に基づく機械学習モデルのデータである。第１モデルデータ２３は、図２に示す初期ルールの集合２２に基づく機械学習モデル２３に対応し得る一方で、第２モデルデータ４３は、図３に示す更新後のルール集合４２に基づく機械学習モデル４３に対応し得る。

図４及び図５は、訓練データのサンプル集合の一例を示す図である。図４及び図５には、機械学習のタスクの一例として、２クラス分類を行う機械学習モデルの生成に用いる訓練データのサンプル集合２１１及び２１２が示されている。なお、ここでは、２クラス分類を行う機械学習モデルが生成される例を挙げるが、機械学習のタスクは２クラス分類に限定されず、多クラス分類であってもよいし、クラス分類以外の他のタスク、例えば予測などであってもよい。

例えば、図４には、正例、すなわちポジティブ「＋」のラベルが付与された訓練データのサンプル集合２１１が例示される一方で、図５には、負例、すなわちネガティブ「－」のラベルが付与された訓練データのサンプル集合２１２が示されている。

さらに、図４及び図５には、項目の一例として、Ａ～Ｅの５つの項目が例示されており、各々の項目に対応する特徴量が「１」または「０」のバイナリで表現される例が示されている。

ここで挙げる「項目」は、任意のものでよいが、あくまで説明上の例示として、年齢や性別などを挙げる。例えば、年齢の例で言えば、項目「年齢」が２０歳以上であるサンプルの特徴量として「１」が抽出される一方で、項目「年齢」が２０歳未満であるサンプルの特徴量として「０」が抽出される。また、性別の例で言えば、項目「性別」が男性であるサンプルの特徴量として「１」が抽出される一方で、性別の例で言えば、項目「性別」が女性であるサンプルの特徴量として「０」が抽出される。なお、図４及び図５には、特徴量がバイナリで表現される例を挙げたが、特徴量は３つ以上の多値で表現されることとしてもよい。例えば、年齢で言えば、年齢の数値そのものを特徴量とすることもできる。この他、項目「年齢」が１０代未満であるサンプルの特徴量として「０」を抽出し、１０代であるサンプルの特徴量として「１」を抽出し、・・・、Ｎ×１０代であるサンプルの特徴量として「Ｎ」を抽出することもできる。

例えば、図４には、正例の訓練データのサンプル集合２１１の一例として、サンプルＰ１～Ｐ５の５つの事例が示されている。あくまで一例として、サンプルＰ１を例に挙げれば、ポジティブ「＋」のラベルが付与された事例であって、項目「Ａ」～項目「Ｅ」の各々の特徴量が「１」、「１」、「１」、「０」、「１」であることを意味する。

また、図５には、負例の訓練データのサンプル集合２１２の一例として、サンプルＮ１～Ｎ５の５つの事例が示されている。あくまで一例として、サンプルＮ１を例に挙げれば、ネガティブ「－」のラベルが付与された事例であって、項目「Ａ」～項目「Ｅ」の各々の特徴量が「０」、「１」、「１」、「１」、「０」であることを意味する。

図４に示す正例の訓練データのサンプル集合２１１及び図５に示す負例の訓練データのサンプル集合２１２が訓練データのデータセット２１として機械学習モデルの生成に用いられる。

例えば、図４及び図５に示す訓練データのデータセット２１を用いて網羅的に列挙されたルール集合に図２に示すステップＳ１のマイニングが実行されることにより、図６に示す初期ルールの集合が得られる。

図６は、初期ルールの集合の一例を示す図である。図６には、あくまで一例として、“Support”の下限値が「１０」に設定されると共に“Confidence”の下限値が「１００％」に設定された状況の下でマイニングが実行されることにより得られた初期ルールの集合が例示されている。

図６に示すように、初期ルールの集合として、ルールＲ１～ルールＲ４の４つの初期ルールが示されている。図６に示す例で言えば、ルールには、右矢印の左辺に対応する条件部と、右矢印の右辺に対応する帰結部とが含まれる。

例えば、ルールＲ１の条件部には、項目「Ａ」の特徴量が「１」であり、項目「Ｂ」の特徴量が「１」であり、かつ項目「Ｃ」の特徴量が「１」であるといった特徴量の組合せパターンが定義される。また、ルールＲ１の帰結部には、条件部に定義される事象の下で発生するポジティブ「＋」というクラスが定義される。

このようなルールＲ１は、Support「１０」が下限値「１０」以上であり、かつConfidence「１００％」が下限値「１００％」以上であるというマイニング条件を満たすことから初期ルールの集合の１つとして抽出されている。

図６に示す初期ルールの集合に含まれるルールの各々を機械学習モデルの説明変数とし、各サンプルのラベルを機械学習モデルの目的変数とし、各々のルールに付与される重みが図２に示すステップＳ２の回帰分析、例えばロジスティック回帰等により決定される。

図７は、第１モデルデータの一例を示す図である。図７には、初期ルールの集合２２に基づく機械学習モデル２３の一例として、ルールＲ１～Ｒ４の４つの初期ルールごとに当該初期ルールの重みが付与されたルール集合が示されている。このような機械学習モデル２３は、あくまで一例として、ルールＲ１～ルールＲ４の各々を説明変数とし、各ルールに付与される重みを偏回帰係数とする重回帰モデルとして機能し得る。

例えば、ルールＲ１～ルールＲ４に基づく機械学習モデル２３には、入力データに含まれる項目「Ａ」～項目「Ｅ」に対応する特徴量がルールＲ１～ルールＲ４の各々のルールの条件部を満たすか否かの判定結果が入力され得る。

ルールＲ１～ルールＲ４の４つの説明変数のうち、ルールの条件部を満たす説明変数には「１」が入力される一方でルールの条件部を満たさない説明変数には「０」が入力されることにより、機械学習モデル２３から重み付けの総和が出力される。

このとき、機械学習モデル２３により出力される重み付けの総和が０以上である場合、入力データが正例、すなわちポジティブ「＋」のクラスへ分類される。その一方で、重み付けの総和が０未満である場合、入力データが負例、すなわちネガティブ「－」のクラスへ分類される。

このような初期ルールの集合２２に基づく機械学習モデル２３が第１モデルデータ２３として記憶部１３に保存され得る。なお、第２モデルデータ４３の説明は、第２モデルデータ４３の生成が行われる処理の説明と合わせて後述する。

制御部１５は、サーバ装置１０の全体制御を行う処理部である。例えば、制御部１５は、ハードウェアプロセッサにより実現される。図１に示すように、制御部１５は、受付部１５Ａと、特定部１５Ｂと、マイニング部１５Ｃと、更新部１５Ｄと、生成部１５Ｅとを有する。なお、図１には、ルール更新機能がパッケージされたモデル生成サービスに対応する機能部を例示したが、ルール更新機能に対応する機能部のみが備わることとしてもよい。

受付部１５Ａは、各種の情報を受け付ける処理部である。一実施形態として、受付部１５Ａは、クライアント端末３０からルール更新に関するリクエストを受け付けることができる。このとき、ルール更新に関するリクエストを受け付けると、受付部１５Ａは、記憶部１３に記憶された第１モデルデータ２３に含まれる機械学習モデル、例えば初期ルールの集合に基づく機械学習モデルをクライアント端末３０に表示させる。

あくまで一例として、受付部１５Ａは、図７に示すルールＲ１～ルールＲ４に基づく機械学習モデルをクライアント端末３０に表示させることができる。なお、図７には、各項目がＡ～Ｅという記号でマスクされた例が示されているが、実際には、性別や年齢の他、任意の項目の値を表示できるのは言うまでもない。

このように図７に示すルールＲ１～ルールＲ４に基づく機械学習モデルが提示された際、受付部１５Ａは、ユーザ指定４１の一例として、ユーザの理解や納得が得られないルールの指定を受け付けることができる。あくまで一例として、ユーザの直感や経験則、機械学習モデル２３が適用される業務の常識などに反するルール、あるいは条件部に含まれる特徴量の組合せおよび帰結部のラベルが差別的な表現を含むルールなどが指定され得る。例えば、図３に示すユーザ指定４１で例示される通り、「ルールＲ１は予測の根拠として不適切」という思考の下でルールＲ１のユーザ指定を受け付けることができる。

他の一例として、受付部１５Ａは、図４に示す正例の訓練データのサンプル、図５に示す負例の訓練データのサンプル、あるいはこれら両方を含むデータセット２１をクライアント端末３０に表示させることができる。なお、図４や図５には、各項目がＡ～Ｅという記号でマスクされた例が示されているが、実際には、性別や年齢の他、任意の項目の値を表示できるのは言うまでもない。

このようなサンプルの提示が行われた際、受付部１５Ａは、ユーザ指定の一例として、図７に示す機械学習モデルが十分に説明できていない訓練データのサンプルの指定を受け付けることもできる。例えば、サンプルの指定を支援する側面から、図４に示す正例の訓練データのサンプルや図５に示す負例の訓練データのサンプルが提示される際、各サンプルがサポートするルールを対応付けて表示させることができる。あくまで一例として、訓練データのサンプルのうちいずれかのサンプルにマウスオーバーが行われた場合、マウスオーバーが行われたサンプルをサポートするルールを表示させることができる。例えば、図３に示すユーザ指定４１で例示される通り、「サンプルＰ２に対する説明が（ルールＲ２だけでは）不十分」という思考の下でサンプルＰ２のユーザ指定を受け付けることができる。なお、マウスオーバー時に表示されるルールは、ルールそのものではなく、ルールの識別情報であってもよい。

なお、ここでは、機械学習モデルや訓練データのサンプルが提示されてからユーザ指定を受け付ける例を挙げたが、機械学習モデルや訓練データのサンプルの提示をスキップしてユーザ指定を受け付けることとしてもよい。また、ユーザ指定として、ルールの指定および訓練データのサンプルの指定の両方が必ずしも受け付けられずともよく、少なくともいずれか一方を受け付けることができる。

特定部１５Ｂは、ユーザ指定を受け付けたルールに対応する訓練データのサンプルを特定する処理部である。一実施形態として、特定部１５Ｂは、訓練データのデータセット２１に含まれるサンプル集合のうち、ユーザ指定４１を受け付けたルールの条件部に含まれる特徴量の組合せパターンと一致する訓練データのサンプルを特定する。例えば、ルールＲ１のユーザ指定を受け付けた場合、第１モデルデータ２３に含まれる初期ルールの集合２２のうち、ルールＲ１の条件部が参照される。ルールＲ１の条件部には、図７に示す通り、項目「Ａ」の特徴量が「１」であり、項目「Ｂ」の特徴量が「１」であり、かつ項目「Ｃ」の特徴量が「１」である特徴量の組合せパターンが定義されている。このような特徴量の組合せパターンには、図４に示す正例の訓練データのサンプル集合２１１及び図５に示す負例の訓練データのサンプル集合２１２のうち、正例の訓練データのサンプルＰ１及びＰ４が一致する。この結果、ルールＲ１に対応するサンプルとして、正例の訓練データのサンプルＰ１及びＰ４が特定される。

マイニング部１５Ｃは、マイニングを実行する処理部である。一実施形態として、マイニング部１５Ｃは、訓練データのデータセット２１のうち特定部１５Ｂにより特定された訓練データのサンプルと、受付部１５Ａによりユーザ指定４１が受け付けられた訓練データのサンプルとに限定して再マイニングを実行する。以下、特定部１５Ｂにより特定された訓練データのサンプルと、受付部１５Ａによりユーザ指定が受け付けられた訓練データのサンプルとを纏めて指して「改善対象のサンプル」と記載する場合がある。

このような改善対象のサンプルに含まれるラベルの種類は、次に挙げる３つのケース１～ケース３に分岐し得る。ケース１として、改善対象のサンプルには、正例のラベルが付与された訓練データのサンプルのみが含まれる場合が挙げられる。ケース２として、負例のラベルが付与された訓練データのサンプルのみが含まれる場合が挙げられる。ケース３として、正例のラベルが付与された訓練データのサンプルと、負例のラベルが付与された訓練データのサンプルとの両方が含まれる場合が挙げられる。

例えば、ケース１で再マイニングが実行される場合、マイニング部１５Ｃは、改善対象のサンプルと、全ての負例の訓練データのサンプルとを用いて再マイニングを実行する。これにより、帰結部が正例のクラスに対応する正例ルールを抽出できる。また、ケース２で再マイニングが実行される場合、マイニング部１５Ｃは、改善対象のサンプルと、全ての正例の訓練データのサンプルとを用いて再マイニングを実行する。これにより、帰結部が負例のクラスに対応する正例ルールを抽出できる。さらに、ケース３で再マイニングが実行される場合、マイニング部１５Ｃは、改善対象のサンプルのうち正例のラベルが付与されたサンプルと、全ての負例の訓練データのサンプルとを用いて再マイニングを実行する。さらに、マイニング部１５Ｃは、改善対象のサンプルのうち負例のラベルが付与されたサンプルと、全ての正例の訓練データのサンプルとを用いて再マイニングを実行する。これにより、帰結部が正例のクラスに対応する正例ルールと、帰結部が負例のクラスに対応する負例ルールとを抽出できる。

ここで、再マイニングの実行時には、“Support”の下限値、“Confidence”の下限値またはこれらの両方を変更することができる。あくまで一例として、初期ルールの集合のマイニング時よりもマイニング条件を緩和することができる。例えば、マイニング部１５Ｃは、再マイニング時の“Support”の下限値を初期ルールの集合のマイニング時の“Support”の下限値よりも下げることができる。また、マイニング部１５Ｃは、再マイニング時の“Confidence”の下限値を初期ルールの集合のマイニング時の“Confidence”の下限値よりも下げることができる。このようなマイニング条件の緩和により、サンプルのサポート不足やサンプルのノイズが一因となって新規ルール４２ｎが獲得できない事態を抑制し、もって新規ルール４２ｎを獲得できる可能性を高めることができる。

例えば、図３に示すユーザ指定４１の例に従えば、特定部１５Ｂにより特定された訓練データのサンプルＰ１及びＰ４と、受付部１５Ａによりユーザ指定が受け付けられた訓練データのサンプルＰ２とが改善対象のサンプルＩ１とされる。

このような改善対象のサンプルＩ１には、正例のサンプルＰ１及びＰ４と、正例のサンプルＰ２といったように正例の訓練データのサンプルしか含まれない。この場合、上記のケース１に該当するので、図８に示す正例ルールの再マイニングが実行される。

図８は、正例ルールの再マイニングの一例を示す図である。図８には、あくまで一例として、“Support”の下限値が「１０」に設定されると共に“Confidence”の下限値をマイニング時の「１００％」から「９０％」に下げて設定された状況の下で再マイニングが実行される例が示されている。図８に示すように、改善対象のサンプルＩ１と、負例の訓練データのサンプル集合２１２とを用いて、正例ルールの再マイニングが実行される。このような再マイニングの結果、図９に示す正例のルールが新規ルール４２ｎとして得られる。

図９は、新規ルールの一例を示す図である。図９に示すように、再マイニングの結果として、ルールＲ１１及びルールＲ１２の２つの新規ルール４２ｎが得られる。このうち、ルールＲ１１の条件部には、項目「Ｂ」の特徴量が「１」であり、かつ項目「Ｅ」の特徴量が「１」である特徴量の組合せパターンが定義されると共に、ルールＲ１１の帰結部には、正例、すなわちポジティブ「＋」のクラスが定義されている。また、ルールＲ１２の条件部には、項目「Ｄ」の特徴量が「１」であり、かつ項目「Ｅ」の特徴量が「１」である特徴量の組合せパターンが定義されると共に、ルールＲ１２の帰結部には、正例、すなわちポジティブ「＋」のクラスが定義されている。これらルールＲ１１及びルールＲ１２の２つの正例ルールが新規ルール４２ｎとして得られる。

このように、ユーザの理解や納得が得られないルールＲ１の代替となる新規ルール４２ｎ、さらには、サンプルＰ２の説明を補充する新規ルール４２ｎをルールＲ１１及びＲ１２として獲得できる。なお、新規ルール４２ｎは、機械学習モデル４３の生成のみならず、クライアント端末３０に提示することもできる。

更新部１５Ｄは、ルール集合を更新する処理部である。一実施形態として、更新部１５Ｄは、マイニング部１５Ｃによる再マイニングの結果として得られた新規ルール４２ｎに基づいて初期ルールの集合２２を更新する。例えば、初期ルールの集合２２のうちユーザ指定４１を受け付けたルールを削除すると共に、マイニング部１５Ｃによる再マイニングで得られた新規ルール４２ｎを追加する。あくまで一例として、図９に示す新規ルール４２ｎに基づいて図６に示す初期ルールの集合２２が更新される場合、図６に示す初期ルールの集合２２に図９に示す新規ルール４２ｎが追加される。さらに、図６に示す初期ルールの集合２２のうちユーザ指定４１で受け付けたルールＲ１が削除される。これにより、初期ルールの集合２２が更新後のルール集合４２へ更新される。

このように得られた更新後のルール集合４２も、機械学習モデル４３の生成のみならず、クライアント端末３０に提示することもできる。

生成部１５Ｅは、機械学習モデルを生成する処理部である。一実施形態として、生成部１５Ｅは、更新後のルール集合４２に含まれるルールの各々を機械学習モデルの説明変数とし、データセット２１に含まれる各サンプルのラベルを機械学習モデルの目的変数とし、各ルールに付与される重みを回帰分析等により決定する。これにより、更新後のルール集合４２に基づく機械学習モデル４３を生成できる。

図１０は、第２モデルデータの一例を示す図である。図１０には、更新後のルール集合４２に基づく機械学習モデル４３の一例として、ルールＲ２～Ｒ４及びルールＲ１１～Ｒ１２の５つのルールごとに当該ルールの重みが付与されたルール集合が示されている。このような機械学習モデル４３は、あくまで一例として、ルールＲ２～Ｒ４及びルールＲ１１～Ｒ１２の各々を説明変数とし、各ルールに付与される重みを偏回帰係数とする重回帰モデルとして機能し得る。

例えば、機械学習モデル４３には、入力データに含まれる項目「Ａ」～項目「Ｅ」に対応する特徴量がルールＲ２～Ｒ４及びルールＲ１１～Ｒ１２の各々のルールの条件部を満たすか否かの判定結果が入力され得る。

ルールＲ２～Ｒ４及びルールＲ１１～Ｒ１２の５つの説明変数のうち、ルールの条件部を満たす説明変数へ「１」が入力される一方でルールの条件部を満たさない説明変数へ「０」が入力されることにより、機械学習モデル４３から重み付けの総和が出力される。

このとき、機械学習モデル４３により出力される重み付けの総和が０以上である場合、入力データが正例、すなわちポジティブ「＋」のクラスへ分類される。その一方で、重み付けの総和が０未満である場合、入力データが負例、すなわちネガティブ「－」のクラスへ分類される。

このように得られた機械学習モデル４３は、クライアント端末３０に提示したり、第２モデルデータとして記憶部１３に保存したりすることができる。

図１１は、実施例１に係るルール更新処理の手順を示すフローチャートである。図１１に示す処理は、あくまで一例として、クライアント端末３０からルール更新に関するリクエストを受け付けた場合に開始することができる。

図１１に示すように、受付部１５Ａは、ユーザ指定４１として、ユーザの理解や納得が得られないルールの指定や機械学習モデルが十分に説明できていない訓練データのサンプルの指定などを受け付ける（ステップＳ１０１）。

続いて、特定部１５Ｂは、訓練データのデータセット２１に含まれるサンプル集合のうち、ステップＳ１０１でユーザ指定４１を受け付けたルールの条件部に含まれる特徴量の組合せパターンと一致する訓練データのサンプルを特定する（ステップＳ１０２）。

その後、マイニング部１５Ｃは、ステップＳ１０２で特定された訓練データのサンプルと、ステップＳ１０１でユーザ指定４１が受け付けられた訓練データのサンプルとを含む改善対象のサンプルに限定して再マイニングを実行する。

すなわち、マイニング部１５Ｃは、改善対象のサンプルのうち正例のラベルが付与されたサンプルと、全ての負例の訓練データのサンプルとを用いて再マイニングを実行する（ステップＳ１０３Ａ）。

これと並行して、マイニング部１５Ｃは、改善対象のサンプルのうち負例のラベルが付与されたサンプルと、全ての正例の訓練データのサンプルとを用いて再マイニングを実行する（ステップＳ１０３Ｂ）。

なお、改善対象のサンプルに正例のラベルが付与されたサンプルが存在しない場合、ステップＳ１０３Ａの処理がスキップされる一方で、改善対象のサンプルに負例のラベルが付与されたサンプルが存在しない場合、ステップＳ１０３Ｂの処理がスキップされる。

その後、更新部１５Ｄは、ステップＳ１０３Ａ及びＳ１０３Ｂの再マイニングで得られた新規ルール４２ｎを初期ルールの集合２２に追加すると共に初期ルールの集合２２のうちユーザ指定４１を受け付けたルールを削除する（ステップＳ１０４）。これにより、初期ルールの集合２２が更新後のルール集合４２へ更新される。

その上で、生成部１５Ｅは、更新後のルール集合４２に含まれるルールの各々を説明変数とし、データセット２１に含まれる各サンプルのラベルを目的変数とし、各ルールに付与される重みを回帰分析等により決定する（ステップＳ１０５）。これにより、更新後のルール集合４２に基づく機械学習モデル４３が生成される。

そして、生成部１５Ｅは、ステップＳ１０５で生成された更新後のルール集合４２に基づく機械学習モデル４３をクライアント端末３０等に提示し（ステップＳ１０６）、処理を終了する。

上述してきたように、本実施例に係るルール更新機能は、機械学習モデルの生成に用いられた訓練データのサンプル集合のうちユーザ指定を受け付けた初期ルールに対応するサンプルに限定して初期ルールの代替となる新規ルールを獲得する再マイニングを行う。これにより、ユーザの理解や納得が得られないルールの代替となる新規ルールを獲得できる。したがって、本実施例に係るルール更新機能によれば、ルール集合に基づく機械学習モデルの納得性向上を実現できる。

さらに、本実施例に係るルール更新機能は、機械学習モデルの説明が不十分である訓練データのサンプルの説明を補充する新規ルールを獲得ができる。それ故、本実施例に係るルール更新機能によれば、ルール集合に基づく機械学習モデルの解釈性（説明可能性）をより高めることもできる。

さて、これまで開示の装置に関する実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下では、本発明に含まれる他の実施例を説明する。

また、図示した各装置の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、受付部１５Ａ、特定部１５Ｂ、マイニング部１５Ｃ、更新部１５Ｄまたは生成部１５Ｅをサーバ装置１０の外部装置としてネットワーク経由で接続するようにしてもよい。また、受付部１５Ａ、特定部１５Ｂ、マイニング部１５Ｃ、更新部１５Ｄまたは生成部１５Ｅを別の装置がそれぞれ有し、ネットワーク接続されて協働することで、上記のサーバ装置１０の機能を実現するようにしてもよい。また、記憶部に記憶されるデータセット２１、第１モデルデータ２３および第２モデルデータ４３の全部または一部を別の装置がそれぞれ有し、ネットワーク接続されて協働することで、上記のサーバ装置１０の機能を実現するようにしてもかまわない。

［ルール更新プログラム］
また、上記の実施例で説明した各種の処理は、予め用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。そこで、以下では、図１２を用いて、実施例１及び実施例２と同様の機能を有するルール更新プログラムを実行するコンピュータの一例について説明する。

図１２は、ハードウェア構成例を示す図である。図１２に示すように、コンピュータ１００は、操作部１１０ａと、スピーカ１１０ｂと、カメラ１１０ｃと、ディスプレイ１２０と、通信部１３０とを有する。さらに、このコンピュータ１００は、ＣＰＵ１５０と、ＲＯＭ１６０と、ＨＤＤ１７０と、ＲＡＭ１８０とを有する。これら１１０～１８０の各部はバス１４０を介して接続される。

ＨＤＤ１７０には、図１２に示すように、上記の実施例１で示した受付部１５Ａ、特定部１５Ｂ、マイニング部１５Ｃ、更新部１５Ｄ及び生成部１５Ｅと同様の機能を発揮するルール更新プログラム１７０ａが記憶される。このルール更新プログラム１７０ａは、図１に示した受付部１５Ａ、特定部１５Ｂ、マイニング部１５Ｃ、更新部１５Ｄ及び生成部１５Ｅの各構成要素と同様、統合又は分離してもかまわない。すなわち、ＨＤＤ１７０には、必ずしも上記の実施例１で示した全てのデータが格納されずともよく、処理に用いるデータがＨＤＤ１７０に格納されればよい。

このような環境の下、ＣＰＵ１５０は、ＨＤＤ１７０からルール更新プログラム１７０ａを読み出した上でＲＡＭ１８０へ展開する。この結果、ルール更新プログラム１７０ａは、図１２に示すように、ルール更新プロセス１８０ａとして機能する。このルール更新プロセス１８０ａは、ＲＡＭ１８０が有する記憶領域のうちルール更新プロセス１８０ａに割り当てられた領域にＨＤＤ１７０から読み出した各種データを展開し、この展開した各種データを用いて各種の処理を実行する。例えば、ルール更新プロセス１８０ａが実行する処理の一例として、図１１に示す処理などが含まれる。なお、ＣＰＵ１５０では、必ずしも上記の実施例１で示した全ての処理部が動作せずともよく、実行対象とする処理に対応する処理部が仮想的に実現されればよい。

なお、上記のルール更新プログラム１７０ａは、必ずしも最初からＨＤＤ１７０やＲＯＭ１６０に記憶されておらずともかまわない。例えば、コンピュータ１００に挿入されるフレキシブルディスク、いわゆるＦＤ、ＣＤ－ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させる。そして、コンピュータ１００がこれらの可搬用の物理媒体から各プログラムを取得して実行するようにしてもよい。また、公衆回線、インターネット、ＬＡＮ、ＷＡＮなどを介してコンピュータ１００に接続される他のコンピュータまたはサーバ装置などに各プログラムを記憶させておき、コンピュータ１００がこれらから各プログラムを取得して実行するようにしてもよい。

１０ サーバ装置
１１ 通信インタフェイス部
１３ 記憶部
１５ 制御部
１５Ａ 受付部
１５Ｂ 特定部
１５Ｃ マイニング部
１５Ｄ 更新部
１５Ｅ 生成部
２１ データセット
２２ 初期ルールの集合
２３ 第１モデルデータ
３０ クライアント端末
４１ ユーザ指定
４２ 更新後のルール集合
４３ 第２モデルデータ

Claims (11)

1. 訓練データを用いた第１のマイニングの結果生成されたルール集合に含まれるルールの少なくとも一部に対するユーザ指定を受け付け、
   前記ユーザ指定を受け付けたルールに対応するサンプルデータを前記訓練データから特定し、
   前記ユーザ指定を受け付けたルールに対応する前記サンプルデータに限定した訓練データを用いて第２のマイニングを実行することで、新規ルールを取得する、
   処理をコンピュータに実行させることを特徴とするルール更新プログラム。
2. 前記受け付ける処理は、前記ユーザ指定として、前記訓練データからいずれかのサンプルデータの指定を受け付ける処理を含み、
   前記取得する処理は、前記特定する処理で特定された前記サンプルデータと、前記ユーザ指定を受け付けた前記サンプルデータとに限定した訓練データを用いて、前記第２のマイニングを実行する処理を含む、
   ことを特徴とする請求項１に記載のルール更新プログラム。
3. 前記訓練データは、正例のラベルが付与されたサンプルデータの集合および負例のラベルが付与されたサンプルデータの集合を含み、
   前記取得する処理は、前記特定する処理で特定された前記サンプルデータのうち前記正例のラベルが付与されたサンプルデータと、前記負例のラベルが付与されたサンプルデータの集合とを用いて前記第２のマイニングを実行することで、ルールの帰結部が前記正例のクラスに対応する前記新規ルールを取得する処理を含む、
   ことを特徴とする請求項１に記載のルール更新プログラム。
4. 前記訓練データは、正例のラベルが付与されたサンプルデータの集合および負例のラベルが付与されたサンプルデータの集合を含み、
   前記取得する処理は、前記特定する処理で特定された前記サンプルデータのうち前記負例のラベルが付与されたサンプルデータと、前記正例のラベルが付与されたサンプルデータの集合とを用いて前記第２のマイニングを実行することで、ルールの帰結部が前記負例のクラスに対応する前記新規ルールを取得する処理を含む、
   ことを特徴とする請求項１に記載のルール更新プログラム。
5. 前記取得する処理は、前記第１のマイニング時に用いられる支持度の下限値よりも小さい支持度の下限値に基づいて、前記第２のマイニングを実行する処理を含む、
   ことを特徴とする請求項１に記載のルール更新プログラム。
6. 前記取得する処理は、前記第１のマイニング時に用いられる確信度の下限値よりも小さい確信度の下限値に基づいて、前記第２のマイニングを実行する処理を含む、
   ことを特徴とする請求項１に記載のルール更新プログラム。
7. 前記新規ルールを前記ルール集合に追加すると共に、前記ルール集合のうち前記ユーザ指定を受け付けたルールを削除することで、前記ルール集合を更新する処理を前記コンピュータにさらに実行させる、
   ことを特徴とする請求項１に記載のルール更新プログラム。
8. 前記更新する処理で更新されたルール集合に基づいて前記訓練データを用いた機械学習を実行することで、機械学習モデルを生成する処理を前記コンピュータにさらに実行させる、
   ことを特徴とする請求項７に記載のルール更新プログラム。
9. 前記生成する処理は、前記更新する処理で更新されたルール集合に含まれるルールの各々を説明変数とし、前記訓練データに付与されたラベルを目的変数とし、各ルールに付与される重みを機械学習により決定することで、前記機械学習モデルを生成する処理を含む、
   ことを特徴とする請求項８に記載のルール更新プログラム。
10. 訓練データを用いた第１のマイニングの結果生成されたルール集合に含まれるルールの少なくとも一部に対するユーザ指定を受け付け、
    前記ユーザ指定を受け付けたルールに対応するサンプルデータを前記訓練データから特定し、
    前記ユーザ指定を受け付けたルールに対応する前記サンプルデータに限定した訓練データを用いて第２のマイニングを実行することで、新規ルールを取得する、
    処理をコンピュータが実行することを特徴とするルール更新方法。
11. 訓練データを用いた第１のマイニングの結果生成されたルール集合に含まれるルールの少なくとも一部に対するユーザ指定を受け付け、
    前記ユーザ指定を受け付けたルールに対応するサンプルデータを前記訓練データから特定し、
    前記ユーザ指定を受け付けたルールに対応する前記サンプルデータに限定した訓練データを用いて第２のマイニングを実行することで、新規ルールを取得する、
    処理を実行する制御部を含むルール更新装置。

Images