JP7282715B2 - 評価装置、評価方法及び評価プログラム - Google Patents

Description

本発明は、機械学習モデルを評価するための評価装置、評価方法及び評価プログラムに関する。

従来、例えば映画の口コミ等の文章の内容がポジティブであるかネガティブであるかといった分類、迷惑メールの検知、あるいは画像のクラスタリング等を行う際に、機械学習モデルを用いた自動の分類手法が提供されている。

このとき、利用する機械学習モデルの分類精度が信頼できるものであるかどうかが重要であり、機械学習モデルを評価する手法が提案されている。例えば、非特許文献１及び２では、特徴量に対する機械学習モデルによる予測結果を視覚的に提示する手法が提案されている。
また、例えば、非特許文献３及び４では、各特徴量の機械学習モデルの予測結果に対する影響度合いを説明する値を算出する手法が提案されている。

Google AI Blog, "The What-If Tool: Code-Free Probing of Machine Learning Models", Sep. 11, 2018, <https://pair-code.github.io/what-if-tool>. Error terrain analysis for machine learning: Tool and visualizations. Rick Barraza, Russell Eames, Yan Esteve Balducci, Josh Hinds, Scott Hoogerwerf, Eric Horvitz, Ece Kamar, Jacquelyn Krones, Josh Lovejoy, Parham Mohadjer, Ben Noah and Besmira Nushi (Contributed talk), Presented at ICLR 2019 Debugging Machine Learning Models Workshop, May 6, 2019, <https://debug-ml-iclr2019.github.io/>. Ribeiro, Marco Tulio, Sameer Singh, and Carlos Guestrin. 2016. "‘Why Should I Trust You?’: Explaining the Predictions of Any Classifier." In Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, KDD ’16, New York, NY, USA: ACM, 1135-1144. Code and visualizations at <https://github.com/marcotcr/lime>. Lundberg, Scott M, and Su-In Lee. 2017. "A Unified Approach to Interpreting Model Predictions." In Advances in Neural Information Processing Systems 30, eds. I. Guyon et al. Curran Associates, Inc., 4765-4774. Code and visualizations at <https://github.com/slundberg/shap>.

しかしながら、従来の評価手法では、例えば、特定の入力データの中でどの特徴量が結果に影響を及ぼしているのかを人が判断できたとしても、様々な入力データ（テキストデータ）の様々な箇所に現れる特定の特徴量（単語）が機械学習モデルで適切に扱われているか否かを判断することは難しかった。

本発明は、機械学習モデルの信頼性を評価するために、データセットの中で特定の特徴量が機械学習モデルの予測結果にどのような影響を与えているかの傾向を提示できる評価装置、評価方法及び評価プログラムを提供することを目的とする。

本発明に係る評価装置は、複数のテキストデータ、及び当該テキストデータそれぞれの正しい分類を含むデータセットを受け付けるデータセット入力部と、前記テキストデータを入力とした機械学習モデルによる前記分類の予測値を受け付ける予測値入力部と、前記テキストデータを構成する語句毎の前記予測値に対する影響度合いを説明する説明値を受け付ける説明値入力部と、指定された語句に対して、前記データセットに現れる箇所毎の前記説明値の分布データを出力する分布出力部と、を備える。

前記分布出力部は、複数の語句が指定されたことに応じて、当該複数の語句に対する前記説明値の分布データを比較して出力してもよい。

前記分布出力部は、前記説明値をプロットしたグラフを出力してもよい。

前記分布出力部は、前記分布データの統計値を出力してもよい。

前記評価装置は、前記指定された語句が含まれる前記テキストデータの一覧と共に、前記説明値、前記予測値及び前記正しい分類を出力する一覧出力部を備えてもよい。

前記一覧出力部は、前記一覧における前記予測値の正誤に関する統計値を出力してもよい。

前記一覧出力部は、前記一覧から選択されたテキストデータの全文を、前記指定された語句、及び当該テキストデータの中で前記説明値の大きさが上位所定数の語句を強調して出力してもよい。

前記評価装置は、前記データセットに含まれる語句のうち、前記説明値の大きさが上位所定数の語句を出力する語句出力部を備えてもよい。

前記評価装置は、前記データセットのうち、処理対象のテキストデータを、前記予測値の正誤の区分に基づいて選別するフィルタ部を備えてもよい。

前記フィルタ部は、テキストデータの長さに基づいて、前記処理対象のテキストデータをさらに選別してもよい。

本発明に係る評価方法は、複数のテキストデータ、及び当該テキストデータそれぞれの正しい分類を含むデータセットを受け付けるデータセット入力ステップと、前記テキストデータを入力とした機械学習モデルによる前記分類の予測値を受け付ける予測値入力ステップと、前記テキストデータを構成する語句毎の前記予測値に対する影響度合いを説明する説明値を受け付ける説明値入力ステップと、指定された語句に対して、前記データセットに現れる箇所毎の前記説明値の分布データを出力する分布出力ステップと、をコンピュータが実行する。

本発明に係る評価プログラムは、前記評価装置としてコンピュータを機能させるためのものである。

本発明によれば、機械学習モデルの信頼性を評価するために、データセットの中で特定の特徴量が機械学習モデルの予測結果にどのような影響を与えているかの傾向を提示できる。

実施形態における評価装置の機能構成を示す図である。 実施形態における可視化ツールの画面構成例を示す図である。 実施形態におけるキーワードリストによる検索結果の画面例を示す図である。 実施形態におけるテキストデータの一覧表示において各行が選択された場合の画面例を示す図である。 実施形態における説明値の分布をグラフ表示した画面例を示す図である。 実施形態における説明値の分布に関する統計情報の表示例を示す図である。 実施形態における説明値の分布を単語間で比較して表示した画面例を示す図である。

以下、本発明の実施形態の一例について説明する。
図１は、本実施形態における評価装置１の機能構成を示す図である。
評価装置１は、サーバ装置又はパーソナルコンピュータ等の情報処理装置（コンピュータ）であり、制御部１０及び記憶部２０の他、各種データの入出力デバイス及び通信デバイス等を備える。

制御部１０は、評価装置１の全体を制御する部分であり、記憶部２０に記憶された各種プログラムを適宜読み出して実行することにより、本実施形態における各機能を実現する。制御部１０は、ＣＰＵであってよい。

記憶部２０は、ハードウェア群を評価装置１として機能させるための各種プログラム、及び各種データ等の記憶領域であり、ＲＯＭ、ＲＡＭ、フラッシュメモリ又はハードディスクドライブ（ＨＤＤ）等であってよい。具体的には、記憶部２０は、本実施形態の各機能を制御部１０に実行させるためのプログラム（評価プログラム）、及び評価対象の機械学習モデル、機械学習モデルへの入力となるデータセット等を記憶する。

ここで、機械学習モデルは、テキストデータを入力として２クラス分類を行うものである。例えば、映画の口コミ等の文章（テキストデータ）がポジティブな内容である確率と、ネガティブな内容である確率とが、予測値として出力される。

制御部１０は、データセット入力部１１と、予測値入力部１２と、説明値入力部１３と、分布出力部１４と、一覧出力部１５と、単語出力部１６（語句出力部）と、フィルタ部１７とを備える。

データセット入力部１１は、複数のテキストデータ（Ｄａｔａｐｏｉｎｔｓ）、及びテキストデータそれぞれについてユーザが判断した正しい分類（例えば、ポジティブ又はネガティブ）を含むデータセットを受け付ける。
テキストデータを構成する単語が特徴量（Ｆｅａｔｕｒｅｓ）として機械学習モデルへ入力される要素となる。

予測値入力部１２は、テキストデータを入力とした機械学習モデルによる分類の予測値を受け付ける。

説明値入力部１３は、テキストデータを構成する単語毎の、機械学習モデルによる予測値に対する影響度合いを説明する説明値（Ｅｘｐｌａｎａｔｉｏｎ ｖａｌｕｅｓ）を受け付ける。
本実施形態において、説明値は、正の値の場合にポジティブな予測結果に貢献し、負の値の場合にネガティブな予測結果に貢献する。また、説明値の絶対値が大きいほど単語の重要度が高く、予測結果への影響度合いが大きい。
なお、説明値の算出手法は限定されないが、例えば、非特許文献３又は４で提案されている既存の説明手法が適用可能である。

分布出力部１４は、ユーザにより指定された単語に対して、データセットに現れる箇所毎の説明値の分布データを出力する。このとき、複数の単語が指定された場合、分布出力部１４は、これら複数の単語に対する説明値の分布データを比較して出力する。
具体的には、分布出力部１４は、説明値をプロットしたグラフをディスプレイに表示させる。

また、分布出力部１４は、この分布データの統計値を出力してもよい。統計値は、例えば、出現総数、平均値、中央値、最小値、最大値、ポジティブな予測に影響している数、ネガティブな予測に影響している数、予測に影響しないニュートラルな数等である。

一覧出力部１５は、指定された単語が含まれるテキストデータの一覧と共に、説明値、予測値及び正しい分類を出力する。
このとき、一覧出力部１５は、一覧における予測値の正誤に関する統計値を出力してもよい。統計値は、例えば、予測結果が正解の数及び割合、誤検知（Ｆａｌｓｅ Ｐｏｓｉｔｉｖｅ）の数及び割合、検知漏れ（Ｆａｌｓｅ Ｎｅｇａｔｉｖｅ）の数及び割合等である。

また、一覧出力部１５は、一覧から選択されたテキストデータの全文を、指定された単語、及びこのテキストデータの中で説明値の大きさ（絶対値）が上位所定数（例えば、１０個）の単語を強調して出力する。
すなわち、予測結果に関わらず、ポジティブ又はネガティブのいずれかへ分類する影響度の大きい単語が協調される。

単語出力部１６は、データセットに含まれる単語のうち、説明値の大きさ（絶対値）が上位所定数（例えば、１０個）の単語を出力する。このとき、正負（ポジティブ及びネガティブ）それぞれ別々に上位所定数の単語が抽出され、例えば、出現頻度の順に一覧表示されてもよい。

フィルタ部１７は、データセットのうち、処理対象のテキストデータを、予測値の正誤の区分、すなわち、正解、誤検知、検知漏れ等の区分を指定する入力に基づいて選別する。
さらに、フィルタ部１７は、テキストデータの長さに基づいて、処理対象のテキストデータをさらに選別してもよい。

次に、評価装置１を前述の各機能部として動作させるための評価プログラム（可視化ツール）による画面表示例を説明する。

図２は、本実施形態における可視化ツールの画面構成例を示す図である。
この画面では、検索機能が提供され、指定された単語（キーワード）による検索と、キーワードリストの取り込みによる一括検索とが可能となっている。

領域２１では、データセットに対するフィルタ条件が入力される。この例では、「Ｒｅｓｕｌｔ」欄において、予測値の正誤の区分として、正解（Ｃｏｒｒｅｃｔ）、誤検知（Ｆａｌｓｅ Ｐｏｓｉｔｉｖｅ）、検知漏れ（Ｆａｌｓｅ Ｎｅｇａｔｉｖｅ）のうち、少なくともいずれかの選択が求められている。
また、「Ｗｏｒｄ Ｌｅｎｇｔｈ」欄において、テキストデータの長さとして、７００ワード以下、７０１～１０００ワード、１００１～１４００ワード、１４０１ワード以上のうち、少なくともいずれかの選択が求められている。なお、テキストデータの長さの指定方法は、例えば、数値範囲が直接入力される態様であってもよい。

領域２２には、単語出力部１６により出力される説明値の大きさが上位の単語（Ｔｏｐ Ｅｘｐｌａｎａｔｉｏｎ Ｋｅｙｗｏｒｄｓ）がポジティブ及びネガティブのそれぞれについて、１０個ずつ出現頻度順にヒストグラムで表示されている。この表示は、フィルタ部１７による選別後のデータセットを対象とした出力結果である。

領域２３は、キーワード又はキーワードリストによる検索結果のデータ又はグラフが表示される領域である。
また、領域２４には、機械学習モデルによる分類精度、及びテキストデータ（Ｄａｔａｐｏｉｎｔｓ）の総数が表示されている。

図３は、本実施形態におけるキーワードリストによる検索結果の画面例を示す図である。
ＣＳＶファイル等によりキーワードリストが取り込まれると、複数のキーワードそれぞれが出現するテキストデータが検索され、検索されたテキストデータの数の順に領域３１に一覧表示される。なお、キーワードがフィルタ後のデータセットに含まれない場合は、該当のキーワードが出現するテキストデータの数は０となる。
なお、検索された数は、キーワードの出現回数であってもよい。

さらに、キーワードの一覧から１つが選択されると、一覧出力部１５は、選択されたキーワードを含むテキストデータの検索結果を領域３２に一覧表示させる。
この例では、一覧の各行において、テキストデータの少なくとも一部が、選択されたキーワードが中央に、かつ、前後の単語群と共に配置されるように、コンコーダンスリストとして検索結果が表示されている。
これにより、ユーザは、指定したキーワードがデータセットの中でどのように使用されているかを容易に把握できる。

一覧の各行には、テキストデータ（データポイント）のＩＤ、及びこのテキストデータにおけるキーワードの説明値が表示される。さらに、機械学習モデルによる予測値が区分（ポジティブ及びネガティブ）毎の確率（％）として、ユーザが付与した正しい分類（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）と共に表示される。
なお、１つのテキストデータにキーワードが複数現れる場合、キーワードが現れる度に別の行に出力される。

また、領域３３には、検索条件としてのキーワード及びフィルタ条件と、検索結果の統計情報として、キーワードの出現回数（Ｏｃｃｕｒｅｎｃｅｓ）、キーワードが含まれるテキストデータの数（Ｄａｔａｐｏｉｎｔｓ）、正解の件数及び割合、誤検知の件数及び割合、検知漏れの件数及び割合とが表示されている。

図４は、本実施形態におけるテキストデータの一覧表示において各行が選択された場合の画面例を示す図である。
選択されたテキストデータの全文が領域４１に表示される。このとき、テキストデータに含まれる単語のうち、指定されたキーワードと共に、説明値の絶対値が上位であり影響度の高い重要な単語が１０個、強調表示されている。
具体的には、キーワードである「ｇｏｏｄ」の色が変更され、ポジティブに影響する重要な単語とネガティブに影響する重要な単語とが、それぞれ異なる背景色で表示されている。

図５は、本実施形態における説明値の分布をグラフ表示した画面例を示す図である。
グラフオプションが選択された場合、分布出力部１４は、検索されたキーワードの説明値の分布を、領域５１にグラフ表示する。

この例では、指定されたキーワード「ｇｏｏｄ」が機械学習モデルにおいてどのように扱われているか、すなわち、いずれの分類（ポジティブ又はネガティブ）へどの程度影響しているかを示す説明値が、データセットの中の「ｇｏｏｄ」の出現箇所毎にプロットされている。

水平軸を説明値とし、プロットされる点は、正の値と負の値とで色分けされている。
この場合、中立（説明値≒０）な評価が多いが、ポジティブ（説明値＞０）に評価される場合がネガティブ（説明値＜０）に評価される場合よりも多いことが視覚的に把握できる。

また、領域５２には、グラフにプロットされた説明値の分布の特徴を表す統計情報が表示される。
説明値の分布グラフ、及び統計情報は、複数のキーワードを比較して出力することも可能である。

図６は、本実施形態における説明値の分布に関する統計情報の表示例を示す図である。
この例では、「ｂｅｔｔｅｒ」及び「ｗｏｒｓｔ」の２つの単語を比較して、それぞれの統計値を並べて表示している。

具体的には、例えば、キーワードの出現回数（Ｏｃｃｕｒｅｎｃｅｓ）、平均値（Ｍｅａｎ）、中央値（Ｍｅｄｉａｎ）、最小値（Ｍｉｎ）、最大値（Ｍａｘ）、ポジティブな予測に影響している数（説明値＞０）、ネガティブな予測に影響している数（説明値＜０）、予測に影響しない中立な数（説明値≒０）が示される。
なお、ポジティブ、中立、ネガティブを分ける説明値の閾値は、予め設定されてよい。

この統計情報からは、例えば、次のような特徴が把握される。
・「ｂｅｔｔｅｒ」は、「ｗｏｒｓｔ」に比べて出現頻度が高い。
・「ｂｅｔｔｅｒ」の平均値及び中央値は０付近で中立であるが、「ｗｏｒｓｔ」はネガティブ側に寄っている。
・「ｂｅｔｔｅｒ」も「ｗｏｒｓｔ」も、最小値及び最大値の大きさが同等であり、正負両側に広がっているが、「ｗｏｒｓｔ」の方が大きな値が存在するため、より予測結果への影響度が高い。
・「ｂｅｔｔｅｒ」は、ポジティブな評価とネガティブな評価とが同等数あるが、「ｗｏｒｓｔ」は、ほぼネガティブな評価となっている。

図７は、本実施形態における説明値の分布を単語間で比較して表示した画面例を示す図である。
この例では、「ｇｏｏｄ」と「ｂａｄ」とで説明値の分布を比較している。
「ｇｏｏｄ」の説明値は、ポジティブ側に偏り、「ｂａｄ」の説明値は、逆にネガティブ側に偏っていることが分かる。

本実施形態によれば、評価装置１は、複数のテキストデータを含むデータセットと、テキストデータを入力とした機械学習モデルによる分類の予測値と、テキストデータを構成する単語毎の説明値とを入力として、指定された単語に対して、データセットに現れる箇所毎の説明値の分布データを出力する。
これにより、評価装置１は、データセットの中で特定の単語（特徴量）が機械学習モデルの予測結果にどのような影響を与えているかの傾向を可視化して提示できる。

この結果、ユーザは、単語毎に説明値の分布の確からしさを確認できるので、例えば、ユーザが保有しているデータセットの中で、中立と思われる単語の説明値の分布が正負いずれかに偏っていたり、逆に、重要と思われる単語の説明値が０付近に集中していたりといった不自然な分布を容易に発見できる。これにより、ユーザは、利用する機械学習モデルの信頼性を適切に評価できる。

評価装置１は、複数の単語が指定されたことに応じて、これらの単語に対する説明値の分布データを比較して出力するので、ユーザは、単語間での分布の相違を容易に把握でき、分布の確からしさを確認できる。

評価装置１は、説明値をプロットしたグラフを出力するので、ユーザは、視覚的に容易に説明値の分布を把握でき、確からしさを確認できる。
評価装置１は、分布データの統計値を出力するので、ユーザは、客観的な数値データに基づいて、説明値の分布の確からしさを確認できる。

評価装置１は、指定された単語が含まれるテキストデータの一覧と共に、説明値、予測値及び正しい分類を出力する。
これにより、ユーザは、指定した単語がデータセットの中でどのように使われているかを確認しつつ、各出現箇所において、機械学習モデルの予測値にどの程度影響しているかを詳細に調査できる。

評価装置１は、テキストデータの一覧における予測値の正誤に関する統計値を出力する。これにより、ユーザは、指定した単語を含むテキストデータについて、機械学習モデルの予測精度を確認し、この単語による影響を把握することができる。

評価装置１は、一覧から選択されたテキストデータの全文を、指定された単語、及びテキストデータの中で説明値の大きさが上位所定数の単語を強調した上で出力する。
これにより、ユーザは、指定した単語を含むテキストデータ全体を確認しつつ、この中で影響度合いの高い他の単語群を容易に把握し、機械学習モデルの信頼性を総合的に評価できる。
また、評価装置１は、データセットに含まれる単語のうち、説明値の大きさが上位所定数の単語を出力することで、特徴量を適切にユーザに提示できる。

評価装置１は、データセットのうち、処理対象のテキストデータを、予測値の正誤の区分に基づいて、あるいは、テキストデータの長さに基づいて選別する。
これにより、ユーザは、テキストデータの種類を絞り込み、この範囲での特定の単語の影響度を詳細に評価できる。

以上、本発明の実施形態について説明したが、本発明は前述した実施形態に限るものではない。また、前述した実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、実施形態に記載されたものに限定されるものではない。

前述の実施形態では、テキストデータが英語の場合を例示したが、これには限られず、本発明は、任意の言語のテキストデータに適用可能である。

また、前述の実施形態では、説明値の分布データを複数の単語間で比較する場合、２つのキーワードが指定される例を示したが、比較する単語は２つには限られず、３つ以上の単語がグラフ及び統計情報により比較して示されてもよい。

また、前述の実施形態では、テキストデータの特徴量として、テキストデータを構成する単語を例示し、その説明値の分布を出力する形態を説明した。本発明において、テキストデータの特徴量は、単語には限られず、１又は複数の単語から構成される語句であってもよい。
この場合、検索のためのキーワードには、１又は複数の連続した単語が入力され、また、一覧出力部１５及び単語出力部１６等による重要単語の提示は、所定数の語句の提示となる。なお、テキストデータ中の語句を判別するために、予め語句を定義した辞書が設けられてもよいし、既存の構文解析の技術により自動で語句の区切りが判別されてもよい。

評価装置１による評価方法は、ソフトウェアにより実現される。ソフトウェアによって実現される場合には、このソフトウェアを構成するプログラムが、情報処理装置（コンピュータ）にインストールされる。また、これらのプログラムは、ＣＤ－ＲＯＭのようなリムーバブルメディアに記録されてユーザに配布されてもよいし、ネットワークを介してユーザのコンピュータにダウンロードされることにより配布されてもよい。さらに、これらのプログラムは、ダウンロードされることなくネットワークを介したＷｅｂサービスとしてユーザのコンピュータに提供されてもよい。

１ 評価装置
１０ 制御部
１１ データセット入力部
１２ 予測値入力部
１３ 説明値入力部
１４ 分布出力部
１５ 一覧出力部
１６ 単語出力部（語句出力部）
１７ フィルタ部
２０ 記憶部

Claims (12)

1. 複数のテキストデータ、及び当該テキストデータそれぞれの正しい分類を含むデータセットを受け付けるデータセット入力部と、
   前記テキストデータを入力とした機械学習モデルによる前記分類の予測値を受け付ける予測値入力部と、
   前記テキストデータを構成する語句毎の前記予測値に対する影響度合いを説明する説明値を受け付ける説明値入力部と、
   指定された語句に対して、前記データセットに現れる箇所毎の前記説明値の分布データを出力する分布出力部と、を備える評価装置。
2. 前記分布出力部は、複数の語句が指定されたことに応じて、当該複数の語句に対する前記説明値の分布データを比較して出力する請求項１に記載の評価装置。
3. 前記分布出力部は、前記説明値をプロットしたグラフを出力する請求項１又は請求項２に記載の評価装置。
4. 前記分布出力部は、前記分布データの統計値を出力する請求項１から請求項３のいずれかに記載の評価装置。
5. 前記指定された語句が含まれる前記テキストデータの一覧と共に、前記説明値、前記予測値及び前記正しい分類を出力する一覧出力部を備える請求項１から請求項４のいずれかに記載の評価装置。
6. 前記一覧出力部は、前記一覧における前記予測値の正誤に関する統計値を出力する請求項５に記載の評価装置。
7. 前記一覧出力部は、前記一覧から選択されたテキストデータの全文を、前記指定された語句、及び当該テキストデータの中で前記説明値の大きさが上位所定数の語句を強調して出力する請求項５又は請求項６に記載の評価装置。
8. 前記データセットに含まれる語句のうち、前記説明値の大きさが上位所定数の語句を出力する語句出力部を備える請求項１から請求項７のいずれかに記載の評価装置。
9. 前記データセットのうち、処理対象のテキストデータを、前記予測値の正誤の区分に基づいて選別するフィルタ部を備える請求項１から請求項８のいずれかに記載の評価装置。
10. 前記フィルタ部は、テキストデータの長さに基づいて、前記処理対象のテキストデータをさらに選別する請求項９に記載の評価装置。
11. 複数のテキストデータ、及び当該テキストデータそれぞれの正しい分類を含むデータセットを受け付けるデータセット入力ステップと、
    前記テキストデータを入力とした機械学習モデルによる前記分類の予測値を受け付ける予測値入力ステップと、
    前記テキストデータを構成する語句毎の前記予測値に対する影響度合いを説明する説明値を受け付ける説明値入力ステップと、
    指定された語句に対して、前記データセットに現れる箇所毎の前記説明値の分布データを出力する分布出力ステップと、をコンピュータが実行する評価方法。
12. 請求項１から請求項１０のいずれかに記載の評価装置としてコンピュータを機能させるための評価プログラム。

Images