JP7353952B2 - 分析システムおよび分析方法 - Google Patents
分析システムおよび分析方法 Download PDFInfo
- Publication number
- JP7353952B2 JP7353952B2 JP2019222249A JP2019222249A JP7353952B2 JP 7353952 B2 JP7353952 B2 JP 7353952B2 JP 2019222249 A JP2019222249 A JP 2019222249A JP 2019222249 A JP2019222249 A JP 2019222249A JP 7353952 B2 JP7353952 B2 JP 7353952B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- influence
- grouping
- degree
- interaction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 69
- 238000004458 analytical method Methods 0.000 title claims description 25
- 230000008569 process Effects 0.000 claims description 58
- 230000003993 interaction Effects 0.000 claims description 57
- 230000000694 effects Effects 0.000 claims description 47
- 238000012545 processing Methods 0.000 claims description 26
- 238000004364 calculation method Methods 0.000 claims description 13
- 230000010365 information processing Effects 0.000 claims description 3
- 238000013473 artificial intelligence Methods 0.000 description 21
- 230000006870 function Effects 0.000 description 19
- 239000013598 vector Substances 0.000 description 15
- 238000010586 diagram Methods 0.000 description 12
- 238000013461 design Methods 0.000 description 9
- 238000010801 machine learning Methods 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 238000012706 support-vector machine Methods 0.000 description 3
- 238000003066 decision tree Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000008571 general function Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 230000002195 synergetic effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Description
本発明は、AI(人工知能)等が行う予測の根拠を分析する技術に関する。
近年、医療及び金融等の様々な分野でAIを活用した支援システムが提供されている。例えば、医療分野では、AIを活用して、病気の発症率の予測及び症状の特定等が行われる。また、金融分野では、AIを活用して、与信審査等が行われる。
AIの予測精度向上を目的とした技術開発の進展によって、AIのモデル、具体的にはAI内部のアルゴリズムのブラックボックス化が加速している。そのため、AIを利用するユーザがAIのモデルを把握することができず、AIの予測や判断の妥当性を客観的に評価することが困難になっている。
このため、AIを活用したシステムの開発者や運用者に対して、AIの予測や判断の根拠の説明性及び検証性などが求められている。システムを使用するユーザに対してシステムの信頼性を示す情報を提示する技術として、非特許文献1及び非特許文献2の技術が知られている。
"Consistent Individualized Feature Attribution for Tree Ensembles" Scott M. Lundberg, Gabriel G. Erison, Su-In Lee, ICML Workshop 2017, arXiv:1706.06060
"Making Tree Ensembles Interpretable" Satoshi Hara and Kohei Hayashi, ICML Workshop on Human Interpretability in Machine Learning (WHI 2016), 2016, arXiv:1606.05390
AIのモデルのブラックボックス化の要因としては、深層学習やアンサンブル学習により生成されるAIの構造が複雑化していることがあげられる。例えば、深層学習によるDNN(Deep Neural Network)は、多層にわたる複雑・大量のネットワーク結合からなり、解釈が困難である。また、アンサンブル学習では、多数の弱識別器による多数決論理を採用する。個々の弱識別器は解釈可能なものの、総体としての解釈が困難である。
非特許文献1では、学習済みの機械学習モデル(たとえばAIで構成される)をブラックボックスとする。このブラックボックスへの入力は、m個の特徴量x1~xmとし、出力は予測値f(x)とする。いま、説明対象のデータの特徴量をz1~zmとして入力し、予測値f(z)を得、基準データの特徴量をp1~pmとして入力し、予測値f(p)を得たとする。ここで、基準データは、例えば平均的なデータを選択している。
非特許文献1では、説明対象のデータと基準データの予測値の差分f(z)-f(p)を、以下のように各特徴量の貢献度φ1~φmに一意に加法分解する。z、pは特徴量ベクトルである。
f(z)-f(p)=φ1(z,p,f)+・・・+φm(z,p,f)
これにより、基準データと説明対象データの予測の差が生ずるにあたっての、特徴量の貢献度を可視化しようとするものである。
f(z)-f(p)=φ1(z,p,f)+・・・+φm(z,p,f)
これにより、基準データと説明対象データの予測の差が生ずるにあたっての、特徴量の貢献度を可視化しようとするものである。
また、非特許文献1では、特徴量iの貢献度φiをさらに以下のように、主効果と相互作用に分解することを提案している。
φi(z,p,f)=Φii(z,p,f)+ΣΦij(z,p,f)
(ただしi≠j)
ここで、Φiiは特徴量iの主効果であり、Φijは異なる特徴量iとjの相互作用である。
φi(z,p,f)=Φii(z,p,f)+ΣΦij(z,p,f)
(ただしi≠j)
ここで、Φiiは特徴量iの主効果であり、Φijは異なる特徴量iとjの相互作用である。
非特許文献1では以上のような原理で説明対象のデータを複数分析すると、ブラックボックスであるAIの判断の傾向を可視化できることを示す。例えば、ある特徴量z1が変化した場合の、貢献度φ1の変化の傾向等を可視化することができる。このように、特許文献1の技術では、各特徴量とその予測値への貢献度との相関構造を抽出・可視化することができる。
しかし一般に、機械学習を利用する際の特徴量の数は100~1000種類に上る。また、抽出される相関構造の数は、主効果で100~1000、相互作用で104~106通りに上る。従って、個々の相関構造を抽出・可視化しても、人が全容を把握するのは困難である。
非特許文献2は、解釈の対象をツリーアンサンブル(Tree Ensemble)型の機械学習モデルに限っている。ツリーアンサンブル型モデルは、弱識別器としての決定木を多数並べ、多数決や線形結合を取って予測値を算出するものである。非特許文献2では、それぞれの決定木は特徴量空間を局所的に記述することに注目し、誤差低下を最小限に抑えながら、木を結合し、ユーザが指定する少数の木で近似することを提案している。非特許文献2の技術では、多数の弱識別器を統合して、ツリーアンサンブル型モデルの構造を理解しやすくすることができる。
しかし一般に、機械学習モデルはツリーアンサンブル型モデルの他にも、DNN、サポートベクターマシン(SVM:Support Vector Machine)など多様なモデルが存在し、非特許文献2の手法はそれらには適応できない。
そこで本発明の課題は、ユーザが予測器の予測根拠を認知するために有用なデータを提示することである。
本発明の好ましい一側面は、情報処理装置で構成される分析システムである。このシステムは、説明データ生成部と影響度算出部とグルーピング部を備える。説明データ生成部は、m個の特徴量を含む入力データに対する予測値を算出する予測器に、それぞれがm個の特徴量を含むN個の事例データのそれぞれを入力データとして入力し、予測器の予測値とm個の特徴量の予測値に対する影響度の主効果と相互作用を含む説明データを生成する。影響度算出部は、N個の説明データから、m個の特徴量の予測値に対する影響度の主効果と相互作用を含む単一の影響度データを生成する。グルーピング部は、影響度データに基づいて、特徴量を複数のグループに分割したグルーピングデータを生成する。
本発明の他の好ましい一側面は、情報処理装置で実行される予測器の分析方法である。この方法では、それぞれが複数の特徴量を含む複数の事例データのそれぞれに対する、予測器の予測値と、複数の特徴量の予測値に対する貢献度の主効果と相互作用を含む説明データを生成する説明データ生成処理と、複数の説明データから、複数の特徴量の前記予測値に対する影響度の主効果と相互作用を含む単一の影響度データを生成する影響度算出処理と、影響度データに基づいて、特徴量を複数のグループに分割したグルーピングデータを生成するグルーピング処理と、を行う。
本発明によれば、ユーザが予測器の予測根拠を解釈するために有用なデータを出力することができる。上記した以外の課題、構成及び効果は、以下の実施例の説明により明らかにされる。
以下、本発明の実施例を、図面を用いて説明する。ただし、本発明は以下に示す実施の形態の記載内容に限定して解釈されるものではない。本発明の思想ないし趣旨から逸脱しない範囲で、その具体的構成を変更し得ることは当業者であれば容易に理解される。
以下に説明する発明の構成において、同一又は類似する構成又は機能には同一の符号を付し、重複する説明は省略する。
本明細書等における「第1」、「第2」、「第3」等の表記は、構成要素を識別するために付するものであり、必ずしも、数又は順序を限定するものではない。
図面等において示す各構成の位置、大きさ、形状、及び範囲等は、発明の理解を容易にするため、実際の位置、大きさ、形状、及び範囲等を表していない場合がある。したがって、本発明では、図面等に開示された位置、大きさ、形状、及び範囲等に限定されない。
図1は、実施例の全体的な処理の概念を示す概念図である。この処理では、AI等で構成される予測器の予測根拠を分析する。
処理S110では、必要なデータを入力する。ここで必要なデータは、予測根拠を分析したい予測器の予測器設計データ210と、事例データ220である。
処理S110では、必要なデータを入力する。ここで必要なデータは、予測根拠を分析したい予測器の予測器設計データ210と、事例データ220である。
予測器設計データ210は、例えば学習済みのDNNの構成データである。公知のようにDNNの構成データは、多段のノードの接続関係や、各ノードの活性化関数のデータを含む。予測器としては、DNNに限らず、所定の入力に対して所定の出力を返すSVM、ランダムフォレストレスト等、任意の種類の予測器の予測根拠分析が可能である。
図2は、事例データ220の構成例を示す表図である。ここでは事例データの数をN、特徴量の数をmとしている。事例データ220には、例えば予測器の学習に用いた教師データを用いることができる。特徴量221は予測器に入力すべきデータである。教師データのでは、例えば人が判別して付した正解値222が付されている。教師データで適切に構成(学習)された予測器は、入力に対して期待される回答を出力する。なお、事例データ220としては、必ずしも教師データを用いる必要はなく、特徴量221が含まれるデータであれば使用可能である。
図2では、教師データを事例データとしているので正解値222を含んでいるが、本実施例では正解値222を使用しない場合もあるので、その場合には正解値222を含まないデータでもよい。もっとも、正解値222の値を用いて以下の処理に用いるデータをフィルタリングすることもできる。例えば、誤回答と推定されるデータを除外するなどである。
処理S120では、入力された予測器設計データ210に基づいて、予測器を構成する。予測器はハードウェアで構成してもよいし、ソフトウェアで構成してもよい。本実施例では、ソフトウェアで構成することを想定して説明する。予測器としては例えば、住宅ローンの与信審査を行うAIがある。なお、予測器は別途構成しておいたものを用いてもよい。その場合には、処理S120とそのための予測器設計データ210は不要である。
予測器の入力は、特徴量の数をm個とすると、
X=(X1,…,Xm)
の特徴量ベクトルで表すことができる。特徴量は、例えば住宅ローンの申し込み者の、年齢、職業、年収などの属性がある。
X=(X1,…,Xm)
の特徴量ベクトルで表すことができる。特徴量は、例えば住宅ローンの申し込み者の、年齢、職業、年収などの属性がある。
予測器の出力(予測値)は、
Y=f(X)
のスカラー値で表すことができる。出力は、例えば住宅ローンが返済不能になる確率である。
Y=f(X)
のスカラー値で表すことができる。出力は、例えば住宅ローンが返済不能になる確率である。
処理S130では、説明データを生成する。この処理は、非特許文献1に開示される技術を適用することができる。
説明対象のデータを
z=(z1,…,zm)∈X
とし、これを予測器に入力する特徴量ベクトルとし、得られた予測値をf(z)とする。
基準データを
p=(p1,…,pm)∈X
とし、これを予測器に入力する特徴量ベクトルとし、得られた予測値をf(p)とする。
前に述べたように、説明対象のデータと基準データの予測値の差分f(z)-f(p)を、以下のように各特徴量の貢献度φ1~φmに一意に加法分解することができる。
f(z)-f(p)=φ1(z,p,f)+ … +φm(z,p,f)
説明対象のデータを
z=(z1,…,zm)∈X
とし、これを予測器に入力する特徴量ベクトルとし、得られた予測値をf(z)とする。
基準データを
p=(p1,…,pm)∈X
とし、これを予測器に入力する特徴量ベクトルとし、得られた予測値をf(p)とする。
前に述べたように、説明対象のデータと基準データの予測値の差分f(z)-f(p)を、以下のように各特徴量の貢献度φ1~φmに一意に加法分解することができる。
f(z)-f(p)=φ1(z,p,f)+ … +φm(z,p,f)
また、特徴量iの貢献度φiをさらに以下のように、主効果と相互作用に分解することができる。これを説明データとする。
φi(z,p,f)=Φii(z,p,f)+ΣΦij(z,p,f)
(ただし上式でi≠j)
ここで、z、pはm次元の特徴量ベクトルであり、Φiiは特徴量iの主効果であり、Φijは異なる特徴量iとjの相互作用である。
φi(z,p,f)=Φii(z,p,f)+ΣΦij(z,p,f)
(ただし上式でi≠j)
ここで、z、pはm次元の特徴量ベクトルであり、Φiiは特徴量iの主効果であり、Φijは異なる特徴量iとjの相互作用である。
図3は、説明データを生成する処理S130の詳細を示すフロー図である。
処理S131では、事例データ220の行を示す行数カウンターIを1に設定する。図2に示した事例データ220の行は1~Nである。
処理S131では、事例データ220の行を示す行数カウンターIを1に設定する。図2に示した事例データ220の行は1~Nである。
処理S132では、I番目の事例データの特徴量221を読み込んで説明ベクトルを生成する。説明ベクトルを生成するための具体的な計算例は以下のとおりである。
k番目(k行目)の事例データの特徴量iの貢献度φi (k)は以下の式1で定義することができる。
k番目(k行目)の事例データの特徴量iの貢献度φi (k)は以下の式1で定義することができる。
式1はプレイヤー(ここでは特徴量に相当する)のシャープレイ値として知られているものである。ここで、mは特徴量の総数であり、Mはm個の特徴量の集合であり、SはMの部分集合である。足し合わせの範囲は部分集合Sのうち特徴量iを含まないものすべてである。x(k)は、予測器の入力となるk番目の事例データ(特徴量ベクトル)である。関数fはm個の特徴量を引数とする関数であり予測器の出力(予測値)を示す。
式1中のfS(x(k))は、予測器の出力f(x(k))を得る際に、Sに含まれる特徴量についてはx(k)の成分を使い、Sに含まれない特徴量については基準データpの成分を使うことを示す。例えば、特徴量が5次元でS={1,4}だとすると、
fS(x(k))=f(x1 (k),p2,p3,x4 (k),p5)
となる。
fS(x(k))=f(x1 (k),p2,p3,x4 (k),p5)
となる。
同様に、fS∪{i}(x(k))は、予測器の出力f(x(k))を得る際に、S∪{i}に含まれる特徴量についてはxの成分を使い、S∪{i}に含まれない特徴量については基準データpの成分を使うことを示す。例えば、特徴量が5次元でS={1,4},i=2だとすると、
fS∪{i}(x(k))=f(x1 (k),x2 (k),p3,x4 (k),p5)
となる。つまり、式1中の以下の式2の項は、現在の特徴量成分Sに対して、新たにi特徴量成分が加わることで値がどれだけ変化するかを表している。
fS∪{i}(x(k))=f(x1 (k),x2 (k),p3,x4 (k),p5)
となる。つまり、式1中の以下の式2の項は、現在の特徴量成分Sに対して、新たにi特徴量成分が加わることで値がどれだけ変化するかを表している。
式1は、特徴量がひとつずつ提携に加わり、その寄与分(式2)を報酬として要求するときの特徴量iの分配を、提携に参加する順序を変えたすべての順列について考え、平均したものである。
次に、k番目の事例データの特徴量iの貢献度を、主効果と相互作用に分解する。非特許文献1が示すように、式1から以下の主効果Φii(式3)と、特徴量iとjの相互作用Φij(式4)を得ることができる。
なお、式4の∇は以下の式5のように定義されている。
処理S132では、事例データ220の1行分の特徴量221について以上の計算を行い、処理S133で結果である主効果Φiiと相互作用ΦijをI番目の事例データの説明ベクトルとして記憶装置に蓄積する。この処理を、処理S134の判定により、事例データ220の行の数Nまで繰り返えし、説明データ230を生成する。
上記の計算を行なって説明データ230を生成するには、処理S120で構成した予測機能を使用する。説明データの生成には、事例データの特徴量を部分的に基準データ(通常は事例データから選ばれる)で置き換えたデータについて、予測器で予測させる必要があるからである(式1参照)。置き換え方は、例えば特徴量が10個ならば、2の10畳=1024通りの予測値が必要である。
図4は、説明データ230の構成例を示す表図である。ここでは説明対象のデータとして事例データ220を使用している。説明データは説明対象のデータごとに計算されるので、説明データの数は説明対象のデータの数Nとなる。特徴量の数をmとしている。基準値231は、基準データの予測値φ0である。基準データは例えば事例データ220の各特徴量における再頻出のデータ、分布の中央値のデータ、あるいはデータの平均値などを用いるのが良い。本実施例では、各データの予測値の平均値を用いた。
図4の説明データ230において、予測値233と基準値231の差分が、各特徴量の主効果と相互作用232の合計に等しい。
予測値233は、特徴量221を入力したときの予測器の出力である。理想的な予測器は、正解値222に等しい予測値233を出力する。以降の処理で用いるデータとして、正解値222との誤差が所定範囲内の予測値233をもつ事例データのみを用いてもよい。そのようにすることで、予測器の予測根拠がより明確になることが期待される。
処理S140では、各特徴量の主効果、相互作用の影響度を算出する。処理S140以降の処理は、説明データ230が準備されていれば実行可能である。説明データ230を準備するためには、分析対象となる予測器の入力となる特徴量ベクトルと、出力となる予測値があればよい。よって、別途第三者が予測器の入力データ(特徴量ベクトル)と出力データ(予測値)を提供した場合には、処理S110とS120は省略可能である。
図5で、ある相互作用の貢献度の例を示す。図5の(A)は、特徴量2と特徴量3の相互作用Φ23の貢献度をプロットしたものである。図5の(B)は、特徴量2と特徴量5の相互作用の貢献度Φ25をプロットしたものである。縦軸が貢献度であり、横軸は特徴量2の値z2である。いま説明データの数はNなので、それぞれN個のプロットが示されることになる。図5(A)の特徴量2と特徴量3の相互作用は、0に近く貢献が小さいことがわかる。図5(B)の特徴量2と特徴量5の相互作用は、特徴量2と特徴量5の相互作用により異なる傾向の有意な貢献が表れることがわかる。特徴量2と特徴量5の相互作用は、例えば特徴量5の値に依存して、プラスの値とマイナスの値に分かれていることが推測される。
影響度の定性的な説明では、特徴量の貢献度の絶対値が大きければ、その特徴量の影響度が大きいといえる。
いま、説明対象のデータ集合を、
Z={z(1),…,z(N)}
としたとき、
k番目のデータである特徴量ベクトルz(k)∈Zに対する、各特徴量の主効果および相互作用の貢献度をΦij (k)とすると、一例として、各特徴量の主効果および相互作用の影響度行列Ψijは、以下の式6で示される。
Z={z(1),…,z(N)}
としたとき、
k番目のデータである特徴量ベクトルz(k)∈Zに対する、各特徴量の主効果および相互作用の貢献度をΦij (k)とすると、一例として、各特徴量の主効果および相互作用の影響度行列Ψijは、以下の式6で示される。
図6は、影響度データを生成する処理S140の詳細を示すフロー図である。この処理は、主効果の貢献度および相互作用の貢献度からなる説明ベクトル、すなわち、説明データ230の主効果および相互作用232の値を用いて実行される。
処理S141で、説明データ230の行を示す行数カウンターIを1に設定する。図4に示した説明データ230の行は1~Nである。処理S142で、説明データ230のI番目の行を読み出し、主効果または相互作用の貢献度を説明ベクトルとして影響度データに加算する。この処理を、処理S143の判定により、説明データ230の行の数Nまで繰り返えす。最終的に影響度データ(ベクトル)として説明データの積算値を得る。最後に処理S144で、積算値を説明データ数Nで除算して正規化し、主効果または相互作用の影響度を得る。もっとも、正規化の処理は省略してもよい。
図7は、影響度データ240の構成例を示す表図である。影響度データを行列形式で示す。縦軸と横軸はm個の特徴量を示しており、主効果Ψiiの影響度は表の対角線上に配置されている。相互作用Ψijの影響度は、Ψij=Ψjiとなる。
図8は、特徴量のグルーピングを行う処理S150の内容を説明するフロー図である。グルーピングは、影響度が無視できるグループHに属する特徴量を抽出する処理S151と、グループHに属する特徴量以外をグルーピングする処理S152に分かれる。
図9には、処理S150で特徴量のグルーピングを行う処理の概念を説明するため、影響度データ行列の模式図を示す。図7の影響度データ240に対応するものであり、縦および横方向に例としてm=9個の特徴量を規定し、その主効果と相互作用Ψij(i,jは1~9の値)を図示している。特徴量の交点の升目において、影響度が比較的大きい主効果または相互作用は白く、影響度が比較的小さい(あるいは0の)主効果または相互作用はグレーもしくは黒で示されている。以下では、図9を参照しつつ処理S150の詳細を説明する。
図10は、グループHに属する特徴量を抽出する処理S151の詳細なフロー図を示す。処理S1511では、影響度データΨijの各要素(図7あるいは図9の升目に対応)に対し、所定閾値以下の要素を0に設定する。閾値はその都度与えてもよいし、予め設定しておいてもよい。
いま、図9の影響度データ240-1を、処理S140で算出した影響度データ(すなわち図7の影響度データに対応)とする。処理S1511では、所定閾値以下の影響度を持つ主効果または相互作用の影響度を0に設定する。この例では、影響度データ240-1のうち、灰色の升目の影響度が閾値以下とする。このため、影響度データ240-1は、影響度データ240-2のように影響度が0の升目(黒の升目)と影響度の値を持つ升目(白の升目)に2分化される。
このようにして、影響度の小さな主効果や相互作用を除去して、情報を整理することができる。なお、閾値を用いた情報の整理は、貢献度データの段階で行うこともできる。
次に処理S1512では、影響度データ240-2の行カウンターをi=1に設定する。そして、処理S1512では、影響度Ψijがjによらず全て0であれば、i番目のインデックスを持つ特徴量をグループHに加える。具体的には、データ上でグループHを示すフラグを付せばよい。
この処理S1512を、処理S1514の判定により、影響度データ240-2の行の数Nまで繰り返えす。図9の例では、9行目まで繰り返すことになる。図9の場合、i=7の7番目の行(Ψ71~Ψ79)は影響度Ψijがjによらず全て0であるため、i=7のインデックスを持つ特徴量がグループHに属することになる。
図11は、グループHに属する特徴量以外をグルーピングする処理S152の詳細なフロー図を示す。処理S1521では、グループHに属さない特徴量のインデックス(i,j)の集合をLとする。図9の影響度データ240-2の例では、白い升目が集合Lを構成する。また、グループカウンタをK=1に設定する。
処理S1522では、Lに属する最小のインデックスをA=(i,j)とする。最小のインデックスの定義は任意だが、例えばiの大きさで決定し、iが同じであればjの大きさで決定する。図9の影響度データ240-2の例では、A=(1,1)である。
処理S1523では、影響度データに基づき、Aと連結したインデックスの集合GAを抽出する。Aと連結したインデックスとは、Aのインデックスの要素と同じ数を持つインデックスである。図9の影響度データ240-2の例では、A=(1,1)と連結したインデックスは(5,1)(8,1)(9,1)(1,5)(1,8)(1,9)である。
処理S1524では、GAの要素を新たなグループG[K]に加える。そして、GAの要素をLから削除する。
判定の処理S1525では、集合Lが空になったかを判定し、空でなければ処理S1522に戻る。Lに属する最小のインデックスを抽出する。今回はA=(2,2)となり、Aと連結したインデックスは、(3,2)(6,2)(2,3)(2,6)である。同様の処理を繰り返し、集合Lが空になると処理S152は終了し、グループデータ250を記録する。
図12は、グループデータ250の例を示す表図である。グループKとして1~4のグループが抽出され、それぞれのグループに含まれる特徴量のインデックス集合は、
G[1]={1,5,8,9}
G[2]={2,3,6}
G[3]={4}
G[4]={7}=H
となる。
G[1]={1,5,8,9}
G[2]={2,3,6}
G[3]={4}
G[4]={7}=H
となる。
以上の処理において、影響度Ψijをノード{1,…,m}間の隣接行列とみなすことができる。特徴量(ノード)が隣接しているか否かに基づいてグルーピングすると、同一グループ内の特徴量は相互に隣接し、異なるグループ間の特徴量は非隣接となる。主効果および相互作用双方が低い特徴量は、閾値を用いてHとして分離される。処理S151のグループHの分離は、場合により省略してもよいが、後述のように最終的に人が結果を確認する場合、Hの分離によって、検討しなければならない特徴量を削減し、確認作業の負荷を大幅に低減することができる。
図9の影響度データ240-3は、グルーピングの結果を可視的に示すものである。グループG1は、相互に有意な相互作用を示す特徴量1,5,8,9からなるグループである。グループG2は、相互に有意な相互作用を示す特徴量2,3,6からなるグループである。グループG3は、有意な相互作用がない特徴量4からなるグループである。Hは有意な主効果および相互作用を示す特徴量がない特徴量7からなるグループである。同一グループに属する複数の特徴量は、相互に有意な相互作用を及ぼしあう。このようなグルーピングにより、AIが関連すると判断している特徴量を纏めることができる。このため、有識者がグルーピング結果を確認することにより、AIの判断根拠を理解するための参考情報として用いることができる。
なお、図9の例では、特徴量の相互作用がある場合には必ず主効果があるが、特徴量によっては、相互作用だけがあり主効果がない可能性もある。
図13は、グルーピングを行い、結果を表示するGUI(Graphical User Interface)の一例である。分析画面1300は、識別器を特定する識別器設計データのファイル名1301、事例データのファイル名1302、および、グループHの分離のための影響度に対する閾値1303を入力または選択できる。データ入力処理S110で、これらの入力または選択の後、分析実行ボタン1304を操作することにより、図1で説明した一連の処理が開始される。図1のグルーピング処理S150が終了すると、結果表示処理S160にて、グルーピング結果が分析画面1300に表示される。
図13の例では、グループデータ250に基づいて、図9、図12で例示した4つのグループG1~G3およびHが分離して表示されている。グループG1の表示1305では、ノードとして特徴量1,5,8,9が示されている。ノードの横には、当該特徴量の影響度の主効果の数値が示されている。例えば特徴量1の主効果は50である。また、特徴量のノードを接続するリンクには、影響度の相互作用の数値が示されている。例えば特徴量1と5の相互作用はプラス40である。また、特徴量5と9の相互作用は30である。これらの値は、影響度データ240を参照して得る。この表示により、ユーザは、識別機の中で特徴量が相互にどのように関係しているかを把握することができる。また、特徴量間の相互作用が相乗効果に働くか(図中+記号)、相殺効果に働くか(図中-記号)を知ることができる。他のグループも同様であるが、グループHの値は0になる。なお、影響度の代わりに貢献度のいずれかを表示することもできる。その場合は説明データ230の数値を用いる。
このように、グループごとに内容が表示されるので、ユーザはグループごとに理解することができ、予測器に内在する処理の全容の理解が容易になる。また、グループ名の横のかっこ内には、当該グループに係る影響度の主効果と相互作用の合計値を示している。この表示はグループ間を比較する指標として用いることができ、ユーザはどのグループが識別器の判断に影響が大きいかを知ることができる。GUIの機能としては、画面上のノードやリンクを選択することで、特徴量の詳細説明を表示するようにしてもよい。
図14は、本実施例の処理を行うための計算機システム構成を示している。この計算機システムは一般的なコンピュータで構成することができる。コンピュータの一般的な構成と同様に、このシステムは入力装置、出力装置、処理装置、記憶装置を備えるが、図14では一般的な構成は省略し、本実施例の処理のための機能ブロックとして示している。
本実施例では計算や制御等の機能は、記憶装置に格納されたプログラムが処理装置によって実行されることで、定められた処理を他のハードウェアと協働して実現される。計算機などが実行するプログラム、その機能、あるいはその機能を実現する手段を、「~部」と呼ぶ場合がある。
計算機システムは、複数の計算機1410、1420及び端末1430から構成される。複数の計算機1410、1420及び端末1430は、ネットワーク1440を介して互いに接続される。ネットワーク1440は、例えば、WAN(Wide Area Network)あるいはLAN(Local Area Network)である。ネットワーク1440の接続方式は有線及び無線のいずれでもよい。もっとも、複数の計算機1410、1420及び端末1430は、一体型のサーバで構成してもよく、その場合にはネットワーク1440を介さなくてもよい。また、ネットワーク1440で接続される4つ以上の計算機で構成してもよい。
端末1430は、ユーザが操作する計算機である。端末1430は、例えば、パーソナルコンピュータ、スマートフォン、及びタブレット端末等である。端末1430は、ユーザの操作に基づいて、必要なデータ等の入出力を他の計算機1410、1420に指示する。
なお、端末1430は、処理装置、記憶装置、ネットワークインタフェース、入力装置、及び出力装置を備える。入力装置は、キーボード、マウス、及びタッチパネル等の装置であり、出力装置は、タッチパネル及びディスプレイ等の装置である。他の計算機1410、1420の構成も基本的に同様である。
計算機1420は、例えばデータベースサーバであり、各種データを管理する。具体的には、計算機1420は、予測器設計データベース(DB)1421、事例DB1422、説明DB1423、影響度DB1424、グループDB1425を格納する。
予測器設計DB1421は、予測器設計データ210を格納する。事例DB1422は、事例データ220を格納する。説明DB1423は、説明データ230を格納する。影響度DB1424は、影響度データ240を格納する。グループDB1425は、グループデータ250を格納する。
計算機1410は、図1で説明した各処理を実行する、例えばアプリケーションサーバである。計算機1410は、記憶装置に格納されたソフトウェアを処理装置が実行し、ハードウェアと協働することにより、入力部1411、予測機能構成部1412、説明データ生成部1413、影響度算出部1414、グルーピング部1415、結果表示部1416、予測器1417が実装される。
入力部1411は、データの入力処理S110を実行する。予測機能構成部1412は、予測機能を構成する処理S120を実行し、予測器1417を生成する。説明データ生成部1413は、説明データを生成する処理S130を実行する。影響度算出部1414は、影響度を算出する処理S140を実行する。グルーピング部1415は、グルーピングの処理S150を実行する。結果表示部1416は、分析画面1300を端末1430に表示する。
本実施例において、予測器1417と称しているものは、狭義の予測に限らず、所定の処理を行って、所定の入力に対して所定の出力を行う分類器、識別器、推論器等の関数近似器一般を含むものとする。前述のように、その構成はハードウェア、ソフトウェアの別や種類を問わない。
以上の構成は、単体のコンピュータで構成してもよいし、あるいは、入力装置、出力装置、処理装置、記憶装置の任意の部分が、ネットワークで接続された他のコンピュータで構成されてもよい。
本実施例中、ソフトウェアで構成した機能と同等の機能は、FPGA(Field Programmable Gate Array)、ASIC(Application Specific Integrated Circuit)などのハードウェアでも実現できる。そのような態様も本願発明の範囲に含まれる。
上述の実施例において、制御線や情報線は、説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。全ての構成が相互に接続されていてもよい。
入力部:1411
予測機能構成部:1412
説明データ生成部:1413
影響度算出部:1414
グルーピング部:1415
結果表示部:1416
予測器:1417
予測器設計DB:1421
事例DB:1422
説明DB:1423
影響度DB:1424
グループDB:1425。
予測機能構成部:1412
説明データ生成部:1413
影響度算出部:1414
グルーピング部:1415
結果表示部:1416
予測器:1417
予測器設計DB:1421
事例DB:1422
説明DB:1423
影響度DB:1424
グループDB:1425。
Claims (15)
- m個の特徴量を含む入力データに対する予測値を算出する予測器に、それぞれがm個の特徴量を含むN個の事例データのそれぞれを前記入力データとして入力し、前記予測器の予測値と前記m個の特徴量の前記予測値に対する貢献度の主効果と相互作用を含む説明データを生成する説明データ生成部と、
前記N個の説明データから、前記m個の特徴量の前記予測値に対する影響度の主効果と相互作用を含む単一の影響度データを生成する影響度算出部と、
前記影響度データに基づいて、前記特徴量を複数のグループに分割したグルーピングデータを生成するグルーピング部と、
を備える分析システム。 - 前記グルーピング部は、
前記相互作用を及ぼしあう特徴量を一つのグループにグルーピングする、
請求項1記載の分析システム。 - 前記グルーピング部は、
前記影響度データにおいて、所定閾値以下の値を持つ主効果および相互作用の値を0に変更する、
請求項1記載の分析システム。 - 結果表示部をさらに備え、
前記結果表示部は、
前記グルーピングデータに基づいて、前記特徴量を複数のグループに分離して表示する、
請求項1記載の分析システム。 - 前記結果表示部は、
前記グルーピングデータと前記影響度データに基づいて、前記影響度の主効果と前記影響度の相互作用を識別可能に表示する、
請求項4記載の分析システム。 - 前記結果表示部は、
前記グルーピングデータと前記影響度データに基づいて、前記影響度の主効果をノードとし、前記影響度の相互作用をリンクとして、ネットワーク形式で表示する、
請求項5記載の分析システム。 - 前記結果表示部は、
前記グルーピングデータと前記影響度データに基づいて、前記影響度の主効果と前記影響度の相互作用の合計値を、前記複数のグループごとに表示する、
請求項4記載の分析システム。 - 前記影響度算出部は、
前記N個の説明データの、前記m個の特徴量の前記予測値に対する貢献度の主効果と相互作用の絶対値を、同じ種類の要素毎に積算し、前記Nで除算して前記影響度を算出する、
請求項1記載の分析システム。 - 前記説明データ生成部は、
m個の特徴量を含む基準データの予測値と前記事例データの予測値の差分に対して、前記m個の特徴量の貢献度の主効果と相互作用を含むN個の説明データを生成する、
請求項1記載の分析システム。 - 情報処理装置で実行される予測器の分析方法であって、
それぞれが複数の特徴量を含む複数の事例データのそれぞれに対する、前記予測器の予測値と前記複数の特徴量の前記予測値に対する貢献度の主効果と相互作用を含む説明データを生成する説明データ生成処理と、
前記複数の説明データから、前記複数の特徴量の前記予測値に対する影響度の主効果と相互作用を含む単一の影響度データを生成する影響度算出処理と、
前記影響度データに基づいて、前記特徴量を複数のグループに分割したグルーピングデータを生成するグルーピング処理と、
を行う分析方法。 - 前記グルーピング処理は、
前記相互作用を及ぼしあう特徴量を一つのグループにグルーピングする、
請求項10記載の分析方法。 - 前記グルーピング処理は、
前記影響度データにおいて、所定閾値以下の値を持つ主効果および相互作用の値を無視する、
請求項10記載の分析方法。 - 前記グルーピングデータに基づいて、前記特徴量を複数のグループに識別可能に表示する結果表示処理を行う、
請求項10記載の分析方法。 - 前記結果表示処理は、
前記グルーピングデータと前記影響度データに基づいて、前記影響度の主効果と前記影響度の相互作用を異なる形態で表示する、
請求項13記載の分析方法。 - 前記結果表示処理は、
前記グルーピングデータと前記影響度データに基づいて、前記影響度の主効果をノードとし、前記影響度の相互作用をリンクとして、ネットワーク形式で表示する、
請求項14記載の分析方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019222249A JP7353952B2 (ja) | 2019-12-09 | 2019-12-09 | 分析システムおよび分析方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019222249A JP7353952B2 (ja) | 2019-12-09 | 2019-12-09 | 分析システムおよび分析方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021092914A JP2021092914A (ja) | 2021-06-17 |
JP7353952B2 true JP7353952B2 (ja) | 2023-10-02 |
Family
ID=76312415
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019222249A Active JP7353952B2 (ja) | 2019-12-09 | 2019-12-09 | 分析システムおよび分析方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7353952B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11514369B2 (en) * | 2020-06-16 | 2022-11-29 | DataRobot, Inc. | Systems and methods for machine learning model interpretation |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019125240A (ja) | 2018-01-18 | 2019-07-25 | 株式会社日立製作所 | 分析装置および分析方法 |
JP2019191895A (ja) | 2018-04-24 | 2019-10-31 | 株式会社日立ソリューションズ | データ分析システム及びデータ分析方法 |
-
2019
- 2019-12-09 JP JP2019222249A patent/JP7353952B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019125240A (ja) | 2018-01-18 | 2019-07-25 | 株式会社日立製作所 | 分析装置および分析方法 |
JP2019191895A (ja) | 2018-04-24 | 2019-10-31 | 株式会社日立ソリューションズ | データ分析システム及びデータ分析方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2021092914A (ja) | 2021-06-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Lin et al. | Missing value imputation: a review and analysis of the literature (2006–2017) | |
US11645541B2 (en) | Machine learning model interpretation | |
Krause et al. | Using visual analytics to interpret predictive machine learning models | |
Streeb et al. | Task-based visual interactive modeling: Decision trees and rule-based classifiers | |
Hu et al. | Supervised machine learning techniques: An overview with applications to banking | |
Ramanan et al. | Causal learning from predictive modeling for observational data | |
Gomez et al. | Advice: Aggregated visual counterfactual explanations for machine learning model validation | |
CN115705501A (zh) | 机器学习数据处理管道的超参数空间优化 | |
Liu et al. | Explainable data-driven modeling of patient satisfaction survey data | |
JP7353952B2 (ja) | 分析システムおよび分析方法 | |
Pramanik et al. | Applications of big data in clinical applications | |
Xie et al. | Visual analytics of heterogeneous data using hypergraph learning | |
Eftimov et al. | Less is more: Selecting the right benchmarking set of data for time series classification | |
Wang et al. | An empirical classification-based framework for the safety criticality assessment of energy production systems, in presence of inconsistent data | |
Gbadamosi et al. | Medical data analysis for IoT-based datasets in the cloud using naïve bayes classifier for prediction of heart disease | |
Kumar et al. | Diseases Prediction based on Symptoms using Database and GUI | |
Banga | Computational hybrids towards software defect predictions | |
Qu et al. | Enhancing understandability of omics data with shap, embedding projections and interactive visualisations | |
JP6395261B2 (ja) | 予測モデル構築装置及びプログラム | |
Nascimento et al. | Social Activism Analysis: An Application of Machine Learning in the World Values Survey. | |
Saini et al. | Comparative analysis of classification algorithms using Weka | |
Siebra et al. | The importance of replications in software engineering: A case study in defect prediction | |
Daza et al. | Stacking ensemble based hyperparameters to diagnosing of heart disease: Future works | |
Manakova et al. | Ensembling Clustering Method for Evaluating of the Economic Security Components. Case Study: The Regions of Ukraine | |
Monteiro et al. | A multi-objective optimization design to generate surrogate machine learning models in explainable artificial intelligence applications |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220627 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230822 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230920 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7353952 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |