JP7353952B2

JP7353952B2 - 分析システムおよび分析方法

Info

Publication number: JP7353952B2
Application number: JP2019222249A
Authority: JP
Inventors: 正史恵木; 直明横井; 真生濱本; 大輔田代
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2019-12-09
Filing date: 2019-12-09
Publication date: 2023-10-02
Anticipated expiration: 2039-12-09
Also published as: JP2021092914A

Description

本発明は、ＡＩ（人工知能）等が行う予測の根拠を分析する技術に関する。

近年、医療及び金融等の様々な分野でＡＩを活用した支援システムが提供されている。例えば、医療分野では、ＡＩを活用して、病気の発症率の予測及び症状の特定等が行われる。また、金融分野では、ＡＩを活用して、与信審査等が行われる。

ＡＩの予測精度向上を目的とした技術開発の進展によって、ＡＩのモデル、具体的にはＡＩ内部のアルゴリズムのブラックボックス化が加速している。そのため、ＡＩを利用するユーザがＡＩのモデルを把握することができず、ＡＩの予測や判断の妥当性を客観的に評価することが困難になっている。

このため、ＡＩを活用したシステムの開発者や運用者に対して、ＡＩの予測や判断の根拠の説明性及び検証性などが求められている。システムを使用するユーザに対してシステムの信頼性を示す情報を提示する技術として、非特許文献１及び非特許文献２の技術が知られている。

"Consistent Individualized Feature Attribution for Tree Ensembles" Scott M. Lundberg, Gabriel G. Erison, Su-In Lee, ICML Workshop 2017, arXiv:1706.06060 "Making Tree Ensembles Interpretable" Satoshi Hara and Kohei Hayashi, ICML Workshop on Human Interpretability in Machine Learning (WHI 2016), 2016, arXiv:1606.05390

ＡＩのモデルのブラックボックス化の要因としては、深層学習やアンサンブル学習により生成されるＡＩの構造が複雑化していることがあげられる。例えば、深層学習によるＤＮＮ（Deep Neural Network）は、多層にわたる複雑・大量のネットワーク結合からなり、解釈が困難である。また、アンサンブル学習では、多数の弱識別器による多数決論理を採用する。個々の弱識別器は解釈可能なものの、総体としての解釈が困難である。

非特許文献１では、学習済みの機械学習モデル（たとえばＡＩで構成される）をブラックボックスとする。このブラックボックスへの入力は、ｍ個の特徴量ｘ_１～ｘ_ｍとし、出力は予測値ｆ（ｘ）とする。いま、説明対象のデータの特徴量をｚ_１～ｚ_ｍとして入力し、予測値ｆ（ｚ）を得、基準データの特徴量をｐ_１～ｐ_ｍとして入力し、予測値ｆ（ｐ）を得たとする。ここで、基準データは、例えば平均的なデータを選択している。

非特許文献１では、説明対象のデータと基準データの予測値の差分ｆ（ｚ）－ｆ（ｐ）を、以下のように各特徴量の貢献度φ_１～φ_ｍに一意に加法分解する。ｚ、ｐは特徴量ベクトルである。
ｆ（ｚ）－ｆ（ｐ）＝φ_１（ｚ，ｐ，ｆ）＋・・・＋φ_ｍ（ｚ，ｐ，ｆ）
これにより、基準データと説明対象データの予測の差が生ずるにあたっての、特徴量の貢献度を可視化しようとするものである。

また、非特許文献１では、特徴量ｉの貢献度φ_ｉをさらに以下のように、主効果と相互作用に分解することを提案している。
φ_ｉ（ｚ，ｐ，ｆ）＝Φ_ｉｉ（ｚ，ｐ，ｆ）＋ΣΦ_ｉｊ（ｚ，ｐ，ｆ）
（ただしｉ≠ｊ）
ここで、Φ_ｉｉは特徴量ｉの主効果であり、Φ_ｉｊは異なる特徴量ｉとｊの相互作用である。

非特許文献１では以上のような原理で説明対象のデータを複数分析すると、ブラックボックスであるＡＩの判断の傾向を可視化できることを示す。例えば、ある特徴量ｚ_１が変化した場合の、貢献度φ_１の変化の傾向等を可視化することができる。このように、特許文献１の技術では、各特徴量とその予測値への貢献度との相関構造を抽出・可視化することができる。

しかし一般に、機械学習を利用する際の特徴量の数は１００～１０００種類に上る。また、抽出される相関構造の数は、主効果で１００～１０００、相互作用で１０^４～１０^６通りに上る。従って、個々の相関構造を抽出・可視化しても、人が全容を把握するのは困難である。

非特許文献２は、解釈の対象をツリーアンサンブル（Tree Ensemble）型の機械学習モデルに限っている。ツリーアンサンブル型モデルは、弱識別器としての決定木を多数並べ、多数決や線形結合を取って予測値を算出するものである。非特許文献２では、それぞれの決定木は特徴量空間を局所的に記述することに注目し、誤差低下を最小限に抑えながら、木を結合し、ユーザが指定する少数の木で近似することを提案している。非特許文献２の技術では、多数の弱識別器を統合して、ツリーアンサンブル型モデルの構造を理解しやすくすることができる。

しかし一般に、機械学習モデルはツリーアンサンブル型モデルの他にも、ＤＮＮ、サポートベクターマシン（ＳＶＭ:Support Vector Machine）など多様なモデルが存在し、非特許文献２の手法はそれらには適応できない。

そこで本発明の課題は、ユーザが予測器の予測根拠を認知するために有用なデータを提示することである。

本発明の好ましい一側面は、情報処理装置で構成される分析システムである。このシステムは、説明データ生成部と影響度算出部とグルーピング部を備える。説明データ生成部は、ｍ個の特徴量を含む入力データに対する予測値を算出する予測器に、それぞれがｍ個の特徴量を含むＮ個の事例データのそれぞれを入力データとして入力し、予測器の予測値とｍ個の特徴量の予測値に対する影響度の主効果と相互作用を含む説明データを生成する。影響度算出部は、Ｎ個の説明データから、ｍ個の特徴量の予測値に対する影響度の主効果と相互作用を含む単一の影響度データを生成する。グルーピング部は、影響度データに基づいて、特徴量を複数のグループに分割したグルーピングデータを生成する。

本発明の他の好ましい一側面は、情報処理装置で実行される予測器の分析方法である。この方法では、それぞれが複数の特徴量を含む複数の事例データのそれぞれに対する、予測器の予測値と、複数の特徴量の予測値に対する貢献度の主効果と相互作用を含む説明データを生成する説明データ生成処理と、複数の説明データから、複数の特徴量の前記予測値に対する影響度の主効果と相互作用を含む単一の影響度データを生成する影響度算出処理と、影響度データに基づいて、特徴量を複数のグループに分割したグルーピングデータを生成するグルーピング処理と、を行う。

本発明によれば、ユーザが予測器の予測根拠を解釈するために有用なデータを出力することができる。上記した以外の課題、構成及び効果は、以下の実施例の説明により明らかにされる。

実施例の処理の流れを説明する説明図。事例データの例を示す表図。説明データ生成機能のフローチャート。説明データの例を示す表図。影響度の概念を示す説明図。影響度データ生成機能のフローチャート。影響度データの例を示す表図。グルーピング機能のフローチャート。グループ抽出の概念を示す模式図。グループに属する特徴量を抽出する機能のフローチャート。特徴量グループに分割する機能のフローチャート。グループデータの例を示す表図。分析画面の例を示す模式図。実施例のシステム構成を説明する機能ブロック図。

以下、本発明の実施例を、図面を用いて説明する。ただし、本発明は以下に示す実施の形態の記載内容に限定して解釈されるものではない。本発明の思想ないし趣旨から逸脱しない範囲で、その具体的構成を変更し得ることは当業者であれば容易に理解される。

以下に説明する発明の構成において、同一又は類似する構成又は機能には同一の符号を付し、重複する説明は省略する。

本明細書等における「第１」、「第２」、「第３」等の表記は、構成要素を識別するために付するものであり、必ずしも、数又は順序を限定するものではない。

図面等において示す各構成の位置、大きさ、形状、及び範囲等は、発明の理解を容易にするため、実際の位置、大きさ、形状、及び範囲等を表していない場合がある。したがって、本発明では、図面等に開示された位置、大きさ、形状、及び範囲等に限定されない。

図１は、実施例の全体的な処理の概念を示す概念図である。この処理では、ＡＩ等で構成される予測器の予測根拠を分析する。
処理Ｓ１１０では、必要なデータを入力する。ここで必要なデータは、予測根拠を分析したい予測器の予測器設計データ２１０と、事例データ２２０である。

予測器設計データ２１０は、例えば学習済みのＤＮＮの構成データである。公知のようにＤＮＮの構成データは、多段のノードの接続関係や、各ノードの活性化関数のデータを含む。予測器としては、ＤＮＮに限らず、所定の入力に対して所定の出力を返すＳＶＭ、ランダムフォレストレスト等、任意の種類の予測器の予測根拠分析が可能である。

図２は、事例データ２２０の構成例を示す表図である。ここでは事例データの数をＮ、特徴量の数をｍとしている。事例データ２２０には、例えば予測器の学習に用いた教師データを用いることができる。特徴量２２１は予測器に入力すべきデータである。教師データのでは、例えば人が判別して付した正解値２２２が付されている。教師データで適切に構成（学習）された予測器は、入力に対して期待される回答を出力する。なお、事例データ２２０としては、必ずしも教師データを用いる必要はなく、特徴量２２１が含まれるデータであれば使用可能である。

図２では、教師データを事例データとしているので正解値２２２を含んでいるが、本実施例では正解値２２２を使用しない場合もあるので、その場合には正解値２２２を含まないデータでもよい。もっとも、正解値２２２の値を用いて以下の処理に用いるデータをフィルタリングすることもできる。例えば、誤回答と推定されるデータを除外するなどである。

処理Ｓ１２０では、入力された予測器設計データ２１０に基づいて、予測器を構成する。予測器はハードウェアで構成してもよいし、ソフトウェアで構成してもよい。本実施例では、ソフトウェアで構成することを想定して説明する。予測器としては例えば、住宅ローンの与信審査を行うＡＩがある。なお、予測器は別途構成しておいたものを用いてもよい。その場合には、処理Ｓ１２０とそのための予測器設計データ２１０は不要である。

予測器の入力は、特徴量の数をｍ個とすると、
Ｘ＝（Ｘ_１，…，Ｘ_ｍ）
の特徴量ベクトルで表すことができる。特徴量は、例えば住宅ローンの申し込み者の、年齢、職業、年収などの属性がある。

予測器の出力（予測値）は、
Ｙ＝ｆ（Ｘ）
のスカラー値で表すことができる。出力は、例えば住宅ローンが返済不能になる確率である。

処理Ｓ１３０では、説明データを生成する。この処理は、非特許文献１に開示される技術を適用することができる。
説明対象のデータを
ｚ＝（ｚ₁，…，ｚ_ｍ）∈Ｘ
とし、これを予測器に入力する特徴量ベクトルとし、得られた予測値をｆ（ｚ）とする。
基準データを
ｐ＝（ｐ₁，…，ｐ_ｍ）∈Ｘ
とし、これを予測器に入力する特徴量ベクトルとし、得られた予測値をｆ（ｐ）とする。
前に述べたように、説明対象のデータと基準データの予測値の差分ｆ（ｚ）－ｆ（ｐ）を、以下のように各特徴量の貢献度φ_１～φ_ｍに一意に加法分解することができる。
ｆ（ｚ）－ｆ（ｐ）＝φ_１（ｚ，ｐ，ｆ）＋ … ＋φ_ｍ（ｚ，ｐ，ｆ）

また、特徴量ｉの貢献度φ_ｉをさらに以下のように、主効果と相互作用に分解することができる。これを説明データとする。
φ_ｉ（ｚ，ｐ，ｆ）＝Φ_ｉｉ（ｚ，ｐ，ｆ）＋ΣΦ_ｉｊ（ｚ，ｐ，ｆ）
（ただし上式でｉ≠ｊ）
ここで、ｚ、ｐはｍ次元の特徴量ベクトルであり、Φ_ｉｉは特徴量ｉの主効果であり、Φ_ｉｊは異なる特徴量ｉとｊの相互作用である。

図３は、説明データを生成する処理Ｓ１３０の詳細を示すフロー図である。
処理Ｓ１３１では、事例データ２２０の行を示す行数カウンターＩを１に設定する。図２に示した事例データ２２０の行は１～Ｎである。

処理Ｓ１３２では、Ｉ番目の事例データの特徴量２２１を読み込んで説明ベクトルを生成する。説明ベクトルを生成するための具体的な計算例は以下のとおりである。
ｋ番目（ｋ行目）の事例データの特徴量ｉの貢献度φ_ｉ ^(k)は以下の式１で定義することができる。

式１はプレイヤー（ここでは特徴量に相当する）のシャープレイ値として知られているものである。ここで、ｍは特徴量の総数であり、Ｍはｍ個の特徴量の集合であり、ＳはＭの部分集合である。足し合わせの範囲は部分集合Ｓのうち特徴量ｉを含まないものすべてである。ｘ^（ｋ）は、予測器の入力となるｋ番目の事例データ（特徴量ベクトル）である。関数ｆはｍ個の特徴量を引数とする関数であり予測器の出力（予測値）を示す。

式１中のｆ_Ｓ（ｘ^（ｋ））は、予測器の出力ｆ（ｘ^（ｋ））を得る際に、Ｓに含まれる特徴量についてはｘ^（ｋ）の成分を使い、Ｓに含まれない特徴量については基準データｐの成分を使うことを示す。例えば、特徴量が５次元でＳ＝{１，４}だとすると、
ｆ_Ｓ（ｘ^（ｋ））＝ｆ（ｘ_１ ^（ｋ），ｐ_２，ｐ_３，ｘ_４ ^（ｋ），ｐ_５）
となる。

同様に、ｆ_{Ｓ∪｛ｉ｝}（ｘ^（ｋ））は、予測器の出力ｆ（ｘ^（ｋ））を得る際に、Ｓ∪｛ｉ｝に含まれる特徴量についてはｘの成分を使い、Ｓ∪｛ｉ｝に含まれない特徴量については基準データｐの成分を使うことを示す。例えば、特徴量が５次元でＳ＝{１，４},ｉ＝２だとすると、
ｆ_{Ｓ∪｛ｉ｝}（ｘ^（ｋ））＝ｆ（ｘ_１ ^（ｋ），ｘ_２ ^（ｋ），ｐ_３，ｘ_４ ^（ｋ），ｐ_５）
となる。つまり、式１中の以下の式２の項は、現在の特徴量成分Ｓに対して、新たにｉ特徴量成分が加わることで値がどれだけ変化するかを表している。

式１は、特徴量がひとつずつ提携に加わり、その寄与分（式２）を報酬として要求するときの特徴量ｉの分配を、提携に参加する順序を変えたすべての順列について考え、平均したものである。

次に、ｋ番目の事例データの特徴量ｉの貢献度を、主効果と相互作用に分解する。非特許文献１が示すように、式１から以下の主効果Φ_ｉｉ（式３）と、特徴量ｉとｊの相互作用Φ_ｉｊ（式４）を得ることができる。

なお、式４の∇は以下の式５のように定義されている。

処理Ｓ１３２では、事例データ２２０の１行分の特徴量２２１について以上の計算を行い、処理Ｓ１３３で結果である主効果Φ_ｉｉと相互作用Φ_ｉｊをＩ番目の事例データの説明ベクトルとして記憶装置に蓄積する。この処理を、処理Ｓ１３４の判定により、事例データ２２０の行の数Ｎまで繰り返えし、説明データ２３０を生成する。

上記の計算を行なって説明データ２３０を生成するには、処理Ｓ１２０で構成した予測機能を使用する。説明データの生成には、事例データの特徴量を部分的に基準データ（通常は事例データから選ばれる）で置き換えたデータについて、予測器で予測させる必要があるからである（式１参照）。置き換え方は、例えば特徴量が１０個ならば、２の１０畳＝１０２４通りの予測値が必要である。

図４は、説明データ２３０の構成例を示す表図である。ここでは説明対象のデータとして事例データ２２０を使用している。説明データは説明対象のデータごとに計算されるので、説明データの数は説明対象のデータの数Ｎとなる。特徴量の数をｍとしている。基準値２３１は、基準データの予測値φ₀である。基準データは例えば事例データ２２０の各特徴量における再頻出のデータ、分布の中央値のデータ、あるいはデータの平均値などを用いるのが良い。本実施例では、各データの予測値の平均値を用いた。

図４の説明データ２３０において、予測値２３３と基準値２３１の差分が、各特徴量の主効果と相互作用２３２の合計に等しい。

予測値２３３は、特徴量２２１を入力したときの予測器の出力である。理想的な予測器は、正解値２２２に等しい予測値２３３を出力する。以降の処理で用いるデータとして、正解値２２２との誤差が所定範囲内の予測値２３３をもつ事例データのみを用いてもよい。そのようにすることで、予測器の予測根拠がより明確になることが期待される。

処理Ｓ１４０では、各特徴量の主効果、相互作用の影響度を算出する。処理Ｓ１４０以降の処理は、説明データ２３０が準備されていれば実行可能である。説明データ２３０を準備するためには、分析対象となる予測器の入力となる特徴量ベクトルと、出力となる予測値があればよい。よって、別途第三者が予測器の入力データ（特徴量ベクトル）と出力データ（予測値）を提供した場合には、処理Ｓ１１０とＳ１２０は省略可能である。

図５で、ある相互作用の貢献度の例を示す。図５の（A）は、特徴量２と特徴量３の相互作用Φ_２３の貢献度をプロットしたものである。図５の（B）は、特徴量２と特徴量５の相互作用の貢献度Φ_２５をプロットしたものである。縦軸が貢献度であり、横軸は特徴量２の値ｚ_２である。いま説明データの数はＮなので、それぞれＮ個のプロットが示されることになる。図５(A）の特徴量２と特徴量３の相互作用は、０に近く貢献が小さいことがわかる。図５(B）の特徴量２と特徴量５の相互作用は、特徴量２と特徴量５の相互作用により異なる傾向の有意な貢献が表れることがわかる。特徴量２と特徴量５の相互作用は、例えば特徴量５の値に依存して、プラスの値とマイナスの値に分かれていることが推測される。

影響度の定性的な説明では、特徴量の貢献度の絶対値が大きければ、その特徴量の影響度が大きいといえる。

いま、説明対象のデータ集合を、
Ｚ＝｛ｚ^（１），…，ｚ^（Ｎ）｝
としたとき、
ｋ番目のデータである特徴量ベクトルｚ^（ｋ）∈Ｚに対する、各特徴量の主効果および相互作用の貢献度をΦ_ｉｊ ^（ｋ）とすると、一例として、各特徴量の主効果および相互作用の影響度行列Ψ_ｉｊは、以下の式６で示される。

（ただし、ｉ，ｊ∈｛１，…，ｍ｝、Ｎは説明対象のデータ数、ｍは特徴量数。）

図６は、影響度データを生成する処理Ｓ１４０の詳細を示すフロー図である。この処理は、主効果の貢献度および相互作用の貢献度からなる説明ベクトル、すなわち、説明データ２３０の主効果および相互作用２３２の値を用いて実行される。

処理Ｓ１４１で、説明データ２３０の行を示す行数カウンターＩを１に設定する。図４に示した説明データ２３０の行は１～Ｎである。処理Ｓ１４２で、説明データ２３０のＩ番目の行を読み出し、主効果または相互作用の貢献度を説明ベクトルとして影響度データに加算する。この処理を、処理Ｓ１４３の判定により、説明データ２３０の行の数Ｎまで繰り返えす。最終的に影響度データ（ベクトル）として説明データの積算値を得る。最後に処理Ｓ１４４で、積算値を説明データ数Ｎで除算して正規化し、主効果または相互作用の影響度を得る。もっとも、正規化の処理は省略してもよい。

図７は、影響度データ２４０の構成例を示す表図である。影響度データを行列形式で示す。縦軸と横軸はｍ個の特徴量を示しており、主効果Ψ_ｉｉの影響度は表の対角線上に配置されている。相互作用Ψ_ｉｊの影響度は、Ψ_ｉｊ＝Ψ_ｊｉとなる。

図８は、特徴量のグルーピングを行う処理Ｓ１５０の内容を説明するフロー図である。グルーピングは、影響度が無視できるグループＨに属する特徴量を抽出する処理Ｓ１５１と、グループＨに属する特徴量以外をグルーピングする処理Ｓ１５２に分かれる。

図９には、処理Ｓ１５０で特徴量のグルーピングを行う処理の概念を説明するため、影響度データ行列の模式図を示す。図７の影響度データ２４０に対応するものであり、縦および横方向に例としてｍ＝９個の特徴量を規定し、その主効果と相互作用Ψ_ｉｊ（ｉ，ｊは１～９の値）を図示している。特徴量の交点の升目において、影響度が比較的大きい主効果または相互作用は白く、影響度が比較的小さい（あるいは０の）主効果または相互作用はグレーもしくは黒で示されている。以下では、図９を参照しつつ処理Ｓ１５０の詳細を説明する。

図１０は、グループＨに属する特徴量を抽出する処理Ｓ１５１の詳細なフロー図を示す。処理Ｓ１５１１では、影響度データΨ_ｉｊの各要素（図７あるいは図９の升目に対応）に対し、所定閾値以下の要素を０に設定する。閾値はその都度与えてもよいし、予め設定しておいてもよい。

いま、図９の影響度データ２４０－１を、処理Ｓ１４０で算出した影響度データ（すなわち図７の影響度データに対応）とする。処理Ｓ１５１１では、所定閾値以下の影響度を持つ主効果または相互作用の影響度を０に設定する。この例では、影響度データ２４０－１のうち、灰色の升目の影響度が閾値以下とする。このため、影響度データ２４０－１は、影響度データ２４０－２のように影響度が０の升目（黒の升目）と影響度の値を持つ升目（白の升目）に２分化される。

このようにして、影響度の小さな主効果や相互作用を除去して、情報を整理することができる。なお、閾値を用いた情報の整理は、貢献度データの段階で行うこともできる。

次に処理Ｓ１５１２では、影響度データ２４０－２の行カウンターをｉ＝１に設定する。そして、処理Ｓ１５１２では、影響度Ψ_ｉｊがｊによらず全て０であれば、ｉ番目のインデックスを持つ特徴量をグループＨに加える。具体的には、データ上でグループＨを示すフラグを付せばよい。

この処理Ｓ１５１２を、処理Ｓ１５１４の判定により、影響度データ２４０－２の行の数Ｎまで繰り返えす。図９の例では、９行目まで繰り返すことになる。図９の場合、ｉ＝７の７番目の行（Ψ_７１～Ψ_７９）は影響度Ψ_ｉｊがｊによらず全て０であるため、ｉ＝７のインデックスを持つ特徴量がグループＨに属することになる。

図１１は、グループＨに属する特徴量以外をグルーピングする処理Ｓ１５２の詳細なフロー図を示す。処理Ｓ１５２１では、グループＨに属さない特徴量のインデックス（ｉ，ｊ）の集合をＬとする。図９の影響度データ２４０－２の例では、白い升目が集合Ｌを構成する。また、グループカウンタをＫ＝１に設定する。

処理Ｓ１５２２では、Ｌに属する最小のインデックスをＡ＝（ｉ，ｊ）とする。最小のインデックスの定義は任意だが、例えばｉの大きさで決定し、ｉが同じであればｊの大きさで決定する。図９の影響度データ２４０－２の例では、Ａ＝（１，１）である。

処理Ｓ１５２３では、影響度データに基づき、Ａと連結したインデックスの集合ＧＡを抽出する。Ａと連結したインデックスとは、Ａのインデックスの要素と同じ数を持つインデックスである。図９の影響度データ２４０－２の例では、Ａ＝（１，１）と連結したインデックスは（５，１）（８，１）（９，１）（１，５）（１，８）（１，９）である。

処理Ｓ１５２４では、ＧＡの要素を新たなグループＧ[Ｋ]に加える。そして、ＧＡの要素をＬから削除する。

判定の処理Ｓ１５２５では、集合Ｌが空になったかを判定し、空でなければ処理Ｓ１５２２に戻る。Ｌに属する最小のインデックスを抽出する。今回はＡ＝（２，２）となり、Ａと連結したインデックスは、（３，２）（６，２）（２，３）（２，６）である。同様の処理を繰り返し、集合Ｌが空になると処理Ｓ１５２は終了し、グループデータ２５０を記録する。

図１２は、グループデータ２５０の例を示す表図である。グループＫとして１～４のグループが抽出され、それぞれのグループに含まれる特徴量のインデックス集合は、
Ｇ[１]＝｛１，５，８，９｝
Ｇ[２]＝｛２，３，６｝
Ｇ[３]＝｛４｝
Ｇ[４]＝｛７｝＝Ｈ
となる。

以上の処理において、影響度Ψ_ｉｊをノード｛１，…，ｍ｝間の隣接行列とみなすことができる。特徴量（ノード）が隣接しているか否かに基づいてグルーピングすると、同一グループ内の特徴量は相互に隣接し、異なるグループ間の特徴量は非隣接となる。主効果および相互作用双方が低い特徴量は、閾値を用いてＨとして分離される。処理Ｓ１５１のグループＨの分離は、場合により省略してもよいが、後述のように最終的に人が結果を確認する場合、Ｈの分離によって、検討しなければならない特徴量を削減し、確認作業の負荷を大幅に低減することができる。

図９の影響度データ２４０－３は、グルーピングの結果を可視的に示すものである。グループＧ_１は、相互に有意な相互作用を示す特徴量１，５，８，９からなるグループである。グループＧ_２は、相互に有意な相互作用を示す特徴量２，３，６からなるグループである。グループＧ_３は、有意な相互作用がない特徴量４からなるグループである。Ｈは有意な主効果および相互作用を示す特徴量がない特徴量７からなるグループである。同一グループに属する複数の特徴量は、相互に有意な相互作用を及ぼしあう。このようなグルーピングにより、ＡＩが関連すると判断している特徴量を纏めることができる。このため、有識者がグルーピング結果を確認することにより、ＡＩの判断根拠を理解するための参考情報として用いることができる。

なお、図９の例では、特徴量の相互作用がある場合には必ず主効果があるが、特徴量によっては、相互作用だけがあり主効果がない可能性もある。

図１３は、グルーピングを行い、結果を表示するＧＵＩ（Graphical User Interface）の一例である。分析画面１３００は、識別器を特定する識別器設計データのファイル名１３０１、事例データのファイル名１３０２、および、グループＨの分離のための影響度に対する閾値１３０３を入力または選択できる。データ入力処理Ｓ１１０で、これらの入力または選択の後、分析実行ボタン１３０４を操作することにより、図１で説明した一連の処理が開始される。図１のグルーピング処理Ｓ１５０が終了すると、結果表示処理Ｓ１６０にて、グルーピング結果が分析画面１３００に表示される。

図１３の例では、グループデータ２５０に基づいて、図９、図１２で例示した４つのグループＧ_１～Ｇ_３およびＨが分離して表示されている。グループＧ_１の表示１３０５では、ノードとして特徴量１，５，８，９が示されている。ノードの横には、当該特徴量の影響度の主効果の数値が示されている。例えば特徴量１の主効果は５０である。また、特徴量のノードを接続するリンクには、影響度の相互作用の数値が示されている。例えば特徴量１と５の相互作用はプラス４０である。また、特徴量５と９の相互作用は３０である。これらの値は、影響度データ２４０を参照して得る。この表示により、ユーザは、識別機の中で特徴量が相互にどのように関係しているかを把握することができる。また、特徴量間の相互作用が相乗効果に働くか（図中＋記号）、相殺効果に働くか(図中－記号)を知ることができる。他のグループも同様であるが、グループＨの値は０になる。なお、影響度の代わりに貢献度のいずれかを表示することもできる。その場合は説明データ２３０の数値を用いる。

このように、グループごとに内容が表示されるので、ユーザはグループごとに理解することができ、予測器に内在する処理の全容の理解が容易になる。また、グループ名の横のかっこ内には、当該グループに係る影響度の主効果と相互作用の合計値を示している。この表示はグループ間を比較する指標として用いることができ、ユーザはどのグループが識別器の判断に影響が大きいかを知ることができる。ＧＵＩの機能としては、画面上のノードやリンクを選択することで、特徴量の詳細説明を表示するようにしてもよい。

図１４は、本実施例の処理を行うための計算機システム構成を示している。この計算機システムは一般的なコンピュータで構成することができる。コンピュータの一般的な構成と同様に、このシステムは入力装置、出力装置、処理装置、記憶装置を備えるが、図１４では一般的な構成は省略し、本実施例の処理のための機能ブロックとして示している。

本実施例では計算や制御等の機能は、記憶装置に格納されたプログラムが処理装置によって実行されることで、定められた処理を他のハードウェアと協働して実現される。計算機などが実行するプログラム、その機能、あるいはその機能を実現する手段を、「～部」と呼ぶ場合がある。

計算機システムは、複数の計算機１４１０、１４２０及び端末１４３０から構成される。複数の計算機１４１０、１４２０及び端末１４３０は、ネットワーク１４４０を介して互いに接続される。ネットワーク１４４０は、例えば、ＷＡＮ（Wide Area Network）あるいはＬＡＮ（Local Area Network）である。ネットワーク１４４０の接続方式は有線及び無線のいずれでもよい。もっとも、複数の計算機１４１０、１４２０及び端末１４３０は、一体型のサーバで構成してもよく、その場合にはネットワーク１４４０を介さなくてもよい。また、ネットワーク１４４０で接続される４つ以上の計算機で構成してもよい。

端末１４３０は、ユーザが操作する計算機である。端末１４３０は、例えば、パーソナルコンピュータ、スマートフォン、及びタブレット端末等である。端末１４３０は、ユーザの操作に基づいて、必要なデータ等の入出力を他の計算機１４１０、１４２０に指示する。

なお、端末１４３０は、処理装置、記憶装置、ネットワークインタフェース、入力装置、及び出力装置を備える。入力装置は、キーボード、マウス、及びタッチパネル等の装置であり、出力装置は、タッチパネル及びディスプレイ等の装置である。他の計算機１４１０、１４２０の構成も基本的に同様である。

計算機１４２０は、例えばデータベースサーバであり、各種データを管理する。具体的には、計算機１４２０は、予測器設計データベース（ＤＢ）１４２１、事例ＤＢ１４２２、説明ＤＢ１４２３、影響度ＤＢ１４２４、グループＤＢ１４２５を格納する。

予測器設計ＤＢ１４２１は、予測器設計データ２１０を格納する。事例ＤＢ１４２２は、事例データ２２０を格納する。説明ＤＢ１４２３は、説明データ２３０を格納する。影響度ＤＢ１４２４は、影響度データ２４０を格納する。グループＤＢ１４２５は、グループデータ２５０を格納する。

計算機１４１０は、図１で説明した各処理を実行する、例えばアプリケーションサーバである。計算機１４１０は、記憶装置に格納されたソフトウェアを処理装置が実行し、ハードウェアと協働することにより、入力部１４１１、予測機能構成部１４１２、説明データ生成部１４１３、影響度算出部１４１４、グルーピング部１４１５、結果表示部１４１６、予測器１４１７が実装される。

入力部１４１１は、データの入力処理Ｓ１１０を実行する。予測機能構成部１４１２は、予測機能を構成する処理Ｓ１２０を実行し、予測器１４１７を生成する。説明データ生成部１４１３は、説明データを生成する処理Ｓ１３０を実行する。影響度算出部１４１４は、影響度を算出する処理Ｓ１４０を実行する。グルーピング部１４１５は、グルーピングの処理Ｓ１５０を実行する。結果表示部１４１６は、分析画面１３００を端末１４３０に表示する。

本実施例において、予測器１４１７と称しているものは、狭義の予測に限らず、所定の処理を行って、所定の入力に対して所定の出力を行う分類器、識別器、推論器等の関数近似器一般を含むものとする。前述のように、その構成はハードウェア、ソフトウェアの別や種類を問わない。

以上の構成は、単体のコンピュータで構成してもよいし、あるいは、入力装置、出力装置、処理装置、記憶装置の任意の部分が、ネットワークで接続された他のコンピュータで構成されてもよい。

本実施例中、ソフトウェアで構成した機能と同等の機能は、ＦＰＧＡ（Field Programmable Gate Array）、ＡＳＩＣ（Application Specific Integrated Circuit）などのハードウェアでも実現できる。そのような態様も本願発明の範囲に含まれる。

上述の実施例において、制御線や情報線は、説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。全ての構成が相互に接続されていてもよい。

入力部：１４１１
予測機能構成部：１４１２
説明データ生成部：１４１３
影響度算出部：１４１４
グルーピング部：１４１５
結果表示部：１４１６
予測器：１４１７
予測器設計ＤＢ：１４２１
事例ＤＢ：１４２２
説明ＤＢ：１４２３
影響度ＤＢ：１４２４
グループＤＢ：１４２５。

Claims

ｍ個の特徴量を含む入力データに対する予測値を算出する予測器に、それぞれがｍ個の特徴量を含むＮ個の事例データのそれぞれを前記入力データとして入力し、前記予測器の予測値と前記ｍ個の特徴量の前記予測値に対する貢献度の主効果と相互作用を含む説明データを生成する説明データ生成部と、
前記Ｎ個の説明データから、前記ｍ個の特徴量の前記予測値に対する影響度の主効果と相互作用を含む単一の影響度データを生成する影響度算出部と、
前記影響度データに基づいて、前記特徴量を複数のグループに分割したグルーピングデータを生成するグルーピング部と、
を備える分析システム。
前記グルーピング部は、
前記相互作用を及ぼしあう特徴量を一つのグループにグルーピングする、
請求項１記載の分析システム。
前記グルーピング部は、
前記影響度データにおいて、所定閾値以下の値を持つ主効果および相互作用の値を０に変更する、
請求項１記載の分析システム。
結果表示部をさらに備え、
前記結果表示部は、
前記グルーピングデータに基づいて、前記特徴量を複数のグループに分離して表示する、
請求項１記載の分析システム。
前記結果表示部は、
前記グルーピングデータと前記影響度データに基づいて、前記影響度の主効果と前記影響度の相互作用を識別可能に表示する、
請求項４記載の分析システム。
前記結果表示部は、
前記グルーピングデータと前記影響度データに基づいて、前記影響度の主効果をノードとし、前記影響度の相互作用をリンクとして、ネットワーク形式で表示する、
請求項５記載の分析システム。
前記結果表示部は、
前記グルーピングデータと前記影響度データに基づいて、前記影響度の主効果と前記影響度の相互作用の合計値を、前記複数のグループごとに表示する、
請求項４記載の分析システム。
前記影響度算出部は、
前記Ｎ個の説明データの、前記ｍ個の特徴量の前記予測値に対する貢献度の主効果と相互作用の絶対値を、同じ種類の要素毎に積算し、前記Ｎで除算して前記影響度を算出する、
請求項１記載の分析システム。
前記説明データ生成部は、
ｍ個の特徴量を含む基準データの予測値と前記事例データの予測値の差分に対して、前記ｍ個の特徴量の貢献度の主効果と相互作用を含むＮ個の説明データを生成する、
請求項１記載の分析システム。
情報処理装置で実行される予測器の分析方法であって、
それぞれが複数の特徴量を含む複数の事例データのそれぞれに対する、前記予測器の予測値と前記複数の特徴量の前記予測値に対する貢献度の主効果と相互作用を含む説明データを生成する説明データ生成処理と、
前記複数の説明データから、前記複数の特徴量の前記予測値に対する影響度の主効果と相互作用を含む単一の影響度データを生成する影響度算出処理と、
前記影響度データに基づいて、前記特徴量を複数のグループに分割したグルーピングデータを生成するグルーピング処理と、
を行う分析方法。
前記グルーピング処理は、
前記相互作用を及ぼしあう特徴量を一つのグループにグルーピングする、
請求項１０記載の分析方法。
前記グルーピング処理は、
前記影響度データにおいて、所定閾値以下の値を持つ主効果および相互作用の値を無視する、
請求項１０記載の分析方法。
前記グルーピングデータに基づいて、前記特徴量を複数のグループに識別可能に表示する結果表示処理を行う、
請求項１０記載の分析方法。
前記結果表示処理は、
前記グルーピングデータと前記影響度データに基づいて、前記影響度の主効果と前記影響度の相互作用を異なる形態で表示する、
請求項１３記載の分析方法。
前記結果表示処理は、
前記グルーピングデータと前記影響度データに基づいて、前記影響度の主効果をノードとし、前記影響度の相互作用をリンクとして、ネットワーク形式で表示する、
請求項１４記載の分析方法。