JP7225874B2 - モデル出力プログラム、モデル出力方法及びモデル出力装置 - Google Patents

Description

本発明は、モデル出力プログラム、モデル出力方法及びモデル出力装置に関する。

機械学習の進展に伴って高性能の分類器が得られる一方で、分類結果が得られた理由を人間が検証することが困難であるという一面がある。

このような一面は、一例として、結果に対する説明責任が問われるミッションクリティカルな分野にディープラーニング等のニューラルネットを適用するのに妨げになる場合がある。

このことから、分類結果が得られる理由や根拠を説明する技術の一例として、ＬＩＭＥ（Local Interpretable Model-agnostic Explainations）と呼ばれるアルゴリズムが提案されている。

このＬＩＭＥのアルゴリズムでは、複雑なモデルの解析が困難であるという一面がある。このため、複雑なモデルを解析する側面から、ＬＩＭＥを利用して、分類器の出力を最大限近似できる少数の典型例が抽出される。

例えば、データｕの近傍において説明対象とする分類器ｆの出力との間で出力が局所的に近似するモデルｇが分類器ｆの解釈可能なモデルとして生成される。その上で、解釈可能モデルｇ及び分類器ｆの解析に用いる参照データの類似度と、分類器ｆ及び解釈可能モデルｇ間の出力の誤差との組合せ最適化問題を解くことにより、分類器ｆの出力との間で誤差が小さく、かつ少数の解釈可能モデルが典型例として抽出される。このような典型例を用いて分類に大きく寄与する要素が解析される。

Marco Tulio Ribeiro， Sameer Singh， Carlos Guestrin 「"Why Should I Trust You?"Explaining the Predictions of Any Classifier」

しかしながら、上記の技術では、典型例の抽出の計算コストが膨大になるという一面がある。

すなわち、上記の組合せ最適化問題は、解釈可能モデルの数をｎとしたとき、ｎ^３＋ｎ^２＋ｎ個の連立方程式に定式化される。このため、解釈可能モデルの数が多いほど計算コストが増大する。あくまで一例として、分類器ｆがディープラーニングである場合、解釈可能モデルＮは１０００個や２０００個などの規模となる。このため、たとえＧＰＵ（Graphics Processing Unit）等の並列計算機を用いたとしても、組合せ最適化問題の解が算出されるまでの期間が数日間といったオーダで長期化する。

１つの側面では、本発明は、典型例の抽出の計算コストを削減できるモデル出力プログラム、モデル出力方法及びモデル出力装置を提供することを目的とする。

一態様のモデル出力プログラムでは、コンピュータに、分類器の解析に用いるテストデータそれぞれについて、前記分類器に近似された複数の近似モデルそれぞれとの類似度および誤差を算出し、前記複数の近似モデルそれぞれについて、類似度が最も高いテストデータを特定し、前記複数の近似モデルそれぞれについて、前記類似度が最も高いテストデータと２番目に類似度の高い近似モデルを前記複数の近似モデルの中から特定し、前記複数の近似モデルそれぞれについての、前記最も類似の高いテストデータと２番目に類似度の高い近似モデルとの誤差に基づいて選択される、前記誤差が最も小さい近似モデルである除外対象モデルが除外された前記複数の近似モデルを出力する、処理を実行させる。

典型例の抽出の計算コストを削減できる。

図１は、実施例１に係るモデル出力装置の機能的構成の一例を示すブロック図である。 図２Ａは、元データの一例を示す図である。 図２Ｂは、グラフデータの一例を示す図である。 図２Ｃは、テンソルデータの一例を示す図である。 図３は、ディープテンソルの学習例を示す図である。 図４は、解釈可能モデルの生成方法の一例を示す図である。 図５Ａは、分類器ｆの分離境界面の一例を示す図である。 図５Ｂは、典型例のモデルセットの一例を示す図である。 図５Ｃは、解釈可能モデルのセットの一例を示す図である。 図６Ａは、類似度行列Ｓの一例を示す図である。 図６Ｂは、類似度行列Ｓの一例を示す図である。 図６Ｃは、誤差行列Ｅの一例を示す図である。 図７Ａは、類似度行列Ｓの一例を示す図である。 図７Ｂは、誤差行列Ｅの一例を示す図である。 図７Ｃは、誤差順位の集計値の一例を示す図である。 図７Ｄは、類似度行列Ｓの一例を示す図である。 図７Ｅは、誤差行列Ｅの一例を示す図である。 図７Ｆは、誤差順位の集計値の一例を示す図である。 図８Ａは、最適解の取りこぼし事例を示す図である。 図８Ｂは、最適解の取りこぼし事例を示す図である。 図９Ａは、類似度行列Ｓの一例を示す図である。 図９Ｂは、誤差量行列Ｆの一例を示す図である。 図１０Ａは、類似度行列Ｓの一例を示す図である。 図１０Ｂは、誤差量行列Ｆの一例を示す図である。 図１０Ｃは、誤差量行列Ｆの一例を示す図である。 図１０Ｄは、類似度行列Ｓの一例を示す図である。 図１１Ａは、誤差量行列Ｆの一例を示す図である。 図１１Ｂは、類似度行列Ｓの一例を示す図である。 図１２Ａは、誤差量行列Ｆの一例を示す図である。 図１２Ｂは、類似度行列Ｓの一例を示す図である。 図１３は、効果の一側面を説明する図である。 図１４は、実施例１に係る学習モデル生成処理の手順を示すフローチャートである。 図１５は、実施例１に係るモデル出力処理の手順を示すフローチャートである。 図１６は、実施例１及び実施例２に係るモデル出力プログラムを実行するコンピュータのハードウェア構成例を示す図である。

以下に添付図面を参照して本願に係るモデル出力プログラム、モデル出力方法及びモデル出力装置について説明する。なお、この実施例は開示の技術を限定するものではない。そして、各実施例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。

図１は、実施例１に係るモデル出力装置の機能的構成の一例を示すブロック図である。図１に示すモデル出力装置１０は、分類器ｆで分類結果が得られる理由や根拠を説明する説明機能の一環として、分類器ｆの出力との間で誤差が小さく、かつ小数の解釈可能モデルｇを典型例として出力するものである。

［分類器の一例］
以下、説明対象とする分類器ｆのあくまで一例として、ディープテンソルにより学習された学習済みモデルを例に挙げる。ここで言う「ディープテンソル」とは、グラフデータがテンソル化されたテンソルデータを入力とするディープラーニングを指す。

図２Ａ～図２Ｃを用いて、テンソル化の一例を挙げる。図２Ａは、元データの一例を示す図である。図２Ｂは、グラフデータの一例を示す図である。図２Ｃは、テンソルデータの一例を示す図である。

図２Ａには、元データのあくまで一例として、金融機関における取引データが示されている。図２Ａに示すように、取引データには、企業ＩＤ（IDentification）、取引先ＩＤ、取引時期および取引額などの項目が含まれる。

あくまで一例として、図２Ａに示す取引データを入力とし、取引先の企業の成長性、例えば今後の見込みの有無を分類結果として出力するモデルがディープテンソルにより学習される場合を例に挙げる。

この場合、図２Ａに示す取引データは、図２Ｂに示すように、値、すなわち取引先ＩＤ、取引時期および取引額を表すノードと、つながり（企業ＩＤ）を表すノードとの間の接続を示すグラフデータとして扱われる。さらに、図２Ｂに示すグラフデータは、図２Ｃに示すように、テンソルと呼ばれる数学上の概念を用いて、取引先ＩＤ、取引時期および取引額の値の組合せに対してつながり（企業ＩＤ）が存在するか否かを表現するテンソルデータへ変換される。

ここで、ディープテンソルでは、入力されるグラフデータのうち、分類に寄与する部分グラフ構造がコアテンソルとして自動的に抽出される。この抽出処理は、ニューラルネットワークの学習とともに、テンソルデータのテンソル分解のパラメータを学習することによって実現される。ここで言う「テンソル分解」とは、入力されたｎ階テンソルをｎ階以下のテンソルの積で近似する演算である。例えば、入力されたｎ階テンソルを１つのｎ階テンソル（コアテンソルと呼ばれる。）、および、より低階のｎ個のテンソル（ｎ＞２の場合、通常は２階のテンソル、つまり行列が用いられる。）の積で近似する。この分解は一意ではなく、入力されるテンソルデータが表すグラフ構造中の任意の部分グラフ構造をコアテンソルに含める事ができる。

図３は、ディープテンソルの学習例を示す図である。図３に示すように、ディープテンソルでは、取引先の企業に今後の見込みが有るか否かの正解ラベルが付与されたグラフデータ２１がモデルｆに入力される。このようなグラフデータ２１が入力されたモデルｆは、ターゲットコアテンソルｆ１を用いた構造制約テンソル分解によりグラフデータ２１をコアテンソル２３と要素行列に分解した上で、コアテンソル２１をニューラルネットｆ２へ入力する。なお、構造制約テンソル分解では、分類に寄与する特徴量が表現されたターゲットコアテンソルｆ１に類似するように、コアテンソル２３が算出される。

さらに、ディープテンソルでは、ニューラルネットｆ２が出力する分類結果と、正解ラベルとの間の分類誤差に基づいて、ニューラルネットｆ２に加えてターゲットコアテンソルｆ１の学習が行われる。すなわち、誤差逆伝搬法を拡張した拡張誤差伝搬法にしたがって、ニューラルネットｆ２が有する入力層、中間層、出力層に対して、分類誤差を下層に伝搬させる形で、分類誤差を小さくするようにニューラルネットｆ２の各種パラメータが更新される。さらに、ターゲットコアテンソルｆ１まで分類誤差を伝搬させ、分類に寄与するグラフの部分構造に近づくように、ターゲットコアテンソルｆ１のパラメータが更新される。この結果、ニューラルネットｆ２、ひいてはターゲットコアテンソルｆ１が最適化される。

［従来の典型例抽出］
背景技術の欄で説明した通り、上記の従来技術では、ＬＩＭＥを利用して、分類器の出力を最大限近似できる少数の典型例が抽出される。解釈可能モデルは、近似モデルの一例に対応する。

例えば、データｕの近傍において説明対象とする分類器ｆの出力との間で出力が局所的に近似するモデルｇを分類器ｆの解釈可能なモデルとして生成する。図４は、解釈可能モデルの生成方法の一例を示す図である。図４には、あくまで一例として、クラスＡ及びクラスＢの２値のクラス分類を行う分類器ｆの分離境界面が２次元の入力空間に模式化されている。これらクラスＡ及びクラスＢのうち、分類器ｆがクラスＡに分類するデータの領域が白の塗り潰しで示されると共に、分類器ｆがクラスＢに分類するデータの領域がハッチングで示されている。図４に示すように、入力空間上でデータｕとの距離ｄが閾値σ未満である範囲、すなわち図示の円の領域から近傍集合Ｖの要素ｖがサンプリングされる。そして、近傍集合Ｖの各要素ｖとｖの分類結果ｆ（ｖ）を学習データとし、データｕ近傍で分類器ｆに近似する解釈可能モデルｇが学習される。

ここで、説明対象とする分類器ｆが複雑であるほど多数のデータｕについて解釈可能モデルｇが生成される。図５Ａは、分類器ｆの分離境界面の一例を示す図である。図５Ｂは、典型例のモデルセットの一例を示す図である。図５Ｃは、解釈可能モデルのセットの一例を示す図である。これら図５Ｂ及び図５Ｃには、説明の対象とするデータｕがテンソル又は丸のマークで示されると共に、典型例または解釈可能モデルが破線で示されている。図５Ａに示すように、分類器ｆは、複雑な分類境界面を有する。この場合、図５Ｂに示す典型例のモデルセットを抽出する側面から、図５Ｃに示すように、大量の解釈可能モデルｇが生成される。

このように生成された大量の解釈可能モデルｇから、分類器ｆの出力との間で誤差が小さく、かつ少数の解釈可能モデルを典型例として抽出するために、上記の組合せ最適化問題が定式化される。すなわち、解釈可能モデルｇ及び分類器ｆの解析に用いる参照データの類似度と、分類器ｆ及び解釈可能モデルｇ間の出力の誤差との組合せ最適化問題を解くことにより、典型例のモデルセットが抽出される。なお、参照データは、説明機能に用いるテストデータの一例である。

［組合せ最適化問題に用いる行列］
このような組合せ最適化問題の計算には、類似度行列Ｓと、誤差行列Ｅまたは誤差量行列Ｆとが用いられる。これら類似度行列Ｓ、誤差行列Ｅ及び誤差量行列Ｆの「行」は、いずれも説明対象とする分類器ｆの解析に用いる参照データを指し、また、「列」は、解釈可能モデルｇを指す。当然のことながら、類似度行列Ｓ、誤差行列Ｅ及び誤差量行列Ｆの間で参照データ及び解釈可能モデルｇの順序は統一される。

類似度行列Ｓとは、参照データ及び解釈可能モデルの間の類似度を要素に持つ行列を指す。例えば、参照データごとに当該参照データに類似する解釈可能モデルほど高い順位を付与することにより、類似度行列Ｓが生成される。あくまで一例として、分類器ｆがディープテンソルにより学習された学習済みモデルである場合、参照データのコアテンソルと、解釈可能モデルｇのターゲットコアテンソルとの間で類似度が算出される。この場合、類似度の値が小さいほど参照データ及び解釈可能モデルの両者が類似することを意味する。なお、類似度がゼロである場合、参照データ及び解釈可能モデルが同一のデータであることを示す。

誤差量行列Ｆは、参照データが解釈可能モデルにより分類された分類結果と、参照データが説明対象とする分類器ｆにより分類された分類結果との分類誤差の量を要素に持つ行列である。例えば、分類器ｆがディープテンソルにより学習された学習済みモデルである場合、分類器ｆにより分類された分類結果と、解釈可能モデルにより分類された分類結果との分類誤差が誤差量として算出される。この誤差量行列Ｆでは、誤差量の値が小さいほど分類器ｆに近似された解釈可能モデルｇの誤差が小さいことを意味する。

誤差行列Ｅは、参照データが解釈可能モデルにより分類された分類結果と、参照データが説明対象とする分類器ｆにより分類された分類結果との分類誤差の量に基づいて付与された順位を要素に持つ行列である。例えば、分類器ｆがディープテンソルにより学習された学習済みモデルである場合、分類器ｆにより分類された分類結果に対する分類誤差が大きい解釈可能モデルｇほど高い順位が付与される。この誤差行列Ｅでは、順位が高い解釈可能モデルｇほど誤差が大きく、また、順位が低い解釈可能モデルｇほど誤差が小さいことを意味する。

［従来技術の課題の一側面］
しかしながら、上記の従来技術では、典型例の抽出の計算コストが膨大になるという課題がある。

すなわち、上記の組合せ最適化問題は、解釈可能モデルの数をｎとしたとき、ｎ^３＋ｎ^２＋ｎ個の連立方程式に定式化される。このため、解釈可能モデルの数が多いほど計算コストが増大する。あくまで一例として、分類器ｆがディープラーニングである場合、解釈可能モデルＮは１０００個や２０００個などの規模となる。このため、たとえＧＰＵ等の並列計算機を用いたとしても、組合せ最適化問題の解が算出されるまでの期間が数日間といったオーダで長期化する。

［参考技術１］
そこで、参考技術１では、近似アルゴリズムの一例として、上記の類似度行列Ｓまたは上記の誤差行列ＥにＧｒｅｅｄｙ法を適用する。例えば、参考技術１では、「よりよいものを残す」というＧｒｅｅｄｙ法の基本に従って類似度の順位が上位、例えば順位「０」又は「１」である参照データの数が多い解釈可能モデルを優先して抽出する。そして、参照技術１では、全ての参照データについて類似度の順位が「０」又は「１」である解釈可能モデルを抽出するという終了条件１、あるいは所定数、例えば２つの典型例のモデルを抽出するという終了条件２を満たすまで典型例の抽出を継続する。このような参考技術１によれば、組合せ最適化問題ではｎ^３＋ｎ^２＋ｎ個の連立方程式であった計算コストをｎ×参照データ数の行列操作まで削減できる。

［参考技術１の課題の一側面］
しかしながら、上記の参考技術１では、１つの観点で高評価である解釈可能モデルしか典型例として抽出することができないので、複数の観点で高評価である解釈可能モデルを典型例として抽出することができない場合がある。例えば、上記の類似度行列ＳにＧｒｅｅｄｙ法を適用する場合、抽出された典型例には誤差の観点が考慮されず、また、上記の誤差行列ＥにＧｒｅｅｄｙ法を適用する場合、抽出された典型例には類似度の観点が考慮されない。

図６Ａ～図６Ｃを用いて、上記の類似度行列ＳにＧｒｅｅｄｙ法が適用される場合の課題について説明する。なお、図６Ａ～図６Ｃには、あくまで一例として、５行５列の行列を例に挙げるが、参照データおよび解釈可能モデルは任意の数であってかまわない。

図６Ａ及び図６Ｂは、類似度行列Ｓの一例を示す図である。図６Ａ及び図６Ｂには、類似度行列Ｓの要素のうち順位が「０」または「１」である要素が点模様のハッチングで示されている。図６Ａに示すように、類似度の順位が「０」又は「１」である参照データの個数は、１列目の解釈可能モデルから順に、１個、３個、２個、２個、２個である。この場合、類似度の順位が「０」又は「１」である参照データの個数が最多の３個である２列目の解釈可能モデル★が典型例として抽出される。この段階では、典型例が１つしか抽出されていないので、典型例の抽出が継続される。

このように２列目の解釈可能モデル★が抽出された場合、２列目の解釈可能モデル★で類似度の順位が「０」又は「１」でない参照データを対象に、類似度の順位が「０」又は「１」である参照データの個数が参照される。

図６Ｂでは、典型例として抽出された２列目の解釈可能モデル★において類似度の順位が「０」又は「１」であった参照データの行、すなわち類似度行列Ｓの１行目、２行目及び５行目が塗りつぶされている。このように塗りつぶされた参照データ、すなわち１行目、２行目及び５行目の参照データを除外して、３行目及び４行目の参照データを対象に、類似度の順位が「０」又は「１」である参照データの個数が参照される。

図６Ｂに示すように、類似度の順位が「０」又は「１」である参照データの個数は、次の通りとなる。すなわち、１列目の解釈可能モデルは０個、３列目の解釈可能モデルは１個、４列目の解釈可能モデルは２個、５列目の解釈可能モデルは１個となる。この場合、類似度の順位が「０」又は「１」である参照データの個数が最多の２個である４列目の解釈可能モデル☆が典型例として抽出される。このように、２列目の解釈可能モデル★及び４列目の解釈可能モデル☆が抽出された段階で所定数の一例である２個に達するので、この段階で典型例の抽出が終了する。

このように抽出された２列目の解釈可能モデル★及び４列目の解釈可能モデル☆は、参照データ及び解釈可能モデルの類似度という一面では高評価であったとしても、必ずしも誤差という側面から高評価であるとは限らない。

図６Ｃは、誤差行列Ｅの一例を示す図である。図６Ｃに示す誤差行列Ｅの要素のうち、図６Ａに示す類似度行列Ｓで類似度の順位が「０」または「１」である要素に対応する要素が点模様のハッチングで示されている。

図６Ｃに示すように、２列目の解釈可能モデルでは、１行目、２行目及び５行目の参照データとの類似度の順位が「０」または「１」であるが、１行目、２行目及び５行目の参照データにおける誤差順位の総和が「８」である。また、４列目の解釈可能モデルでは、３行目及び４行目の参照データとの類似度の順位が「０」または「１」であるが、３行目及び４行目の参照データにおける誤差順位の総和が「８」である。

これら２列目の解釈可能モデル及び４列目の解釈可能モデルに比べて、３列目の解釈可能モデルでは、類似度の順位が「０」または「１」である２行目及び４行目の参照データにおける誤差順位の総和が「９」である。また、５列目の解釈可能モデルでは、類似度の順位が「０」または「１」である４行目及び５行目の参照データにおける誤差順位の総和が「９」である。

このように、誤差という側面で言えば、２列目及び４列目の解釈可能モデルは、３列目及び５列目の解釈可能モデルよりも低評価である。このため、類似度および誤差の両方の観点から言えば、図６Ｂに☆および★のマークで示す２列目及び４列目の解釈可能モデルを抽出するよりも、図６Ｃに☆および★のマークで示す３列目及び５列目の解釈可能モデルを典型例として抽出する方が良いことがわかる。

［参考技術２］
そこで、参考技術２では、類似度行列Ｓ又は誤差行列ＥにＧｒｅｅｄｙ法を適用することにより他方の誤差行列Ｅ又は類似度行列Ｓで誤差順位又は類似度を参照する要素を絞り込んで誤差順位又は類似度の集計値が高評価の解釈可能モデルを典型例として抽出する。例えば、参考技術２では、類似度が「０」又は「１」の上位となる参照データの誤差順位の総和が最大である解釈可能モデルを優先して抽出する。そして、参照技術２でも、全ての参照データについて類似度の順位が「０」又は「１」である解釈可能モデルを抽出するという終了条件１、あるいは所定数、例えば２つの典型例のモデルを抽出するという終了条件２を満たすまで典型例の抽出を継続する。このような参考技術２によれば、参考技術１と同様、計算コストをｎ×参照データ数の行列操作まで削減できると共に、参考技術１よりも典型例の抽出精度を高めることができる。

図７Ａ～図７Ｆを用いて、参考技術２による典型例の抽出方法の一例を説明する。図７Ａ及び図７Ｄは、類似度行列Ｓの一例を示す図である。図７Ｂ及び図７Ｅは、誤差行列Ｅの一例を示す図である。図７Ｃ及び図７Ｆは、誤差順位の集計値の一例を示す図である。これら図７Ａ～図７Ｆのうち、図７Ａ～図７Ｃを用いて１つ目の解釈可能モデルが抽出される過程を説明し、図７Ｄ～図７Ｆを用いて２つ目の解釈可能モデルが抽出される過程を説明する。なお、図７Ａ及び図７Ｄに示す類似度行列Ｓは、図６Ａ及び図６Ｂに示す類似度行列Ｓと同一であると共に、図７Ｂ及び図７Ｅに示す誤差行列Ｅは、図６Ｃに示す誤差行列Ｅと同一である。

まず、図７Ａに示すように、類似度行列Ｓの要素のうち類似度の順位が「０」又は「１」である要素、すなわち点模様のハッチングで示す要素を識別する。続いて、図７Ｂに示すように、誤差行列Ｅの要素のうち、類似度行列Ｓで類似度の順位が「０」又は「１」であると識別された要素に対応する要素、すなわち斜線のハッチングで示す要素と、それ以外の要素とを区別して誤差順位を解釈可能モデルごとに集計する。

これによって、図７Ｃに示すように、解釈可能モデルごとに、当該解釈可能モデルとの類似度の順位が「０」又は「１」の上位である参照データの誤差順位の集計値が１列目から順に「５」、「８」、「９」、「８」、「９」として得られる。例えば、１列目の解釈可能モデルの例で言えば、図７Ｂの誤差行列の１列目のうち斜線のハッチングで示された１行目の要素の誤差順位「５」がそのまま誤差順位の集計値となる。また、２列目の解釈可能モデルの例で言えば、図７Ｂの誤差行列の２列目のうち斜線のハッチングで示された１行目、２行目及び５行目の要素の誤差順位「１」、「５」及び「２」が集計されることにより誤差順位の集計値は「８」となる。以降の３列目～５列目の解釈可能モデルにおいても、同様の計算によって類似度の順位が上位である参照データの誤差順位の集計値が得られる。

さらに、図７Ｃに示すように、解釈可能モデルごとに、当該解釈可能モデルとの類似度の順位が「２」以下の下位である参照データの誤差順位の集計値が１列目から順に「１４」、「３」、「５」、「７」、「７」として得られる。例えば、１列目の解釈可能モデルの例で言えば、図７Ｂの誤差行列の１列目のうち斜線のハッチングがない２行目～５行目の要素の誤差順位「３」、「４」、「３」及び「４」が集計されることにより、誤差順位の集計値は「１４」となる。また、２列目の解釈可能モデルの例で言えば、図７Ｂの誤差行列の２列目のうち斜線のハッチングがない３行目及び４行目の要素の誤差順位「２」及び「１」が集計されることにより誤差順位の集計値は「３」となる。以降の３列目～５列目の解釈可能モデルにおいても、同様の計算によって類似度の順位が下位である参照データの誤差順位の集計値が得られる。

その上で、類似度の順位が上位である参照データの誤差順位の集計値のうち、最大値を有する解釈可能モデルが抽出される。例えば、図７Ｃの例で言えば、最大値「９」が観測される３行目及び５行目の２つの解釈可能モデルが抽出される。このように複数の解釈可能モデルで最大値が観測される場合、類似度の順位が下位である参照データの誤差順位の集計値がさらに最大値である解釈可能モデルが抽出される。例えば、図７Ｃの例で言えば、５列目の解釈可能モデルでは、類似度の順位が下位である参照データの誤差順位の集計値が「７」である一方で、３列目の解釈可能モデルでは、類似度の順位が下位である参照データの誤差順位の集計値が「５」である。このため、３列目及び５列目の２つの解釈可能モデルのうち、最大値「７」が観測される５列目の解釈可能モデル★が典型例として抽出される。

この段階では、４行目及び５行目の参照データでしか類似度の順位が「０」又は「１」の上位である解釈可能モデルが抽出されておらず、かつ典型例が所定数「２」になっていないので、典型例の抽出が継続される。

このように５列目の解釈可能モデルが抽出された場合、５列目の解釈可能モデルで類似度の順位が「０」又は「１」の上位でない参照データを対象に、類似度の順位が「０」又は「１」の上位である参照データの個数が参照される。

図７Ｄでは、典型例として抽出された５列目の解釈可能モデルにおいて類似度の順位が「０」又は「１」の上位であった参照データの行、すなわち類似度行列Ｓの４行目及び５行目が塗りつぶされている。さらに、図７Ｄでは、典型例として抽出済みである解釈可能モデルの行、すなわち類似度行列Ｓの５列目が塗りつぶされている。このように塗りつぶされた要素が除外された類似度行列Ｓの残りの要素を対象に、類似度の順位が「０」又は「１」の上位である要素、すなわち点模様のハッチングで示す要素を識別する。

続いて、図７Ｅに示すように、塗りつぶされた要素が除外されて残った誤差行列Ｅの要素のうち、図７Ｄに示す類似度行列Ｓで類似度の順位が「０」又は「１」の上位であると識別された要素に対応する要素、すなわち斜線のハッチングで示す要素と、それ以外の要素とを区別して誤差順位を解釈可能モデルごとに集計する。

これによって、図７Ｆに示すように、解釈可能モデルごとに、当該解釈可能モデルとの類似度の順位が「０」又は「１」の上位である参照データの誤差順位の集計値が１列目から順に「５」、「６」、「９」、「３」として得られる。例えば、１列目の解釈可能モデルの例で言えば、図７Ｅの誤差行列の１列目のうち斜線のハッチングで示された１行目の要素の誤差順位「５」がそのまま誤差順位の集計値となる。また、２列目の解釈可能モデルの例で言えば、図７Ｅの誤差行列の２列目のうち斜線のハッチングで示された１行目及び２行目の要素の誤差順位「１」及び「５」が集計されることにより誤差順位の集計値は「６」となる。以降の３列目～４列目の解釈可能モデルにおいても、同様の計算によって類似度の順位が上位である参照データの誤差順位の集計値が得られる。

さらに、図７Ｆに示すように、解釈可能モデルごとに、当該解釈可能モデルとの類似度の順位が「２」以下の下位である参照データの誤差順位の集計値が１列目から順に「７」、「２」、「２」、「４」として得られる。例えば、１列目の解釈可能モデルの例で言えば、図７Ｅの誤差行列の１列目のうち斜線のハッチングがない２行目及び３行目の要素の誤差順位「３」及び「４」が集計されることにより、誤差順位の集計値は「７」となる。また、２列目の解釈可能モデルの例で言えば、図７Ｅの誤差行列の２列目のうち斜線のハッチングがない３行目の要素の誤差順位「２」がそのまま誤差順位の集計値となる。以降の３列目～４列目の解釈可能モデルにおいても、同様の計算によって類似度の順位が下位である参照データの誤差順位の集計値が得られる。

その上で、類似度の順位が上位である参照データの誤差順位の集計値のうち、最大値を有する解釈可能モデルが抽出される。例えば、図７Ｆの例で言えば、最大値「９」が観測される３行目の解釈可能モデル☆が典型例として抽出される。

このように、参考技術２では、類似度および誤差の両方の観点で解釈可能モデルを抽出するので、参考技術１で抽出できなかった３列目及び５列目の解釈可能モデルを典型例として抽出することができる。したがって、参考技術２によれば、参考技術１に比べて典型例の抽出精度を高めることができる。

［参考技術２の課題の一側面］
しかしながら、上記の参考技術２では、類似度行列Ｓ又は誤差行列Ｅの一方にＧｒｅｅｄｙ法が適用された時点で他方の誤差行列Ｅ又は類似度行列Ｓの最適解が取りこぼされる事例が発生するので、典型例の抽出精度が低下する場合がある。

図８Ａ及び図８Ｂを用いて、類似度行列ＳにＧｒｅｅｄｙ法が適用された時点で他方の誤差行列Ｅの最適解が切り捨てられる事例を説明する。図８Ａ及び図８Ｂは、最適解の取りこぼし事例を示す図である。このうち、図８Ａには、参考技術２により類似度行列ＳにＧｒｅｅｄｙ法が適用される事例が示される一方で、図８Ｂには、参考技術２で取りこぼされる最適解の一例が示されている。

図８Ａに示すように、参考技術２では、類似度行列Ｓの要素のうち類似度の順位が「０」又は「１」である要素、すなわち点模様のハッチングで示す要素が識別される。続いて、参考技術２では、誤差行列Ｅの要素のうち、類似度行列Ｓで類似度の順位が「０」又は「１」であると識別された要素に対応する要素、すなわち斜線のハッチングで示す要素と、それ以外の要素とを区別して誤差順位が解釈可能モデルの列ごとに集計される。この結果、参考技術２では、類似度の順位が上位である参照データの誤差順位の集計値のうち、最大値「１２」を有する１列目の解釈可能モデル□が典型例として抽出される。

ところが、参考技術２では、類似度行列Ｓで類似度の順位が「０」又は「１」の上位であると識別された要素以外の要素がＧｒｅｅｄｙ法により切り捨てられる。このため、類似度行列Ｓで切り捨てられた要素の中に誤差行列Ｅで誤差順位が低い、言い換えれば誤差順位の値が大きい要素が存在する場合、誤差行列Ｅで最適解の取りこぼしが発生する。

図８Ｂには、類似度行列ＳにＧｒｅｅｄｙ法が適用されることにより切り捨てられる要素のうち誤差行列Ｅで最適解に寄与する要素を縦線のハッチングで示す。さらに、図８Ｂには、１列目の解釈可能モデルが典型例として抽出されないという仮定の下で、縦線のハッチングで示された要素の誤差順位が斜線のハッチングで示された要素の誤差順位と共に集計される例が示されている。この場合、誤差順位の集計値のうち、斜線および縦線のハッチングで示された要素の誤差順位が集計された集計値は、１列目の解釈可能モデルから順に、「１２」、「１６」、「１６」、「＊」となる。

このように、誤差行列Ｅに縦線のハッチングで示された要素が誤差順位の集計対象とされることにより、最大値が観測される解釈可能モデルが１列目から２列目及び３列目へ変化する。他方、１列目の解釈可能モデルが抽出される場合と、２列目及び３列目の解釈可能モデルが抽出される場合との間で類似度には差が殆どない。例えば、縦線のハッチングで示された要素が属する３行目から６行目までの参照データに関し、前者と後者で類似度行列Ｓにおける類似度の順位を比較しても、３行目から６行目までの各行で１つしか類似度の順位は変わらない。したがって、類似度行列ＳにＧｒｅｅｄｙ法が適用された時点で誤差行列Ｅに縦線のハッチングで示された要素の誤差順位が集計対象から切り捨てられることにより、最適解である２列目及び３列目の解釈可能モデルが取りこぼされることを意味する。

［従来技術及び参考技術１～２における課題の解決アプローチの一側面］
そこで、本実施例では、「よりよいものを残す」というＧｒｅｅｄｙ法の考えに、「より不要なものを優先的に削除する」という消去法の観点を追加した消去法的Ｇｒｅｅｄｙ法を用いる。

すなわち、消去法的Ｇｒｅｅｄｙ法では、説明対象の分類器に局所近似された複数の解釈可能モデルごとに当該解釈可能モデルと最も類似するテストデータとの間で次に類似する次点の解釈可能モデルを特定し、次点の解釈可能モデルの分類誤差との差が最小である解釈可能モデルを除外して残る解釈可能モデルを典型例として出力する。なお、消去法的Ｇｒｅｅｄｙ法のアルゴリズムの詳細については図９～図１５を用いて後述する。

このように、次点の解釈可能モデルの分類誤差との差が最小である解釈可能モデルを除外することで、除外の影響が大きい解釈可能モデルを最終まで残すことができる可能性を高める。この結果、一般のＧｒｅｅｄｙ法を適用する場合のように、類似度行列Ｓ又は誤差行列Ｅの一方にＧｒｅｅｄｙ法が適用された時点で他方の誤差行列Ｅ又は類似度行列Ｓの最適解が取りこぼされる事例が発生するのを抑制する。

したがって、消去法的Ｇｒｅｅｄｙ法によれば、参考技術１及び参考技術２と同様、計算コストをｎ×参照データ数の行列操作まで削減できると共に、従来技術、参考技術１及び参考技術２よりも典型例の抽出精度を高めることができる。

［モデル出力装置１０の構成］
図１に示すように、モデル出力装置１０は、学習部１１と、生成部１３と、第１算出部１５と、第２算出部１６と、特定部１７と、除外部１８と、出力部１９とを有する。なお、モデル出力装置１０は、図１に示す機能部以外にも既知のコンピュータが有する各種の機能部、例えば各種の入力デバイスや音声出力デバイスの他、外部装置との間で通信を行うインタフェイスに対応する機能部を有することとしてもかまわない。

図１に示す学習部１１、生成部１３、第１算出部１５、第２算出部１６、特定部１７、除外部１８及び出力部１９などの機能部は、あくまで例示として、下記のハードウェアプロセッサにより仮想的に実現される。このようなプロセッサの例として、ＧＰＧＰＵやＧＰＵクラスタの他、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）などが挙げられる。すなわち、プロセッサがＲＡＭ（Random Access Memory）等のメモリ上に参考技術１、参考技術２または消去法的Ｇｒｅｅｄｙ法を実現するモデル出力プログラムをプロセスとして展開することにより、上記の機能部が仮想的に実現される。ここでは、プロセッサの一例として、ＧＰＧＰＵやＧＰＵクラスタ、ＣＰＵ、ＭＰＵを例示したが、汎用型および特化型を問わず、任意のプロセッサにより上記の機能部が実現されることとしてもかまわない。この他、上記の機能部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などのハードワイヤードロジックによって実現されることを妨げない。

また、図１に示す学習データ１１Ａ、参照データ１１Ｂ、学習モデル１２及び解釈可能モデル１４などの各データは、あくまで一例として、ＨＤＤ（Hard Disk Drive）、光ディスクやＳＳＤ（Solid State Drive）などのストレージに保存される。なお、上記の各データは、必ずしもストレージに保存されずともよく、各種の半導体メモリ素子、例えばＲＡＭ、ＥＰＰＲＯＭやフラッシュメモリなどに保存させることもできる。

学習部１１は、学習データ１１Ａを用いて分類器を学習する処理部である。

一実施形態として、学習部１１は、図示しないストレージから学習データ１１Ａを読み出す。例えば、学習データ１１Ａには、図２Ａに例示された元データ又は図２Ｂに例示されたグラフデータごとに正解のラベルが付与された学習サンプルのデータセットなどが対応する。そして、学習部１１は、学習データ１１Ａに含まれる学習サンプルごとに、グラフデータのテンソル化、ターゲットコアテンソルｆ１を用いた構造制約テンソル分解、ニューラルネットｆ２へのコアテンソルの入力、拡張誤差伝搬法によるターゲットコアテンソルｆ１及びニューラルネットｆ２のパラメータの更新を実行する。これによって、ニューラルネットｆ２及びターゲットコアテンソルｆ１が最適化された学習済みモデルが得られる。このようにして得られた学習済みモデルが学習モデル１２としてストレージに保存される。

生成部１３は、上記の解釈可能モデル１４を生成する処理部である。ここでは、あくまで一例として、説明対象とする分類器ｆとして学習モデル１２が用いられる例を挙げて説明する。

一実施形態として、生成部１３は、学習部１１により学習モデル１２が生成された時点以降の任意の時点で解釈可能モデルを生成できる。例えば、生成部１３は、ＬＩＭＥのアルゴリズムに従ってデータｕの近傍において学習モデル１２の出力との間で出力が局所的に近似するモデルｇを解釈可能モデルとして生成する。この解釈可能モデルは、あくまで一例として、図５Ｂに示す典型例の候補とする側面から図５Ｃに例示された要領で生成できる。このようにして得られた複数の解釈可能モデルが解釈可能モデル１４としてストレージに保存される。

第１算出部１５は、参照データ及び解釈可能モデルの間の類似度を算出する処理部である。

一実施形態として、第１算出部１５は、生成部１３により解釈可能モデル１４が生成された時点以降の任意の時点で上記の類似度を算出できる。例えば、第１算出部１５は、図示しないストレージから参照データ１１Ｂおよび解釈可能モデル１４を読み出す。このうち、参照データ１１Ｂには、一例として、図２Ａに例示された元データ又は図２Ｂに例示されたグラフデータなどの参照データのデータセットが対応する。ここで言う「参照データ」には、学習データ１１Ａに含まれる学習サンプルとは異なるデータが用いられることとする。あくまで一例として、学習モデル１２の機械学習サービスに加入する加入者から提供されるデータセットのうち一部を学習データ１１Ａとして用いると共に残りを参照データ１１Ｂとして用いることができる。

ここで、第１算出部１５は、参照データ１１Ｂに含まれる参照データ及び解釈可能モデル１４に含まれる解釈可能モデルの全ての組合せに関し、上記の類似度を算出する。例えば、第１算出部１５は、参照データのコアテンソルと、解釈可能モデルのターゲットコアテンソルとの間で内積やコサイン類似度などの類似度を算出する。その上で、第１算出部１５は、参照データごとに当該参照データに類似する解釈可能モデルほど低い順位を付与する。これによって、類似度行列Ｓが生成される。

第２算出部１６は、学習モデル及び解釈可能モデルの間における参照データの分類誤差を算出する処理部である。

一実施形態として、第２算出部１６は、生成部１３により解釈可能モデル１４が生成された時点以降の任意の時点で上記の分類誤差を算出できる。すなわち、第２算出部１６は、参照データ１１Ｂに含まれる参照データ及び解釈可能モデル１４に含まれる解釈可能モデルの全ての組合せに関し、上記の分類誤差を算出する。例えば、第２算出部１６は、学習モデル１２が参照データの分類結果として出力するラベルの確信度と、解釈可能モデルが参照データの分類結果として出力するラベルの確信度との差を誤差量として算出する。これによって、誤差量行列Ｆや誤差行列Ｅが生成される。

特定部１７は、解釈可能モデルごとに当該解釈可能モデルの除外時に残りの解釈可能モデルが影響を受ける分類誤差の度合いを影響度として算出する。なお、特定部１７は、第１特定部および第２特定部の一例に対応する。

一実施形態として、特定部１７は、第１算出部１５により類似度が算出され、かつ第２算出部１６により分類誤差が算出された時点以降の任意の時点で上記の影響度を算出できる。例えば、特定部１７は、解釈可能モデル１４に含まれる複数の解釈可能モデルのうち未選択の解釈可能モデルを１つ選択する。続いて、特定部１７は、上記の類似度行列Ｓを参照して、選択中の解釈可能モデルとの類似度が最大である参照データを特定する。そして、特定部１７は、先に特定された参照データとの類似度が選択中の解釈可能モデルの次に高い次点の解釈可能モデルを特定する。その上で、特定部１７は、選択中の解釈可能モデルの誤差量と、次点の解釈可能モデルの誤差量とに基づいて選択中の解釈可能モデルの影響度を算出する。

除外部１８は、複数の解釈可能モデルのうち影響度が最小である解釈可能モデルを除外する処理部である。

一実施形態として、除外部１８は、特定部１７により全ての解釈可能モデルごとに影響度が算出された場合、複数の解釈可能モデルのうち影響度が最小である解釈可能モデルを除外する。その後、除外部１８は、除外により残った解釈可能モデルが所定数になるまで、残った解釈可能モデルごとに影響度を算出する処理を特定部１７に実行させた上で影響度が最小である解釈可能モデルを除外する処理を繰り返す。

出力部１９は、解釈可能モデルを典型例として出力する処理部である。

一実施形態として、出力部１９は、除外部１８による除外の結果、残りの解釈可能モデルが所定数になった場合、残りの解釈可能モデルを所定の出力先へ出力する。例えば、出力先の一例として、解釈可能モデルのうち分類に大きく寄与する要素、例えばニューラルネットｆ２のうち重みやバイアスが閾値を超えるニューロン、あるいは参照データとして入力されるグラフデータのうち密度が閾値を超える部分構造を解析するモジュールが挙げられる。このようなモジュールの出力を表示することにより、分類結果が得られる理由や根拠を説明するレポートの作成を支援することができる。

［消去法的Ｇｒｅｅｄｙ法の動作例］
次に、図９～図１２を用いて、消去法的Ｇｒｅｅｄｙ法の動作例について説明する。図９Ａは、類似度行列Ｓの一例を示す図である。図９Ｂは、誤差量行列Ｆの一例を示す図である。

ここでは、図９Ａ及び図９Ｂに示すように、５行５列の類似度行列Ｓ及び誤差量行列Ｆを用いる場合の動作例を説明する。図９Ａに示す類似度行列Ｓ及び図９Ｂに示す誤差量行列Ｆの「行」は、いずれも説明対象とする分類器ｆの解析に用いる参照データを指し、また、「列」は、解釈可能モデルｇを指す。さらに、図９Ａに示す類似度行列Ｓ及び図９Ｂに示す誤差量行列Ｆでは、１行目から５行目までの参照データの各々をデータ１～データ５と識別し、１列目から５列目までの解釈可能モデルの各々をモデルａ～モデルｅと識別する。

図１０Ａ、図１０Ｄ、図１１Ｂ及び図１２Ｂは、類似度行列Ｓの一例を示す図である。図１０Ｂ、図１０Ｃ、図１１Ａ及び図１２Ａは、誤差量行列Ｆの一例を示す図である。これら図１０～図１２の各図のうち、図１０Ａ～図１０Ｄを用いて１つ目の解釈可能モデルが除外される過程を説明し、図１１Ａ及び図１１Ｂを用いて２つ目の解釈可能モデルが除外される過程を説明し、その後、図１２Ａ及び図１２Ｂを用いて３つ目の解釈可能モデルが除外される過程を説明する。

まず、図９Ａに示す類似度行列Ｓに含まれる解釈可能モデルのうちいずれか１つを選択することにより、除外を検討する解釈可能モデル、言い換えれば影響度の算出対象とする解釈可能モデルが選択される。図１０Ａには、一例として、図９Ａに示すモデルａ～モデルｅのうちモデルａが選択された例が示されており、選択中のモデルａに対応する１列目の列が塗りつぶしで示されている。

このように選択中の解釈可能モデルがモデルａである場合、図１０Ａに示す類似度行列Ｓのうち１列目の各要素が有する類似度を参照して、モデルａとの類似度が最大であるデータ１が特定される。そして、先に特定したデータ１との類似度が選択中のモデルａの類似度「０」の次に高い類似度「１」を持つ次点のモデルｂが特定される。

その上で、誤差量行列Ｆを参照して、選択中のモデルａの誤差量と、次点のモデルｂの誤差量とに基づいてモデルａ除外時の影響度が算出される。図１０Ｂには、選択中のモデルａの要素のうちデータ１に対応する誤差量行列Ｆの１行１列目の要素と、次点のモデルｂの要素のうちデータ１に対応する誤差量行列Ｆの１行２列目の要素とが楕円で囲んで示されている。これら誤差量行列Ｆの１行１列目の要素及び誤差量行列Ｆの１行２列目の要素の間で誤差量の差を計算することにより、モデルａ除外時の影響度が「１０（＝１０－０）」と算出される。

以後、類似度行列Ｓに含まれる全ての解釈可能モデルが選択されるまで、影響度の算出が繰り返される。

例えば、モデルｂが除外を検討する解釈可能モデルとして選択された場合、図１０Ａに示す類似度行列Ｓのうち２列目の各要素が有する類似度を参照して、モデルｂとの類似度が最大であるデータ２が特定される。そして、先に特定したデータ２との類似度が選択中のモデルｂの類似度「０」の次に高い類似度「１」を持つ次点のモデルｃが特定される。その上で、図１０Ｃに示すように、選択中のモデルｂの要素のうちデータ２に対応する誤差量行列Ｆの２行２列目の要素と、次点のモデルｃの要素のうちデータ２に対応する誤差量行列Ｆの２行３列目の要素との間で誤差量の差を計算することにより、モデルｂ除外時の影響度が「１（＝１－０）」と算出される。

次に、モデルｃが除外を検討する解釈可能モデルとして選択された場合、図１０Ａに示す類似度行列Ｓのうち３列目の各要素が有する類似度を参照して、モデルｃとの類似度が最大であるデータ３が特定される。そして、先に特定したデータ３との類似度が選択中のモデルｃの類似度「０」の次に高い類似度「１」を持つ次点のモデルｄが特定される。その上で、図１０Ｃに示すように、選択中のモデルｃの要素のうちデータ３に対応する誤差量行列Ｆの３行３列目の要素と、次点のモデルｄの要素のうちデータ３に対応する誤差量行列Ｆの３行４列目の要素との間で誤差量の差を計算することにより、モデルｃ除外時の影響度が「６（＝６－０）」と算出される。

次に、モデルｄが除外を検討する解釈可能モデルとして選択された場合、図１０Ａに示す類似度行列Ｓのうち４列目の各要素が有する類似度を参照して、モデルｄとの類似度が最大であるデータ４が特定される。そして、先に特定したデータ４との類似度が選択中のモデルｄの類似度「０」の次に高い類似度「１」を持つ次点のモデルｅが特定される。その上で、図１０Ｃに示すように、選択中のモデルｄの要素のうちデータ４に対応する誤差量行列Ｆの４行４列目の要素と、次点のモデルｅの要素のうちデータ４に対応する誤差量行列Ｆの４行５列目の要素との間で誤差量の差を計算することにより、モデルｄ除外時の影響度が「５（＝５－０）」と算出される。

次に、モデルｅが除外を検討する解釈可能モデルとして選択された場合、図１０Ａに示す類似度行列Ｓのうち５列目の各要素が有する類似度を参照して、モデルｅとの類似度が最大であるデータ５が特定される。そして、先に特定したデータ５との類似度が選択中のモデルｅの類似度「０」の次に高い類似度「１」を持つ次点のモデルａが特定される。その上で、図１０Ｃに示すように、選択中のモデルｅの要素のうちデータ５に対応する誤差量行列Ｆの５行５列目の要素と、次点のモデルａの要素のうちデータ５に対応する誤差量行列Ｆの５行１列目の要素との間で誤差量の差を計算することにより、モデルｄ除外時の影響度が「３（＝３－０）」と算出される。

このようにモデルａ～モデルｅの全てのモデルの影響度が算出された場合、図１０Ｄに示すように、モデルａ～モデルｅのうち最も小さい影響度が算出されたモデルｂ、すなわち塗りつぶしが行われた２列目の除外が確定される。このモデルｂの除外に伴って、除外済みのモデルｂとの間で最も類似度が高いデータ２の分類をモデルｂの次にデータ２との類似度が高いモデルｃに代替させる側面から、データ２をモデルｃとの間で類似度が最も高いデータとして擬製する。

この段階では、モデルｂの除外によりモデルａ、モデルｃ～モデルｅの４つのモデルが残っており、所定数の「２」まで解釈可能モデルが減じられていないので、２つ目の解釈可能モデルの除外が開始される。

この場合、モデルａ、モデルｃ～モデルｅの４つのモデルのうちモデルａが除外を検討する解釈可能モデルとして選択された場合、図１０Ｄに示された類似度行列Ｓのうち１列目の各要素が有する類似度を参照して、モデルａとの類似度が最大であるデータ１が特定される。そして、先に特定したデータ１との類似度が選択中のモデルａの類似度「０」の次に高い類似度「２」を持つ次点のモデルｃが特定される。このとき、除外済みであるモデルｃは無視されることは言うまでもない。その上で、図１１Ａに示すように、選択中のモデルａの要素のうちデータ１に対応する誤差量行列Ｆの１行１列目の要素と、次点のモデルｃの要素のうちデータ１に対応する誤差量行列Ｆの１行３列目の要素との間で誤差量の差を計算することにより、モデルａ除外時の影響度が「８（＝８－０）」と算出される。

次に、モデルａ、モデルｃ～モデルｅの４つのモデルのうちモデルｃが除外を検討する解釈可能モデルとして選択された場合、図１０Ｄに示された類似度行列Ｓのうち３列目の各要素が有する類似度を参照して、モデルｃとの類似度が最大であるデータ３が特定される。そして、先に特定したデータ３との類似度が選択中のモデルｃの類似度「０」の次に高い類似度「１」を持つ次点のモデルｄが特定される。その上で、図１１Ａに示すように、選択中のモデルｃの要素のうちデータ３に対応する誤差量行列Ｆの３行３列目の要素と、次点のモデルｄの要素のうちデータ３に対応する誤差量行列Ｆの３行４列目の要素との間で誤差量の差「６（＝６－０）」が算出される。

さらに、モデルｃは、データ２に関するモデルｂの代替モデルであるので、モデルｃとの間で類似度が最も高いデータとして擬製されたデータ２がさらに特定される。そして、先に特定したデータ２との類似度が選択中のモデルｃの類似度「１」の次に高い類似度「２」を持つ次点のモデルｄが特定される。その上で、図１１Ａに示すように、選択中のモデルｃの要素のうちデータ２に対応する誤差量行列Ｆの２行３列目の要素と、次点のモデルｄの要素のうちデータ２に対応する誤差量行列Ｆの２行４列目の要素との間で誤差量の差「３（＝４－１）」が算出される。

これら誤差量の差が合計されることにより、モデルｃ除外時の影響度が「９（＝６＋３）」と算出される。

次に、モデルａ、モデルｃ～モデルｅの４つのモデルのうちモデルｄが除外を検討する解釈可能モデルとして選択された場合、図１０Ｄに示された類似度行列Ｓのうち４列目の各要素が有する類似度を参照して、モデルｄとの類似度が最大であるデータ４が特定される。そして、先に特定したデータ４との類似度が選択中のモデルｄの類似度「０」の次に高い類似度「１」を持つ次点のモデルｅが特定される。その上で、図１１Ａに示すように、選択中のモデルｄの要素のうちデータ４に対応する誤差量行列Ｆの４行４列目の要素と、次点のモデルｅの要素のうちデータ４に対応する誤差量行列Ｆの４行５列目の要素との間で誤差量の差を計算することにより、モデルｄ除外時の影響度が「５（＝５－０）」と算出される。

次に、モデルａ、モデルｃ～モデルｅの４つのモデルのうちモデルｅが除外を検討する解釈可能モデルとして選択された場合、図１０Ｄに示された類似度行列Ｓのうち５列目の各要素が有する類似度を参照して、モデルｅとの類似度が最大であるデータ５が特定される。そして、先に特定したデータ５との類似度が選択中のモデルｅの類似度「０」の次に高い類似度「１」を持つ次点のモデルａが特定される。その上で、図１１Ａに示すように、選択中のモデルｅの要素のうちデータ５に対応する誤差量行列Ｆの５行５列目の要素と、次点のモデルａの要素のうちデータ５に対応する誤差量行列Ｆの１行５列目の要素との間で誤差量の差を計算することにより、モデルｄ除外時の影響度が「３（＝３－０）」と算出される。

このようにモデルａ、モデルｃ～モデルｅの４つのモデルの影響度が算出された場合、図１１Ｂに示すように、モデルａ、モデルｃ～モデルｅの４つのモデルのうち最も小さい影響度が算出されたモデルｅ、すなわち塗りつぶしが行われた５列目の除外が確定される。

この段階では、モデルｅの除外によりモデルａ、モデルｃ及びモデルｄの３つのモデルが残っており、所定数の「２」まで解釈可能モデルが減じられていないので、３つ目の解釈可能モデルの除外が開始される。このモデルｅの除外に伴って、除外済みのモデルｅとの間で最も類似度が高いデータ５の分類をモデルｄの次にデータ５との類似度が高いモデルａに代替させる側面から、データ５をモデルａとの間で類似度が最も高いデータとして擬製する。

この場合、モデルａ、モデルｃ及びモデルｄの３つのモデルのうちモデルａが除外を検討する解釈可能モデルとして選択された場合、図１１Ｂに示された類似度行列Ｓのうち１列目の各要素が有する類似度を参照して、モデルａとの類似度が最大であるデータ１が特定される。そして、先に特定したデータ１との類似度が選択中のモデルａの類似度「０」の次に高い類似度「２」を持つ次点のモデルｃが特定される。このとき、除外済みであるモデルｃは無視されることは言うまでもない。その上で、図１２Ａに示すように、選択中のモデルａの要素のうちデータ１に対応する誤差量行列Ｆの１行１列目の要素と、次点のモデルｃの要素のうちデータ１に対応する誤差量行列Ｆの１行３列目の要素との間で誤差量の差「８（＝８－０）」が計算される。

さらに、モデルａは、データ５に関するモデルｅの代替モデルであるので、モデルａとの間で類似度が最も高いデータとして擬製されたデータ５がさらに特定される。そして、先に特定したデータ５との類似度が選択中のモデルａの類似度「１」の次に高い類似度「３」を持つ次点のモデルｃが特定される。その上で、図１２Ａに示すように、選択中のモデルａの要素のうちデータ５に対応する誤差量行列Ｆの５行１列目の要素と、次点のモデルｃの要素のうちデータ５に対応する誤差量行列Ｆの５行３列目の要素との間で誤差量の差「３（＝６－３）」が算出される。

これら誤差量の差が合計されることにより、モデルａ除外時の影響度が「１１（＝８＋３）」と算出される。

次に、モデルａ、モデルｃ及びモデルｄの３つのモデルのうちモデルｃが除外を検討する解釈可能モデルとして選択された場合、図１１Ｂに示された類似度行列Ｓのうち３列目の各要素が有する類似度を参照して、モデルｃとの類似度が最大であるデータ３が特定される。そして、先に特定したデータ３との類似度が選択中のモデルｃの類似度「０」の次に高い類似度「１」を持つ次点のモデルｄが特定される。その上で、図１２Ａに示すように、選択中のモデルｃの要素のうちデータ３に対応する誤差量行列Ｆの３行３列目の要素と、次点のモデルｄの要素のうちデータ３に対応する誤差量行列Ｆの３行４列目の要素との間で誤差量の差「６（＝６－０）」が算出される。

さらに、モデルｃは、データ２に関するモデルｂの代替モデルであるので、モデルｃとの間で類似度が最も高いデータとして擬製されたデータ２がさらに特定される。そして、先に特定したデータ２との類似度が選択中のモデルｃの類似度「１」の次に高い類似度「２」を持つ次点のモデルｄが特定される。その上で、図１２Ａに示すように、選択中のモデルｃの要素のうちデータ２に対応する誤差量行列Ｆの２行３列目の要素と、次点のモデルｄの要素のうちデータ２に対応する誤差量行列Ｆの２行４列目の要素との間で誤差量の差「３（＝４－１）」が算出される。

これら誤差量の差が合計されることにより、モデルｃ除外時の影響度が「９（＝６＋３）」と算出される。

次に、モデルａ、モデルｃ～モデルｅの４つのモデルのうちモデルｄが除外を検討する解釈可能モデルとして選択された場合、図１１Ｂに示された類似度行列Ｓのうち４列目の各要素が有する類似度を参照して、モデルｄとの類似度が最大であるデータ４が特定される。そして、先に特定したデータ４との類似度が選択中のモデルｄの類似度「０」の次に高い類似度「２」を持つ次点のモデルａが特定される。このとき、除外済みのモデルｅは、当然のことながら無視される。その上で、図１２Ａに示すように、選択中のモデルｄの要素のうちデータ４に対応する誤差量行列Ｆの４行４列目の要素と、次点のモデルａの要素のうちデータ４に対応する誤差量行列Ｆの１行４列目の要素との間で誤差量の差を計算することにより、モデルｄ除外時の影響度が「６（＝６－０）」と算出される。

このようにモデルａ、モデルｃ及びモデルｄの３つのモデルの影響度が算出された場合、図１１Ｂに示すように、モデルａ、モデルｃ及びモデルｄの３つのモデルのうち最も小さい影響度が算出されたモデルｄ、すなわち塗りつぶしが行われた４列目の除外が確定される。

ここに至って、モデルｄの除外により残りの解釈可能モデルがモデルａ及びモデルｃの２つとなり、所定数の「２」まで解釈可能モデルが減じられたので、４つ目の解釈可能モデルの除外は実行せず、これまでに除外されずに残ったモデルａ及びモデルｃが典型例として抽出される。

このように、次点の解釈可能モデルの分類誤差との差が最小である解釈可能モデルを除外することで、除外の影響が大きい解釈可能モデルを最終まで残すことができる可能性を高める。この結果、一般のＧｒｅｅｄｙ法を適用する場合のように、類似度行列Ｓ又は誤差行列Ｅの一方にＧｒｅｅｄｙ法が適用された時点で他方の誤差行列Ｅ又は類似度行列Ｓの最適解が取りこぼされる事例が発生するのを抑制する。

図１３は、効果の一側面を説明する図である。図１３には、従来技術、参考技術１及び本実施例ごとに複雑な計算の有無、計算コスト、誤差観点の典型例抽出の可否および計算時間などが示されている。これらのうち、計算時間には、あくまで一例として、従来技術、参考技術１及び本実施例の間でハードウェアが同一のスペックであると仮定し、解釈可能モデルの数Ｎを１０００個とし、参照データの数を１００とする場合の値が示されている。

図１３に示すように、従来技術では、組合せ最適化問題が実行されるので、複雑な計算が行われる。さらに、従来技術では、組合せ最適化問題を解くために、ｎ^３＋ｎ^２＋ｎ個の連立方程式が計算される。さらに、従来技術では、組合せ最適化問題を解くので、誤差観点の典型例抽出が可能である。さらに、従来技術では、計算に３日以上の期間が必要となる。

一方、参考技術１では、組合せ最適化問題でなく、近似アルゴリズムであるＧｒｅｅｄｙ法が適用されるので、複雑な計算が不要である。さらに、参考技術１では、Ｇｒｅｅｄｙ法の適用により、計算コストをｎ×参照データ数の行列操作まで削減できる。さらに、参考技術１では、１つの観点、例えば類似度観点でしか典型例抽出を行うことができないので、誤差観点の典型例抽出は困難である。さらに、参考技術１では、３０分程度で計算が済む。

また、本実施例では、組合せ最適化問題でなく、近似アルゴリズムである消去法的Ｇｒｅｅｄｙ法が適用されるので、複雑な計算が不要である。さらに、本実施例では、消去法的Ｇｒｅｅｄｙ法の適用により、計算コストをｎ×参照データ数の行列操作まで削減できる。さらに、本実施例では、２つの観点、例えば類似度および誤差の両方の観点から解釈可能モデルを除外して除外の影響が大きい解釈可能モデルを最終まで残すことができので、誤差観点の典型例抽出も可能である。さらに、本実施例では、３０分程度で計算が済む。

［処理の流れ］
次に、本実施例に係るモデル出力装置１０の処理の流れについて説明する。ここでは、モデル出力装置１０により実行される（１）学習モデル生成処理を説明した後に、（２）モデル出力処理を説明することとする。

（１）学習モデル生成処理
図１４は、実施例１に係る学習モデル生成処理の手順を示すフローチャートである。この処理は、一例として、学習モデルの生成リクエストを受け付けた場合に開始することができる。これに限らず、学習データ１１Ａが取得されていれば任意のタイミングで処理を開始できる。

図１４に示すように、学習部１１は、学習データ１１Ａを用いて分類器ｆのパラメータを学習することにより、学習モデル１２を生成する（ステップＳ１０１）。続いて、生成部１３は、ＬＩＭＥのアルゴリズムに従ってデータｕの近傍において学習モデル１２の出力との間で出力が局所的に近似するモデルｇを解釈可能モデル１４として生成する（ステップＳ１０２）。

そして、第１算出部１５は、参照データ１１Ｂに含まれる参照データ及び解釈可能モデル１４に含まれる解釈可能モデルの全ての組合せに関し、参照データ及び解釈可能モデルの間の類似度を算出する（ステップＳ１０３）。

その後、第２算出部１６は、参照データ１１Ｂに含まれる参照データ及び解釈可能モデル１４に含まれる解釈可能モデルの全ての組合せに関し、学習モデル１２及び解釈可能モデルの間における参照データの分類誤差を算出する（ステップＳ１０４）。このステップＳ１０４の実行後に処理は終了される。

（２）モデル出力処理
図１５は、実施例１に係るモデル出力処理の手順を示すフローチャートである。この処理は、第１算出部１５により類似度が算出され、かつ第２算出部１６により分類誤差が算出された時点以降の任意の時点で開始できる。

図１５に示すように、特定部１７は、解釈可能モデル１４に含まれる複数の解釈可能モデルのうち未選択の解釈可能モデルを１つ選択する（ステップＳ３０１）。続いて、特定部１７は、上記の類似度行列Ｓを参照して、選択中の解釈可能モデルとの類似度が最大である参照データを特定する（ステップＳ３０２）。

そして、特定部１７は、ステップＳ３０２で特定された参照データとの類似度が選択中の解釈可能モデルの次に高い次点の解釈可能モデルを特定する（ステップＳ３０３）。その上で、特定部１７は、選択中の解釈可能モデルの誤差量と、次点の解釈可能モデルの誤差量とに基づいて選択中の解釈可能モデルの影響度を算出する（ステップＳ３０４）。

その後、全ての解釈可能モデルが選択されるまで（ステップＳ３０５Ｎｏ）、上記のステップＳ３０１からステップＳ３０４までの処理が実行される。また、全ての解釈可能モデルが選択された場合（ステップＳ３０５Ｙｅｓ）、除外部１８は、複数の解釈可能モデルのうち影響度が最小である解釈可能モデルを除外する（ステップＳ３０６）。

そして、除外により残った解釈可能モデルが所定数になるまで（ステップＳ３０７Ｎｏ）、上記のステップＳ３０１から上記のステップＳ３０６までの処理を繰り返す。その後、残りの解釈可能モデルが所定数になると（ステップＳ３０７Ｙｅｓ）、出力部１９は、除外により絞り込まれた残りの解釈可能モデルを典型例として出力する（ステップＳ３０８）。このステップＳ３０８の実行後に処理は終了される。

［効果の一側面］
上述してきたように、本実施例に係るモデル出力装置１０では、「よりよいものを残す」というＧｒｅｅｄｙ法の考えに、「より不要なものを優先的に削除する」という消去法の観点を追加した消去法的Ｇｒｅｅｄｙ法を適用する。すなわち、本実施例に係るモデル出力装置１０は、説明対象の分類器が局所近似された複数の解釈可能モデルごとに当該解釈可能モデルと最も類似するテストデータとの間で次に類似する次点の解釈可能モデルを特定し、次点の解釈可能モデルの分類誤差との差が最小である解釈可能モデルを除外して残る解釈可能モデルを典型例として出力する。

このように、次点の解釈可能モデルの分類誤差との差が最小である解釈可能モデルを除外することで、除外の影響が大きい解釈可能モデルを最終まで残すことができる可能性を高める。この結果、一般のＧｒｅｅｄｙ法を適用する場合のように、類似度行列Ｓ又は誤差行列Ｅの一方にＧｒｅｅｄｙ法が適用された時点で他方の誤差行列Ｅ又は類似度行列Ｓの最適解が取りこぼされる事例が発生するのを抑制する。

したがって、本実施例に係るモデル出力装置１０によれば、参考技術１及び参考技術２と同様、計算コストをｎ×参照データ数の行列操作まで削減できると共に、従来技術、参考技術１及び参考技術２よりも典型例の抽出精度を高めることができる。

さて、これまで開示の装置に関する実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下では、本発明に含まれる他の実施例を説明する。

［学習モデルの応用例］
上記の実施例１では、説明対象とする分類器がディープテンソルにより学習された学習済みモデルである場合を例示したが、これに限定されず、類似度の算出手法は任意であってかまわない。例えば、説明対象とする分類器は、ディープテンソル以外の機械学習により学習された分類器、例えば識別関数等であってもかまわない。この場合、参照データからモデルを算出し、参照データから算出されたモデルと、分類器から生成された解釈可能モデルとを比較することにより類似度を算出し、類似度行列Ｓを生成することができる。この他、解釈可能モデルの生成時に利用した学習データも併せて記録し、記録したデータと、参照データとを比較することにより類似度を算出し、類似度行列Ｓを生成することができる。

［分散および統合］
また、図示した各装置の各構成要素は、必ずしも物理的に図示の如く構成されておらずともよい。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、学習部１１、生成部１３、第１算出部１５、第２算出部１６、特定部１７、除外部１８または出力部１９をモデル出力装置１０の外部装置としてネットワーク経由で接続するようにしてもよい。また、学習部１１、生成部１３、第１算出部１５、第２算出部１６、特定部１７、除外部１８または出力部１９を別の装置がそれぞれ有し、ネットワーク接続されて協働することで、上記のモデル出力装置１０の機能を実現するようにしてもよい。

［モデル出力プログラム］
また、上記の実施例で説明した各種の処理は、予め用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。そこで、以下では、図１６を用いて、上記の実施例と同様の機能を有するモデル出力プログラムを実行するコンピュータの一例について説明する。

図１６は、実施例１及び実施例２に係るモデル出力プログラムを実行するコンピュータのハードウェア構成例を示す図である。図１６に示すように、コンピュータ１００は、操作部１１０ａと、スピーカ１１０ｂと、カメラ１１０ｃと、ディスプレイ１２０と、通信部１３０とを有する。さらに、このコンピュータ１００は、ＣＰＵ１５０と、ＲＯＭ１６０と、ＨＤＤ１７０と、ＲＡＭ１８０とを有する。これら１１０～１８０の各部はバス１４０を介して接続される。

ＨＤＤ１７０には、図１６に示すように、上記の実施例１で示した学習部１１、生成部１３、第１算出部１５、第２算出部１６、特定部１７、除外部１８及び出力部１９と同様の機能を発揮するモデル出力プログラム１７０ａが記憶される。このモデル出力プログラム１７０ａは、図１に示した学習部１１、生成部１３、第１算出部１５、第２算出部１６、特定部１７、除外部１８及び出力部１９の各構成要素と同様、統合又は分離してもかまわない。すなわち、ＨＤＤ１７０には、必ずしも上記の実施例１で示した全てのデータが格納されずともよく、処理に用いるデータがＨＤＤ１７０に格納されればよい。

このような環境の下、ＣＰＵ１５０は、ＨＤＤ１７０からモデル出力プログラム１７０ａを読み出した上でＲＡＭ１８０へ展開する。この結果、モデル出力プログラム１７０ａは、図１６に示すように、モデル出力プロセス１８０ａとして機能する。このモデル出力プロセス１８０ａは、ＲＡＭ１８０が有する記憶領域のうちモデル出力プロセス１８０ａに割り当てられた領域にＨＤＤ１７０から読み出した各種データを展開し、この展開した各種データを用いて各種の処理を実行する。例えば、モデル出力プロセス１８０ａが実行する処理の一例として、図１４～図１５に示す処理などが含まれる。なお、ＣＰＵ１５０では、必ずしも上記の実施例１で示した全ての処理部が動作せずともよく、実行対象とする処理に対応する処理部が仮想的に実現されればよい。

なお、上記のモデル出力プログラム１７０ａは、必ずしも最初からＨＤＤ１７０やＲＯＭ１６０に記憶されておらずともかまわない。例えば、コンピュータ１００に挿入されるフレキシブルディスク、いわゆるＦＤ、ＣＤ－ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」にモデル出力プログラム１７０ａを記憶させる。そして、コンピュータ１００がこれらの可搬用の物理媒体からモデル出力プログラム１７０ａを取得して実行するようにしてもよい。また、公衆回線、インターネット、ＬＡＮ、ＷＡＮなどを介してコンピュータ１００に接続される他のコンピュータまたはサーバ装置などにモデル出力プログラム１７０ａを記憶させておき、コンピュータ１００がこれらからモデル出力プログラム１７０ａを取得して実行するようにしてもよい。

以上の実施例を含む実施形態に関し、さらに以下の付記を開示する。

（付記１）コンピュータに、
分類器の解析に用いるテストデータそれぞれについて、前記分類器に近似された複数の近似モデルそれぞれとの類似度および誤差を算出し、
前記複数の近似モデルそれぞれについて、類似度が最も高いテストデータを特定し、
前記複数の近似モデルそれぞれについて、前記類似度が最も高いテストデータと２番目に類似度の高い近似モデルを前記複数の近似モデルの中から特定し、
前記複数の近似モデルそれぞれについての、前記最も類似の高いテストデータと２番目に類似度の高い近似モデルとの誤差に基づいて選択される、前記誤差が最も小さい近似モデルである除外対象モデルが除外された前記複数の近似モデルを出力する、
処理を実行させるモデル出力プログラム。

（付記２）前記テストデータを特定する処理は、前記除外対象モデルが除外された前記複数の近似モデルそれぞれについて、類似度が最も高いテストデータを特定し、
前記近似モデルを特定する処理は、前記除外対象モデルが除外された前記複数の近似モデルそれぞれについて、前記類似度が最も高いテストデータと２番目に類似度の高い近似モデルを、前記除外対象モデルが除外された前記複数の近似モデルの中から特定し、
前記出力する処理は、前記除外対象モデルが除外された前記複数の近似モデルが所定の条件を満たすまで、前記複数の近似モデルから前記除外対象モデルを除外する処理を繰り返すことを特徴とする付記１に記載のモデル出力プログラム。

（付記３）前記複数の近似モデルは、ＬＩＭＥ（Local Interpretable Model-agnostic Explainations）のアルゴリズムにしたがって前記分類器へ局所的に近似することにより生成されることを特徴とする付記１に記載のモデル出力プログラム。

（付記４）コンピュータが、
分類器の解析に用いるテストデータそれぞれについて、前記分類器に近似された複数の近似モデルそれぞれとの類似度および誤差を算出し、
前記複数の近似モデルそれぞれについて、類似度が最も高いテストデータを特定し、
前記複数の近似モデルそれぞれについて、前記類似度が最も高いテストデータと２番目に類似度の高い近似モデルを前記複数の近似モデルの中から特定し、
前記複数の近似モデルそれぞれについての、前記最も類似の高いテストデータと２番目に類似度の高い近似モデルとの誤差に基づいて選択される、前記誤差が最も小さい近似モデルである除外対象モデルが除外された前記複数の近似モデルを出力する、
処理を実行するモデル出力方法。

（付記５）前記テストデータを特定する処理は、前記除外対象モデルが除外された前記複数の近似モデルそれぞれについて、類似度が最も高いテストデータを特定し、
前記近似モデルを特定する処理は、前記除外対象モデルが除外された前記複数の近似モデルそれぞれについて、前記類似度が最も高いテストデータと２番目に類似度の高い近似モデルを、前記除外対象モデルが除外された前記複数の近似モデルの中から特定し、
前記出力する処理は、前記除外対象モデルが除外された前記複数の近似モデルが所定の条件を満たすまで、前記複数の近似モデルから前記除外対象モデルを除外する処理を繰り返すことを特徴とする付記４に記載のモデル出力方法。

（付記６）前記複数の近似モデルは、ＬＩＭＥ（Local Interpretable Model-agnostic Explainations）のアルゴリズムにしたがって前記分類器へ局所的に近似することにより生成されることを特徴とする付記４に記載のモデル出力方法。

（付記７）分類器の解析に用いるテストデータそれぞれについて、前記分類器に近似された複数の近似モデルそれぞれとの類似度および誤差を算出する算出部と、
前記複数の近似モデルそれぞれについて、類似度が最も高いテストデータを特定する第１特定部と、
前記複数の近似モデルそれぞれについて、前記類似度が最も高いテストデータと２番目に類似度の高い近似モデルを前記複数の近似モデルの中から特定する第２特定部と、
前記複数の近似モデルそれぞれについての、前記最も類似の高いテストデータと２番目に類似度の高い近似モデルとの誤差に基づいて選択される、前記誤差が最も小さい近似モデルである除外対象モデルが除外された前記複数の近似モデルを出力する出力部と、
処理を実行するモデル出力装置。

（付記８）前記第１特定部は、前記除外対象モデルが除外された前記複数の近似モデルそれぞれについて、類似度が最も高いテストデータを特定し、
前記第２特定部は、前記除外対象モデルが除外された前記複数の近似モデルそれぞれについて、前記類似度が最も高いテストデータと２番目に類似度の高い近似モデルを、前記除外対象モデルが除外された前記複数の近似モデルの中から特定し、
前記出力部は、前記除外対象モデルが除外された前記複数の近似モデルが所定の条件を満たすまで、前記複数の近似モデルから前記除外対象モデルを除外する処理を繰り返すことを特徴とする付記７に記載のモデル出力装置。

（付記９）前記複数の近似モデルは、ＬＩＭＥ（Local Interpretable Model-agnostic Explainations）のアルゴリズムにしたがって前記分類器へ局所的に近似することにより生成されることを特徴とする付記７に記載のモデル出力装置。

１０ モデル出力装置
１１ 学習部
１１Ａ 学習データ
１１Ｂ 参照データ
１２ 学習モデル
１３ 生成部
１４ 解釈可能モデル
１５ 第１算出部
１６ 第２算出部
１７ 特定部
１８ 除外部
１９ 出力部

Claims (5)

1. コンピュータに、
   分類器の解析に用いる複数のテストデータに含まれるテストデータごとに、前記テストデータと前記分類器に近似された複数の近似モデルそれぞれとの類似度を算出すると共に、前記分類器と前記複数の近似モデルそれぞれとの誤差を算出し、
   前記複数の近似モデルそれぞれについて、類似度が最も高いテストデータを特定し、
   前記複数の近似モデルそれぞれについて、前記類似度が最も高いテストデータと２番目に類似度の高い近似モデルを前記複数の近似モデルの中から特定し、
   前記複数の近似モデルそれぞれについての、前記類似度が最も高いテストデータと２番目に類似度の高い近似モデルとの誤差の差に基づいて選択される、前記誤差の差が最も小さい近似モデルである除外対象モデルが除外された前記複数の近似モデルを出力する、
   処理を実行させるモデル出力プログラム。
2. 前記テストデータを特定する処理は、前記除外対象モデルが除外された前記複数の近似モデルそれぞれについて、類似度が最も高いテストデータを特定し、
   前記近似モデルを特定する処理は、前記除外対象モデルが除外された前記複数の近似モデルそれぞれについて、前記類似度が最も高いテストデータと２番目に類似度の高い近似モデルを前記複数の近似モデルの中から特定し、
   前記出力する処理は、前記除外対象モデルが除外された前記複数の近似モデルが所定の条件を満たすまで、前記複数の近似モデルから前記除外対象モデルを除外する処理を繰り返すことを特徴とする請求項１に記載のモデル出力プログラム。
3. 前記複数の近似モデルは、ＬＩＭＥ（Local Interpretable Model-agnostic Explainations）のアルゴリズムにしたがって前記分類器へ局所的に近似することにより生成されることを特徴とする請求項１に記載のモデル出力プログラム。
4. コンピュータが、
   分類器の解析に用いる複数のテストデータに含まれるテストデータごとに、前記テストデータと前記分類器に近似された複数の近似モデルそれぞれとの類似度を算出すると共に、前記分類器と前記複数の近似モデルそれぞれとの誤差を算出し、
   前記複数の近似モデルそれぞれについて、類似度が最も高いテストデータを特定し、
   前記複数の近似モデルそれぞれについて、前記類似度が最も高いテストデータと２番目に類似度の高い近似モデルを前記複数の近似モデルの中から特定し、
   前記複数の近似モデルそれぞれについての、前記類似度が最も高いテストデータと２番目に類似度の高い近似モデルとの誤差の差に基づいて選択される、前記誤差の差が最も小さい近似モデルである除外対象モデルが除外された前記複数の近似モデルを出力する、
   処理を実行するモデル出力方法。
5. 分類器の解析に用いる複数のテストデータに含まれるテストデータごとに、前記テストデータと前記分類器に近似された複数の近似モデルそれぞれとの類似度を算出すると共に、前記分類器と前記複数の近似モデルそれぞれとの誤差を算出する算出部と、
   前記複数の近似モデルそれぞれについて、類似度が最も高いテストデータを特定する第１特定部と、
   前記複数の近似モデルそれぞれについて、前記類似度が最も高いテストデータと２番目に類似度の高い近似モデルを前記複数の近似モデルの中から特定する第２特定部と、
   前記複数の近似モデルそれぞれについての、前記類似度が最も高いテストデータと２番目に類似度の高い近似モデルとの誤差の差に基づいて選択される、前記誤差の差が最も小さい近似モデルである除外対象モデルが除外された前記複数の近似モデルを出力する出力部と、
   を有するモデル出力装置。

Images