JP7459406B2

JP7459406B2 - 学習済みモデル検証システム

Info

Publication number: JP7459406B2
Application number: JP2023577548A
Authority: JP
Inventors: 沙織松永; 玄太吉村; 由浩三塚
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2022-02-22
Filing date: 2022-02-22
Publication date: 2024-04-01
Anticipated expiration: 2042-02-22
Also published as: WO2023161972A1; JPWO2023161972A1

Description

本開示技術は学習済みモデル検証システムに関する。

機械学習の分野において、学習済みモデルの妥当性を網羅的に評価する技術が知られている。

例えば、特許文献１には、学習済みモデルが決定木である場合に、その決定木における決定木パスを示すパス論理式を論理積結合して決定木論理式を得て、決定木論理式に対し、検証性質論理式と目的変数計算論理式とを論理積結合し結合論理式を作成し、この結合論理式を充足可能性判定器に入力して充足可能性判定を行い、この判定結果から充足性を示す場合、該当充足解から検証性質に違反する説明変数の値である違反入力値と目的変数の値である違反出力値を取得する演算装置を含む構成が示されている。

特開２０２０－１３５１７１号公報

特許文献１に開示された検証技術は、検証対象を、決定木から構成されるアルゴリズムに従って動作する機械学習プログラムとしている。
しかし、決定木から構成されるアルゴリズム以外のアルゴリズムに基づいたプログラム又は数理モデルに対しても、決定木のフレームワークで検証を行いたい、というニーズがある。

本開示技術は、上記課題を解決し、決定木から構成されるアルゴリズム以外のアルゴリズムに基づいた数理モデルに対しても、決定木のフレームワークで検証を可能にした学習済みモデル検証システムを提供することを目的とする。

本開示技術に係る学習済みモデル検証システムは、検証対象である学習済みモデルを、学習済みモデルと等価の入出力関係を有するルールモデルに変換するルールモデル変換部と、ルールモデルの検証用データセットを生成する検証用データセット生成部と、検証用データセットを用いて、ルールモデル又は学習済みモデルを検証する検証部と、を備える。

本開示技術に係る学習済みモデル検証システムは上記構成を備えるため、決定木から構成されるアルゴリズム以外のアルゴリズムに基づいた数理モデルに対しても、決定木のフレームワークで検証を可能にする。

図１は、実施の形態１に係る学習済みモデル検証システムの機能構成を示したブロック図である。図２は、本開示技術に係る検証条件ＴＣの例を示した説明図である。図３は、本開示技術に係る特徴量空間を示した説明図その１である。図４は、本開示技術に係る特徴量空間を示した説明図その２である。図５は、本開示技術に係る特徴量空間を示した説明図その３である。図６は、本開示技術に係る評価指標を表として表した図である。図７は、本開示技術に係る評価指標をツリーの態様で表した図である。図８は、本開示技術に係る評価指標をグラフのように表した図である。図９は、実施の形態１に係る学習済みモデル検証システムの処理ステップを示したフローチャートである。図１０は、本開示技術に係る学習済みモデル検証システムのハードウエア構成を示した図である。図１０Ａは、学習済みモデル検証システムの各機能がハードウエアで実行される場合の図である。図１０Ｂは、学習済みモデル検証システムの各機能がソフトウエアで実行される場合の図である。

本開示技術に係る学習済みモデル検証システムは、学習済みの人工知能、すなわち学習済みの数理モデルを検証する。本明細書では、本開示技術に係る学習済みモデル検証システムが検証を行う対象である数理モデルを、学習済みモデルＡＩと称することにする。学習済みモデルＡＩにおいて行われる学習は、教師あり学習を前提とする。また学習済みモデルＡＩが解く学習問題は、回帰、分類、又は認識であるとする。認識には、画像認識、音声認識、等が含まれる。

本開示技術は、学習済みモデルＡＩを決定木の数理モデルに変換し、より具体的にはルールモデルに変換し、決定木のフレームワークで検証を行う。
本明細書において用いられる「ルールモデル」の用語は、Ｉｆ－Ｔｈｅｎルールで表現された数理モデルを意味する。ルールモデルには、例えば、単一の決定木、及び決定リストが含まれる。

学習済みモデルＡＩが、例えば、画像認識を行うＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｕｒａｌｎｅｔｗｏｒｋ）であっても、ソースコードがわかれば決定木のフレームワークでの検証は可能である。学習済みモデルＡＩがＣＮＮであれば、最終的な全結合層において出力される出力値と画像認識の結果との関係はＩｆ－Ｔｈｅｎルールで記述することができる。また学習済みモデルＡＩがＣＮＮであれば、中間生成物として特徴量マップがあり、特徴量マップにおける位置と画像認識の結果との関係もＩｆ－Ｔｈｅｎルールで記述することができる。

本明細書において、普通名詞として使用する名称には符号をつけず、特定のものを指す固有名詞とし使用する名称には符号をつけ、両者は区別される。例えば学習済みモデルについて、普通名詞として使う場合は、単に「学習済みモデル」が用いられ、固有名詞として使う場合は「学習済みモデルＡＩ」が用いられる。学習用データサンプルについては、普通名詞として使う場合は、単に「学習用データサンプル」が用いられ、固有名詞として使う場合は「学習用データサンプルＤＳ」が用いられる。検証条件についても、普通名詞として使う場合は、単に「検証条件」が用いられ、固有名詞として使う場合は「検証条件ＴＣ」が用いられる。以降、他の用語についても同様のルールが適用される。

学習済みモデルＡＩは、前述のとおり、本開示技術における検証装置１００の検証対象となる学習済みモデルである。符号のＡＩは、ＡｒｔｉｆｉｃｉａｌＩｎｔｅｌｌｉｇｅｎｃｅの頭文字に由来する。学習済みモデルＡＩは、単一のモデルであっても、アンサンブル学習を前提とした複数のモデルを融合したものであっても、どちらでもよい。学習済みモデルＡＩは、単一のモデルであれば、例えばルールモデルでもよい。学習済みモデルＡＩは、アンサンブル学習を前提としたものであれば、例えば、ランダムフォレスト、又は勾配ブースティングに代表されるブースティング、等の学習アルゴリズムが用いられたものでよい。

学習用データサンプルＤＳは、学習済みモデルＡＩの学習フェーズにおいて用いられたデータセットのサンプルである。符号のＤＳは、ＤａｔａＳａｍｐｌｅの頭文字に由来する。

検証条件ＴＣは、モデルごとに定められた条件であり、モデルの入力値と出力値との組が満たすべき条件である。符号のＴＣは、ＴｅｓｔＣｏｎｄｉｔｉｏｎの頭文字に由来する。モデルは、モデルへの入力値に対してどのような出力値を出力するか、というルールの集合である、と言える。
本明細書では、検証条件ＴＣを満たさない入力値と出力値との組に対して、「この組は、検証条件ＴＣに違反する」という表現が用いられる。入力値と出力値とに関する或るルールが検証条件ＴＣを満たさない場合も、「このルールは、検証条件ＴＣに違反する」という表現が用いられる。
図２は、検証条件ＴＣの例を示した説明図である。図２において、ｘ_０は入力値である。また図２において、ｙは出力値である。図２に示されるとおり検証条件ＴＣは、入力値と出力値との組が満たすべき条件を示している。

実施の形態１．
図１は、実施の形態１に係る学習済みモデル検証システム１０００の機能構成を示したブロック図である。図１に示されるとおり実施の形態１に係る学習済みモデル検証システム１０００は、記憶装置２００と、前処理装置３００と、出力装置４００と、検証装置１００と、を備える。
図１に示されるとおり実施の形態１に係る学習済みモデル検証システム１０００の前処理装置３００は、前処理用データセット生成部３１０と、ルールモデル変換部３２０と、を含む。
図１に示されるとおり実施の形態１に係る学習済みモデル検証システム１０００の検証装置１００は、検証用データセット生成部１１０と、検証部１２０と、違反度合算出部１３０と、検証結果出力部１４０と、を含む。
実施の形態１に係る学習済みモデル検証システム１０００は、各機能ブロックが図１に示されるとおり接続されている。

《検証装置１００》
検証装置１００は、ルールモデルに変換された学習済みモデルＡＩ（以降、「学習済みのルールモデル」と称する。）を検証するための構成要素である。検証装置１００は、学習済みのルールモデルを検証するために必要な計算を行う。検証装置１００で検証された結果は、出力装置４００を介して出力される。

《記憶装置２００》
記憶装置２００は、検証対象である学習済みモデルＡＩ、学習用データサンプルＤＳ、及び検証条件ＴＣを格納するための構成要素である。
記憶装置２００は、通信ネットワーク上に配置された単数又は複数のネットワークストレージ装置であってもよい。この場合、学習済みモデル検証システム１０００は、ネットワークを介して記憶装置２００へアクセスする。

《前処理装置３００》
前処理装置３００は、検証対象である学習済みモデルＡＩについて前処理を行うための構成要素である。具体的に前処理装置３００は、学習済みモデルＡＩをルールモデルに変換する。すなわちここで用いられる「前処理」との用語は、具体的には、ルールモデルへの変換を意味する。
学習済みモデルＡＩが既にルールモデルであるときは、前処理装置３００の処理が省略される。

《出力装置４００》
出力装置４００は、検証装置１００の出力結果を、外部へ出力するための構成要素である。

《実施の形態１に係る学習済みモデル検証システム１０００の動作について》
図１に示されるとおり、記憶装置２００に格納されている学習済みモデルＡＩは、前処理装置３００の前処理用データセット生成部３１０へ送られる。
前処理用データセット生成部３１０は、学習済みモデルＡＩをルールモデルに変換するにあたり、前処理用データセットＤ１を生成するための構成要素である。前処理用データセットＤ１は、前処理用のデータセットである。データセットは、入力データと、入力データのそれぞれに対応する出力からなる出力データと、からなるセットである。
前処理用データセットＤ１のうちの入力データは、学習済みモデルＡＩの分岐条件の境界値を考慮に入れて作成される。
前処理用データセット生成部３１０で生成された前処理用データセットＤ１は、ルールモデル変換部３２０へ送られる。

図３は、本開示技術に係る特徴量空間を示した説明図その１である。図３に示された特徴量空間の横軸は第１の入力ｘ_０を示しており、縦軸は第２の入力ｘ_１を示している。すなわち簡単のため図３は、入力と特徴量とが等しいとしている。ここで図３は、学習済みモデルＡＩが分類を行うとき、すなわちカテゴリを予測するときの特徴量空間を表しているとする。図３に示される特徴量空間において、ハッチングがなされた領域（０≦ｘ_０≦３、かつ、０≦ｘ_１≦５）は、入力データが属する或るカテゴリ（カテゴリはクラスとも称される。）を示したものだとする。決定木のフレームワークで考えれば、図３のハッチングがなされた領域は、決定木における或る葉を表している、と表現できる。なお、特徴量空間における領域は、「特徴量空間における部分空間」と称されることもある。
図３における２つの黒色の四角いプロットは、それぞれ学習済みモデルＡＩの学習用データサンプルＤＳを表している。

図４は、本開示技術に係る特徴量空間を示した説明図その２である。図４に示される特徴量空間においても、図３と同様、ハッチングがなされた領域（０≦ｘ_０≦３、かつ、０≦ｘ_１≦５）は、学習の結果、或るカテゴリを示す領域だと判断された箇所を示す。
図４に示されたようにハッチングがなされた領域が、或るカテゴリを示す領域として学習されたということは、学習用データセットの中に、ハッチングがなされた領域中の境界付近のプロットに対応するものがあったはずだ、と予想できる。
しかし、特徴量空間において或るカテゴリを示す領域の境界形状が、本来は複雑であるにもかかわらず、線形のサポートベクターマシン等で作られ単純化されることがある。
図４は、カテゴリを示す領域の境界付近に対応する入力に対し、学習済みモデルＡＩが正しい推論をするか検証をすることが重要であることを示している。

特徴量空間を用いて確認すべきことの１つは、或るカテゴリを示す領域の境界形状と、そのカテゴリに属する学習用データサンプルＤＳのプロット位置と、の対応である。
特徴量空間を用いて次に行うべきことは、或るカテゴリを示す領域の境界付近に学習用データサンプルＤＳのプロットがなかった場合、逆算して、領域の境界付近に特徴量がプロットされるデータセットを作成する、というものである。学習済みモデルＡＩがニューラルネットワークである場合、この逆算は、バックプロパゲーションを応用して行うとよい。

図４における白色の四角いプロットは、図３における黒色の四角いプロットと同義である。図４における黒色の四角いプロットは、既存の学習用データサンプルＤＳのプロット（白色の四角いプロット）を基点として、領域の境界付近のプロットを作成していることを表している。例えば、学習済みモデルＡＩが画像認識を行うＣＮＮである場合、逆算して、領域の境界付近に特徴量がプロットされる画像と正解ラベルとを生成する。
逆算して生成された学習用データセットは、学習用データセットとして意味があるものなのか、最終的にはヒトが見て判断するとよい。例えば、学習済みモデルＡＩが画像認識を行うＣＮＮである場合、逆算して生成した画像と正解ラベルとが意味をなすか、最終的にはヒトが見て判断する。

図５は、本開示技術に係る特徴量空間を示した説明図その３である。
図４では、既存の学習用データサンプルＤＳのプロット（白色の四角いプロット）を基点として、領域の境界付近のプロットを作成したが、本開示技術はこれに限定されない。図５に示されるように本開示技術は、既存の学習用データサンプルＤＳのプロット（白色の四角いプロット）に依らず、領域の境界付近のプロットを作成してもよい。

図３から図５は、見易さを考慮し、特徴量空間を２次元空間として表したが、一般的に特徴量空間は多次元（ｎ次元）である。
領域の境界付近に対応する学習データの生成は、学習済みモデルＡＩが分類問題を解く場合、すべてのカテゴリについて実施するとよい。
前処理用データセット生成部３１０において生成され、ヒトが見て意味のあると判断された学習用データセットは、本明細書では前処理用データセットＤ１と称することとする。前処理用データセットＤ１は、説明変数ｘと目的変数ｙ_{ｅｎｓｅｍｂｌｅ}とから構成されているとする。前処理用データセットＤ１は、ルールモデル変換部３２０へ送られる。

ルールモデル変換部３２０は、学習済みモデルＡＩがルールモデルでなかったとき（例えば決定木のアンサンブルモデルであったとき）に、前処理用データセットＤ１の情報も勘案し、ルールモデルＤ２を生成するための構成要素である。
ルールモデル変換部３２０は、学習済みモデルＡＩをルールモデルの形で再現するルールモデルＤ２を生成する。
前述のとおり学習済みモデルＡＩが既にルールモデルであるときは、前処理装置３００の処理が省略される。前処理装置３００で生成されたルールモデルＤ２は、検証装置１００の検証用データセット生成部１１０へと送られる。

一般に、人工知能の学習フェーズの最終段階において、学習用データセットとは別の検証用データセットを用意し、意図どおりに学習が行われたかを検証する作業が行われる。
検証用データセット生成部１１０は、ルールモデルＤ２の検証用データセットを生成するための構成要素である。

学習用データセットと同様に、検証用データセットも、特徴量空間において何処にプロットされるかを確認することが重要である。検証用データセットも、各カテゴリの境界付近にプロットされるものが存在する、ということが重要である。
カテゴリを示す領域の境界付近に検証用データのプロットがなかった場合、逆算して、領域の境界付近に特徴量がプロットされるデータセットを作成するとよい。逆算による検証用データセットの生成は、逆算による学習用データセットの生成と同様の方法で行うとよい。

逆算して生成された検証用データセットは、検証用データセットとして意味があるものなのか、最終的にはヒトが見て判断するとよい。
検証用データセット生成部１１０において生成され、ヒトが見て意味のあると判断された学習用データセットは、本明細書では検証用データセットＤ３と称することとする。検証用データセットＤ３は、説明変数ｘ_ｔｅｓｔと目的変数ｙ_ｔｅｓｔとから構成されているとする。検証用データセットＤ３は、検証部１２０へ送られる。

前処理用データセット生成部３１０及び検証用データセット生成部１１０は、入力データの値域を網羅しながら検証に最低限必要なサンプル数を生成するようにしてもよい。また前処理用データセット生成部３１０及び検証用データセット生成部１１０は、ルールモデルの各分岐の境界値条件を抽出してデータセットを生成するようにしてよい。

検証部１２０は、検証用データセットＤ３を用いて、ルールモデルＤ２又は学習済みモデルＡＩを検証する構成要素である。よりわかりやすく言えば検証部１２０は、学習済みモデルＡＩが意図どおりに学習されたかを検証するための構成要素である。
検証部１２０で実施される検証では、もともと準備していた検証用データセットと、検証用データセット生成部１１０で生成された検証用データセットＤ３と、が用いられる。
また検証部１２０で実施される検証では、学習済みモデルＡＩが学習により得た各カテゴリの領域の予測範囲を数式で表現した検証条件ＴＣを参照して行ってもよい。
検証部１２０は、検証結果をＤ４として、違反度合算出部１３０へ出力する。

違反度合算出部１３０は、学習済みモデルＡＩの正答率等の評価指標を算出するための構成要素である、といってもよい。具体的に違反度合算出部１３０は、学習済みモデルＡＩに対して、正解率（Ａｃｃｕｒａｃｙ）、適合率（Ｐｒｅｃｉｓｉｏｎ）、再現率（Ｒｅｃａｌｌ）、特異率（Ｓｐｅｃｉｆｉｃｉｔｙ）、及びＦ値（Ｆ－ｍｅａｓｕｒｅ）、の評価指標を、カテゴリごとに算出してよい。
また違反度合算出部１３０は、学習済みモデルＡＩの評価指標として、違反度合を算出してもよい。ここで違反度合は、或るカテゴリに正解ラベルが属する検証用データセットＤ３の数を分母として、その検証用データセットＤ３のうち、学習済みモデルＡＩが誤った分類を行った数を分子とした値であってよい。また違反度合は、学習済みモデル検証システムの利用者が、適宜、定めたものでもよい。
違反度合算出部１３０で求めた違反度合は、違反度合いＤ５と称する。違反度合いＤ５は、検証結果出力部１４０へ送られる。
違反度合算出部１３０が求める評価指標を違反度合いＤ５としたが、本開示技術はこれに限定されない。違反度合算出部１３０は、評価指標として、正解率（Ａｃｃｕｒａｃｙ）、適合率（Ｐｒｅｃｉｓｉｏｎ）、再現率（Ｒｅｃａｌｌ）、特異率（Ｓｐｅｃｉｆｉｃｉｔｙ）、及びＦ値（Ｆ－ｍｅａｓｕｒｅ）のうちいずれを選んでもよい。

検証結果出力部１４０は、違反度合算出部１３０で求めた評価指標を出力するための構成要素である。検証結果出力部１４０は、違反度合算出部１３０で求めた評価指標を、図、表、又はグラフとして表示できるフォーマットに変換して、検証結果Ｄ６を出力してもよい。

図６は、評価指標を表として表した図である。図６に示す表の「ルール番号」は、学習済みモデルＡＩが分類問題を解くときの、カテゴリに付されたインデックスだと考えてよい。図６に示す表の「ルール」は、学習済みモデルＡＩが学習により得たカテゴリの領域を数式で表したものと考えてよい。図６に示す表の「違反度ランク」は、違反度合いＤ５を順位付け又はランク付けしたものだと考えてよい。すなわち図６は、ルール番号すなわちカテゴリ番号が３について、学習済みモデルＡＩによる分類の正答率が最も悪かった、ということを例示している。

図７は、本開示技術に係る評価指標をツリーの態様で表した図である。本開示技術は学習済みモデルＡＩを決定木のルールモデルＤ２へ変換するため、評価指標をツリーの態様で容易に表示することができる。このように評価指標をツリーの態様で表示する本開示技術は、決定木の扱いに慣れている技術者にとって、親和性がある。
検証結果出力部１４０は、図７に示すように、違反度合に応じて、ツリーの枝にあたるパスの太さを変更し、ツリーの葉にあたるノードの色を変更してもよい。図７に示す例では、「Ｌｅａｆ２」と表示された葉において最も評価指標が悪く、パスが太く表示され、ノードの色が濃く表示されている。

図８は、本開示技術に係る評価指標をグラフのように表した図である。図８の例では、横軸に特徴量（ｘ_０、ｘ_１）と出力（ｙ）とをとり、それぞれの範囲が縦棒グラフのように表示されている。図８に例示された縦棒グラフにおいて、検証条件ＴＣがドットで示されているが、検証条件ＴＣの範囲を超えたサンプルデータの有無が一目でわかる。

図９は、実施の形態１に係る学習済みモデル検証システムの処理ステップを示したフローチャートである。図９に示されるとおり、実施の形態１に係る学習済みモデル検証システムの処理ステップは、ステップＳＴ１からステップＳＴ１２までに分けることができる。
ステップＳＴ１からステップＳＴ６までは、前処理装置３００にて実施される処理工程である。
ステップＳＴ７からステップＳＴ１２までは、検証装置１００にて実施される処理工程である。

図９に示されるステップＳＴ１は、前処理装置３００の前処理用データセット生成部３１０が行う処理ステップである。ステップＳＴ１において前処理用データセット生成部３１０は、記憶装置２００に格納されている学習済みモデルＡＩを取得する。

図９に示されるステップＳＴ２は、前処理装置３００の前処理用データセット生成部３１０が行う処理ステップである。ステップＳＴ２において前処理用データセット生成部３１０は、学習済みモデルＡＩについてルールモデルへの変換が必要か否かを判断する。ここでルールモデルへの変換が必要と判断された場合（ＹＥＳの場合）、処理工程はステップＳＴ３へ進む。ルールモデルへの変換が必要ではないと判断された場合（ＮＯの場合）処理工程はステップＳＴ７へ進む。
学習済みモデルＡＩがルールモデルか否かの判断は、学習済みモデルＡＩのソースコードを解析することで可能となる。本開示技術は、ソースコードの形の学習済みモデルＡＩを記憶装置２００に格納する。

図９に示されるステップＳＴ３は、前処理装置３００の前処理用データセット生成部３１０が行う処理ステップである。ステップＳＴ３において前処理用データセット生成部３１０は、学習済みモデルＡＩの全パスの分岐条件を抽出する。
学習済みモデルＡＩについて全パスの分岐条件を抽出する処理は、学習済みモデルＡＩのソースコードを解析することで可能となる。

図９に示されるステップＳＴ４は、前処理装置３００の前処理用データセット生成部３１０が行う処理ステップである。ステップＳＴ４において前処理用データセット生成部３１０は、全パスの分岐条件を、すなわち領域の境界値を網羅するよう、学習済みモデルＡＩへの入力データの集合（以降、「入力データ集合（Ｘ）」と称する。）を生成する。

図９に示されるステップＳＴ５は、前処理装置３００の前処理用データセット生成部３１０が行う処理ステップである。ステップＳＴ５において前処理用データセット生成部３１０は、ステップＳＴ４で生成した入力データ集合（Ｘ）に基づいて、前処理用データセットＤ１を生成する。前処理用データセットＤ１は、説明変数ｘからなる入力データ集合（Ｘ）と、それぞれの説明変数ｘに対応する目的変数ｙ_{ｅｎｓｅｍｂｌｅ}からなる集合と、から構成される。

図９に示されるステップＳＴ６は、前処理装置３００のルールモデル変換部３２０が行う処理ステップである。ステップＳＴ６においてルールモデル変換部３２０は、ステップＳＴ５で生成された前処理用データセットＤ１を用いて、ルールモデルＤ２を学習済みモデルＡＩと等価となるように学習させる。例えば、学習済みモデルＡＩが決定木のアンサンブルモデルであったとしても、ステップＳＴ６により学習済みモデルＡＩは、ルールモデルで表されたルールモデルＤ２へ変換できる。

なお、前処理用データセットＤ１を用いてルールモデルＤ２を学習済みモデルＡＩと等価になるように学習させることに代えて、前処理用データセットＤ１を用いて学習済みモデルＡＩに追加学習をさせることも考えられる。本開示技術に係る前処理用データセットＤ１は、領域の境界値を網羅するよう入力データ集合（Ｘ）が生成されているため、この追加学習により学習済みモデルＡＩの正答率を向上させることが期待できる。
また、前処理用データセットＤ１を用いて学習済みモデルＡＩに追加学習をさせた後、ステップＳＴ１からステップＳＴ６までの処理は、複数回、繰り返して行われてもよい。

図９に示されるステップＳＴ７は、検証装置１００の検証用データセット生成部１１０が行う処理ステップである。ステップＳＴ７において検証用データセット生成部１１０は、説明変数ｘからなる集合（Ｘ_ｔｅｓｔ）を生成する。なお説明変数ｘからなる集合（Ｘ_ｔｅｓｔ）は、検証用データセットＤ３の一部を構成するものである。

図９に示されるステップＳＴ８は、検証装置１００の検証部１２０が行う処理ステップである。ステップＳＴ８において検証部１２０は、ステップＳＴ７で生成された説明変数ｘのそれぞれに対して、対応した目的変数ｙ_ｔｅｓｔを取得する。対応した目的変数ｙ_ｔｅｓｔを取得する処理は、ルールモデルＤ２を用いて実施してよい。

図９に示されるステップＳＴ９は、検証装置１００の検証部１２０が行う処理ステップである。ステップＳＴ９において検証部１２０は、学習済みモデルＡＩ（ルールモデルＤ２）の学習成果を検証する。前述のとおり検証部１２０で実施される検証では、各カテゴリの領域の予測範囲を数式で表現した検証条件ＴＣが参照されてもよい。
検証条件ＴＣを参照した結果、違反がある場合（ＹＥＳの場合）、処理工程はステップＳＴ１０へ進む。違反がない場合（ＮＯの場合）、処理工程は終了する。

図９に示されるステップＳＴ１０は、検証装置１００の違反度合算出部１３０が行う処理ステップである。ステップＳＴ１０において違反度合算出部１３０は、学習済みモデルＡＩ（ルールモデルＤ２）の評価指標を算出するための集計を行う。

図９に示されるステップＳＴ１１は、検証装置１００の違反度合算出部１３０が行う処理ステップである。ステップＳＴ１１において違反度合算出部１３０は、ステップＳＴ１０で行った集計に基づいて、学習済みモデルＡＩ（ルールモデルＤ２）の評価指標を算出する。

図９に示されるステップＳＴ１２は、検証装置１００の違反度合算出部１３０が行う処理ステップである。ステップＳＴ１２において違反度合算出部１３０は、ステップＳＴ１１で算出した評価指標を、図、表、又はグラフとして表示できるフォーマットに変換して出力する。ここで評価指標を図として表示するフォーマットには、ツリーの態様（図７参照）が含まれる。

図１０は、本開示技術に係る学習済みモデル検証システム１０００のハードウエア構成を示した図である。図１０Ａは、学習済みモデル検証システム１０００の各機能がハードウエアで実行される場合の図である。図１０Ｂは、学習済みモデル検証システム１０００の各機能がソフトウエアで実行される場合の図である。
図１０に示されるとおり、本開示技術に係る学習済みモデル検証システム１０００の各機能、特に前処理装置３００及び検証装置１００の各機能は、処理回路により実現される。すなわち学習済みモデル検証システム１０００は、図９に示される処理ステップを実施するための処理回路を備える。処理回路は、専用のハードウエアであっても、メモリに格納されるプログラムを実行するＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサ、ＤＳＰともいう）であってよい。

図１０Ａに示されるように、処理回路が専用のハードウエアである場合（以降、処理回路を「処理回路５２０」と表示する）、処理回路５２０は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ、ＦＰＧＡ、又はこれらを組み合わせたものが該当する。前処理装置３００及び検証装置１００の各機能は、それぞれを個別の処理回路５２０で実現されてもよいし、まとめて１つの処理回路５２０で実現されてもよい。

図１０Ｂに示されるように、処理回路がＣＰＵの場合（以降、ＣＰＵを「プロセッサ５２２」と表示する）、前処理装置３００及び検証装置１００の各機能は、ソフトウエア、ファームウエア、又はソフトウエアとファームウエアとの組合せにより実現される。ソフトウエア及びファームウエアはプログラムとして記述され、メモリ５２４に格納される。処理回路は、メモリ５２４に記憶されたプログラムを読み出して実行することにより、各構成要素の機能を実現する。すなわち学習済みモデル検証システム１０００は、処理回路により実行されるときに、図９に示される処理ステップが結果的に実行されることになるプログラムを格納するためのメモリ５２４を備える。また、これらのプログラムは、前処理装置３００及び検証装置１００の手順及び方法をコンピュータ（図１０Ｂ全体が該当）に実行させるものである、とも言える。ここでメモリ５２４は、例えば、ＲＡＭ、ＲＯＭ、フラッシュメモリ、ＥＰＲＯＭ、ＥＥＰＲＯＭ等の不揮発性又は揮発性の半導体メモリであってもよい。またメモリ５２４は、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ等のディスクを有するものであってもよい。さらにメモリ５２４は、ＨＤＤ又はＳＳＤの態様であってもよい。

なお、前処理装置３００及び検証装置１００の各機能について、一部が専用のハードウエアで実現され、残りの部分がソフトウエア又はファームウエアで実現されてもよい。
このように処理回路は、ハードウエア、ソフトウエア、ファームウエア、又はこれらの組合せによって、学習済みモデル検証システム１０００の各機能を実現する。

以上のとおり本開示技術に係る学習済みモデル検証システムは上記構成を備えるため、決定木から構成されるアルゴリズム以外のアルゴリズムに基づいた数理モデルに対しても、決定木のフレームワークで検証を可能にする。
また本開示技術に係る学習済みモデル検証システムは、学習済みモデルＡＩに対して、特徴量空間における領域の境界値を網羅するよう追加学習をさせることができ、学習済みモデルＡＩの正答率を向上できる、という効果を奏する。

実施の形態２．
実施の形態２で示す内容は、実施の形態１に係る学習済みモデル検証システムの変形例である。実施の形態２では、特に明記する場合を除き、実施の形態１で用いた符号と同じものが用いられる。実施の形態２では、実施の形態１と重複する説明が、適宜、省略される。

実施の形態１で示されたとおり本開示技術は、学習済みモデルＡＩを分析する目的で、学習済みモデルＡＩを、学習済みモデルＡＩと同じ入出力関係を有するルールモデルＤ２に変換した。ここで、どの程度厳密に学習済みモデルＡＩと近似したルールモデルＤ２を作成するか、ということを、設計事項として考えることができる。
例えば、実施の形態２に係る学習済みモデル検証システムは、ルールモデル変換部３２０の処理において、ルールモデルＤ２におけるルール数の上限値を設けてもよい。ルールモデルＤ２におけるルール数の上限値は、設計パラメータとして、どの程度厳密に学習済みモデルＡＩと近似したルールモデルＤ２を作成するか、ということを調節できる。

実施の形態２に係る学習済みモデル検証システムは上記構成を備えるため、実施の形態１に記載した効果に加え、どの程度厳密に学習済みモデルＡＩと近似したルールモデルＤ２を作成するか、ということも調節できる。

実施の形態３．
実施の形態３で示す内容は、本開示技術に係る学習済みモデル検証システムの変形例である。実施の形態３では、特に明記する場合を除き、既出の実施の形態で用いた符号と同じものが用いられる。実施の形態３では、既出の実施の形態と重複する説明が、適宜、省略される。

実施の形態１において、違反度合算出部１３０が算出する評価指標は、学習済みモデルＡＩが解く問題を分類問題だとして、正解率（Ａｃｃｕｒａｃｙ）、適合率（Ｐｒｅｃｉｓｉｏｎ）、再現率（Ｒｅｃａｌｌ）、特異率（Ｓｐｅｃｉｆｉｃｉｔｙ）、及びＦ値（Ｆ－ｍｅａｓｕｒｅ）であるとした。また違反度合算出部１３０が算出する評価指標は、違反度合でもよいとした。
学習済みモデルＡＩが解く問題を回帰問題だとした場合、違反度合算出部１３０が算出する評価指標は、回帰問題に適した評価指標であってよい。回帰問題における評価指標は、ＲＭＳＥ（ＲｏｏｔＭｅａｎＳｑｕａｒｅｄＥｒｒｏｒ）、ＲＭＳＬＥ（ＲｏｏｔＭｅａｎＳｑｕａｒｅｄＬｏｇａｒｉｔｈｍｉｃＥｒｒｏｒ）、ＭＡＥ（ＭｅａｎＡｂｓｏｌｕｔｅＥｒｒｏｒ）、及び決定係数、等が考えられる。
また違反度合算出部１３０が算出する評価指標は、学習済みモデル検証システムの利用者が、適宜、定めたもの（例えば「乖離度」を定義してそれを用いる）でもよい。

実施の形態３に係る学習済みモデル検証システムは上記構成を備えるため、学習済みモデルＡＩが解く問題を回帰問題だとしても、既出の実施の形態に記載された効果を奏する。
なお、本開示技術に係る学習済みモデル検証システムは、各実施の形態に例示した態様に限定されず、各実施の形態を組み合わせし、実施の形態のそれぞれの任意の構成要素を変形し、又は実施の形態のそれぞれにおいて任意の構成要素を省略することができる。

本開示技術は、分類、回帰、又は認識を行う人工知能の検証及び追加学習に利用できるため、産業上の利用可能性を有する。

１００検証装置、１１０検証用データセット生成部、１２０検証部、１３０違反度合算出部、１４０検証結果出力部、２００記憶装置、３００前処理装置、３１０前処理用データセット生成部、３２０ルールモデル変換部、４００出力装置、５１０入力インターフェース、５２０処理回路、５２２プロセッサ、５２４メモリ、５３０ディスプレイ、５４０出力インターフェース、１０００学習済みモデル検証システム。

Claims

検証対象である学習済みモデルを、前記学習済みモデルと等価の入出力関係を有するルールモデルに変換するルールモデル変換部と、
前記ルールモデルの検証用データセットを生成する検証用データセット生成部と、
前記検証用データセットを用いて、前記ルールモデル又は前記学習済みモデルを検証する検証部と、を備える、
学習済みモデル検証システム。
前記検証用データセットを用いて、前記ルールモデル又は前記学習済みモデルの評価指標を算出する違反度合算出部と、
前記評価指標を、図、表、又はグラフとして表示できるフォーマットに変換して出力する検証結果出力部と、をさらに備える、
請求項１に記載の学習済みモデル検証システム。
前記フォーマットには、ツリーの態様が含まれる、
請求項２に記載の学習済みモデル検証システム。
前記ルールモデル変換部は、設計パラメータとしてルール数の上限値が設定可能である、
請求項１に記載の学習済みモデル検証システム。