JPH0954764A

JPH0954764A - モデルの汎化能力評価方法

Info

Publication number: JPH0954764A
Application number: JP7207981A
Authority: JP
Inventors: Akira Kawamura; 旭川村; Nobuo Watabe; 信雄渡部
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 1995-08-15
Filing date: 1995-08-15
Publication date: 1997-02-25

Abstract

(57)【要約】【課題】ニューロ・ファジイ融合システム等におけるモ
デルの汎化能力評価方法に関し，調節用データおよびテ
スト用データの全データ数が少ない場合でも，作成した
モデルの調節結果の汎化能力の評価を可能とし，かつ汎
化能力の評価値の信頼性を確認できるようにする。【解決手段】モデル（ルール）の汎化能力を評価するた
めに，用意した全データの調節用データとテスト用デー
タへの分割を複数個作成する(2) 。その各々のデータ分
割について，調節（学習）用データを用いた調節（学
習）を行い(5) ，テスト用データで汎化能力の評価を行
う(7) 。この際に，データ分割を通した平均値によっ
て，汎化能力の評価値とし，データ分割を通した分散ま
たは標準偏差値によって，汎化能力の評価値の信頼性と
する(9) 。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は，データを用いた調
節によってモデルの改良を行うシステムにおけるモデル
の汎化能力評価方法に関する。

【０００２】説明のために，ニューロ・ファジイ融合シ
ステムを例として取り上げる。エキスパートシステムに
おいては，対象システムをモデル化するためにルールを
作成することによってモデルを作成する。そのルールの
作成には膨大な手間がかかり，新しく得られたデータを
用いた改良を加えることや，条件が変化した場合の対応
等のメンテナンスが容易ではなかった。そのために，デ
ータを学習することによるルールの調節が必要となる。

【０００３】その学習によるルールの調節を可能とする
システムの例として，ファジイとニューロを融合したシ
ステムがある。ニューロを用いた情報処理では，対象と
するシステムの入力パターンとそれに対する望ましい出
力パターンの組とを，階層型ニューラルネットワークに
提示して学習させ，適応的な処理を行わせる。特に，バ
ックプロパゲーション法とよばれる処理方式が，その実
用性の高さから注目されている。

【０００４】ファジイ理論は，１９６０年代にZadeh に
より提案され，温度が「高い」とか「低い」といった，
人間が行っている，あいまいさに基づく思考や判断の過
程をモデル化する理論である。あいまいさを表すために
メンバシップ関数を導入したファジイ集合論を数学的基
礎としている。

【０００５】応用としては，１９７４年にMamdani がス
チームエンジンの制御に用いて以来，ファジイ制御が行
われている。ニューロ・ファジイ融合システムは，制御
の精度を上げるためのメンバシップ関数やファジイルー
ルの調節・変更が困難であるというファジイ制御の問題
点をニューラルネットワークの学習機能を用いて解決
し，また一方，そのままでは内部の情報処理が理解し難
いというニューラルネットワークの問題点をファジイモ
デルの枠組で解釈することによって説明することで解決
する。

【０００６】このようなシステムでは，モデルが未知の
入力に対してどれだけ正確な値を出力するかについての
能力評価が重要であり，また，その評価結果の信頼性を
確認できる必要がある。

【０００７】

【従来の技術】ニューロ・ファジイ融合システムの概要
を図８を用いて説明する。対象システムの専門家の勘や経験やノウハウ等を含
む知識を，メンバシップ関数とファジイルールの形式で
抽出し，ファジイモデルを作成する。

【０００８】作成されたファジイモデルに従い，ニ
ューラルネットワークのプリワイヤを行う。すなわち，
ニューロン間の結合や重み値を設定してニューラルネッ
トワークを構築する。

【０００９】プリワイヤによって構築されたニュー
ラルネットワークを，実際の対象システムに適用する。対象システムに付けられたセンサ等から，動作中に
学習用のデータを得て，ニューラルネットワークにそれ
らを学習させることにより，モデルの精度の向上を図
る。

【００１０】学習を行ったニューラルネットワーク
の結合状態や重み値を，ファジイモデルのメンバシップ
関数やファジイルールに対応付けて解釈することによ
り，ニューラルネットワークの内部動作を説明する。

【００１１】〔適用例〕簡単な問題について本システム
を適用した例に即して，システムの各ステップについて
の説明を行う。

【００１２】〔例題〕簡単な例として，対象システムが
図９に示す入出力関係を持っている場合を考える。

【００１３】ここで，ＸとＹが入力変数であり，Ｚが出
力変数である。ファジイモデルの作成図９の入出力関係をモデル化するために，作成したファ
ジイルールを図１０に示す。このファジイルールは，入
力変数Ｘ，Ｙの値の取り得る範囲をおおまかに５つの領
域に分け，その領域における出力変数Ｚのおおまかな値
（３つの領域に分割）を述べたものである。

【００１４】ファジイルールにおいてｉｆの後に続くフ
ァジイ命題を前件部命題，ｔｈｅｎの後に続くファジイ
命題を後件部命題という。これらのファジイルールに用
いられている，「Ｘ is small 」等のあいまいな命題を
定量化するために，定義したメンバシップ関数のうち，
入力変数Ｘに関する前件部メンバシップ関数を図１１
に，出力変数Ｚに関する後件部メンバシップ関数を図１
２に示す。

【００１５】また，図１３のようにファジイ命題間のフ
ァジイ論理演算ＡＮＤとして限界積を採用した。推論結
果の非ファジイ化には，図１２のように重心計算法を採
用した。

【００１６】以上のように作成した，ファジイモデルの
入出力関係を図１４に示す。図１４の入出力関係と図９
の対象システムの入出力関係のグラフを見比べると，前
件部メンバシップ関数の領域の変わり目の付近にずれが
生じているが，おおまかな特徴は捉えられていることが
判る。このようなずれが生じた原因は，入力値が前件部
メンバシップ関数の領域の変わり目の値になった場合，
どの前件部命題もグレード値が約0.５となり，これらの
グレード値に対しては，限界積は0.０に近い値をとるた
めと考えられる。

【００１７】以下に，本システムにおいて採用したファ
ジイモデルの詳細について説明する。ａ）前件部メンバシップ関数の説明入力変数Ｘに関する前件部メンバシップ関数を図１１に
示す。ここで，横軸は入力変数Ｘであり，縦軸はメンバ
シップ関数のグレード値である。これらのメンバシップ
関数によって各ファジイ命題の意味を表している。例え
ば，入力値がＸ＝0.２のとき，ファジイ命題「Ｘ is sm
all 」，「Ｘ is middle」，「Ｘ is big 」の確からし
さを表すグレード値は，各々0.６，0.４，0.０である。
このように，ファジイ命題のグレード値は，０〜１の範
囲の任意の値をとる。

【００１８】ｂ）ファジイ論理演算の説明普通の論理演算においては，命題は真か偽かのどちらか
一方となる。すなわち，命題のグレード値は１または０
のどちらかの値をとる。したがって，論理演算のＡＮＤ
の値は，２つの命題のとりうるグレード値の４通りの組
み合わせ（０，０），（０，１），（１，０），（１，
１）について定義すればよい。これらの定義を，図１３
の○と●で示す。○はＡＮＤ演算の結果が真であること
を，●は偽であることを示す。

【００１９】これに対して，ファジイ命題のグレード値
は，０〜１の範囲の任意の値をとるから，ファジイ論理
演算ＡＮＤの値は，上記の４つの点だけでなく，２つの
ファジイ命題のとり得るグレード値の範囲のすべてにつ
いて定義されなければならない。このようなＡＮＤ演算
の拡張の一つが限界積であり，その入出力関係を図１３
に示す。

【００２０】これによって，「（Ｘ is small ）ＡＮＤ
（Ｙ is small ）」等の複合命題のグレード値が計算さ
れる。前件部の複合命題のグレード値は，各ファジイル
ールの前提条件の成立の度合つまり適合度となる。

【００２１】ｃ）後件部メンバシップ関数の説明後件部命題のグレード値は，各ファジイ命題を後件部に
持つファジイルールの適合度の和として得られる。この
ようにして得られた後件部命題「Ｚ is small」，「Ｚ
is middle」，「Ｚ is big 」のグレード値が，各々0.
７５，0.２５，0.０５の場合の，出力変数の算出過程を
図１２に示す。ここで，横軸は出力変数Ｚであり，縦軸
はメンバシップ関数のグレード値である。定義したメン
バシップ関数を点線で示す。各々のメンバシップ関数の
高さは，対応する後件部命題のグレード値に比例して縮
小される。縮小されたメンバシップ関数を実線で示す。
それらの縮小されたメンバシップ関数の和が推論結果の
メンバシップ関数であり，図１２中で塗りつぶされた部
分がこの推論結果のメンバシップ関数を示す。

【００２２】推論結果のメンバシップ関数から代表値を
求める非ファジイ化の計算は，重心計算によって行い，
0.３３を得る。プリワイヤ作成されたファジイモデルに従い，プリワイヤによって
構築した構造化ニューラルネットワークを図１５に示
す。ここで，丸印はニューロンを表しており，●はシグ
モイド（関数）ニューロンを，○は線形（関数）ニュー
ロンを表す。この構造化ニューラルネットワークにおい
ては，ファジイモデルとの間に以下の対応関係がある。・３層目のニューロンは，各々前件部命題に対応してい
る。・４層目のニューロンは，各々ファジイルールに対応し
ている。・５層目のニューロンは，各々後件部命題に対応してい
る。

【００２３】以下に，プリワイヤによるファジイモデル
の実現方法の詳細について説明を行う。ａ）ファジイルールおよびファジイ論理演算の実現方法図１５にファジイルールと対応した構造を持つニューラ
ルネットワークを示す。

【００２４】例えば，rule１：if（Ｘ is small ）and
（Ｙ is small ）then Ｚ is middleに対応したプリワ
イヤは次のように行う。４層目のrule１に対応するニュ
ーロンと３層目の「Ｘ is small 」と「Ｙ issmall 」
に対応するニューロンとを結合させ，４層目のrule１に
対応するニューロンと５層目の「Ｚ is middle」と対応
するニューロンとを結合させる。４層目と５層目との間
の結合の重み値はすべて1.０に設定する。５層目のニュ
ーロンの閾値はすべて0.０に設定する。

【００２５】図１６（ａ）に示すように，４層目のrule
１に対応するニューロンと３層目の「Ｘ is small 」と
「Ｙ is small 」に対応するニューロンとの結合の重み
値は各々7.０，7.０に設定する。また，４層目のrule１
に対応するニューロンの閾値は１0.５に設定する。この
ようにして，１個のニューロンを用いてファジイ論理演
算を実現する。このニューロンの入出力関係を図１６
（ｂ）に示す。図１３の限界積の入出力関係と比較する
と，良い近似となっていることが解る。

【００２６】ｂ）前件部メンバシップ関数の実現方法例えば，入力変数Ｘの前件部メンバシップ関数に対応し
たプリワイヤは次のように行う。

【００２７】図１７に，前件部メンバシップ関数を実現
するニューラルネットワークを示す。ここで，丸印はニ
ューロンを表しており，●はシグモイドニューロンを，
○は線形ニューロンを表す。結線の傍の数値は重み値，
ニューロンを示す丸印の中の数値は閾値である。small
，big のように単調減少，単調増加するメンバシップ
関数については，１個のニューロンのシグモイド関数を
利用して実現する。middleのような山形のメンバシップ
関数については，２個のニューロンを用い，２つのシグ
モイド関数の差によって実現する。

【００２８】ｃ）後件部メンバシップ関数の実現方法出力変数Ｚの後件部メンバシップ関数に対応したプリワ
イヤは以下のように行う。

【００２９】図１８に，後件部メンバシップ関数を実現
するニューラルネットワークを示す。６層目の各ニュー
ロンを，出力変数Ｚの座標上にとられた点に対応させ
る。５層目のニューロンの一つから６層目の各ニューロ
ンへの結合の重み値の設定は，５層目のニューロンに対
応する後件部メンバシップ関数の６層目の各ニューロン
に対応するＺ座標上の点におけるグレード値に設定す
る。例えば，small のメンバシップ関数のＺ＝0.０，0.
３３，0.６７，1.０におけるグレード値は各々1.０，0.
０，0.０，0.０であるから，５層目の１番目のニューロ
ン（「Ｚ is small」に対応する）から６層目の各ニュ
ーロンへの結合の重み値は，1.０，0.０，0.０，0.０に
設定する。また，６層目のニューロンの閾値はすべて0.
０に設定する。

【００３０】このように構成されたニューラルネットワ
ークの内部動作を以下に説明する。ここで，５層目の１
番目のニューロンに注目する。このニューロンの出力が
1.０のとき，すなわち「Ｚ is small 」＝1.０のとき，
６層目の各Ｚ座標上の点に対応するニューロンの入力値
は，Ｚ＝0.０，0.３３，0.６７，1.０における後件部メ
ンバシップ関数small のグレード値1.０，0.０，0.０，
0.０と一致する。これを図１８の点線で示す。そして，
注目している５層目の１番目のニューロンの出力が0.７
５のとき，すなわち「Ｚ is small 」＝0.７５のとき，
６層目の各Ｚ座標上の点に対応するニューロンの入力値
は，0.７５，0.０，0.０，0.０となる。これを図１８の
実線で示す。そして，これは点線で示されるsmall のメ
ンバシップ関数の高さを，ファジイ命題「Ｚ is small
」の値に比例させて縮小したこと，すなわち0.７５倍
したことに相当する。

【００３１】６層目のニューロンは線型ニューロンであ
るから，各ニューロンの出力は５層目の各ニューロンか
らの入力の和である。したがって，６層目の各ニューロ
ンの出力値は，対応するＺ座標上の点における，推論結
果のメンバシップ関数のグレード値と一致する。例え
ば，「Ｚ is small 」＝0.７５，「Ｚ is middle」＝0.
２５，「Ｚ is big 」＝0.０５のときの推論結果のメン
バシップ関数を，図１８に塗りつぶした図形で示す。

【００３２】ｄ）重心計算の実現方法重心計算に対応したプリワイヤは次のように行う。図１
９の６層目の各ニューロンから７層目の一番目のＺａと
名付けられたニューロンへの結合の重み値は，６層目の
ニューロンに対応する点のＺ座標値に設定される。また
６層目の各ニューロンから７層目の二番目のＺｂと名付
けられたニューロンへの結合の重み値は，６層目のニュ
ーロンに対応する点のＺ座標値−１が設定される。

【００３３】このように構成されたニューラルネットワ
ーク・コンポーネントの内部動作は以下の通りである。
７層目のニューロンＺａの出力値は，６層目の各ニュー
ロンの出力値（推論結果のメンバシップ関数の対応する
点におけるグレード値）の重み値（対応する点のＺ座標
値）加重和であるので，その値はＺ＝0.０における推論
結果のメンバシップ関数の回転モーメントと一致する。
また，同様に，ニューロンＺｂの値はＺ＝1.０における
回転モーメントである。

【００３４】これらの値から，Ｚａ／（Ｚａ−Ｚｂ）の
計算により，重心計算の結果が求められる。対象システムへの適用プリワイヤによって構成されたニューラルネットワーク
の入出力関係を図２０に示す。元にしたファジイモデル
の入出力関係と同様に，細部については，対象システム
の入出力関係から外れているところがあるが，おおまか
な特徴は捉えている。

【００３５】学習によるモデルの精度向上プリワイヤによって構築されたニューラルネットワーク
に，図９の対象システムの入出力関係を学習させる。図
９の格子上の点（１１×１１）のデータを教師データと
し，プリワイヤによって設定された重み値（閾値を含
む）を初期値として，ニューラルネットワークの学習を
行う。図２０に示したように，プリワイヤによる初期値
で，おおまかな調整は済んでいるので，微調整だけを行
えば良く，この学習は容易である。

【００３６】学習後のニューラルネットワークの入出力
関係を図２１に示す。図９の対象システムの入出力関係
をほぼ再現できた。学習後のニューラルネットワークの内部動作の説明学習後のニューラルネットワークの結合の重み値および
閾値の変化は，以下のようにファジイルールおよびメン
バシップ関数の変化として解釈される。

【００３７】ａ）学習後のファジイルールの比重の変化学習後のファジイルールの比重の変化を図２２に示す。
プリワイヤの時点では，各ファジイルールが同じ比重を
もって扱われることに対応して，４層目のニューロンと
５層目のニューロンとの間の結合の重み値は，すべて同
じ１に設定された。学習後のこの部分の重み値の変化は
各ニューロンに対応するファジイルールの比重の変化と
して解釈される。

【００３８】ｂ）学習後の前件部メンバシップ関数の変
化図２３は，学習前と学習後での，入力変数Ｘのメンバシ
ップ関数に対応する部分の重み値の変化を，メンバシッ
プ関数の変化として捉えて表示したものである。

【００３９】点線が学習前のメンバシップ関数を，実線
が学習後のメンバシップ関数を示す。この変化は，メン
バシップ関数の変わり目におけるグレード値を0.５より
も大きくすることで，限界積を用いることによる出力値
の落ち込みを補償する働きをしていると解釈される。

【００４０】ｃ）学習後のファジイ論理演算の変化図２４は，学習後のrule１に対応するニューロンの重み
値の変化による，ファジイ論理演算の変化を示してい
る。

【００４１】rule１にとって「Ｘ is small 」と「Ｙ i
s small 」とがほぼ等しい寄与をすること，ファジイ論
理演算がＡＮＤ演算のままで良いことが解釈される。

【００４２】

【発明が解決しようとする課題】これまではモデル（ル
ール）の性能を評価するときに，調節（学習）用データ
にどれだけ合わせられるか，すなわち調節（学習）用デ
ータの誤差の大きさまたは正解率の大きさで評価する方
式がとられる。一般的にデータの数に比較してモデルの
調節自由度が大きい場合には，調節（学習）用データの
本質的でない誤差成分までモデルに取り込んでしまう過
適応が起きる危険性があり，全データを調節（学習）に
用いてしまうと，未知の入力に対してどれだけ正確な出
力が得られるかという汎化能力の評価が不可能である。

【００４３】それを解決するために，全データを調節
（学習）用データとテスト用データとに分けて，調節
（学習）用データを用いて調節（学習）を行い，テスト
用データで汎化能力の評価が行われる。しかし，従来技
術では，調節（学習）用データとテスト用データへの分
割は１通りだけであった。モデル（ルール）の作成の時
点で全データを用いたりしている場合等には，１組だけ
の調節（学習）用データとテスト用データに対してだけ
の評価では，得られた汎化能力の値の信頼性が判らな
い。

【００４４】本発明は上記問題点の解決を図り，調節用
データおよびテスト用データの全データ数が少ないよう
な場合でも，作成したモデル（ルール）の調節（学習）
結果の汎化能力の評価を可能とし，かつ汎化能力の評価
値の信頼性を確認できるようにする手段を提供すること
を目的とする。

【００４５】

【課題を解決するための手段】モデル（ルール）の汎化
能力を評価するために，用意した全データの調節用デー
タとテスト用データへの分割を複数個作成する。その各
々のデータ分割について，調節（学習）用データを用い
た調節（学習）を行い，テスト用データで汎化能力の評
価を行う。そして，データ分割を通した平均値によっ
て，汎化能力の評価値とし，データ分割を通した分散ま
たは標準偏差値によって，汎化能力の評価値の信頼度と
する。

【００４６】複数のデータ分割の作成方法の一つとし
て，汎化能力の評価の信頼度を確保するために，全デー
タ中のテスト用データの数を，調節用データと同等の数
とし，全データ中の各々のデータが，調節用データとテ
スト用データとのどちらに振り分けられるかを乱数を用
いて決定する方法がある。また，用意できる全データ数
が少なく，調節（学習）に必要なデータ数を確保するた
めには，全データ中のテスト用データの数を１個とし，
どの１個を選ぶかによってデータ分割を複数個作成する
方法が適用できる。

【００４７】本発明の作用は以下の通りである。調節
（学習）用データだけでなく，テスト用データで調節
（学習）後のモデル（ルール）のデータの入力に対する
出力値とデータの出力値とを比較することで，汎化能力
の評価を行うことができる。その手続きを複数のデータ
分割で行い，平均値をとることで偶然の効果を減らして
汎化能力の信頼できる値が得られる。また，その評価値
の分布や分散（標準偏差）の値をみることで，汎化能力
評価値の信頼性をみることができる。また用意できる全
データ数が少ない場合に用いる，全データ中のテスト用
データの数を１個とし，どの１個を選ぶかによってデー
タ分割を複数個作成する方法による汎化能力評価値は，
テスト用データ数が大きい場合の方法によって得られる
値よりも大きく出る傾向があるが，この場合はモデルを
変えた場合の相対値が必要なだけであるので，使用に差
し支えはない。

【００４８】

【発明の実施の形態】図１は本発明のシステムのブロッ
ク図である。元データ格納部１は，モデルの調節と汎化
能力を評価するためのテストの元となるデータ群を格納
している記憶手段である。データ分割部２は，元データ
格納部１に格納されているデータを，調節用データとテ
スト用データとに分割して，それぞれ調節用データ格納
部３およびテスト用データ格納部４に格納する処理を行
うものである。特に，本発明では，元データ格納部１に
格納されているデータを何回も使用し，複数通りのデー
タ分割を行う。

【００４９】調節部５は，調節用データ格納部３に格納
されている調節用データを使用し，モデルの調節（学
習）を行うものである。調節によって，モデル格納部６
に格納されているモデルの特徴を表すデータを更新す
る。

【００５０】テスト部７は，テスト用データ格納部４に
格納されているテスト用データを使用し，モデル格納部
６に格納されている調節後のモデルのデータについて，
汎化能力のテストを行うものである。特に，誤差算出部
／正解率算出部８は，テスト用データによるテスト結果
の誤差の大きさ，またはテスト用データによるテスト結
果の正解率を算出する手段である。

【００５１】テスト結果のまとめ実行部９は，平均値算
出部１０および分散／標準偏差算出部１１を備え，テス
ト部７によるテスト結果のまとめを行って，結果を出力
する手段である。ここで，平均値算出部１０は，誤差算
出部／正解率算出部８で算出したテスト用データの誤差
の大きさまたは正解率についてのデータ分割を通した平
均値を算出し，それを汎化能力の評価値とする。また，
分散／標準偏差算出部１１は，誤差算出部／正解率算出
部８で算出したテスト用データの誤差の大きさまたは正
解率についてのデータ分割を通した分散もしくは標準偏
差値を算出し，それによって汎化能力の評価値の信頼度
を決定する。

【００５２】データ分割部２におけるデータ分割の方法
として，以下の方法を選択可能である。 (1) 元データ格納部１に格納されている全データ中の各
々のデータについて，調節用データとテスト用データの
どちらに振り分けるかを乱数を用いて決定し，その乱数
のシード（ｓｅｅｄ）を複数個用意することによってデ
ータ分割を複数通り作成する。

【００５３】(2) 汎化能力の評価の信頼度を確保するた
めに，元データ格納部１に格納されている全データ中の
テスト用データの数を，調節用データと同等の数にす
る。 (3) 元データ格納部１に格納されている全データ数が少
ない場合に，調節に必要なデータ数を確保するために，
全データ中のテスト用データの数を１個とし，どの１個
を選ぶかによってデータ分割を複数通り作成する。

【００５４】図２は，本発明による汎化能力評価の全体
の処理フローを示す。まず，ステップＳ１において，デ
ータ分割部１は，元データ格納部１に格納されている元
データの調節用データとテスト用データへの分割を複数
通り作成する。ステップＳ２では，調節部５によって，
データ分割した中の１組の調節用データを用いたモデル
の調節を行い，モデル格納部６中のモデル情報を更新す
る。

【００５５】次のステップＳ３では，調節部５により調
節したモデルについて，データ分割した中の１組のテス
ト用データを用いてテストを行う。ステップＳ４では，
すべてのデータ分割についての調節とテストが終了した
かどうかを判定し，未終了であれば，ステップＳ２へ戻
り，同様に処理を繰り返す。終了したならば，ステップ
Ｓ５へ進み，テスト結果のまとめを行う。

【００５６】図３（ａ）は，第１の実施の形態によるデ
ータ分割の処理フローである。元データの調節用データ
とテスト用データへの分割を複数通り作成する方法とし
て，第１の方法では，まずステップＳ１０により，乱数
を生成する。次に，ステップＳ１１によって，元データ
格納部１中の元データを，調節用データとテスト用デー
タに乱数を用いて分割する。次のステップＳ１２によ
り，あらかじめ設定された個数のデータ分割を生成した
かどうかを判定し，まだ生成していない場合には，ステ
ップＳ１０へ戻って同様にデータ分割を繰り返す。設定
個数のデータ分割の生成後に，図２に示すステップＳ２
へ移る。

【００５７】図３（ｂ）は，第２の実施の形態によるデ
ータ分割の処理フローである。元データの調節用データ
とテスト用データへの分割を複数通り作成する方法とし
て，第２の方法では，まずステップＳ２０により，元デ
ータ格納部１中の元データを，調節用データとテスト用
データに双方ともほぼ等しい数になるように分割する。
次に，ステップＳ２１により，あらかじめ設定された個
数のデータ分割を生成したかどうかを判定し，まだ生成
していない場合には，同様にステップＳ２０によってデ
ータ分割を繰り返す。設定個数のデータ分割の生成後
に，図２に示すステップＳ２へ移る。

【００５８】図４は，第３の実施の形態によるデータ分
割の処理フローである。元データの調節用データとテス
ト用データへの分割を複数通り作成する方法として，第
３の方法では，まずステップＳ３０により，元データ格
納部１中の元データを読み込み，ステップＳ３１によ
り，元データの個数をカウントする。そして，ステップ
Ｓ３２により，データ分割個数を元データ個数とする。

【００５９】ステップＳ３３では，データ分割個数のカ
ウント用変数ｍを０に初期化し，ステップＳ３４〜Ｓ３
６を繰り返す。まず，ステップＳ３４により，ｍに１を
加算し，次のステップＳ３５で，元データのｍ番目のデ
ータをテスト用データとし，残りの元データを調節用デ
ータとしてデータ分割の一つを生成する。ステップＳ３
６で，設定個数のデータ分割を生成したかどうか，すな
わち，ｍ＝データ分割個数であるか否かを判定し，ｍ＝
データ分割個数でなければ，ステップＳ３４へ戻って，
次のデータ分割を生成する。ｍ＝データ分割個数であれ
ば，図２に示すステップＳ２へ移る。

【００６０】図５は，テスト用データを用いたテストの
処理フローである。第１のテスト方法では，図５（ａ）
に示すステップＳ４０により，テスト用データの入力部
分をモデルに入力する。次に，ステップＳ４１により，
入力に対するモデルの出力を算出する。そして，ステッ
プＳ４２により，モデルの出力と，テスト用データの出
力部分との比較を行い，誤差を算出する。

【００６１】第２のテスト方法では，図５（ｂ）に示す
ステップＳ４３により，テスト用データの入力部分をモ
デルに入力する。次に，ステップＳ４４により，入力に
対するモデルの出力を算出する。そして，ステップＳ４
５により，モデルの出力と，テスト用データの出力部分
との比較を行い，正解率を算出する。

【００６２】テスト結果のまとめは，図５（ｃ）に示す
ように，（ａ）で求めた誤差または（ｂ）で求めた正解
率のすべてのデータ分割を通した平均値を算出し，それ
を汎化能力の評価値とする。

【００６３】図６は，テスト用データを用いたテストの
処理フローであって，特に汎化能力の評価値の信頼度を
求める方法を示す図である。第１のテスト方法では，図
６（ａ）に示すステップＳ５０により，テスト用データ
の入力部分をモデルに入力する。次に，ステップＳ５１
により，入力に対するモデルの出力を算出する。そし
て，ステップＳ５２により，モデルの出力と，テスト用
データの出力部分との比較を行い，誤差を算出する。

【００６４】第２のテスト方法では，図６（ｂ）に示す
ステップＳ５３により，テスト用データの入力部分をモ
デルに入力する。次に，ステップＳ５４により，入力に
対するモデルの出力を算出する。そして，ステップＳ５
５により，モデルの出力と，テスト用データの出力部分
との比較を行い，正解率を算出する。

【００６５】テスト結果のまとめは，図６（ｃ）に示す
ように，（ａ）で求めた誤差または（ｂ）で求めた正解
率のすべてのデータ分割を通した分散を算出し，それを
汎化能力の評価値の信頼度とする。または，誤差もしく
は正解率のすべてのデータ分割を通した標準偏差を算出
し，それを汎化能力の評価値の信頼度とする。

【００６６】

【実施例】図７は，本発明の実施例によるデータ分割と
評価の具体例を示す図である。元データとして，図７
（ａ）に示すような元データＰ₁〜Ｐ₁₀が，元データ格
納部１に与えられたとする。各元データＰ₁〜Ｐ₁₀は，
それぞれ入力Ｉ₁〜Ｉ₁₀と出力Ｏ₁〜Ｏ₁₀の組からな
る。これらのデータは，例えば入力Ｉ_i（ｉ＝１，２，
…，１０）をモデルに対して与えた場合，Ｏ_iが望まし
い出力であることを示している。

【００６７】これらの元データを調節用データとテスト
用データとがほぼ同数となる方法を用いてデータ分割を
すると，例えば図７（ｂ）に示すようなデータ分割が得
られる。ここでは，データ分割の設定個数を５としてい
る。他のデータ分割方法として，全データ中の各々のデ
ータについて，調節用データとテスト用データのどちら
に振り分けるかを乱数を用いて決定する方法，元データ
の中の１つだけをテスト用データとして選択する方法を
用いることも可能である。

【００６８】このようにしてデータ分割した結果の調節
用データをＬ₁〜Ｌ₅とし，テスト用データをＴ₁〜Ｔ
₅とする。これを用い，図７（ｃ）に示すように，調節
用データＬ₁で調節し，それをテスト用データＴ₁でテ
ストした結果の誤差をＥ₁とする。同様に，調節用デー
タＬ₂で調節し，それをテスト用データＴ₂でテストし
た結果の誤差をＥ₂とする。これをすべてのデータ分割
に対して繰り返し，結果の誤差Ｅ₁〜Ｅ₅を算出する。

【００６９】次に，図７（ｄ）に示すように，誤差Ｅ₁
〜Ｅ₅の平均値を算出し，それを汎化能力の評価値とす
る。また，誤差Ｅ₁〜Ｅ₅の標準偏差を算出し，それを
汎化能力の評価値の信頼度とする。誤差Ｅ₁〜Ｅ₅では
なく，正解率を用いるようにしてもよい。また，汎化能
力の評価値の信頼度を，誤差または正解率の分散から求
めるようにしてもよい。

【００７０】この汎化能力評価方法は，ニューロ・ファ
ジイ融合システムに用いることが可能である。

【００７１】

【発明の効果】以上説明したように，本発明を用いるこ
とで，作成したモデル（ルール）の調節（学習）結果の
汎化能力の評価が可能となり，汎化能力の向上をモデル
（ルール）の作成の指針とすることで，調節（学習）デ
ータに合わせるために無闇に調節（学習）自由度を増や
して，過適応を起こすモデルを作成することを防止する
ことができる。

【図面の簡単な説明】

【図１】本発明のシステムのブロック図である。

【図２】本発明による汎化能力評価の全体の処理フロー
を示す図である。

【図３】第１および第２の実施の形態によるデータ分割
の処理フローである。

【図４】第３の実施の形態によるデータ分割の処理フロ
ーである。

【図５】テスト用データを用いたテストの処理フローで
ある。

【図６】テスト用データを用いたテストの処理フローで
ある。

【図７】本発明の実施例によるデータ分割と評価の具体
例を示す図である。

【図８】ニューロ・ファジイ融合システムの概要を示す
図である。

【図９】ニューロ・ファジイ融合システムを説明するた
めの例題を示す図である。

【図１０】図９の入出力関係をモデル化するために作成
したファジイルールの例を示す図である。

【図１１】前件部メンバシップ関数を示す図である。

【図１２】出力変数Ｚに関する後件部メンバシップ関数
と非ファジイ化（重心計算）を示す図である。

【図１３】ファジイ命題間のファジイ論理演算（限界
積）を説明する図である。

【図１４】ファジイモデルの入出力関係を示す図であ
る。

【図１５】ファジイルールと対応した構造を持つニュー
ラルネットワークを示す図である。

【図１６】ファジイ論理演算を実現するニューロンを示
す図である。

【図１７】前件部メンバシップ関数を実現するニューラ
ルネットワークを説明する図である。

【図１８】後件部メンバシップ関数を実現するニューラ
ルネットワークを説明する図である。

【図１９】重心計算を実現するニューラルネットワーク
を説明する図である。

【図２０】プリワイヤによって構成されたニューラルネ
ットワークの入出力関係を示す図である。

【図２１】学習後のニューラルネットワークの入出力関
係を示す図である。

【図２２】学習後のファジイルールの比重の変化を示す
図である。

【図２３】学習による前件部メンバシップ関数の変化を
示す図である。

【図２４】学習によるファジイ論理演算の変化を示す図
である。

【符号の説明】

１元データ格納部２データ分割部３調節用データ格納部４テスト用データ格納部５調節部６モデル格納部７テスト部８誤差算出部／正確率算出部９テスト結果のまとめ実行部１０平均値算出部１１分散／標準偏差算出部

Claims

【特許請求の範囲】

【請求項１】データを用いた調節によってモデルの改
良を行うシステムにおけるモデルの汎化能力評価方法に
おいて，モデルの汎化能力を評価するために用意した全
データの調節用データとテスト用データへの分割を複数
通り作成し，前記調節用データを用いたモデルの調節と
前記テスト用データを用いたモデルのテストとを前記複
数通りのデータ分割の数だけ繰り返すことを特徴とする
モデルの汎化能力評価方法。
【請求項２】請求項１記載のモデルの汎化能力評価方
法において，全データ中の各々のデータについて，調節
用データとテスト用データのどちらに振り分けるかを乱
数を用いて決定し，その乱数のシードを複数個用意する
ことによってデータ分割を複数通り作成することを特徴
とするモデルの汎化能力評価方法。
【請求項３】請求項１記載のモデルの汎化能力評価方
法において，全データ中のテスト用データの数を，調節
用データと同等の数にすることにより，汎化能力の評価
の信頼度を確保することを特徴とするモデルの汎化能力
評価方法。
【請求項４】請求項１記載のモデルの汎化能力評価方
法において，全データ中のテスト用データの数を１個と
し，どの１個を選ぶかによってデータ分割を複数通り作
成し，全データ数が少ない場合における調節に必要なデ
ータ数を確保することを特徴とするモデルの汎化能力評
価方法。
【請求項５】請求項１記載のモデルの汎化能力評価方
法において，テスト用データの誤差の大きさのデータ分
割を通した平均値またはテスト用データの正解率のデー
タ分割を通した平均値を，汎化能力の評価値とすること
を特徴とするモデルの汎化能力評価方法。
【請求項６】請求項１記載のモデルの汎化能力評価方
法において，テスト用データの誤差の大きさのデータ分
割を通した分散もしくは標準偏差値またはテスト用デー
タの正解率のデータ分割を通した分散もしくは標準偏差
値によって，汎化能力の評価値の信頼度を決定すること
を特徴とするモデルの汎化能力評価方法。