JPH08202553A

JPH08202553A - 知識学習システム

Info

Publication number: JPH08202553A
Application number: JP7009959A
Authority: JP
Inventors: Megumi Ishii; 恵石井; Yasuhiro Akiba; 泰弘秋葉; Shigeo Kaneda; 重郎金田
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 1995-01-25
Filing date: 1995-01-25
Publication date: 1996-08-09

Abstract

(57)【要約】【目的】プルーニングにより仮事例の情報が失われる
ことなく、実事例をプルーニングすることができる知識
学習システムを提供する。【構成】機械学習手段１３は仮事例１１および実事例
１２からデシジョンツリー１４を生成し、プルーニング
手段１５に供給する。プルーニング手段１５は仮事例に
対するエラー率および実事例に対するエラー率をそれぞ
れ仮事例エラー率計算手段１５１および実事例エラー率
計算手段１５２で計算し、この計算した両エラー率にそ
れぞれ予め定めた重みを与えて加重平均した加重エラー
率が予め定めた値を越えない範囲で置換するサブツリー
を決定し、デシジョンツリー中のサブツリーを当該サブ
ツリーのサブツリーまたはリーフで置換することにより
デシジョンツリーをプルーニングしている。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、事例からルール／デシ
ジョンツリーを作成する知識学習システムに関する。

【０００２】

【従来の技術】過去の観測事例から、未知事例のクラス
を判別するためのルール／デシジョンツリーを学習する
方法は「機械学習」と呼ばれ、種々の手法が提案されて
きた。その中でも、Quinlan の「ＩＤ３」は、最も代表
的なものである。ＩＤ３は、その学習時間が、学習に利
用する事例（学習事例）の個数にほぼ比例している点に
大きな特徴がある。以下、ＩＤ３に関する簡単な説明を
行う。なお、詳細は、例えば、電総研人工知能研究グル
ープ訳「知識獲得と学習シリーズ第１〜８巻」共立出版
を参照されたい。

【０００３】ＩＤ３では、例えば事例として、次に示す
事例集合を用いる。ここで、事例［低い、ブロンド、
青；＋］を構成する、「低い」、「ブロンド」、および
「青」が属性値である。この例では、「背の高さ」「髪
の色」「目の色」の３個の属性がある。「−」「＋」
は、これらの属性で決まるクラスである。この８個の事
例を以下「事例集合Ｃ」と呼ぶ。

【０００４】さて、上記集合Ｃが与えられた後、これらの事例には含
まれない新たな事例、

【０００５】［低い、赤色、茶；？］が到着した場合
に、このクラスを何と推定すべきだろうか？機械学習の
目的は、このような未知の事例のクラスを判別するため
のルール（デシジョンツリー）を既知の学習事例（上記
では事例集合Ｃ）から生成することである。

【０００６】ＩＤ３では、クラスを決定するルールは、
図２（ｂ）のようなデシジョンツリーとして表現され
る。このデシジョンツリーの意味は、まず最初に「髪の
色」で未知事例を検査する。この結果髪の色が「黒」で
あればただちにクラス「−」と判別する。また、髪の色
が「赤」であるならば、クラス「＋」と判別する。も
し、髪の色が「ブロンド」であるならば、更に、「目の
色」について事例を調べ、目の色が「青」であるなら
ば、クラスを「＋」、茶であるならば、クラスを「−」
とする。このように、デシジョンツリーでは、トップの
ノードから、順次、未知事例の属性値を質問する形でク
ラスの判定を行う。では、このデシジョンツリーを事例
集合Ｃからどのようにして作成したのだろうか？ＩＤ３
では、最初に事例集合Ｃに関し、各属性で判別した時の
ツリーを各々（仮に）作成する。図２（ａ）は、属性
「髪の色」で判別を行った例である。８個の事例は、３
個、１個、４個のグループに分かれる。ここで、「黒」
と「赤」の枝については、事例の持つクラスがユニーク
である。しかし、「ブロンド」の枝に対しては、クラス
はユニークではない。ＩＤ３は、属性による判別の良し
悪しをエントロピーのゲイン（利得）により判断する。

【０００７】エントロピーのゲインとは、分割前の事例
が持っているエントロピーが、分割によりどれだけ減少
するかを表すものである。そして、属性の中で、エント
ロピーゲインが最大となる属性により、事例の分割を実
際に実行する。これにより、１段のツリーができる。そ
して、以後は、このツリーの枝毎に、同様の処理を行っ
て、再帰的にツリーを作成してゆく。詳細は、前述の文
献に譲る。事例Ｃから生成されるのは、図２（ｂ）のデ
シジョンツリーである。未知事例に対しては、このデシ
ジョンツリーを用いて、クラスの判定を行う。

【０００８】上記のＩＤ３は、十分な事例数が確保され
れば、エキスパートシステムの知識獲得支援手法として
利用できる。しかし、現実のフィールドでは、収集でき
る専門家の処理事例数に限度があり、入手可能な事例の
みから知識（デシジョンツリー）を生成しても、そのデ
シジョンツリーの性能が不十分であることが多い。この
問題点を解決するために、まず人手で既存知識をルール
で表現し、このルールから変換された仮事例と、実際に
収集される事例である実事例を合わせて、最終的なルー
ルを自動学習する手法がある。この手法は、実際に手に
入る少ない事例と、人間の頭の中にある知識とを総合し
て、精度の高い知識を生成できる特徴がある。

【０００９】一方、機械学習では、もう一つの側面を考
慮する必要がある。一般に、事例の中には、ノイズ事例
（属性値やクラス名称が誤った事例）が含まれている。
ＩＤ３は、この誤った事例に応じて不必要に細かいデシ
ジョンツリーを生成する。この不必要に細かいツリー
は、未知の事例に対しては、誤った判断をするため、一
般に誤り率が大きくなる。この問題を回避するため、一
旦生成されたデシジョンツリーの枝を外側から刈り込ん
で、より小さなデシジョンツリーを作成することが一般
的に行われている。これを、プルーニング（枝刈り）と
呼ぶ。

【００１０】このプルーニングについて、図３を参照し
て説明する。図３は、カリフォルニア大学アーバイン校
が提供している機械学習システム評価用データの中で、
「Voting」データに対するＩＤ３のデシジョンツリー生
成結果の一部を示す。なお、この例は、J.R.Quilan著
「C4.5 Programs for Machine Learning」、Morgan Kau
fmann によるものである。図３において、例えば「Ｄ
（１５１）」は、クラスで「Ｄ」であり、そこには１５
１個の学習事例が流れてきたこと、そして、その事例は
正しくクラス分けされたことを示す。一方、「Ｒ（９７
／３）」は、クラスが「Ｒ」であり、９７個は、正しく
クラス分けされたが、３個は間違ったクラスである
「Ｒ」が付与された、即ち、正しいクラスが「Ｄ」であ
ることを示す（この例では「Ｄ」と「Ｒ」の２クラスの
みが存在する）。

【００１１】プルーニング（枝刈り）は、基本的には、
生成されたデシジョンツリーの部分木をそのリーフまた
は、部分木の中に含まれる部分木で置き換える。図３の
例では、「Physician fee freeze」による検査の後、
「Ｎ」「Ｙ」が回答された場合の部分木が全て、リーフ
に置き換えられている。例えば、「Ｎ」の場合には、そ
れまでは、１５１＋１＋６＋９＋１＝１６８個が正しく
分類されていたが、プルーニングにより、その中の２．
６個相当が誤った分類になることを示す。なお、誤った
事例の個数が整数ではないのは、事例の属性値に「未測
定」が存在する場合の処理が関係するが、本発明の主旨
には関係しないので詳細は省略する。

【００１２】プルーニングにより学習事例に対する弁別
性能が低下していることに注意されたい。一般に、プル
ーニングにより、学習事例の弁別性能は低下する。しか
し、生成されたデシジョンツリーがシンプルであると、
未知事例に対する性能が向上する性質が一般にあり、学
習事例に対する性能低下を防ぎつつ、デシジョンツリー
全体を極力シンプルにすることに、プルーニングの主眼
は置かれる。即ち、プルーニングは、基本的には、次に
示す評価式ｆにより行われる。ｆがある値より小さけれ
ば、プルーニングを実行すべきと判断する。

【００１３】

【数１】ここで、予測エラー率とは、当該部分木に流れる事例
（学習事例）中の誤ってクラス分けされる事例の割合で
ある。このエラー率としては、種々の表現が考えられる
が、最も簡単な評価値は、学習事例中のエラー、即ち誤
ったクラスに判定される事例の個数である（正確には、
「率」ではないかも知れないが、本発明の主旨を説明す
る例としては十分と考える）。一般には、統計的な推定
エラー率に当該部分木に流れる事例の個数を乗じたもの
等が考えられるが、予測エラー率の計算方法そのもの
は、本発明の主旨には直接は関係しないので、詳細は省
略する。以下の説明では、エラー率の増加を、部分木を
置き換えたことによる誤り個数の増加と考える。

【００１４】言うまでもなく、予測エラー率の増加が極
力小さく、かつ、部分木のサイズ削減値の大きな部分木
がプルーニングの対象となるべきである。そして、プル
ーニングは、デシジョンツリー全体を眺めて、効果の大
きい所から順次行い、予め定められたｆ値の限界でプル
ーニングを停止する。

【００１５】図４は、従来の知識修正型学習システムに
おいて、上記のプルーニングを実施した場合と、実施し
なかった場合の学習性能を比較したものである。比較方
法の詳細は省略するが、縦軸は、生成されたデシジョン
ツリーの未知事例に対するエラー率である。また、横軸
は、仮事例と実事例に与えた重要度の比率を示す。軸の
左側程、既存知識、即ち仮事例を重要視し、右側程、実
事例を重要視している。図４から、以下の結論を得る。

【００１６】（１）プルーニングを行う場合と行わない
場合で、誤り率が最適となる重要度の比率が異なる。具
体的には、プルーニングありでは、既存知識よりも実事
例を重要視したほうがよい。これに対して、プルーニン
グなしでは、実事例より、既存知識を重要視したほうが
よい。

【００１７】（２）未知事例に対する性能は、プルーニ
ングなしのほうがわずかによい。

【００１８】

【発明が解決しようとする課題】仮事例は、エキスパー
トが作成した知識である。従って、仮事例にはノイズは
なく、本来、プルーニングを行うべき対象ではない。一
方、実事例は、ノイズを含み、性能のよいデシジョンツ
リーを作成するには、プルーニングを併用すべきである
と思われる。しかし、従来のプルーニング手法では、こ
の要求は満足されない。プルーニングを掛けると、実事
例に対してはよいが、仮事例に対しては、余分な刈り込
みをして、本来の情報を失う。このため、図４では、最
適な点が右に寄っている。

【００１９】これに対して、プルーニングを掛けない
と、確かに、仮事例の情報は反映されるが、実事例のノ
イズの影響を排除できない。従って、図４では、最適な
点が左に寄っている。これでは、実事例の情報を十分に
利用しているとは言いがたい。どちらにしても、図４の
性能は、仮事例と実事例を十分に利用した性能とは言え
ない。

【００２０】本発明は、上記に鑑みてなされたもので、
その目的とするところは、プルーニングにより仮事例の
情報が失われることなく、実事例をプルーニングするこ
とができる知識学習システムを提供することにある。

【００２１】

【課題を解決するための手段】上記目的を達成するた
め、本発明の知識学習システムは、事例からデシジョン
ツリーを作成する知識学習システムであって、既存知識
から作成された仮事例および実際に収集された実事例か
らデシジョンツリーを作成する機械学習手段と、該機械
学習手段により生成されたデシジョンツリーを入力とし
て、実事例に対するエラー率と仮事例に対するエラー率
を計算し、前者のエラー率と後者のエラー率にそれぞれ
予め定めた重みを与えて加重平均した加重エラー率が予
め定めた値を越えない範囲で置換するサブツリーを決定
し、前記デシジョンツリー中のサブツリーを当該サブツ
リーのサブツリーまたはリーフで置換することにより前
記デシジョンツリーをプルーニングするプルーニング手
段とを有することを要旨とする。

【００２２】

【作用】本発明の知識学習システムでは、仮事例から生
成された部分木に対してはプルーニングをあまり実行せ
ず、実事例から生成された部分木に対してプルーニング
を主として行うことにより、仮事例の情報を十分に生か
し、かつ実事例中に含まれるノイズの影響を排除して知
識の作成を行うように仮事例から求められたエラー率と
実事例から求められたエラー率を区分して考慮し、それ
ぞれのエラー率に予め定めた重みを与えて加重平均した
エラー率に基づき、プルーニングを行っている。

【００２３】

【実施例】以下、図面を用いて本発明の実施例を説明す
る。

【００２４】図１は、本発明の一実施例に係る知識学習
システムの構成を示す図である。同図に示す知識学習シ
ステムは、２種類に区分された事例、即ち既存知識から
作成された仮事例１１および実際に収集された実事例１
２からデシジョンツリー１４を生成する機械学習手段１
３、および該機械学習手段１３により生成されたデシジ
ョンツリー１４を入力として、該デシジョンツリー１４
の中のサブツリーを当該サブツリーのサブツリーまたは
リーフで置換することにより前記デシジョンツリー１４
をプルーニングし、このプルーニング済みのデシジョン
ツリー１６を出力するプルーニング手段１５を有する。

【００２５】前記プルーニング手段１５は、実事例１２
に対するエラー率（以下、実事例エラー率と呼ぶ）を計
算する実事例エラー率計算手段１５２と、仮事例１１に
対するエラー率（以下、仮事例エラー率と呼ぶ）を計算
する仮事例エラー率計算手段１５１とを有し、これによ
り求められた実事例エラー率、仮事例エラー率にそれぞ
れに重みを与えて加重平均した加重エラー率に基づい
て、どのサブツリーを置換するかを決定する。

【００２６】以下、本発明の実施例について、更に詳細
に説明する。

【００２７】仮事例１１は、ルールまたはデシジョンツ
リーで与えられる既存知識から変換により得られた事例
である。その変換方法は、本発明の主旨ではないので詳
細には述べないが、基本的には、既存知識の情報を反映
し、機械学習手段１３により、もとの既存知識と同等の
ルール／デシジョンツリーが生成されるように作成され
た事例である。事例の形式は、属性値とクラス名称から
構成されるベクトルであり、事例番号をｉとして、以下
の形式で表現される。但し、Ｖ_i,jは、ｊ番目の属性の
属性値であり、Ｃｌａｓｓ_iは当該事例の持つクラスで
ある。

【００２８】［Ｖ_i,1，Ｖ_i,2，Ｖ_i,3，Ｖ_i,4・・・
・；Ｃｌａｓｓ_i］一方、実事例は、実際に応用分野（フィールド）で観測
された事例である。その表現形式は仮事例と同一である
が、ノイズを含有している可能性があることは既に述べ
たとおりである。

【００２９】機械学習手段１３は、上記の事例（仮事例
＋実事例）からデシジョンツリーを生成する機能を持
つ。但し、この際、どの程度の重みをそれぞれの事例に
加えるかが問題となる。既存知識が曖昧で、その結果、
仮事例が信用のおけないものである時には、実事例によ
り重みを与えて学習を行うべきであろう。また、逆に既
存知識が正確で、事例がノイズばかりの時には、仮事例
に重みを与えるべきである。この重みは、事前に知るこ
とはできていない。そこで、機械学習手段１３では、種
々の重みを与えて、最もよい学習性能（即ち、未知事例
に対する判別性能）を持つパラメータを求める機構を有
している。本発明の主旨には直接関係しないので、パラ
メータ調整機構については、詳細には述べない。機械学
習手段１３のひとつの実現形態は、ＩＤ３であり、仮事
例および実事例に付与した重みは、それだけの個数の事
例があるものとして解釈すればよい。

【００３０】デシジョンツリー１４は、このようにして
仮事例と実事例から生成されたまだプルーニングされて
いない学習結果である。プルーニング手段１５は、この
プルーニングされていないデシジョンツリーを入力とし
て、未知事例に対する性能の向上したデシジョンツリー
を生成する。プルーニング手段１５は、仮事例エラー率
計算手段１５１と実事例エラー率計算手段１５２とを含
むことを特徴とする。以下、具体的に説明する。

【００３１】仮事例エラー率は、仮事例のみから計算さ
れたエラー率である。エラー率として先例の「Voting」
の例で述べたエラー率、即ち、学習事例中でエラーとな
る事例の個数を用いたとすると、仮エラー率は学習事例
中でエラーとなる仮事例の個数を表す。ここで、かなり
サイズの大きな部分木をそのツリーで置き換えた時に、
仮事例と実事例のエラーが合計１１個増加したとする。
その結果、当該部分木を置き換えたことによる予測エラ
ー率の増加は１１となる。エラー率の増加の内訳が次に
示す２通りの場合を考える。

【００３２】上記のケース１は、実事例に対するエラー率の増加はほ
とんどなく、仮事例のエラー率の増加がエラー率の増加
の大半を占めることを示す。本来、仮事例は、既存知識
から生成されたものであり、ノイズを含まない。従っ
て、仮事例については、本来プルーニングをすべきでは
ない。プルーニングをすると、せっかくの既存知識が持
っていた情報が失われる恐れがある。

【００３３】これに対して、ケース２は、実事例のエラ
ー率増加が大きく、仮事例のエラー率はほとんど変化が
ない。従って、既存知識が持つ情報は失われずに、実事
例に対するプルーニングのみを実行しているものと推定
される。従って、このケース２は、積極的にプルーニン
グすべきである。

【００３４】以上の議論から、本発明の知識学習システ
ムで、当該部分木を置き換えるプルーニングは、基本的
には、以下の評価式ｆにより行われるべきである。

【００３５】

【数２】この評価式を用いることにより、実事例に対するプルー
ニングが意味ある場合のみ、プルーニングが行われる。
しかし、このままでは、実事例に対する判別誤りの増加
しか見ていないので、仮事例のエラーが大幅に増加する
場合でも、プルーニングを実行する危険が大きい。基本
的には、「仮事例に対する判別誤りが余り増加せず」か
つ「実事例に対する判別誤りがそこそこ増加する」場合
に、プルーニングは実行されるべきである。従って、プ
ルーニングの可否の判定は、この本発明の主旨に従って
構成された関数を用いて行うべきである。この本発明の
主旨に従った関数の例は、以下の通りである。

【００３６】

【数３】ここで、αは正整数である。αは予め１以上のある程度
大きな整数とする。これにより、仮事例の予測エラー率
の増加が重く評価されるため、仮事例に対するエラー率
の増加が少しでもあると、早々にプルーニングが掛から
なくなる。これに対して、実事例のほうには、重みが掛
かっていないので、通常のプルーニングとなる。

【００３７】上記の式をより一般化すれば、以下の通り
となることは自明である。

【００３８】

【数４】 αとβの値を調整することにより、与えられたプルーニ
ング情報のもとで、最適なデシジョンツリーを生成でき
る。

【００３９】但し、上記（２）式で、αをどうやって決
めるかが問題となる。ひとつの方法は、クロスバリデー
ションによる方法が利用できる。即ち、αを変化させ
て、未知事例に対する性能を調べ、最も優れた性能を持
つαを実験的に決定することである。

【００４０】

【発明の効果】以上説明したように、本発明によれば、
仮事例から生成された部分木に対してはプルーニングを
あまり実行せず、実事例から生成された部分木に対して
主としてプルーニングを行うことにより、仮事例の情報
を十分に生かし、かつ実事例中に含まれるノイズの影響
を排除して知識の作成を行うように仮事例から求められ
たエラー率と実事例から求められたエラー率を区分して
考慮し、それぞれのエラー率に予め定めた重みを与えて
加重平均したエラー率に基づき、プルーニングを行って
いるので、既存知識が有する情報をプルーニングにより
消去する恐れがなくなり、既存知識の情報を十分に生か
した知識学習が可能である。また、実事例にノイズが含
まれる場合でも、プルーニングによりその影響を排除で
き、性能の優れた知識が学習できる。

【図面の簡単な説明】

【図１】本発明の一実施例に係る知識学習システムの構
成を示す図である。

【図２】ＩＤ３を説明するための図である。

【図３】プルーニングの例を示す図である。

【図４】従来の知識学習システムにおいてプルーニング
を実施した場合と実施しない場合の学習性能の比較を示
す図である。

【符号の説明】

１１仮事例１２実事例１３機械学習手段１４デシジョンツリー１５プルーニング手段１６プルーニング済みデシジョンツリー１５１仮事例エラー率計算手段１５２実事例エラー率計算手段

Claims

【特許請求の範囲】

【請求項１】事例からデシジョンツリーを作成する知
識学習システムであって、既存知識から作成された仮事
例および実際に収集された実事例からデシジョンツリー
を作成する機械学習手段と、該機械学習手段により生成
されたデシジョンツリーを入力として、実事例に対する
エラー率と仮事例に対するエラー率を計算し、前者のエ
ラー率と後者のエラー率にそれぞれ予め定めた重みを与
えて加重平均した加重エラー率が予め定めた値を越えな
い範囲で置換するサブツリーを決定し、前記デシジョン
ツリー中のサブツリーを当該サブツリーのサブツリーま
たはリーフで置換することにより前記デシジョンツリー
をプルーニングするプルーニング手段とを有することを
特徴とする知識学習システム。