JPH0793158A

JPH0793158A - 決定木学習生成装置

Info

Publication number: JPH0793158A
Application number: JP5238150A
Authority: JP
Inventors: Ryohei Orihara; 良平折原
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 1993-09-24
Filing date: 1993-09-24
Publication date: 1995-04-07

Abstract

(57)【要約】【目的】連続値をとる特徴量分類用の決定木を自動生成
できるようにする。【構成】事例の特徴を表す第１特徴量(D1)と、分類用の
属性を示す第２特徴量(D2)との少なくとも２種の特徴量
を有する事例データ(DT)を対象とし、複数のDTの集合に
対し、前記複数種の特徴量に応じてそのDT集合を、予め
定めた分類クラス(CL)のうちの対応するCLに分類するた
めの規則を得る装置として、与えられた複数のDTを順次
取り込み、そのD1の最大値と最小値との差(df)を属性別
に求めこのdfの分割後の値がD1を分類するために定めた
分類の粒度の値以下となるまでdfと当該粒度の値とによ
り定まるクラスタ数分に分割してCLとすると共に、各隣
接するCLの特徴値の境界値範囲を前記分割の際の各CLの
特徴値のうちの最も近い値の中間値を以て定めることで
決定木を生成する手段、CL夫々のCLのクラス分け誤り率
が予め定めた設定値に達すると決定木生成を終了する手
段とを設けて構成した。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、与えられたいくつかの
事例データを、適当な部分クラスに分類する分類規則
を、事例データから帰納的に学習する決定木学習装置に
関する。

【０００２】

【従来の技術】近年、人口知能の研究において、例題を
与えることによって、対象とする概念の一般知識を発見
する機械学習の技術が広く研究されつつある。その一つ
の方向として、数値または記号で表現された幾つかの特
徴量と、それに対してオペレータ等が事前にデータを吟
味して与える分類結果を事例とし、多数の事例を分類装
置の例題として与えることによって、特徴量と分類結果
の間の一般法則を見付け出し、新たな事例が与えられた
時に、その事例の持つ特徴量を評価して分類結果を出力
すると云った処理をする学習装置が開発されている。

【０００３】ここで、事例が分類されるべき部分クラス
の分類結果を分類クラスと呼ぶ。例えば、図７に示す事
例データは、２つの特徴量Ｎ₁ （＝604 〜 695）および
Ｎ₂（＝Ａ，Ｂ）と、分類クラス（Ｃ1 〜Ｃ5 ）とを持
つ事例データである。

【０００４】そして、事例データの持つ特徴量を評価し
てその事例データの分類結果を得ると云ったような分類
規則を導く方法の代表例として、特徴量を分類属性と
し、分類結果クラスを得る決定木（「特徴量Ａの値がａ
であり、特徴量Ｂの値がｂであれば分類結果はＣであ
る」と云った規則を、特徴量を“節”とし、分類結果を
“葉”とする木（ツリー）の形にまとめたもの）を導く
ようにする手法がある。

【０００５】図８は、上述した図７の事例に対して、以
下で説明する公知の決定木学習アルゴリズムが導いた決
定木の例を示した図である。この決定木は、「特徴量Ｎ
₂ の値が“Ａ”であって、特徴量Ｎ₁ の値が“６１４．
５”以下ならば、分類クラスはＣ₄ 、そうでなく、特徴
量Ｎ₁ の値が“６１４．５”より大きく“６４９．５”
以下ならば、分類クラスはＣ₅ 、そうでなく…」と云う
知識を表す。

【０００６】図９は、公知の決定木学習装置の構成を示
したものであり、図１０は公知の決定木学習装置の処理
の流れを示したものである。図９において、９１は決定
木学習用データ入力部であって、当該決定木学習装置に
決定木学習用データを入力するものであり、９２は決定
木生成終了判定部であって、特徴量選択部９４によって
選択された特徴量がどの値であるかによって、与えられ
たデータＳを複数の部分に分割し、それぞれの部分につ
いて図１０のＳｔ８１のステップ以降の処理を再帰的に
繰り返すことで、全ての枝が終了したか否かを判断する
ものであり、この時、生成中の決定木９９に、選択され
た特徴量を付け加えることで決定木を成長させるのが決
定木生成部９３である。９４は特徴量選択部であって、
特徴量がどの値であるかを選択するものである。また、
９５は連続値を区間に分割することによって記号的特徴
量に変換する連続値特徴量記号化装置、９６は相互情報
量計算部であって、与えられたデータＳの持つ情報量Ｉ
（Ｓ）と、すべての特徴量Ａ_i について、その特徴量が
どの値であるかによってデータを分割した後の各部分の
情報量の和Ｅ（Ａ_i ，Ｓ）、さらにその差gain（Ａ_i ，
Ｓ）＝Ｉ（Ｓ）−Ｅ（Ａ_i ，Ｓ）を計算するものであ
り、この差gain（Ａ_i ，Ｓ）が最も大きい特徴量を選ぶ
のが上述の特徴量選択部９４である。

【０００７】９７は決定木出力部であって、決定木生成
終了判定部９２が決定木生成終了と判定した場合に、生
成中の決定木９９を完成した決定木として出力するもの
であり、９８がこの決定木出力部９７の出力した決定木
である。

【０００８】このような構成の従来装置は、つぎのよう
な処理を行う。決定木学習用データ入力部９１から決定
木学習用データが入力されると（図１０のＳｔ８０）、
決定木生成終了判定部９２によって、分類クラスに分け
られた事例データが、その分類クラスに該当するかの誤
り率である分類誤り率設定値（prune rate）以上を占め
るか否かが判断される（図１０のＳｔ８１）。

【０００９】もしそうであって、すべての再帰的繰り返
しについて、やはり同じことが言えているならば（図１
０のＳｔ８２）、決定木出力部９７が生成中の決定木９
９を決定木９８として出力し（図１０のＳｔ８３）、処
理を終了する。

【００１０】そうでないならば、決定木生成部９３は、
特徴量選択部９４によって選択された特徴量がどの値で
あるかによって、与えられたデータＳを複数の部分に分
割し、それぞれの部分について（図１０のＳｔ８１）以
降の処理を再帰的に繰り返すことを行う。この時、生成
中の決定木（９９）に選択された特徴量を付け加えるこ
とで決定木を成長させる。

【００１１】以上の処理における特徴量の選択は、つぎ
にようにして行う。すなわち、相互情報量計算部９６に
より、与えられたデータＳの持つ情報量Ｉ（Ｓ）と、す
べての特徴量Ａ_i について、その特徴量がどの値である
かによってデータを分割した後の各部分の情報量の和Ｅ
（Ａ_i ，Ｓ）、さらにその差gain（Ａ_i ，Ｓ）＝Ｉ
（Ｓ）−Ｅ（Ａ_i ，Ｓ）を計算し（Ｓｔ８５）、差gain
（Ａ_i ，Ｓ）が最も大きい特徴量を選ぶ（Ｓｔ８７）こ
とによって行う。ここで、分類クラスをＣ₀ ，Ｃ₁ ，
…，Ｃ_n とし、上記与えられたデータＳ中でのクラスＣ
_i の出現頻度をＰ_i （Ｓ）としたとき、

【００１２】

【数１】である。

【００１３】なお、これについては、「参考文献２」
（Quinlan,J.R., “Induction of Decision Trees ”，
Machine Learning Vol.1,1986.）に詳しい。この時、も
し特徴量中に連続値をとるものがあったならば（図１０
のＳｔ８４）、連続値特徴量記号化装置９５によって、
連続値を区間分割することによって記号的特徴量に変換
し（図１０のＳｔ８６）、記号的特徴量と同様に扱う。

【００１４】以下では、連続値特徴量記号化装置９５に
おいて用いられる公知の区間分割アルゴリズムの例につ
いて説明する。図１１は、連続値特徴量記号化装置９５
において用いられる公知の区間分割アルゴリズムの例の
構成を示したものであり、図１２は、連続値の区間を分
割する処理（図１０のＳ８６）において用いられる公知
の区間分割アルゴリズムの例における処理の流れを示し
たものである。

【００１５】学習データ集合／連続値特徴量入力部７１
には、決定木学習用データと、区間を分割すべき連続値
特徴量とが入力される（図１２のＳｔ３０）。入力され
た特徴量をＡとする。

【００１６】次に、学習データ分類部７２が、入力され
た決定木学習用データ７９を、その分類クラスによって
分類する（図１２のＳｔ３１）。次に、分類結果序列化
装置７３が、分類された学習用データ８０の各分類結果
を、それぞれ特徴量Ａの値の平均値により順序付ける
（図１２のＳｔ３２）。序列化された分類済み学習用デ
ータ８１に対し、境界値決定部７４は、隣合った分類結
果ｗ₁ 、ｗ₂ に対して、以下の式で決められる境界値Ｂ
を計算する。ここで、ｍ_i は分類結果ｗ_i の特徴量Ａの
平均を、ｄ_i は分類結果ｗ_i の特徴量Ａの値の分散を表
す。

【００１７】Ｂ＝（ｍ₂ ｄ₁ ＋ｍ₁ ｄ₂ ）／（ｄ₁ ＋ｄ₂ ）こうして、すべての分類結果に対し境界値を割り当てた
なら、再分割必要性判定部７５が、再度分割すべき分類
結果があるかどうかを判定する。これは、分類結果ｗ_i
に対し、ｗ_i 中のデータで、ｗ_i に割り当てられた境界
値内に特徴量Ａの値が属さないものの割合が、予め決め
られた割合（cluster rate）より大きいかどうかを判定
することにより行う（図１２のＳｔ３４）。

【００１８】その結果、もし大きいなら、例題分割部７
６が、その分類結果を２つに分割する（図１２のＳｔ３
５）。分割は、例えば、後述するk-means アルゴリズム
を、ｋ＝２として用いる。

【００１９】ここで、一つでも分割された分類結果があ
ったならば、図１２のＳｔ３２以降を繰り返す（図１２
のＳｔ３６）。もしなかったならば、区間記号化装置７
７が、分割された各区間に記号を付与する（図１２のＳ
ｔ３７）。そして、記号化特徴量出力部７８が、特徴量
Ａを記号化した特徴量を出力する（図１２のＳ３８）。

【００２０】なお、これについては、「参考文献１」
（荒木大，小島昌一，“決定木学習における数値データ
の区間分割”，第５回人口知能学会大会論文集，199
1．）に詳しい。

【００２１】図８は、図７に示す事例データから、上記
定められた割合の設定値（prune rate）を７０％、与え
られたクラスタ誤り率のレート（cluster rate）を４０
％として上記決定木学習装置を用いて導いた決定木であ
る。

【００２２】

【発明が解決しようとする課題】以上述べた従来の技術
では、以下のような問題点がある。従来の決定木学習装
置においては、事例データ中に分類クラスが与えられる
ことを前提としており、しかもそれは離散的な値をとる
ものでなければならない。従って、ある特徴量にしたが
って分類を行うような決定木を求めたいが、その特徴量
が連続値をとる場合には、事前にオペレータ等が区間分
割等を行って、離散な分類クラスを定義してやる必要が
あった。

【００２３】例えば、図３に示すような事例データが与
えられ、分類対象の特徴量Ｎ0 およびＮ2 の値に従って
分類を行う決定木を求めたいとするならば、たとえば特
徴量Ｎ0 に対して｛６２０未満、６２０以上６４０未
満、６４０以上６６０未満、６６０以上６８０未満、６
８０以上｝と云うような区間分割を行い、この区間分
割によって得られたそれぞれの区間に、Ｎ2 の値である
Ａの場合とＢの場合とで例えば、｛Ｃ1 ，Ｃ2 ，Ｃ3
，Ｃ4 ，Ｃ5 ｝と云うような具合に分類クラスの名
前を与えた後に、事例データを決定木学習装置に入力す
る必要があった。図７に示す事例データは、図３に示す
ものに対してこのような操作を人手によって行い、得ら
れたものを示したものである。

【００２４】しかし、人手によるこのような作業は、量
が少ない場合は良いが、量が膨大になったり、分類が複
雑になると手に負えなくなる。従って、この作業を自動
化する必要がある。

【００２５】本発明の目的とするところは、連続値をと
る特徴量によって分類を行うような決定木を求めたい場
合に、その特徴量に対して適切な分類クラスを自動的に
設定し、連続値をとる特徴量による分類のための決定木
を自動的に導くことが出来るようにした決定木学習装置
を提供することにある。

【００２６】

【課題を解決するための手段】上記目的を達成するた
め、本発明はつぎのように構成する。すなわち、事例の
特徴を表す第１の特徴量と、分類用の属性を示す第２の
特徴量との少なくとも２種の特徴量を有する事例データ
を対象とし、複数の事例データの集合に対し、前記複数
種の特徴量に応じてその事例データ集合を、予め定めた
分類クラスのうちの対応する分類クラスに分類するため
の規則を得る決定木学習生成装置として、与えられた複
数の事例データを順次取り込み、その第１の特徴量の最
大値と最小値との差を属性別に求め、この差の分割後の
値が前記第１の特徴量を分類するために予め定めた分類
の粒度の値以下となるまで、前記差と当該粒度の値とに
より定まるクラスタ数分に分割して分類クラスとすると
共に、各隣接する分類クラスの特徴値の境界値範囲を前
記分割の際の各分類クラスの特徴値のうちの最も近い値
の中間値を以て定めることにより決定木を生成する手
段、分類クラスそれぞれの分割クラスのクラス分け誤り
率が予め定めた設定値に達すると決定木生成を終了する
決定木生成終了制御手段とを設けて構成した。

【００２７】

【作用】このような構成において、複数の事例データを
与えると、決定木生成手段は当該与えられた複数の事例
データを順次取り込み、その第１の特徴量の最大値と最
小値との差を属性別に求め、この差の分割後の値が前記
第１の特徴値（特徴量）を分類するために予め定めた分
類の粒度の値以下となるまで、予め設定されたクラスタ
数分に分割して分類クラスとすると共に、各隣接する分
類クラスの特徴値の境界値範囲を前記分割の際の各分類
クラスの特徴値のうちの最も近い値の中間値を以て定め
ることにより決定木を生成する。そして、決定木生成終
了制御手段は、分類クラスそれぞれの分割クラスのクラ
ス分け誤り率が予め定めた設定値に達するか、またはデ
ータ集合の分類クラスについて、定義されるべき特徴量
の分散が設定精度に達すると決定木生成を終了させる。

【００２８】本発明は、事例の特徴を表す第１の特徴量
と、分類用の属性を示す第２の特徴量との少なくとも２
種の特徴量を有する事例データを対象とし、複数の事例
データの集合に対し、前記複数種の特徴量に応じてその
事例データ集合を、予め定めた分類クラスのうちの対応
する分類クラスに分類するための規則である決定木を、
事例データ集合を与えることで生成する決定木学習装置
であり、連続値をとる特徴量と属性によってデータの分
類を行う場合の決定木導出における各特徴量選択の段階
でクラス分け（クラスタリング）を行い、適切な区間を
この特徴量に対して設定する。クラスタリング・アルゴ
リズムに対するパラメータであるクラスタ数は、ユーザ
が必要とする分類の精度（分類の粒度）を与えることに
よって自動的に決定する。決定木導出は、データ集合の
分類クラスについて、定義されるべき特徴量の分散が設
定精度より小さくなるか、あるいは、その集合の、クラ
スタリングによって与えられた分類クラスの中でのクラ
ス分け誤り率が設定レート（prune rate）に収まるか、
またはデータ集合の分類クラスについて、定義されるべ
き特徴量の分散が設定精度に収まると終了させるように
した。

【００２９】このように、連続値を属性に対応して分類
する決定木を作成しようとする場合、分類の精度（分類
の粒度）と、特徴値と分類すべき属性の値からなる学習
用の複数のサンプルデータを与えることによって当該サ
ンプルデータから該サンプルデータの属性別最大差を前
記分類の粒度に従った分類クラスにクラスタリングし、
その分類クラスの特徴値境界値範囲を前記分割の際の各
分類クラスの特徴値のうちの最も近い値の中間値を以て
定めることにより決定木を生成することから分類クラス
を自動的に定義できるので、連続値属性に対する分類木
の作成が完全に自動化される。

【００３０】従って本発明によれば、連続値をとる特徴
量によって分類を行うような決定木を求めたい場合に、
その特徴量に対して適切な分類クラスを自動的に設定し
て、連続値をとる特徴量による分類のための決定木を自
動的に導くことが出来るようになる決定木学習装置を提
供することができる。

【００３１】

【実施例】以下、本発明の実施例を図面に基づいて説明
する。図１は、本発明の構成を示すものであり、図２は
本発明全体の処理の流れを示すものである。図１におい
て、５１は決定木学習用データ入力部、５２は決定木生
成終了判定部、５３は決定木生成部、５４は特徴量選択
部、５５は連続特徴量記号化装置、５６は相互情報量計
算部、５７は決定木出力部、５８は決定木、５９は生成
中の決定木、６０はクラスタリング部、６１はパラメー
タ入力部である。

【００３２】これらのうち、決定木学習用データ入力部
５１はいくつかの特徴量からなる事例のデータを入力す
るものであり、パラメータ入力部６１は分類の対象にす
る属性名やその分類に必要とされる精度（分類の粒度
（prec））、決定木生成終了判定に用いる同一の分類ク
ラスに分類されたデータの分類誤り率を示す分類誤り率
設定値（prune rate）、そして、与えられたクラスタ誤
り率のレート（clusterrate）などのパラメータ・デー
タを入力するためのものである。

【００３３】また、決定木生成終了判定部５２は、与え
られた訓練例の属性Ｎに属する枝の取り得る値の最大値
と最小値との差（diff）が、分類の粒度（prec）以下で
あるかどうかを判断し、差（diff）が分類の粒度prec以
下であって、すべての再帰的繰り返しについて同じこと
が言えている場合に、全ての再帰の分枝が終了のときは
終了と判断し、全ての再帰の分枝が終了していなければ
その枝は終りと判定してつぎの枝の処理を実行させる指
示を行う機能を有する。

【００３４】決定木生成部５３は、特徴量選択部５４に
よって選択された特徴量がどの値であるかによって、与
えられた訓練例を複数の部分に分割し、それぞれの部分
について（図２のＳｔ２１）以降の処理を再帰的に繰り
返すことを実施するものであり、連続特徴量記号化装置
５５は相互情報量計算部５６が求める特徴量中に連続値
をとるものがあった時、パラメータ・データである与え
られたクラスタ誤り率のレート（cluster rate）を用い
てこのレートを満たすことができるならば、前記連続値
を区間分割すると云った処理を行うものである。連続特
徴量記号化装置５５の構成は図１１に示した公知の構成
で良く、処理の流れは図１２に示した公知のアルゴリズ
ムを利用する。

【００３５】また、相互情報量計算部５６は、与えられ
た訓練例集合Ｓの持つ情報量Ｉ（Ｓ）と、全ての特徴量
Ａi について、その特徴量がどの値であるかによってデ
ータを分割した後の各部分の情報量の和Ｅ（Ａi ，
Ｓ）、さらにその差gain（Ａi ，Ｓ）＝Ｉ（Ｓ）−Ｅ
（Ａi ，Ｓ）を計算するものであり、特徴量選択部５４
はこの結果から、上記差gain（Ａi ，Ｓ）が最も大きい
特徴量を選ぶと云った処理を行うものである。

【００３６】決定木出力部５７は決定木生成終了判定部
５２が全ての再帰の分枝終了と判断した際に、決定木生
成部５３が生成して生成中の決定木データ５９として保
存した当該決定木データ５９を最終的な決定木データ５
８として出力するものである。クラスタリング部６０は
訓練例の属性Ｎの値の集合に対し、「diff／prec」個の
クラスタに分割するクラスタリングを行うものである。

【００３７】つぎに上記構成の本装置の作用を図２のフ
ローチャートを参照して説明する。いくつかの特徴量か
らなる事例（以下、訓練例と呼ぶ）が紙、または磁気テ
ープなどに表形式に記録されているとする。例えば図３
である。

【００３８】図３は、Ｎ0 、Ｎ1 、Ｎ2 と云う３つの特
徴量を持った訓練例である。この訓練例のデータは、キ
ーボード入力、ネットワークによるオンライン入力、情
報伝達の媒体である磁気テープからの読取り入力等のか
たちで決定木学習用データ入力部５１より入力される
（図２のＳｔ２０）。また、パラメータ入力部６１から
は、分類の対象にする属性名（与えられた事例データ
の、どの特徴量に基づいて分類を行うかを示すもの）、
その分類に必要とされる精度（分類の粒度（prec））、
前述の、決定木生成終了判定のために用いる同一の分類
クラスに分類されたデータの分類誤り率の割合を示す分
類誤り率設定値（prune rate）、連続値特徴量記号化装
置５５で用いられるクラスタ誤り率のレート（cluster
rate）などのパラメータ・データが入力される。

【００３９】決定木学習データ入力部５１から訓練例が
入力されると（図２のＳｔ２０）、決定木生成終了判定
部５２によって、与えられた訓練例の属性Ｎの値の最大
値と最小値との差（diff）が分類の粒度であるprec以下
であるか否かが判断される（図２のＳｔ３０）。その結
果、差（diff）が分類の粒度prec以下であって、すべて
の再帰的繰り返しについてやはり同じことが言えている
ならば、全ての再帰の分枝が終了と判断し（図２のＳｔ
２２）、これによって決定木出力部５７が決定木のデー
タ５８を出力し（図２のＳｔ２３）、決定木を求める処
理を終了する。

【００４０】そうでないときはクラスタリング部６０で
のクラスタリング処理に入る。クラスタリング部６０で
は、訓練例の属性Ｎの値の集合に対し、「diff／prec」
個のクラスタに分割すると云ったクラスタリングの処理
を行う（図２のＳｔ２９）。これには、例えば公知のk-
means アルゴリズムを用いる。

【００４１】すなわち、クラスタリング部６０はクラス
タリングの処理をつぎのようにして行う。今、各クラス
タを分類のためのクラス（以下分類クラス）と考える。
この時、各クラスタの境界値は、そのクラスタの最小値
と値の小さい側に隣合ったクラスタの最大値との中間
値、およびそのクラスタの最大値と値の大きい側に隣合
ったクラスタの最小値との中間値とする。最小（最大）
のクラスタの小さい（大きい）側の境界値は設定されな
いものとする。例えば、｛６６７｝，｛６７４，６８１｝，｛６８８｝と云うクラスタが出来た時、｛６６７｝のクラスタは
「無限小から“６７０．５”以下」と云う名前の分類ク
ラスと考え、｛６７４，６８１｝のクラスタは「“６７
０．５”より大きく、“６８４．５”以下」と云う名前
の分類クラスと考えるのである。

【００４２】クラスタリング部６０によって分類クラス
が定義された後は、前述した公知の決定木学習装置と同
様に、特徴量を選択することによって決定木を生成す
る。すなわち、これはつぎのようにして行う。

【００４３】クラスタリング部６０による分類クラスの
定義が終了すると、決定木生成終了判定部５２での処理
に入り、まず、決定木生成終了判定部５２において、分
類クラスに分類された事例データの分類誤り率が、同一
の分類クラスに分類されたデータの分類誤り率設定値
（prune rate）以上を占めるかどうかが判断される（図
２のＳｔ２１）。その結果、もし分類誤り率設定値（pr
une rate）以上を占めていて、すべての再帰的繰り返し
についてやはり同じことが言えているならば（図２のＳ
ｔ２２）、決定木出力部５７が決定木（５８）を出力し
（Ｓｔ２３）、決定木を求める処理を終了する。

【００４４】図２のステップＳｔ２１の判定の結果、も
し分類誤り率設定値（prune rate）以上を占めていない
ならば、決定木生成部５３での処理に移る。そして、決
定木生成部５３では、特徴量選択部５４によって選択さ
れた特徴量がどの値であるかによって、与えられた訓練
例を分割してそれぞれの部分について（図２のＳｔ２
１）以降の処理を再帰的に繰り返すことを実施し、これ
によって、当該訓練例の取り得る枝を複数に分岐し、そ
れぞれの部分についての特徴量を求める。

【００４５】この時、生成中の決定木５９の枝に対し
て、上述の選択された特徴量を付け加えることで決定木
生成部５３は決定木を成長させる。以上の処理における
特徴量の選択は、相互情報量計算部５６の計算結果をも
とに特徴量選択部５４により行われる。すなわち、相互
情報量計算部５６では与えられた訓練例集合Ｓの持つ情
報量Ｉ（Ｓ）と、全ての特徴量Ａi について、その特徴
量がどの値であるかによってデータを分割した後の各部
分の情報量の和Ｅ（Ａi ，Ｓ）、さらにその差gain（Ａ
i ，Ｓ）＝Ｉ（Ｓ）−Ｅ（Ａi ，Ｓ）を計算するので
（図２のＳｔ２５）、特徴量選択部５４はこの相互情報
量計算部５６が求めたもののうち、上記差gain（Ａi ，
Ｓ）が最も大きい特徴量を選ぶ（図２のＳｔ２７）。こ
れによって特徴量の選択が成される。

【００４６】この時、もし特徴量中に連続値をとるもの
があったならば（図２のＳｔ２４）、連続値特徴量記号
化装置５５によって、連続値を区間に分割することによ
って記号的特徴量と同様に扱う。この分割処理は図１２
のフローチャートに従う。

【００４７】以下では、クラスタリング部６０において
用いられる公知のクラスタリングアルゴリズムの例につ
いて説明する。図４は、クラスタリング部６０において
用いられる公知のクラスタリング・アルゴリズム例の構
成を示したものであり、図５は、分類対象特徴量のクラ
スタリング（図２のＳｔ２９）において用いられる公知
のクラスタリング・アルゴリズム例における処理の流れ
を示したものである。

【００４８】クラスタリング部６０によるクラスタリン
グ処理は図４に示すように、クラスタリングされるべき
データと、パラメータ（ｋ）とを入力するためにあるデ
ータ／ｋ入力部１１から、まず、クラスタリングされる
べきデータと、いくつのクラスタリングに分けるかと云
うパラメータ（ｋ）が入力されることにより開始される
（図５のＳｔ４１）。データ／ｋ入力部１１から入力さ
れたこれらのデータは、データ記憶部１２に保持され
る。

【００４９】このデータ記憶部１２に保持されたデータ
は、クラスタリング実行部１７と平均値初期化部１３に
与えられる。すると、平均値初期化部１３はクラスタの
平均を、データ記憶部１２に保存されたデータの先頭か
ら、相異なるｋ個を取ってその平均値を求め、各クラス
タの平均値保持部１５に更新記憶させることによって各
クラスタの平均値の初期化をする（図５のＳｔ４２）。

【００５０】一方、クラスタリング実行部１７は、デー
タ記憶部１２に記憶されている各データを、それと最も
近い平均値を持つクラスタへと分類する（図５のＳｔ４
３（クラスタリング処理））。

【００５１】そして、その結果はクラスタリング結果と
してクラスタリング結果保存部１８保存する。ついで各
クラスタの平均値保持部１５に保持されている平均値Ｄ
AV-NEWを前回の平均値ＤAV-OLDとして前回の各クラスタ
平均値保持部１４へとコピーした後、クラスタリング結
果保存部１８に対して、平均値計算部２０が各クラスタ
の平均値を計算し（図５のＳｔ４４）、この計算により
得られた平均値を新しい平均値ＤAV-NEWとして各クラス
タの平均値保持部１５に保存する。

【００５２】ここで、クラスタ平均比較部１６が、各ク
ラスタの平均値保持部１５に保存された新しい平均値Ｄ
AV-NEWと、前回の各クラスタ平均値保持部１４に保持さ
れている前回の平均値ＤAV-OLDとを比較して両者が等し
いか否かを判断する（図５のＳｔ４５）。

【００５３】クラスタ平均比較部１６による当該判断の
結果、両者が等しければ、出力部１９はクラスタリング
結果保存部１８からクラスタリング結果を出力して（図
５のＳｔ４６）終了する。

【００５４】ステップＳｔ４６の比較の結果、両者が等
しくなければステップＳｔ４３以下の処理を繰り返す。
以上がクラスタリング部６０におけるクラスタリング処
理操作の詳細である。

【００５５】図６は、図３の学習用データに対して、分
類対象特徴量をＮ0 、分類の粒度（prec）を“１０”、
与えられたクラスタ誤り率のレート（cluster rate）を
“４０％”、分類誤り率設定値（prune rate）を“９９
％”として本発明を用いて生成した決定木である。

【００５６】図６の決定木は、「特徴量Ｎ1 が“６２
１．５”以下であり、特徴量Ｎ2 がＡであるなら、特徴
量Ｎ0 の値は“６７０．５”から“６８４．５”の間で
ある。そうでなく（Ｎ2 がＢで）、Ｎ1 が以下なら、Ｎ
0 の値は“６５６．５”から“６７０．５”の間であ
る。そうでなく…」と云う知識を表す。

【００５７】従来の方法においては、決定木の“葉”に
現れる値（の範囲）は、学習システムの外側でユーザが
与える必要があったが、本発明によれば、決定木の
“葉”に現れる値は、与えられた精度に対して適切な値
（適切な値の範囲）となるように自動的に決定できる。

【００５８】要するに、本発明は、数値または記号で表
現された幾つかの特徴量と、それに対してオペレータ等
が事前にデータを吟味して与える分類結果を事例とし、
多数の事例を分類装置の例題として与えることによっ
て、特徴量と分類結果の間の一般法則を見付け出し、新
たな事例が与えられた時に、その事例の持つ特徴量を評
価して分類結果を出力すると云った処理をする学習装置
において、事例の特徴を表す第１の特徴量と、分類用の
属性を示す第２の特徴量との少なくとも２種の特徴量を
有する事例データを対象とし、複数の事例データの集合
に対し、前記複数種の特徴量に応じてその事例データ集
合を、予め定めた分類クラスのうちの対応する分類クラ
スに分類するための規則を得る決定木学習装置として、
与えられた複数の事例データを順次取り込み、その第１
の特徴量の最大値と最小値との差を属性別に求め、この
差の分割後の値が前記第１の特徴量を分類するために予
め定めた分類の粒度の値以下となるまで、前記差と当該
粒度の値とにより定まるクラスタ数分に分割して分類ク
ラスとすると共に、各隣接する分類クラスの特徴値の境
界値範囲を前記分割の際の各分類クラスの特徴値のうち
の最も近い値の中間値を以て定めることにより決定木を
生成する手段、分類クラスそれぞれの分割クラスのクラ
ス分け誤り率が予め定めた設定値に達するか、またはデ
ータ集合の分類クラスについて、定義されるべき特徴量
の分散が設定精度に達すると決定木生成を終了する決定
木生成終了制御手段とを設けて構成したものである。

【００５９】そして、このような構成において、複数の
事例データを与えると、決定木生成手段は当該与えられ
た複数の事例データを順次取り込み、その第１の特徴量
の最大値と最小値との差を属性別に求め、この差の分割
後の値が前記第１の特徴量を分類するために予め定めた
分類の粒度の値以下となるまで、前記差と当該粒度の値
とにより定まるクラスタ数分に分割して分類クラスとす
ると共に、各隣接する分類クラスの特徴値の境界値範囲
を前記分割の際の各分類クラスの特徴値のうちの最も近
い値の中間値を以て定めることにより決定木を生成し、
そして、決定木生成終了制御手段は、分類クラスそれぞ
れの分割クラスのクラス分け誤り率が予め定めた設定値
に達するか、またはデータ集合の分類クラスについて、
定義されるべき特徴量の分散が設定精度に達すると決定
木生成を終了させるものである。

【００６０】本発明は、事例の特徴を表す第１の特徴量
と、分類用の属性を示す第２の特徴量との少なくとも２
種の特徴量を有する事例データを対象とし、複数の事例
データの集合に対し、前記複数種の特徴量に応じてその
事例データ集合を、予め定めた分類クラスのうちの対応
する分類クラスに分類するための規則である決定木を、
事例データ集合を与えることで生成する決定木学習装置
であり、連続値をとる特徴量と属性によってデータの分
類を行う場合の決定木導出における各特徴量選択の段階
でクラス分け（クラスタリング）を行い、適切な区間を
この特徴量に対して設定する。そして、クラスタリング
に必要なパラメータであるクラスタ数は、ユーザが必要
とする分類の精度（分類の粒度）を与えることによって
自動的に決定するようにしており、また、決定木導出
は、データ集合の分類クラスについて、定義されるべき
特徴量の分散が設定精度より小さくなるか、あるいは、
その集合の、クラスタリングによって与えられた分類ク
ラスの中でのクラス分け誤り率が設定レート（prune ra
te）に収まれば終了させるようにした。

【００６１】そしてこのように、連続値を属性に対応し
て分類する決定木を作成しようとする場合、分類の精度
（分類の粒度）と、特徴値と分類すべき属性の値からな
る学習用の複数のサンプルデータを与えることによって
当該サンプルデータから該サンプルデータの属性別最大
差を前記分類の粒度に従った分類クラスにクラスタリン
グし、その分類クラスの特徴値境界値範囲を前記分割の
際の各分類クラスの特徴値のうちの最も近い値の中間値
を以て定めることにより決定木を生成する方式を採用し
たことにより、分類クラスを自動的に定義できるので、
連続値属性に対する分類木の作成を完全に自動化するこ
とができるようになる。

【００６２】従って本発明によれば、連続値をとる特徴
量によって分類を行うような決定木を求めたい場合に、
その特徴量に対して適切な分類クラスを自動的に設定し
て、連続値をとる特徴量による分類のための決定木を自
動的に導くことが出来るようになる決定木学習生成装置
が得られる。なお、本発明は上述した実施例に限定する
ものではなく、その要旨を変更しない範囲内で適宜変形
して実施し得るものである。

【００６３】

【発明の効果】以上詳述したように本発明によれば、連
続値属性に対する分類木を作ろうとする場合、クラスタ
リングによって分類クラスが自動的に定義されるので、
分類木の作成が完全に自動化されるなど、連続値をとる
特徴量によって分類を行うような決定木を求めたい場合
に、その特徴量に対して適切な分類クラスを自動的設定
して、連続値をとる特徴量による分類のための決定木を
自動的に導くことが出来るようになる決定木学習生成装
置を提供できる。

【図面の簡単な説明】

【図１】本発明の実施例を説明するための図であって、
本発明の一実施例の構成図。

【図２】本発明の実施例を説明するための図であって、
本発明の一実施例における装置の動きを示す流れ図。

【図３】本発明の実施例を説明するための図であって、
本発明の実施例で入力として用いる訓練例のデータを示
す図。

【図４】本発明の実施例を説明するための図であって、
本発明の実施例におけるクラスタリング部６０の詳しい
構成図。

【図５】本発明の実施例を説明するための図であって、
本発明の一実施例におけるクラスタリング部６０の装置
の詳しい動きを示す流れ図。

【図６】本発明の実施例を説明するための図であって、
図３に示すデータと、所定の学習用パラメータに対し、
本発明の一実施例である装置が生成した決定木を示す
図。

【図７】従来技術を説明するための図であって、公知の
決定木学習装置が扱える事例データの例を示す図。

【図８】従来技術を説明するための図であって、図７の
事例データに対して公知の決定木学習装置が導いた決定
木を示す図。

【図９】従来技術を説明するための図であって、公知の
決定木学習装置の構成を示すブロック。

【図１０】従来技術を説明するための図であって、公知
の決定木学習装置の処理の動きを表す流れ図。

【図１１】従来および本発明の実施例において使用され
る連続値特徴量記号化装置９５，５５の詳しい構成図。

【図１２】従来および本発明の実施例において使用され
る連続値特徴量記号化装置９５，５５の装置の詳しい動
きを示す流れ図。

【符号の説明】

５１…決定木学習用データ入力部５２…決定木生成終了判定部５３…決定木生成部５４…特徴量選択部５５…連続特徴量記号化装置５６…相互情報量計算部５７…決定木出力部５８…決定木５９…生成中の決定木６０…クラスタリング部６１…パラメータ入力部

Claims

【特許請求の範囲】

【請求項１】事例の特徴を表す第１の特徴量と、分類
用の属性を示す第２の特徴量との少なくとも２種の特徴
量を有する事例データを対象とし、複数の事例データの
集合に対し、前記複数種の特徴量に応じてその事例デー
タ集合を、予め定めた分類クラスのうちの対応する分類
クラスに分類するための規則を得る決定木学習生成装置
として、与えられた複数の事例データを順次取り込み、その第１
の特徴量の最大値と最小値との差を属性別に求め、この
差の分割後の値が前記第１の特徴量を分類するために予
め定めた分類の粒度の値以下となるまで、前記差と当該
粒度の値とにより定まるクラスタ数分に分割して分類ク
ラスとすると共に、各隣接する分類クラスの特徴値の境
界値範囲を前記分割の際の各分類クラスの特徴値のうち
の最も近い値の中間値を以て定めることにより決定木を
生成する手段、分類クラスそれぞれの分割クラスのクラ
ス分け誤り率が予め定めた設定値に達すると決定木生成
を終了する決定木生成終了制御手段とを設けて構成した
ことを特徴とする決定木学習生成装置。