JPH0696050A - 決定木の作成方法 - Google Patents
決定木の作成方法Info
- Publication number
- JPH0696050A JPH0696050A JP4273744A JP27374492A JPH0696050A JP H0696050 A JPH0696050 A JP H0696050A JP 4273744 A JP4273744 A JP 4273744A JP 27374492 A JP27374492 A JP 27374492A JP H0696050 A JPH0696050 A JP H0696050A
- Authority
- JP
- Japan
- Prior art keywords
- cases
- decision tree
- attribute
- case
- contradiction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
(57)【要約】
【目的】本発明は、少ない計算量ですみ、事例間に矛盾
を生じた場合も的確に修正できる方法を提供する。 【構成】連続値をもつ属性を有限個の区間に以下の方法
で分割する。すなわち訓練事例集合の各事例の属性に連
続値をとるものがある場合、各分類クラスに属す数値の
占める領域を求め、それぞれの領域の交点もしくは領域
間の点を値域を区間に分割する点とする。また、決定木
の生成の障害となる矛盾した事例が生じた場合、矛盾す
る事例を訓練事例集合としてそれを含む区間のみを再分
割して属性値を更新し、これを用いて決定木の再生成を
行なうことで区間分割の不足によって生じる事例の矛盾
を取り除く。
を生じた場合も的確に修正できる方法を提供する。 【構成】連続値をもつ属性を有限個の区間に以下の方法
で分割する。すなわち訓練事例集合の各事例の属性に連
続値をとるものがある場合、各分類クラスに属す数値の
占める領域を求め、それぞれの領域の交点もしくは領域
間の点を値域を区間に分割する点とする。また、決定木
の生成の障害となる矛盾した事例が生じた場合、矛盾す
る事例を訓練事例集合としてそれを含む区間のみを再分
割して属性値を更新し、これを用いて決定木の再生成を
行なうことで区間分割の不足によって生じる事例の矛盾
を取り除く。
Description
【０００１】
【産業上の利用分野】本発明は、複数の入力値に基づき
複数の出力から一つを決定する機構を含む装置（制御装
置や診断装置）において、入力値の組から出力を決定す
るための決定木を作成または再生成する方法に関する。
複数の出力から一つを決定する機構を含む装置（制御装
置や診断装置）において、入力値の組から出力を決定す
るための決定木を作成または再生成する方法に関する。
【０００２】
【従来の技術】計算機を用いて事例から一般的な知識を
導出する学習法の一種に事例を分類するための最適な決
定木を生成する方法（例えば、「効率的分類手法の学習
とチェス終盤譜への応用」、J.R.Quinlan 、知識獲得入
門、共立出版(1987)参照）がある。これは、その取りう
る値が有限個かつ既知である複数の属性によって特徴付
けられた既知の事例の集合があり、各事例が所属するク
ラスが与えられた時、これを訓練事例集合として各事例
をクラス別に分類するような最も簡単な決定木を同定す
る学習法であり、決定木は事例を効率良く分類するため
の知識の表現である。この学習手法の動作フローチャー
トの一例を図２に示す。事例をクラス毎に分類する決定
木は、以下のような節点を持つ。 （１）葉ではない各節点には着目すべき属性が規定され
ており、その属性が取りうる値に対応して節点は葉であ
る節点へ、または別の葉ではない節点への分岐を持つ。 （２）それぞれの葉である節点は事例の分類されるクラ
スを持つ。 決定木を作成するための属性及び分類クラスの例を図３
に、訓練事例集合の例を図４に、作成される決定木の例
を図５に示し、これを用いて決定木の作成法を以下に説
明する。この例では、対象への３種類のテストの結果を
入力事例として与えその属すクラスを決定する決定木を
作成する。まず第一の節点で着目する属性としてＴＥＳ
Ｔ１を選択し、訓練事例集合をＴＥＳＴ１の結果が pas
s のものと fail のものとに分ける。この時、failであ
るものはクラスＡ４に属する事例しか存在しないため、
この分岐先はクラスＡ４を持つ葉となる。続いて pass
への分岐先の節点においてＴＥＳＴ２に着目し同じく集
合を分ける。この分岐では、fail側はクラスＡ３を持つ
葉となる。さらに pass 側の節点でＴＥＳＴ３の属性を
用いて分岐を行ない、pass側はクラスＡ１の、fail側は
クラスＡ２の葉となり、決定木の作成は終了する。決定
木による対象の分類操作は、まず決定木の根から出発し
て、着目する属性についてどのような値をとるかを調
べ、その値に応じて適切に分岐した枝をたどっていく。
この方法を葉に至るまで繰り返す。この際に、対象を分
類するためには決定木の根から特定の葉に至るまでの分
岐に相当する属性を評価するのみで良い。すなわち、決
定木を用いる分類学習はある対象の集合に対して有用な
属性を適切に選択し、最終的に最小となる決定木を作成
することにより、与えられた対象を効率的かつ適切に分
類するための知識を獲得する学習法である。適切な属性
を選択する方法としては、それぞれの属性を選択するこ
とによって得られる情報量を用いる方法などが知られて
いる。しかし、上記学習法では、事例を分類するための
属性として有限個の既知の値を持つものしか利用でき
ず、属性の値として連続的な数値をとる事例には適用で
きないという問題点があった。これに対し、特開平２−
６１７６９号公報では、属性の値として連続的な数値を
とる事例には適用できる技術を提案している。すなわ
ち、連続的な値をとる全ての属性値に対して大きさに順
に並べ、それぞれの中間値をとり、これを用いて分割し
た時に分類すべきクラスとの相互情報量を求め、これが
極大となる点を用いて領域を分割するものである。
導出する学習法の一種に事例を分類するための最適な決
定木を生成する方法（例えば、「効率的分類手法の学習
とチェス終盤譜への応用」、J.R.Quinlan 、知識獲得入
門、共立出版(1987)参照）がある。これは、その取りう
る値が有限個かつ既知である複数の属性によって特徴付
けられた既知の事例の集合があり、各事例が所属するク
ラスが与えられた時、これを訓練事例集合として各事例
をクラス別に分類するような最も簡単な決定木を同定す
る学習法であり、決定木は事例を効率良く分類するため
の知識の表現である。この学習手法の動作フローチャー
トの一例を図２に示す。事例をクラス毎に分類する決定
木は、以下のような節点を持つ。 （１）葉ではない各節点には着目すべき属性が規定され
ており、その属性が取りうる値に対応して節点は葉であ
る節点へ、または別の葉ではない節点への分岐を持つ。 （２）それぞれの葉である節点は事例の分類されるクラ
スを持つ。 決定木を作成するための属性及び分類クラスの例を図３
に、訓練事例集合の例を図４に、作成される決定木の例
を図５に示し、これを用いて決定木の作成法を以下に説
明する。この例では、対象への３種類のテストの結果を
入力事例として与えその属すクラスを決定する決定木を
作成する。まず第一の節点で着目する属性としてＴＥＳ
Ｔ１を選択し、訓練事例集合をＴＥＳＴ１の結果が pas
s のものと fail のものとに分ける。この時、failであ
るものはクラスＡ４に属する事例しか存在しないため、
この分岐先はクラスＡ４を持つ葉となる。続いて pass
への分岐先の節点においてＴＥＳＴ２に着目し同じく集
合を分ける。この分岐では、fail側はクラスＡ３を持つ
葉となる。さらに pass 側の節点でＴＥＳＴ３の属性を
用いて分岐を行ない、pass側はクラスＡ１の、fail側は
クラスＡ２の葉となり、決定木の作成は終了する。決定
木による対象の分類操作は、まず決定木の根から出発し
て、着目する属性についてどのような値をとるかを調
べ、その値に応じて適切に分岐した枝をたどっていく。
この方法を葉に至るまで繰り返す。この際に、対象を分
類するためには決定木の根から特定の葉に至るまでの分
岐に相当する属性を評価するのみで良い。すなわち、決
定木を用いる分類学習はある対象の集合に対して有用な
属性を適切に選択し、最終的に最小となる決定木を作成
することにより、与えられた対象を効率的かつ適切に分
類するための知識を獲得する学習法である。適切な属性
を選択する方法としては、それぞれの属性を選択するこ
とによって得られる情報量を用いる方法などが知られて
いる。しかし、上記学習法では、事例を分類するための
属性として有限個の既知の値を持つものしか利用でき
ず、属性の値として連続的な数値をとる事例には適用で
きないという問題点があった。これに対し、特開平２−
６１７６９号公報では、属性の値として連続的な数値を
とる事例には適用できる技術を提案している。すなわ
ち、連続的な値をとる全ての属性値に対して大きさに順
に並べ、それぞれの中間値をとり、これを用いて分割し
た時に分類すべきクラスとの相互情報量を求め、これが
極大となる点を用いて領域を分割するものである。
【０００３】
【発明が解決しようとする課題】しかし、特開平２−６
１７６９号公報の技術では、計算量が多く実用向きでな
く、また事例間に矛盾を生じる恐れもあった。そこで、
本発明は、少ない計算量ですみ、事例間に矛盾を生じた
場合も的確に修正できる方法を提供することを目的とす
る。
１７６９号公報の技術では、計算量が多く実用向きでな
く、また事例間に矛盾を生じる恐れもあった。そこで、
本発明は、少ない計算量ですみ、事例間に矛盾を生じた
場合も的確に修正できる方法を提供することを目的とす
る。
【０００４】
【課題を解決するための手段】上記の問題点を解決する
ために本発明では、連続値をもつ属性を有限個の区間に
以下の方法で分割する。すなわち訓練事例集合の各事例
の属性に連続値をとるものがある場合、図６に示すよう
に各分類クラスに属す数値の占める領域を求め、それぞ
れの領域の交点もしくは領域間の点を値域を区間に分割
する点とする。また、決定木の生成の障害となる矛盾し
た事例が生じた場合、矛盾する事例を訓練事例集合とし
てそれを含む区間のみを再分割して属性値を更新し、こ
れを用いて決定木の再生成を行なうことで区間分割の不
足によって生じる事例の矛盾を取り除く。
ために本発明では、連続値をもつ属性を有限個の区間に
以下の方法で分割する。すなわち訓練事例集合の各事例
の属性に連続値をとるものがある場合、図６に示すよう
に各分類クラスに属す数値の占める領域を求め、それぞ
れの領域の交点もしくは領域間の点を値域を区間に分割
する点とする。また、決定木の生成の障害となる矛盾し
た事例が生じた場合、矛盾する事例を訓練事例集合とし
てそれを含む区間のみを再分割して属性値を更新し、こ
れを用いて決定木の再生成を行なうことで区間分割の不
足によって生じる事例の矛盾を取り除く。
【０００５】
【作用】上記手段により、訓練事例を用いて連続値の属
性をそれぞれの領域の交点もしくは領域間の点を値域を
区間に分割するので計算量がすくなく、しかも矛盾する
事例を訓練事例集合としてそれを含む区間のみを再分割
して属性値を更新し、これを用いて決定木の再生成を行
なうことで区間分割の不足によって生じる事例の矛盾を
取り除ける。
性をそれぞれの領域の交点もしくは領域間の点を値域を
区間に分割するので計算量がすくなく、しかも矛盾する
事例を訓練事例集合としてそれを含む区間のみを再分割
して属性値を更新し、これを用いて決定木の再生成を行
なうことで区間分割の不足によって生じる事例の矛盾を
取り除ける。
【０００６】
【実施例】図１は本発明を実施するためのフローチャー
トの一例であり、以下これに基づいて説明する。分類す
べき事例の属性とその属性値、及び分類クラスが与えら
れる。このとき、連続値をとる属性にはそのことが属性
値の代わりに指定される。続いて、訓練事例集合が与え
られる。この後、与えられた属性の内に連続値をとるも
のがあるかどうかを調べ、あるならばその連続値を取る
属性それぞれに対して以下の手続きを行ない、離散的な
属性値へ変更する。ここでは区間を分割する方法の一例
を示す。まず与えられた各事例の持つ数値をその属すク
ラス毎に分類する。各クラス毎に最大値及び最小値を決
定し、各々の点を大きさの順に整列させる。領域が重な
りあっていない分類クラス間の分割点の決定法を図７に
基づいて示す。訓練集合中の事例において連続値をとる
属性値の値がクラスＡに属するものは領域ａ中に、クラ
スＢに属するものは領域ｂ中にある場合に、領域ａの最
大値ａ１と領域ｂの最小値ｂ０の間に区間を分割する点
を設定する。この例ではａ１とｂ０の間の領域をａ：ｂ
の比で分割する点ｐを区間の分割点とする。領域が重な
りあっている分類クラス間の分割点の決定法を図８に示
す。ここでクラスＣに属する事例の持つ属性値は領域ｃ
中に、クラスＤに属するものは領域ｄ中にある。この
時、領域ｃの最大値ｃ１及び領域ｄの最小値ｄ０がそれ
ぞれ区間の分割点となる。また、求めた分割点の内最大
の値を取る点以上の領域及び最小の値を取る点未満の領
域はそれぞれ一つの区間とする。この方法に従って図６
の例を区間分割すると図９に示すように、領域ａとｂの
間に点ｐがとられ、区間は、ｐ未満、ｐ以上ｃ０未満、
ｃ０以上ｂ１未満、ｂ１以上の４つの領域に分けられ
る。この手続きにより連続値を持つ属性は有限個の区間
へと分割されるため、そのそれぞれの区間を離散的な値
として持つ新しい属性を与えられた連続値をとる属性と
置き換え、決定木の作成を行なう。上記方法によって区
間分割を行なった際、図９におけるｃ０以上ｂ１未満の
領域にはクラスＢ及びＣに属する事例が共に含まれる。
このため、同じ属性値を持ちながら異なるクラスに属す
る矛盾した事例が存在する可能性があり、訓練事例にそ
のような事例が含まれている場合決定木を作成すること
はできない。そこで、矛盾した事例を含む区間を再度分
割し属性値を更新することで区間分割の不足によって生
じる事例の矛盾を取り除く。同じ属性値を持ちながら異
なるクラスに属するような矛盾した事例は、決定木を作
成する過程において発見することができる。そこで、決
定木作成の際に矛盾する事例が得られた場合その矛盾す
る事例からなる集合を作るものとし、以下のような方法
で区間の再分割を行なう。矛盾する事例の持つ全ての数
値属性から矛盾する事例を含む区間を全て求め、それぞ
れの区間とそこに含まれる矛盾事例の組を作る。ここ
で、区間に含まれる矛盾事例の持つ数値属性の値が等し
い場合には区間を再分割することはできない。そうでな
い場合には、この区間と事例の組それぞれに対して、上
で述べた区間分割点決定法を用いて矛盾事例を含む区間
内を矛盾事例を用いて再度分割する。これによって得ら
れた新しい区間から新しく属性値を決定して、決定木を
再び作成する。この操作を、矛盾する事例がなくなる
か、矛盾事例を含む全ての区間が分割できなくなるまで
繰り返す。矛盾する事例の持つ数値属性全てに対して領
域が分割できなくなった場合は入力事例の誤りであると
して終了する。
トの一例であり、以下これに基づいて説明する。分類す
べき事例の属性とその属性値、及び分類クラスが与えら
れる。このとき、連続値をとる属性にはそのことが属性
値の代わりに指定される。続いて、訓練事例集合が与え
られる。この後、与えられた属性の内に連続値をとるも
のがあるかどうかを調べ、あるならばその連続値を取る
属性それぞれに対して以下の手続きを行ない、離散的な
属性値へ変更する。ここでは区間を分割する方法の一例
を示す。まず与えられた各事例の持つ数値をその属すク
ラス毎に分類する。各クラス毎に最大値及び最小値を決
定し、各々の点を大きさの順に整列させる。領域が重な
りあっていない分類クラス間の分割点の決定法を図７に
基づいて示す。訓練集合中の事例において連続値をとる
属性値の値がクラスＡに属するものは領域ａ中に、クラ
スＢに属するものは領域ｂ中にある場合に、領域ａの最
大値ａ１と領域ｂの最小値ｂ０の間に区間を分割する点
を設定する。この例ではａ１とｂ０の間の領域をａ：ｂ
の比で分割する点ｐを区間の分割点とする。領域が重な
りあっている分類クラス間の分割点の決定法を図８に示
す。ここでクラスＣに属する事例の持つ属性値は領域ｃ
中に、クラスＤに属するものは領域ｄ中にある。この
時、領域ｃの最大値ｃ１及び領域ｄの最小値ｄ０がそれ
ぞれ区間の分割点となる。また、求めた分割点の内最大
の値を取る点以上の領域及び最小の値を取る点未満の領
域はそれぞれ一つの区間とする。この方法に従って図６
の例を区間分割すると図９に示すように、領域ａとｂの
間に点ｐがとられ、区間は、ｐ未満、ｐ以上ｃ０未満、
ｃ０以上ｂ１未満、ｂ１以上の４つの領域に分けられ
る。この手続きにより連続値を持つ属性は有限個の区間
へと分割されるため、そのそれぞれの区間を離散的な値
として持つ新しい属性を与えられた連続値をとる属性と
置き換え、決定木の作成を行なう。上記方法によって区
間分割を行なった際、図９におけるｃ０以上ｂ１未満の
領域にはクラスＢ及びＣに属する事例が共に含まれる。
このため、同じ属性値を持ちながら異なるクラスに属す
る矛盾した事例が存在する可能性があり、訓練事例にそ
のような事例が含まれている場合決定木を作成すること
はできない。そこで、矛盾した事例を含む区間を再度分
割し属性値を更新することで区間分割の不足によって生
じる事例の矛盾を取り除く。同じ属性値を持ちながら異
なるクラスに属するような矛盾した事例は、決定木を作
成する過程において発見することができる。そこで、決
定木作成の際に矛盾する事例が得られた場合その矛盾す
る事例からなる集合を作るものとし、以下のような方法
で区間の再分割を行なう。矛盾する事例の持つ全ての数
値属性から矛盾する事例を含む区間を全て求め、それぞ
れの区間とそこに含まれる矛盾事例の組を作る。ここ
で、区間に含まれる矛盾事例の持つ数値属性の値が等し
い場合には区間を再分割することはできない。そうでな
い場合には、この区間と事例の組それぞれに対して、上
で述べた区間分割点決定法を用いて矛盾事例を含む区間
内を矛盾事例を用いて再度分割する。これによって得ら
れた新しい区間から新しく属性値を決定して、決定木を
再び作成する。この操作を、矛盾する事例がなくなる
か、矛盾事例を含む全ての区間が分割できなくなるまで
繰り返す。矛盾する事例の持つ数値属性全てに対して領
域が分割できなくなった場合は入力事例の誤りであると
して終了する。
【０００７】
【発明の効果】以上述べたように、本発明によれば、比
較的少ない計算量で、属性の値として連続的な数値をと
る事例に対して適用でき、また事例間に矛盾を生じた場
合も的確に決定木の再生成が可能になるという効果があ
る。
較的少ない計算量で、属性の値として連続的な数値をと
る事例に対して適用でき、また事例間に矛盾を生じた場
合も的確に決定木の再生成が可能になるという効果があ
る。
【図１】本発明の実施例の動作フローチャート図
【図２】従来手法の動作フローチャート図
【図３】決定木を作成するための事例の属性及び分類ク
ラスの一例を示す図
ラスの一例を示す図
【図４】決定木を作成するための訓練事例集合の一例を
示す図
示す図
【図５】決定木の構造の一例を示す図
【図６】クラス毎の数値の分布の一例を示す図
【図７】領域が重複していない場合の区間分割の一例を
示す図
示す図
【図８】領域が重複している場合の区間分割の一例を示
す図
す図
【図９】図２を区間分割した結果の一例を示す図
Claims (1)
- 【請求項１】 事例を分類するための決定木を作成する
方法において、事例を各クラスに分類するための属性と
して連続的な数値の属性をその分類対象のクラスに属す
る数値の分布する範囲である領域の交点もしくはその領
域間の点を値域を区間に分割して離散的な属性を生成し
て数値属性を持つ事例の分類するとともに、その属性を
用いて決定木の生成を行なうとともに、事例間に矛盾が
生じた場合に、その矛盾する事例の属する区間を再度分
割して属性値を更新し、これを用いて決定木の再生成を
行なうことを特徴とする決定木の作成方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP4273744A JPH0696050A (ja) | 1992-09-16 | 1992-09-16 | 決定木の作成方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP4273744A JPH0696050A (ja) | 1992-09-16 | 1992-09-16 | 決定木の作成方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH0696050A true JPH0696050A (ja) | 1994-04-08 |
Family
ID=17531971
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP4273744A Pending JPH0696050A (ja) | 1992-09-16 | 1992-09-16 | 決定木の作成方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH0696050A (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2022534160A (ja) * | 2019-11-13 | 2022-07-28 | ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド | 情報を出力するための方法及び装置、電子機器、記憶媒体並びにコンピュータプログラム |
-
1992
- 1992-09-16 JP JP4273744A patent/JPH0696050A/ja active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2022534160A (ja) * | 2019-11-13 | 2022-07-28 | ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド | 情報を出力するための方法及び装置、電子機器、記憶媒体並びにコンピュータプログラム |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109816032B (zh) | 基于生成式对抗网络的无偏映射零样本分类方法和装置 | |
| JP3323180B2 (ja) | 決定木変更方法およびデータマイニング装置 | |
| CN110705690B (zh) | 基于生成模型和元学习优化方法的连续学习方法及系统 | |
| JP2004157814A (ja) | 決定木生成方法およびモデル構造生成装置 | |
| CN111160562A (zh) | 基于元学习优化方法的连续学习方法及装置 | |
| Peng et al. | Representing ordinal preferences in the decision support system GMCR II | |
| JPH0696050A (ja) | 決定木の作成方法 | |
| US10839132B2 (en) | Automatic cover point generation based on register transfer level analysis | |
| KR20200144296A (ko) | 딥러닝 모델의 병렬 트레이닝 방법 및 장치 | |
| JP3729937B2 (ja) | 交通管制装置及び管制方法 | |
| Nieto et al. | On fractional integrals and derivatives of a function with respect to another function | |
| JPH08286922A (ja) | ファジィ・ニューラルネットワーク装置 | |
| DE102020100209A1 (de) | Neuronale Netzwerkvorrichtung, neuronales Netzwerksystem und Verfahren zur Verarbeitung eines neuronalen Netzwerkmodells durch Verwenden eines neuronalen Netzwerksystems | |
| JPH0855030A (ja) | 制約推論処理方法及び制約推論装置 | |
| JPH1078803A (ja) | ファジィコントローラまたは結合されたファジィコントローラの系を設計または適応させる方法 | |
| CN111524354B (zh) | 基于语言模型的城市交通网络路径选择行为的预测方法、系统、介质及设备 | |
| JPH0619876A (ja) | 事例ベース推論を用いた気流シミュレータ | |
| JP2000202742A (ja) | シミュレ―ション方法及びその装置 | |
| JPH0820959B2 (ja) | 知識ベース管理方法 | |
| JPH09179895A (ja) | 回路解析装置 | |
| JPH06149576A (ja) | 推論装置の精度維持方式 | |
| CN116090379A (zh) | 一种激励文件的生成方法及系统 | |
| CN116561662A (zh) | 一种基于自动驾驶测试场景的评价分类方法及系统 | |
| EP1067467A1 (en) | Dynamic association of equations to unknowns during simulation of systems described by hardware description language | |
| JPH1011473A (ja) | 二つの論理回路間のフリップフロップの対応づけ方法 |