JPH11259447A - 属性選択装置、属性評価装置、属性選択方法、属性評価方法 - Google Patents
属性選択装置、属性評価装置、属性選択方法、属性評価方法Info
- Publication number
- JPH11259447A JPH11259447A JP10055565A JP5556598A JPH11259447A JP H11259447 A JPH11259447 A JP H11259447A JP 10055565 A JP10055565 A JP 10055565A JP 5556598 A JP5556598 A JP 5556598A JP H11259447 A JPH11259447 A JP H11259447A
- Authority
- JP
- Japan
- Prior art keywords
- attribute
- value
- label
- class
- values
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
(57)【要約】
【課題】 Ｃ４．５の学習結果を用いての予測精度を向
上する。 【解決手段】 この属性選択装置は、Ｃ４．５に与える
べき複数の事例を２つの部分集合に分割する分割部１０
２と、２つの部分集合に分けられた各部分集合内で、あ
る属性が特定の属性値を取った場合の、クラスが特定の
ラベルとなることの条件付き確率を計算する条件付き確
率計算部１０６と、計算された確率が２つの部分集合に
おいてどれほど異なるかを、ラベルおよび属性値につい
て、それぞれの出現頻度に基づき加重平均する加重平均
計算部１０８と、属性の取り得る属性値について、加重
平均された値を基に、属性がどれほど有用であるかを判
断する属性要・不要判断部１１２とを具備する。
上する。 【解決手段】 この属性選択装置は、Ｃ４．５に与える
べき複数の事例を２つの部分集合に分割する分割部１０
２と、２つの部分集合に分けられた各部分集合内で、あ
る属性が特定の属性値を取った場合の、クラスが特定の
ラベルとなることの条件付き確率を計算する条件付き確
率計算部１０６と、計算された確率が２つの部分集合に
おいてどれほど異なるかを、ラベルおよび属性値につい
て、それぞれの出現頻度に基づき加重平均する加重平均
計算部１０８と、属性の取り得る属性値について、加重
平均された値を基に、属性がどれほど有用であるかを判
断する属性要・不要判断部１１２とを具備する。
Description
【０００１】
【発明の属する技術分野】本発明は、与えられた事例集
合から、クラスが特定のラベルとなるための条件を帰納
的に学習する帰納的概念学習装置に適用される属性選択
装置、属性評価装置、属性選択方法、属性評価方法に関
する。
合から、クラスが特定のラベルとなるための条件を帰納
的に学習する帰納的概念学習装置に適用される属性選択
装置、属性評価装置、属性選択方法、属性評価方法に関
する。
【０００２】
【従来の技術】近年、人工知能の研究において、例題を
与えることによって、対象とする概念の一般知識を発見
する機械学習の技術が広く研究されつつある。その一つ
の方向として、数値または記号で表現された幾つかの属
性と、それに対してオペレータ等が事前にデータを吟味
して与えるクラスと呼ばれる特定の属性がどんなラベル
（属性値）を取るかを事例とし、多数の事例を帰納的概
念学習装置の例題として与えることによって、属性とク
ラスが特定のラベルになることの間の一般法則を見つけ
出し、クラスが与えられていない事例が与えられた時
に、その事例の持つ属性値を評価して、ラベルを予測推
定し、出力する装置も開発されている。
与えることによって、対象とする概念の一般知識を発見
する機械学習の技術が広く研究されつつある。その一つ
の方向として、数値または記号で表現された幾つかの属
性と、それに対してオペレータ等が事前にデータを吟味
して与えるクラスと呼ばれる特定の属性がどんなラベル
（属性値）を取るかを事例とし、多数の事例を帰納的概
念学習装置の例題として与えることによって、属性とク
ラスが特定のラベルになることの間の一般法則を見つけ
出し、クラスが与えられていない事例が与えられた時
に、その事例の持つ属性値を評価して、ラベルを予測推
定し、出力する装置も開発されている。
【０００３】例えば図２に示す事例データは、16個の属
性handicapped-infants,water-project-cost-sharin
g,...,export-administration-act-south-africa を持
ち、各行が一つの事例を表している。各行の最後（項目
名class に対応）はクラスに対応し、２種類のラベルde
mocrat,republican がある。
性handicapped-infants,water-project-cost-sharin
g,...,export-administration-act-south-africa を持
ち、各行が一つの事例を表している。各行の最後（項目
名class に対応）はクラスに対応し、２種類のラベルde
mocrat,republican がある。
【０００４】このように、クラスが特定のラベルとなる
ための条件の内包的記述を導く方法としては、さまざま
な方法があるが、現実的には、クラスを決定する要因と
なっている属性がどれなのかを事前に知ることはできな
いため、とにかく利用可能な属性をすべて用いるか、あ
るいは背景知識を用いてアドホックに要因となっている
属性を推定して用いるなどのアプローチを取り、そうし
て作られた事例を概念学習装置に与え、クラスが特定の
ラベルになるための条件の内包的記述を求めることにな
る。この詳細については参考文献１、２に記載されてい
る。
ための条件の内包的記述を導く方法としては、さまざま
な方法があるが、現実的には、クラスを決定する要因と
なっている属性がどれなのかを事前に知ることはできな
いため、とにかく利用可能な属性をすべて用いるか、あ
るいは背景知識を用いてアドホックに要因となっている
属性を推定して用いるなどのアプローチを取り、そうし
て作られた事例を概念学習装置に与え、クラスが特定の
ラベルになるための条件の内包的記述を求めることにな
る。この詳細については参考文献１、２に記載されてい
る。
【０００５】（参考文献１…Quinlan,J.R.,"Induotion
of Decision Trees",Machine Learning Vol.1,pp.81-10
6,1986. ） （参考文献２…Quinlan,J.R.,"C4.5:Programs for Mach
ine Learning",MorganKaufmann Publishers,1993.） ところで、このように、不必要な属性をも事例に含める
ことは、学習に要する計算時間を伸ばすことになる。ま
た、クラス不明のデータに対して予測推定を行う際の精
度を低下させることも起こり得る。
of Decision Trees",Machine Learning Vol.1,pp.81-10
6,1986. ） （参考文献２…Quinlan,J.R.,"C4.5:Programs for Mach
ine Learning",MorganKaufmann Publishers,1993.） ところで、このように、不必要な属性をも事例に含める
ことは、学習に要する計算時間を伸ばすことになる。ま
た、クラス不明のデータに対して予測推定を行う際の精
度を低下させることも起こり得る。
【０００６】そこで、帰納的概念学習装置に対してどの
ような属性を入力として与えるかを決定する方法が知ら
れている。この詳細について参考文献３、４に記載され
ている。
ような属性を入力として与えるかを決定する方法が知ら
れている。この詳細について参考文献３、４に記載され
ている。
【０００７】（参考文献３…Almuallim,H.and Dietteri
ch,T.G.,"Learning Boolean concepts in the presence
of many irrelevant features",Artificial Intellige
nceVol.69,pp.279-305,1994. ） （参考文献４…Vafaie,H.and De Jong,K.,"Improving a
Rule Induction System Using Genetic Algorithms",i
n Michalski and Tecuci(ed.),Machine Learning:A Mul
tistrategy Approach,Morgan Kaufmann Publishers,199
4.） これらの方法は、属性の部分集合の空間を探索するた
め、長い計算時間を要する上、既知の事例以外のデータ
に対して予測推定を行う際の精度が向上する保証はな
い。不必要な属性をも事例に含めたとき、予測推定を行
う際の精度が低下するのは、学習に用いられた事例（訓
練例）へのoverfitting が起こるからである。これに対
処する方法の一つとして、cross validation法があり、
この方法は統計などで良く知られている。このcross va
lidation法を用いた一例は参考文献に記載されている。
（参考文献５…John,G.H.et al.,"Irrelevant Features
and the Subset Selection Problem",Proc.of the 11t
h Machine Leaning pp.121-129,1994.） ここで、図１１を参照してcross validation法を説明す
る。同図に示すように、cross validation法は、与えら
れた事例の一部を予め取り除き、残りの事例のみを使っ
て学習させ、上記取り除いておいた事例を用いて学習結
果をテストする、という手続きを、事例の取り除き方を
さまざまに変えて繰り返し、評価の総和を取ることによ
り、与えられた事例全体を用いて学習したときの学習結
果が未知の事例に対して行う予測の精度を見積もる方法
である。
ch,T.G.,"Learning Boolean concepts in the presence
of many irrelevant features",Artificial Intellige
nceVol.69,pp.279-305,1994. ） （参考文献４…Vafaie,H.and De Jong,K.,"Improving a
Rule Induction System Using Genetic Algorithms",i
n Michalski and Tecuci(ed.),Machine Learning:A Mul
tistrategy Approach,Morgan Kaufmann Publishers,199
4.） これらの方法は、属性の部分集合の空間を探索するた
め、長い計算時間を要する上、既知の事例以外のデータ
に対して予測推定を行う際の精度が向上する保証はな
い。不必要な属性をも事例に含めたとき、予測推定を行
う際の精度が低下するのは、学習に用いられた事例（訓
練例）へのoverfitting が起こるからである。これに対
処する方法の一つとして、cross validation法があり、
この方法は統計などで良く知られている。このcross va
lidation法を用いた一例は参考文献に記載されている。
（参考文献５…John,G.H.et al.,"Irrelevant Features
and the Subset Selection Problem",Proc.of the 11t
h Machine Leaning pp.121-129,1994.） ここで、図１１を参照してcross validation法を説明す
る。同図に示すように、cross validation法は、与えら
れた事例の一部を予め取り除き、残りの事例のみを使っ
て学習させ、上記取り除いておいた事例を用いて学習結
果をテストする、という手続きを、事例の取り除き方を
さまざまに変えて繰り返し、評価の総和を取ることによ
り、与えられた事例全体を用いて学習したときの学習結
果が未知の事例に対して行う予測の精度を見積もる方法
である。
【０００８】上記参考文献５には、ある属性部分集合を
用いて学習する際の精度をcross validation法によって
評価し、有用な属性部分集合を探索する方法が紹介され
ている。この方法によって得られた属性部分集合を用い
ると、帰納的概念学習装置の学習結果を用いての予測精
度が高くなることが実験的に知られている。
用いて学習する際の精度をcross validation法によって
評価し、有用な属性部分集合を探索する方法が紹介され
ている。この方法によって得られた属性部分集合を用い
ると、帰納的概念学習装置の学習結果を用いての予測精
度が高くなることが実験的に知られている。
【０００９】
【発明が解決しようとする課題】しかしながら、参考文
献５に記載されている方法の場合、属性部分集合の有用
さの評価のために帰納的概念学習装置を数回（cross va
lidation法の分割数だけ）用いる必要があるため非常に
長い計算時間を要するという問題があった。
献５に記載されている方法の場合、属性部分集合の有用
さの評価のために帰納的概念学習装置を数回（cross va
lidation法の分割数だけ）用いる必要があるため非常に
長い計算時間を要するという問題があった。
【００１０】本発明はこのような課題を解決するために
なされたもので、高速にかつ帰納的概念学習装置の学習
結果を用いての予測の精度を向上することのできる属性
選択装置、属性評価装置、属性選択方法および属性評価
方法を提供することを目的としている。
なされたもので、高速にかつ帰納的概念学習装置の学習
結果を用いての予測の精度を向上することのできる属性
選択装置、属性評価装置、属性選択方法および属性評価
方法を提供することを目的としている。
【００１１】
【課題を解決するための手段】上記した目的を達成する
ために、請求項１記載の発明の属性選択装置は、対象が
記号で表現された幾つかの属性に対する属性値の列で表
現されており、これら属性値の列に対してクラスと呼ば
れる特別な属性とその属性値であるラベルという離散な
値とが割り当てられているような複数の事例が与えられ
て、前記クラスが特定のラベルになることの必要十分条
件を定義する記述を求める帰納的概念学習装置に対し、
予め与えられている属性／属性値の組の列の一部分を選
び出して新たな事例を生成して与える属性選択装置にお
いて、前記帰納的概念学習装置に与えるべき前記複数の
事例を２つの部分集合に分割する分割手段と、前記分割
手段により２つの部分集合に分けられた各部分集合内
で、ある属性が特定の属性値を取った場合の、クラスが
特定のラベルとなることの条件付き確率を計算する手段
と、計算された確率が前記２つの部分集合においてどれ
ほど異なるかを、前記ラベルおよび属性値について、そ
れぞれの出現頻度に基づき加重平均する手段と、前記属
性の取り得る属性値について、前記加重平均された値を
基に、属性がどれほど有用であるかを判断する判断手段
とを具備したことを特徴としている。
ために、請求項１記載の発明の属性選択装置は、対象が
記号で表現された幾つかの属性に対する属性値の列で表
現されており、これら属性値の列に対してクラスと呼ば
れる特別な属性とその属性値であるラベルという離散な
値とが割り当てられているような複数の事例が与えられ
て、前記クラスが特定のラベルになることの必要十分条
件を定義する記述を求める帰納的概念学習装置に対し、
予め与えられている属性／属性値の組の列の一部分を選
び出して新たな事例を生成して与える属性選択装置にお
いて、前記帰納的概念学習装置に与えるべき前記複数の
事例を２つの部分集合に分割する分割手段と、前記分割
手段により２つの部分集合に分けられた各部分集合内
で、ある属性が特定の属性値を取った場合の、クラスが
特定のラベルとなることの条件付き確率を計算する手段
と、計算された確率が前記２つの部分集合においてどれ
ほど異なるかを、前記ラベルおよび属性値について、そ
れぞれの出現頻度に基づき加重平均する手段と、前記属
性の取り得る属性値について、前記加重平均された値を
基に、属性がどれほど有用であるかを判断する判断手段
とを具備したことを特徴としている。
【００１２】請求項２記載の発明の属性選択装置は、請
求項１記載の属性選択装置において、前記判断手段は、
前記加重平均された値を、前記複数の事例の分割の仕方
をさまざまに変えた場合において計算する計算手段と、
前記計算手段により計算された値を積算する積算手段
と、前記積算手段により積算された値を基に、属性がど
れほど有用であるかを判断する手段とを具備したことを
特徴としている。
求項１記載の属性選択装置において、前記判断手段は、
前記加重平均された値を、前記複数の事例の分割の仕方
をさまざまに変えた場合において計算する計算手段と、
前記計算手段により計算された値を積算する積算手段
と、前記積算手段により積算された値を基に、属性がど
れほど有用であるかを判断する手段とを具備したことを
特徴としている。
【００１３】請求項３記載の発明の属性選択装置は、請
求項２記載の属性選択装置において、前記判断手段が、
前記積算手段により前記積算された値の比較的小さい属
性が有用であると判断した場合、それらの属性のみから
なる事例を前記帰納的概念学習装置に与える手段を具備
したことを特徴としている。
求項２記載の属性選択装置において、前記判断手段が、
前記積算手段により前記積算された値の比較的小さい属
性が有用であると判断した場合、それらの属性のみから
なる事例を前記帰納的概念学習装置に与える手段を具備
したことを特徴としている。
【００１４】請求項４記載の発明の属性評価装置は、対
象が記号で表現された幾つかの属性に対する属性値の列
で表現されており、これら属性値の列に対してクラスと
呼ばれる特別な属性とその属性値であるラベルという離
散な値とが割り当てられているような複数の事例が与え
られて、前記クラスが特定のラベルになることの必要十
分条件を定義する記述を求める帰納的概念学習装置に対
し、前記属性が提供する情報の質に関する評価尺度を与
える属性評価装置において、前記帰納的概念学習装置に
与えるべき前記複数の事例を２つの部分集合に分割する
分割手段と、前記分割手段により２つの部分集合に分け
られた各部分集合内で、ある属性が特定の属性値を取っ
た場合の、クラスが特定のラベルとなることの条件付き
確率を計算する手段と、計算された確率が前記２つの部
分集合においてどれほど異なるかを、前記ラベルおよび
属性値について、それぞれの出現頻度に基づき加重平均
する手段と、前記属性の取り得る属性値について、前記
加重平均された値を基に、属性がどれほど有用であるか
を判断する判断手段とを具備したことを特徴としてい
る。
象が記号で表現された幾つかの属性に対する属性値の列
で表現されており、これら属性値の列に対してクラスと
呼ばれる特別な属性とその属性値であるラベルという離
散な値とが割り当てられているような複数の事例が与え
られて、前記クラスが特定のラベルになることの必要十
分条件を定義する記述を求める帰納的概念学習装置に対
し、前記属性が提供する情報の質に関する評価尺度を与
える属性評価装置において、前記帰納的概念学習装置に
与えるべき前記複数の事例を２つの部分集合に分割する
分割手段と、前記分割手段により２つの部分集合に分け
られた各部分集合内で、ある属性が特定の属性値を取っ
た場合の、クラスが特定のラベルとなることの条件付き
確率を計算する手段と、計算された確率が前記２つの部
分集合においてどれほど異なるかを、前記ラベルおよび
属性値について、それぞれの出現頻度に基づき加重平均
する手段と、前記属性の取り得る属性値について、前記
加重平均された値を基に、属性がどれほど有用であるか
を判断する判断手段とを具備したことを特徴としてい
る。
【００１５】請求項５記載の発明の属性評価装置は、請
求項４記載の属性評価装置において、前記判断手段は、
前記加重平均された値を、前記複数の事例の分割の仕方
をさまざまに変えた場合において計算する計算手段と、
前記計算手段により計算された値を積算する積算手段
と、前記積算手段により積算された値を基に、属性がど
れほど有用であるかを判断する手段とを具備したことを
特徴としている。
求項４記載の属性評価装置において、前記判断手段は、
前記加重平均された値を、前記複数の事例の分割の仕方
をさまざまに変えた場合において計算する計算手段と、
前記計算手段により計算された値を積算する積算手段
と、前記積算手段により積算された値を基に、属性がど
れほど有用であるかを判断する手段とを具備したことを
特徴としている。
【００１６】請求項６記載の発明の属性評価装置は、請
求項５記載の属性評価装置において、前記積算手段によ
り前記積算された値を、前記属性の信頼度として前記帰
納的概念学習装置に与える手段を具備したことを特徴と
している。
求項５記載の属性評価装置において、前記積算手段によ
り前記積算された値を、前記属性の信頼度として前記帰
納的概念学習装置に与える手段を具備したことを特徴と
している。
【００１７】請求項７記載の発明の属性選択方法は、対
象が記号で表現された幾つかの属性に対する属性値の列
で表現されており、これら属性値の列に対してクラスと
呼ばれる特別な属性とその属性値であるラベルという離
散な値とが割り当てられているような事例集合が与えら
れて、前記クラスが特定のラベルになることの必要十分
条件を定義する記述を求める帰納的概念学習装置に対
し、予め与えられている属性／属性値の組の列の一部分
を選び出して新たな事例を生成して与える属性選択方法
において、前記帰納的概念学習装置に与えるべき前記複
数の事例を２つの部分集合に分割する工程と、前記２つ
の部分集合に分けられた各部分集合内で、ある属性が特
定の属性値を取った場合の、クラスが特定のラベルとな
ることの条件付き確率を計算する工程と、計算された確
率が前記２つの部分集合においてどれほど異なるかを、
前記ラベルおよび属性値について、それぞれの出現頻度
に基づき加重平均する工程と、前記属性の取り得る属性
値について、前記加重平均された値を、前記複数の事例
の分割の仕方をさまざまに変えた場合において計算する
工程と、前記計算された値を積算する工程と、前記積算
された値を基に、属性がどれほど有用であるかを判断す
る工程と、前記積算された値の比較的小さい属性が有用
であると判断された場合、それらの属性のみからなる事
例を前記帰納的概念学習装置に与える工程とを具備した
ことを特徴としている。
象が記号で表現された幾つかの属性に対する属性値の列
で表現されており、これら属性値の列に対してクラスと
呼ばれる特別な属性とその属性値であるラベルという離
散な値とが割り当てられているような事例集合が与えら
れて、前記クラスが特定のラベルになることの必要十分
条件を定義する記述を求める帰納的概念学習装置に対
し、予め与えられている属性／属性値の組の列の一部分
を選び出して新たな事例を生成して与える属性選択方法
において、前記帰納的概念学習装置に与えるべき前記複
数の事例を２つの部分集合に分割する工程と、前記２つ
の部分集合に分けられた各部分集合内で、ある属性が特
定の属性値を取った場合の、クラスが特定のラベルとな
ることの条件付き確率を計算する工程と、計算された確
率が前記２つの部分集合においてどれほど異なるかを、
前記ラベルおよび属性値について、それぞれの出現頻度
に基づき加重平均する工程と、前記属性の取り得る属性
値について、前記加重平均された値を、前記複数の事例
の分割の仕方をさまざまに変えた場合において計算する
工程と、前記計算された値を積算する工程と、前記積算
された値を基に、属性がどれほど有用であるかを判断す
る工程と、前記積算された値の比較的小さい属性が有用
であると判断された場合、それらの属性のみからなる事
例を前記帰納的概念学習装置に与える工程とを具備した
ことを特徴としている。
【００１８】請求項８記載の発明の属性評価方法は、対
象が記号で表現された幾つかの属性に対する属性値の列
で表現されており、これら属性値の列に対してクラスと
呼ばれる特別な属性とその属性値であるラベルという離
散な値とが割り当てられているような複数の事例が与え
られて、前記クラスが特定のラベルになることの必要十
分条件を定義する記述を求める帰納的概念学習装置に対
し、前記属性が提供する情報の質に関する評価尺度を与
える属性評価方法において、前記帰納的概念学習装置に
与えるべき前記複数の事例を２つの部分集合に分割する
工程と、前記２つの部分集合に分けられた各部分集合内
で、ある属性が特定の属性値を取った場合の、クラスが
特定のラベルとなることの条件付き確率を計算する工程
と、計算された確率が前記２つの部分集合においてどれ
ほど異なるかを、前記ラベルおよび属性値について、そ
れぞれの出現頻度に基づき加重平均する工程と、前記属
性の取り得る属性値について、前記加重平均された値
を、前記複数の事例の分割の仕方をさまざまに変えた場
合において計算する工程と、前記計算された値を積算す
る工程と、前記積算された値を、前記属性の信頼度とし
て前記帰納的概念学習装置に与える工程とを具備したこ
とを特徴としている。
象が記号で表現された幾つかの属性に対する属性値の列
で表現されており、これら属性値の列に対してクラスと
呼ばれる特別な属性とその属性値であるラベルという離
散な値とが割り当てられているような複数の事例が与え
られて、前記クラスが特定のラベルになることの必要十
分条件を定義する記述を求める帰納的概念学習装置に対
し、前記属性が提供する情報の質に関する評価尺度を与
える属性評価方法において、前記帰納的概念学習装置に
与えるべき前記複数の事例を２つの部分集合に分割する
工程と、前記２つの部分集合に分けられた各部分集合内
で、ある属性が特定の属性値を取った場合の、クラスが
特定のラベルとなることの条件付き確率を計算する工程
と、計算された確率が前記２つの部分集合においてどれ
ほど異なるかを、前記ラベルおよび属性値について、そ
れぞれの出現頻度に基づき加重平均する工程と、前記属
性の取り得る属性値について、前記加重平均された値
を、前記複数の事例の分割の仕方をさまざまに変えた場
合において計算する工程と、前記計算された値を積算す
る工程と、前記積算された値を、前記属性の信頼度とし
て前記帰納的概念学習装置に与える工程とを具備したこ
とを特徴としている。
【００１９】上記した発明では、与えられた事例集合を
２つの部分集合に分け、各々の部分集合内で、ある属性
が特定の属性値をとった場合の、クラスが特定のラベル
となることの条件付き確率を計算し、この確率が２つの
部分集合においてどれほど異るかを、この属性の取り得
る属性値に関し、属性値の出現頻度に基づき加重平均し
た値を求める。この計算を、上記事例集合の分割の仕方
をさまざまに変えて繰り返し積算する。この値が大きい
属性（群）を不要として除去し、帰納的概念学習装置に
与える事例を生成する。あるいは、この値を、属性から
得られる情報への信頼度の指標として利用できるよう帰
納的概念学習装置に提供する。
２つの部分集合に分け、各々の部分集合内で、ある属性
が特定の属性値をとった場合の、クラスが特定のラベル
となることの条件付き確率を計算し、この確率が２つの
部分集合においてどれほど異るかを、この属性の取り得
る属性値に関し、属性値の出現頻度に基づき加重平均し
た値を求める。この計算を、上記事例集合の分割の仕方
をさまざまに変えて繰り返し積算する。この値が大きい
属性（群）を不要として除去し、帰納的概念学習装置に
与える事例を生成する。あるいは、この値を、属性から
得られる情報への信頼度の指標として利用できるよう帰
納的概念学習装置に提供する。
【００２０】したがって、属性選択装置においては、 o
verfittingを避けることのできる属性部分集合の選択を
極めて高速に行うことができる。また、属性評価装置に
おいては、属性の評価尺度の計算を極めて高速に行うこ
とができる。
verfittingを避けることのできる属性部分集合の選択を
極めて高速に行うことができる。また、属性評価装置に
おいては、属性の評価尺度の計算を極めて高速に行うこ
とができる。
【００２１】この結果、帰納的概念学習装置の学習結果
を用いての予測の精度を向上することができる。
を用いての予測の精度を向上することができる。
【００２２】
【発明の実施の形態】以下、本発明の実施の形態を図面
に参照して詳細に説明する。図１は本発明に係る第１実
施形態の属性選択装置の構成を示す図である。この第１
実施形態の属性選択装置は、入力部１０１、分割部１０
２、分割方法制御部１０３、部分集合格納部１０４，１
０５、条件付確率計算部１０６、確率比較部１０７、加
重平均計算部１０８、加重平均格納部１０９、積算部１
１０、積算値格納部１１１、属性要・不要判定部１１
２、出力部１１３などを有している。入力部１０１はキ
ーボード、ネットワークからのオンライン入力に対する
インターフェース、あるいは情報伝達のための記録媒体
である磁気ディスクなどを駆動して情報を読み取る磁気
ディスク装置などである。この他、光磁気ディスクを読
み取る光磁気ディスク装置やフラッシュメモリを読み取
るカードリーダなどでも良い。分割部１０２は与えられ
た事例を２つの部分集合Ａ，Ｂに分割する。分割方法制
御部１０３は属性Ｃに対する積算値［Ｃ］を初期化する
と共に、さまざまな場合のデータ分割に関して繰り返し
処理を管理する。またこの分割方法制御部１０３は十分
に多様な分割方法を試したか否かなどを判断する。部分
集合格納部１０４には分割された一方の部分集合、例え
ば部分集合Ａが格納される。部分集合格納部１０５には
分割された他方の部分集合、例えば部分集合Ｂが格納さ
れる。条件付確率計算部１０６は部分集合格納部１０
４，１０５の部分集合Ａ、Ｂそれぞれについて、すべて
の属性Ｃに関して、その属性Ｃが特定の属性値Ｖをとっ
た場合を想定しクラスが特定のラベルｌになる条件付き
確率を計算する。確率比較部１０７は各属性Ｃ、属性値
Ｖ、ラベルｌについて比較計算を行う。加重平均計算部
１０８はラベルについてラベルの出現頻度に基づき加重
平均を計算すると共に、属性値について属性値の出現頻
度に基づき加重平均を計算する。加重平均格納部１０９
には各属性Ｃに関して算出された値が格納される。積算
部１１０は加重平均格納部１０９に格納されている算出
値を積算し積算値格納部１１１に格納する。属性要・不
要判定部１１２は積算値格納部１１１の積算値を基に属
性の有用性を判断する。出力部１１３は属性要・不要判
定部１１２の判断結果を基に有用属性のみからなる事例
を生成して帰納的概念学習装置へ出力する。
に参照して詳細に説明する。図１は本発明に係る第１実
施形態の属性選択装置の構成を示す図である。この第１
実施形態の属性選択装置は、入力部１０１、分割部１０
２、分割方法制御部１０３、部分集合格納部１０４，１
０５、条件付確率計算部１０６、確率比較部１０７、加
重平均計算部１０８、加重平均格納部１０９、積算部１
１０、積算値格納部１１１、属性要・不要判定部１１
２、出力部１１３などを有している。入力部１０１はキ
ーボード、ネットワークからのオンライン入力に対する
インターフェース、あるいは情報伝達のための記録媒体
である磁気ディスクなどを駆動して情報を読み取る磁気
ディスク装置などである。この他、光磁気ディスクを読
み取る光磁気ディスク装置やフラッシュメモリを読み取
るカードリーダなどでも良い。分割部１０２は与えられ
た事例を２つの部分集合Ａ，Ｂに分割する。分割方法制
御部１０３は属性Ｃに対する積算値［Ｃ］を初期化する
と共に、さまざまな場合のデータ分割に関して繰り返し
処理を管理する。またこの分割方法制御部１０３は十分
に多様な分割方法を試したか否かなどを判断する。部分
集合格納部１０４には分割された一方の部分集合、例え
ば部分集合Ａが格納される。部分集合格納部１０５には
分割された他方の部分集合、例えば部分集合Ｂが格納さ
れる。条件付確率計算部１０６は部分集合格納部１０
４，１０５の部分集合Ａ、Ｂそれぞれについて、すべて
の属性Ｃに関して、その属性Ｃが特定の属性値Ｖをとっ
た場合を想定しクラスが特定のラベルｌになる条件付き
確率を計算する。確率比較部１０７は各属性Ｃ、属性値
Ｖ、ラベルｌについて比較計算を行う。加重平均計算部
１０８はラベルについてラベルの出現頻度に基づき加重
平均を計算すると共に、属性値について属性値の出現頻
度に基づき加重平均を計算する。加重平均格納部１０９
には各属性Ｃに関して算出された値が格納される。積算
部１１０は加重平均格納部１０９に格納されている算出
値を積算し積算値格納部１１１に格納する。属性要・不
要判定部１１２は積算値格納部１１１の積算値を基に属
性の有用性を判断する。出力部１１３は属性要・不要判
定部１１２の判断結果を基に有用属性のみからなる事例
を生成して帰納的概念学習装置へ出力する。
【００２３】すなわち、この属性選択装置は、既存の帰
納的概念学習装置、例えばＣ４．５などに対して、どの
ような入力を与えたら良いかを決定するものである。な
おＣ４．５については従来技術で説明した参考文献２を
参照するものとし、その詳細な説明は省略する。また、
この場合、例えば図２に示すように、いくつかの属性か
らなる事例（以下訓練例と呼ぶ）が紙または磁気テープ
などの記録媒体に表形式で記録されているものとする。
この図２に示す事例データは、16個の属性handicapped-
infants,water-project-cost-sharing,...,export-admi
nistration-act-south-africa を持ち、各列が一つの事
例を表している。各列の矢印の下はクラスに対応し、２
種類のラベルdemocrat,republican がある。
納的概念学習装置、例えばＣ４．５などに対して、どの
ような入力を与えたら良いかを決定するものである。な
おＣ４．５については従来技術で説明した参考文献２を
参照するものとし、その詳細な説明は省略する。また、
この場合、例えば図２に示すように、いくつかの属性か
らなる事例（以下訓練例と呼ぶ）が紙または磁気テープ
などの記録媒体に表形式で記録されているものとする。
この図２に示す事例データは、16個の属性handicapped-
infants,water-project-cost-sharing,...,export-admi
nistration-act-south-africa を持ち、各列が一つの事
例を表している。各列の矢印の下はクラスに対応し、２
種類のラベルdemocrat,republican がある。
【００２４】以下、図３〜図８を参照してこの属性選択
装置の動作を説明する。図３はこの第１実施形態の属性
選択装置の処理の流れを示すフローチャートである。
装置の動作を説明する。図３はこの第１実施形態の属性
選択装置の処理の流れを示すフローチャートである。
【００２５】この属性選択装置の場合、図２の訓練例
が、キーボード入力、ネットワークによるオンライン入
力されたり、あるいは情報伝達のための記録媒体である
磁気テープなどから読み取るなど等の形で入力部１０１
から入力される（図３のＳ２０１）。
が、キーボード入力、ネットワークによるオンライン入
力されたり、あるいは情報伝達のための記録媒体である
磁気テープなどから読み取るなど等の形で入力部１０１
から入力される（図３のＳ２０１）。
【００２６】次に、各属性Ｃに対する積算値［Ｃ］を初
期化する（Ｓ２０２）。
期化する（Ｓ２０２）。
【００２７】さらに、以下の手続き（Ｓ２０３〜Ｓ２０
９）を、様々なデータ分割に関して繰り返す。この手続
きは分割方法制御部１０３が管理する。
９）を、様々なデータ分割に関して繰り返す。この手続
きは分割方法制御部１０３が管理する。
【００２８】まず、分割部１０２が、事例を２つの部分
集合Ａ，Ｂに分割し（Ｓ２０３）、分割したそれぞれの
部分集合Ａ，Ｂを部分集合格納部１０４，１０５へ格納
する。 条件付き確率計算部１０６は、部分集合格納部
１０４，１０５の部分集合Ａ、Ｂそれぞれについて、す
べての属性Ｃに関して、その属性Ｃが特定の属性値Ｖを
とった場合を想定して、クラスが特定のラベルｌになる
条件付き確率を計算し、それぞれＡl,c ＝ｖ，Ｂ
l,c ＝ｖとする（Ｓ２０４、Ｓ２０５）。
集合Ａ，Ｂに分割し（Ｓ２０３）、分割したそれぞれの
部分集合Ａ，Ｂを部分集合格納部１０４，１０５へ格納
する。 条件付き確率計算部１０６は、部分集合格納部
１０４，１０５の部分集合Ａ、Ｂそれぞれについて、す
べての属性Ｃに関して、その属性Ｃが特定の属性値Ｖを
とった場合を想定して、クラスが特定のラベルｌになる
条件付き確率を計算し、それぞれＡl,c ＝ｖ，Ｂ
l,c ＝ｖとする（Ｓ２０４、Ｓ２０５）。
【００２９】次に、確率比較部１０７は、各属性Ｃ、属
性値Ｖ、ラベルｌに関して、｜Ａl, c ＝ｖ−Ｂl,c ＝ｖ
｜を計算する。この値は、加重平均計算部１０８によっ
て、まずラベルに関して、ラベルの出現頻度に基づき加
重平均され（Ｓ２０７）、次に、属性値に関して、属性
値の出現頻度に基づき加重平均される（Ｓ２０６、Ｓ２
０８）。各属性Ｃに関して算出されたこの値Ｐ0 ［Ｃ］
は加重平均格納部１０９に格納される。この加重平均格
納部１０９に格納された値Ｐ0 ［Ｃ］は積算部１１０に
より積算されて積算値［Ｃ］として累積される（Ｓ２０
９）。
性値Ｖ、ラベルｌに関して、｜Ａl, c ＝ｖ−Ｂl,c ＝ｖ
｜を計算する。この値は、加重平均計算部１０８によっ
て、まずラベルに関して、ラベルの出現頻度に基づき加
重平均され（Ｓ２０７）、次に、属性値に関して、属性
値の出現頻度に基づき加重平均される（Ｓ２０６、Ｓ２
０８）。各属性Ｃに関して算出されたこの値Ｐ0 ［Ｃ］
は加重平均格納部１０９に格納される。この加重平均格
納部１０９に格納された値Ｐ0 ［Ｃ］は積算部１１０に
より積算されて積算値［Ｃ］として累積される（Ｓ２０
９）。
【００３０】分割方法制御部１０３が十分に多様な分割
方法を試したと判断したなら、繰り返しは終了し、その
時点での積算値格納部１１１の積算値を基に、属性要・
不要判定部１１２が属性の有用性を判断する。
方法を試したと判断したなら、繰り返しは終了し、その
時点での積算値格納部１１１の積算値を基に、属性要・
不要判定部１１２が属性の有用性を判断する。
【００３１】「十分に多様な分割方法を試したと判断」
するためには、 ・事例をＮ個のブロックに分割し、ｉ番目のブロックを
Ａ、全体からｉ番目のブロックを除いた事例集合をＢと
し、これをｉを１〜Ｎまで変化させて繰り返す ・事例をＮ個のブロックに分割し、Ｎ個からＲ個（Ｒ＝
１，．．．，Ｎ−１）を取り出すことによって部分集合
Ａを作り、残りを部分集合Ｂとする。Ｒを１〜Ｎ−１ま
で変化させ、そのすべてについて、 NＣR 通りの組合わ
せを試すよう繰り返す などがある。
するためには、 ・事例をＮ個のブロックに分割し、ｉ番目のブロックを
Ａ、全体からｉ番目のブロックを除いた事例集合をＢと
し、これをｉを１〜Ｎまで変化させて繰り返す ・事例をＮ個のブロックに分割し、Ｎ個からＲ個（Ｒ＝
１，．．．，Ｎ−１）を取り出すことによって部分集合
Ａを作り、残りを部分集合Ｂとする。Ｒを１〜Ｎ−１ま
で変化させ、そのすべてについて、 NＣR 通りの組合わ
せを試すよう繰り返す などがある。
【００３２】図４に、上記終了条件として１番目のもの
（Ｎ＝１０）を用いた場合に、図２のデータに対して本
実施形態が生成した積算値の表を示す。
（Ｎ＝１０）を用いた場合に、図２のデータに対して本
実施形態が生成した積算値の表を示す。
【００３３】この属性選択装置では、積算値［Ｃ］の大
きな属性Ｃが不要と判定される（Ｓ２１０）。積算値の
大きな属性を不要と判断するには、 ・予め決められた閾値を用いる方法 ・要／不要の２つのクラスタに別れるようにクラスタリ
ングを行う方法 ・積算値に関して昇順にソートし、隣接属性との積算値
の差が最大なところで要不要に分離する方法 などがある。
きな属性Ｃが不要と判定される（Ｓ２１０）。積算値の
大きな属性を不要と判断するには、 ・予め決められた閾値を用いる方法 ・要／不要の２つのクラスタに別れるようにクラスタリ
ングを行う方法 ・積算値に関して昇順にソートし、隣接属性との積算値
の差が最大なところで要不要に分離する方法 などがある。
【００３４】ここで、上記した中の最後の方法を図４に
対して適用すると、有用な属性はphysician-fee-freeze
のみで、他はすべて不要ということになる。
対して適用すると、有用な属性はphysician-fee-freeze
のみで、他はすべて不要ということになる。
【００３５】最後に、出力部１１３は、有用属性のみか
らなる事例を生成して出力する（Ｓ２１１）。例えばph
ysician-fee-freezeのみが有用とされた場合は、physic
ian-fee-freezeとラベルのみを持つ事例とを出力する。
らなる事例を生成して出力する（Ｓ２１１）。例えばph
ysician-fee-freezeのみが有用とされた場合は、physic
ian-fee-freezeとラベルのみを持つ事例とを出力する。
【００３６】ここで、この属性選択装置の効果をみるた
め、図２に示すデータに対し、従来通りに、Ｃ４．５が
単独で図５に示すデータ定義の記述を基に導き出した概
念記述（pro-log のルール形式）の一例（図６）と、こ
の実施形態の属性選択装置が図４に示す積算値の表に基
づき、Physician-fee-freezeのみを有用と判断し、phys
ician-fee-freezeと、ラベルのみを持つ事例をＣ４．５
へ入力し、Ｃ４．５により生成された概念記述の例（図
７）とを比較する。
め、図２に示すデータに対し、従来通りに、Ｃ４．５が
単独で図５に示すデータ定義の記述を基に導き出した概
念記述（pro-log のルール形式）の一例（図６）と、こ
の実施形態の属性選択装置が図４に示す積算値の表に基
づき、Physician-fee-freezeのみを有用と判断し、phys
ician-fee-freezeと、ラベルのみを持つ事例をＣ４．５
へ入力し、Ｃ４．５により生成された概念記述の例（図
７）とを比較する。
【００３７】図６のルール形式では、図８に示すデータ
に対してimmigration がｎであり、uty-free-exportsが
ｙであるために、図６の上から２行目のルールに適合
し、クラスはdemocratであると予測されるが、実際には
図８の通りクラスはrepublicanであり正しく弁別できな
いが、図７に示す概念記述では図８に示すデータに対し
て正しい弁別を行えることが判る。
に対してimmigration がｎであり、uty-free-exportsが
ｙであるために、図６の上から２行目のルールに適合
し、クラスはdemocratであると予測されるが、実際には
図８の通りクラスはrepublicanであり正しく弁別できな
いが、図７に示す概念記述では図８に示すデータに対し
て正しい弁別を行えることが判る。
【００３８】このようにこの第１実施形態の属性選択装
置によれば、Ｃ４．５に与えるべき事例集合を分割して
部分集合Ａ，Ｂとし、その中で overfittingを避けるよ
うな属性を持つ部分集合を選び出して事例としてＣ４．
５へ出力するので、従来の方法に比ベて属性選択を極め
て高速に行うことができる。この結果、Ｃ４．５の学習
結果を用いての予測の精度を向上することができる。
次に、図９、図１０を参照して本発明に係る第２実施形
態の属性評価装置について説明する。図９は本発明に係
る第２実施形態の属性評価装置の構成を示す図である。
置によれば、Ｃ４．５に与えるべき事例集合を分割して
部分集合Ａ，Ｂとし、その中で overfittingを避けるよ
うな属性を持つ部分集合を選び出して事例としてＣ４．
５へ出力するので、従来の方法に比ベて属性選択を極め
て高速に行うことができる。この結果、Ｃ４．５の学習
結果を用いての予測の精度を向上することができる。
次に、図９、図１０を参照して本発明に係る第２実施形
態の属性評価装置について説明する。図９は本発明に係
る第２実施形態の属性評価装置の構成を示す図である。
【００３９】この第２実施形態の属性評価装置は、図９
に示すように、入力部５０１、分割部５０２、分割方法
制御部５０３、部分集合格納部５０４，５０５、条件付
確率計算部５０６、確率比較部５０７、加重平均計算部
５０８、加重平均格納部５０９、積算部５１０、積算値
格納部５１１、出力部５１３などを有している。入力部
５０１はキーボード、ネットワークからのオンライン入
力に対するインターフェース、あるいは情報伝達のため
の記録媒体である磁気ディスクなどを駆動して情報を読
み取る磁気ディスク装置などである。この他、光磁気デ
ィスクを読み取る光磁気ディスク装置やフラッシュメモ
リを読み取るカードリーダなどでも良い。分割部５０２
は与えられた事例を２つの部分集合Ａ，Ｂに分割する。
分割方法制御部５０３は属性Ｃに対する積算値［Ｃ］を
初期化すると共に、さまざまな場合のデータ分割に関し
て繰り返し処理を管理する。またこの分割方法制御部５
０３は十分に多様な分割方法を試したか否かなどを判断
する。部分集合格納部５０４には分割された一方の部分
集合、例えば部分集合Ａが格納される。部分集合格納部
５０５には分割された他方の部分集合、例えば部分集合
Ｂが格納される。条件付確率計算部５０６は部分集合格
納部５０４，５０５の部分集合Ａ、Ｂそれぞれについ
て、すべての属性Ｃに関して、その属性Ｃが特定の属性
値Ｖをとった場合を想定しクラスが特定のラベルｌにな
る条件付き確率を計算する。確率比較部５０７は各属性
Ｃ、属性値Ｖ、ラベルｌについて比較計算を行う。加重
平均計算部５０８はラベルについてラベルの出現頻度に
基づき加重平均を計算すると共に、属性値について属性
値の出現頻度に基づき加重平均を計算する。加重平均格
納部５０９には各属性Ｃに関して算出された値が格納さ
れる。積算部５１０は加重平均格納部５０９に格納され
ている算出値を積算し積算値格納部５１１に格納する。
出力部５１３は積算値格納部５１１によって積算された
値をＣ４．５へ出力する。 続いて、図１０を参照して
この第２実施形態の属性評価装置の動作を説明する。
図１０はこの第２実施形態の属性評価装置の処理の流れ
を示すフローチャートである。なお、この場合も上記同
様に、図２に示したいくつかの属性からなる事例（以下
訓練例と呼ぶ）が紙または磁気テープなどの記録媒体に
表形式で記録されているものとする。
に示すように、入力部５０１、分割部５０２、分割方法
制御部５０３、部分集合格納部５０４，５０５、条件付
確率計算部５０６、確率比較部５０７、加重平均計算部
５０８、加重平均格納部５０９、積算部５１０、積算値
格納部５１１、出力部５１３などを有している。入力部
５０１はキーボード、ネットワークからのオンライン入
力に対するインターフェース、あるいは情報伝達のため
の記録媒体である磁気ディスクなどを駆動して情報を読
み取る磁気ディスク装置などである。この他、光磁気デ
ィスクを読み取る光磁気ディスク装置やフラッシュメモ
リを読み取るカードリーダなどでも良い。分割部５０２
は与えられた事例を２つの部分集合Ａ，Ｂに分割する。
分割方法制御部５０３は属性Ｃに対する積算値［Ｃ］を
初期化すると共に、さまざまな場合のデータ分割に関し
て繰り返し処理を管理する。またこの分割方法制御部５
０３は十分に多様な分割方法を試したか否かなどを判断
する。部分集合格納部５０４には分割された一方の部分
集合、例えば部分集合Ａが格納される。部分集合格納部
５０５には分割された他方の部分集合、例えば部分集合
Ｂが格納される。条件付確率計算部５０６は部分集合格
納部５０４，５０５の部分集合Ａ、Ｂそれぞれについ
て、すべての属性Ｃに関して、その属性Ｃが特定の属性
値Ｖをとった場合を想定しクラスが特定のラベルｌにな
る条件付き確率を計算する。確率比較部５０７は各属性
Ｃ、属性値Ｖ、ラベルｌについて比較計算を行う。加重
平均計算部５０８はラベルについてラベルの出現頻度に
基づき加重平均を計算すると共に、属性値について属性
値の出現頻度に基づき加重平均を計算する。加重平均格
納部５０９には各属性Ｃに関して算出された値が格納さ
れる。積算部５１０は加重平均格納部５０９に格納され
ている算出値を積算し積算値格納部５１１に格納する。
出力部５１３は積算値格納部５１１によって積算された
値をＣ４．５へ出力する。 続いて、図１０を参照して
この第２実施形態の属性評価装置の動作を説明する。
図１０はこの第２実施形態の属性評価装置の処理の流れ
を示すフローチャートである。なお、この場合も上記同
様に、図２に示したいくつかの属性からなる事例（以下
訓練例と呼ぶ）が紙または磁気テープなどの記録媒体に
表形式で記録されているものとする。
【００４０】この属性評価装置では、例えば図２に示し
た訓練例が、キーボード入力、ネットワークによるオン
ライン入力、情報伝達の媒体である磁気テープから読み
取る（５０１、Ｓ６０１）等の形で入力される。
た訓練例が、キーボード入力、ネットワークによるオン
ライン入力、情報伝達の媒体である磁気テープから読み
取る（５０１、Ｓ６０１）等の形で入力される。
【００４１】次に、各属性Ｃに対する積算値［Ｃ］を初
期化（Ｓ６０２）する。
期化（Ｓ６０２）する。
【００４２】さらに、以下の手続き（Ｓ６０３〜Ｓ６０
９）を、様々なデータ分割に関して繰り返す。このプロ
セスは分割方法制御部５０３が管理する。
９）を、様々なデータ分割に関して繰り返す。このプロ
セスは分割方法制御部５０３が管理する。
【００４３】まず、分割部５０２が、事例を２つの部分
集合Ａ（５０４）、Ｂ（５０５）に分割し（Ｓ６０
３）、部分集合Ａを部分集合格納部５０４へ格納すると
共に、部分集合Ｂを部分集合格納部５０５へ格納する。
集合Ａ（５０４）、Ｂ（５０５）に分割し（Ｓ６０
３）、部分集合Ａを部分集合格納部５０４へ格納すると
共に、部分集合Ｂを部分集合格納部５０５へ格納する。
【００４４】条件付き確率計算部５０６は、部分集合格
納部５０４，５０５それぞれに格納された部分集合Ａ，
Ｂについて、すべての属性Ｃに関して、その属性Ｃが特
定の属性値Ｖをとった場合に、クラスが特定のラベルｌ
になる条件付き確率を計算し、それぞれＡl,c ＝ｖ、Ｂ
l,c ＝ｖとする（Ｓ６０４、Ｓ６０５）。
納部５０４，５０５それぞれに格納された部分集合Ａ，
Ｂについて、すべての属性Ｃに関して、その属性Ｃが特
定の属性値Ｖをとった場合に、クラスが特定のラベルｌ
になる条件付き確率を計算し、それぞれＡl,c ＝ｖ、Ｂ
l,c ＝ｖとする（Ｓ６０４、Ｓ６０５）。
【００４５】次に、確率比較部５０７が、各属性Ｃ、属
性値Ｖ、ラベルｌに関して、｜Ａl, c ＝ｖ−Ｂl,c ＝ｖ
｜を計算する。この計算値は、加重平均計算部５０８に
よって、まず、ラべルに関して、ラベルの出現頻度に基
づき加重平均される（Ｓ６０７）。
性値Ｖ、ラベルｌに関して、｜Ａl, c ＝ｖ−Ｂl,c ＝ｖ
｜を計算する。この計算値は、加重平均計算部５０８に
よって、まず、ラべルに関して、ラベルの出現頻度に基
づき加重平均される（Ｓ６０７）。
【００４６】続いて、属性値に関して、属性値の出現頻
度に基づき加重平均される（Ｓ６０６、Ｓ６０８）。
度に基づき加重平均される（Ｓ６０６、Ｓ６０８）。
【００４７】各属性Ｃに関して算出されたこの値Ｐ
0 ［Ｃ］は、積算部１５０により積算値［Ｃ］に累積さ
れる（Ｓ６０９）。
0 ［Ｃ］は、積算部１５０により積算値［Ｃ］に累積さ
れる（Ｓ６０９）。
【００４８】分割方法制御部５０３が十分に多様な分割
方法を試したと判断した場合は、繰り返しの処理は終了
する。
方法を試したと判断した場合は、繰り返しの処理は終了
する。
【００４９】「十分に多様な分割方法を試したと判断」
するには、 ・事例をＮ個のブロックに分割し、ｉ番目のブロックを
Ａ、全体からｉ番目のブロックを除いた事例集合をＢと
し、これをｉを１〜Ｎまで変化させて繰り返す ・事例をＮ個のブロックに分割し、Ｎ個からＲ個（Ｒ＝
１，．．．，Ｎ−１）を取り出すことによってＡを作
り、残りをＢとする。Ｒを１〜Ｎ−１まで変化させ、そ
のすべてについて、 NＣR 通りの組合わせを試すよう繰
り返す、などがある。
するには、 ・事例をＮ個のブロックに分割し、ｉ番目のブロックを
Ａ、全体からｉ番目のブロックを除いた事例集合をＢと
し、これをｉを１〜Ｎまで変化させて繰り返す ・事例をＮ個のブロックに分割し、Ｎ個からＲ個（Ｒ＝
１，．．．，Ｎ−１）を取り出すことによってＡを作
り、残りをＢとする。Ｒを１〜Ｎ−１まで変化させ、そ
のすべてについて、 NＣR 通りの組合わせを試すよう繰
り返す、などがある。
【００５０】図４に上記終了条件として１番目のもの
（Ｎ＝１０）を用いた場合に、図２のデータに対して本
実施形態で生成した積算値の表を示す。最後に、属性と
それに対する積算値とを出力部５１３が出力する（Ｓ６
１０）。 学習アルゴリズムは、この積算値を属性から
得られる情報の有用度の指標として用いることにより学
習精度の向上を図ることができる。
（Ｎ＝１０）を用いた場合に、図２のデータに対して本
実施形態で生成した積算値の表を示す。最後に、属性と
それに対する積算値とを出力部５１３が出力する（Ｓ６
１０）。 学習アルゴリズムは、この積算値を属性から
得られる情報の有用度の指標として用いることにより学
習精度の向上を図ることができる。
【００５１】その方法は、概念学習装置の種類により異
る。例えばＣ４．５などは学習結果である決定木を生成
する上で、属性の相互情報量を基に計算を行っている。
る。例えばＣ４．５などは学習結果である決定木を生成
する上で、属性の相互情報量を基に計算を行っている。
【００５２】今、ある時点で属性ｃの相互情報量がＩ
（ｃ）であるとする。ｃの積算値をＰ［ｃ］とすると、
決定木生成の計算において、Ｉ（ｃ）の代わりに、Ｉ
（ｃ）（１−Ｐ［ｃ］／Σc Ｐ［ｃ］）を用いることに
より、積算値を情報の有用度と考え、それを学習に反映
させることができる。
（ｃ）であるとする。ｃの積算値をＰ［ｃ］とすると、
決定木生成の計算において、Ｉ（ｃ）の代わりに、Ｉ
（ｃ）（１−Ｐ［ｃ］／Σc Ｐ［ｃ］）を用いることに
より、積算値を情報の有用度と考え、それを学習に反映
させることができる。
【００５３】このようにこの第２実施形態の属性評価装
置によれば、Ｃ４．５に与えるべき事例集合を分割して
複数の部分集合Ａ，Ｂとし、その中で overfittingを避
けるような属性の有用性を高く評価してＣ４．５へ出力
するので、従来の方法に比ベて属性の評価尺度の計算を
極めて高速に行うことができる。この結果、Ｃ４．５の
学習結果を用いての予測の精度を向上することができ
る。 なお、上記各実施形態では、帰納的概念学習装置
としてＣ４．５を例に挙げ、このＣ４．５との組合わせ
のみについて説明したが、本発明は、Ｃ４．５との組合
わせのみにおいて効果を奏するものではなく、広く一般
の帰納的概念学習装置、例えばニューラルネットワーク
などとの組合わせにおいても上記実施形態同様の効果を
奏することができる。
置によれば、Ｃ４．５に与えるべき事例集合を分割して
複数の部分集合Ａ，Ｂとし、その中で overfittingを避
けるような属性の有用性を高く評価してＣ４．５へ出力
するので、従来の方法に比ベて属性の評価尺度の計算を
極めて高速に行うことができる。この結果、Ｃ４．５の
学習結果を用いての予測の精度を向上することができ
る。 なお、上記各実施形態では、帰納的概念学習装置
としてＣ４．５を例に挙げ、このＣ４．５との組合わせ
のみについて説明したが、本発明は、Ｃ４．５との組合
わせのみにおいて効果を奏するものではなく、広く一般
の帰納的概念学習装置、例えばニューラルネットワーク
などとの組合わせにおいても上記実施形態同様の効果を
奏することができる。
【００５４】
【発明の効果】以上説明したように本発明によれば、属
性選択装置を用いた場合は、帰納的概念学習装置に与え
るべき複数の事例を分割して２つの部分集合とし、その
中で overfittingを避けるような属性を持つ部分集合を
選び出して事例として帰納的概念学習装置へ出力するの
で、 overfittingを避けることのできる属性部分集合の
選択を極めて高速に行えるようになる。
性選択装置を用いた場合は、帰納的概念学習装置に与え
るべき複数の事例を分割して２つの部分集合とし、その
中で overfittingを避けるような属性を持つ部分集合を
選び出して事例として帰納的概念学習装置へ出力するの
で、 overfittingを避けることのできる属性部分集合の
選択を極めて高速に行えるようになる。
【００５５】また、属性評価装置を用いた場合は、帰納
的概念学習装置に与えるべき複数の事例を分割して２つ
の部分集合とし、その中で overfittingを避けるような
属性の有用性を高く評価して帰納的概念学習装置へ出力
するので、属性の評価尺度の計算を極めて高速に行える
ようになる。
的概念学習装置に与えるべき複数の事例を分割して２つ
の部分集合とし、その中で overfittingを避けるような
属性の有用性を高く評価して帰納的概念学習装置へ出力
するので、属性の評価尺度の計算を極めて高速に行える
ようになる。
【００５６】この結果、帰納的概念学習装置の学習結果
を用いての予測の精度を向上することができる。
を用いての予測の精度を向上することができる。
【図１】本発明の第１の実施形態の属性選択装置の構成
を示す図である。
を示す図である。
【図２】入力となる事例（訓練例）の一例を示す図であ
る。
る。
【図３】この第１の実施形態の属性選択装置の動作を示
すフローチャートである。
すフローチャートである。
【図４】この第１実施形態の属性選択装置において図２
の訓練例のデータに対して生成される属性毎の積算値を
示す図である。
の訓練例のデータに対して生成される属性毎の積算値を
示す図である。
【図５】図２の訓練例に対しＣ４．５が必要とするデー
タ定義の記述を示す図である。
タ定義の記述を示す図である。
【図６】図２の訓練例に対し、従来通りにＣ４．５のみ
が導いた概念記述（pro-log のルール形式）の一例を示
す図である。
が導いた概念記述（pro-log のルール形式）の一例を示
す図である。
【図７】この第１実施形態の属性選択装置がＣ４．５に
与えた事例を基に、図２の訓練例のデータに対してＣ
４．５が生成した概念記述の一例を示す図である。
与えた事例を基に、図２の訓練例のデータに対してＣ
４．５が生成した概念記述の一例を示す図である。
【図８】図７に示す概念記述によって正しく弁別される
データの一例を示す図である。
データの一例を示す図である。
【図９】本発明に係る第２実施形態の選択評価装置の構
成を示す図である。
成を示す図である。
【図１０】この第２実施形態の選択評価装置の動作を示
すフローチャートである。
すフローチャートである。
【図１１】公知のcross validation法を説明する図であ
る。
る。
１０１，５０１…入力部、１０２，５０２…分割部、１
０３，５０３…分割方法制御部、１０４，１０５，５０
４，５０５…部分集合格納部、１０６，５０６…条件付
確率計算部、１０７，５０７…確率比較部、１０８，５
０８…加重平均計算部、１０９，５０９…加重平均格納
部、１１０，５１０…積算部、１１１，５１１…積算値
格納部、１１２…属性要・不要判定部、１１３，５１３
…出力部。
０３，５０３…分割方法制御部、１０４，１０５，５０
４，５０５…部分集合格納部、１０６，５０６…条件付
確率計算部、１０７，５０７…確率比較部、１０８，５
０８…加重平均計算部、１０９，５０９…加重平均格納
部、１１０，５１０…積算部、１１１，５１１…積算値
格納部、１１２…属性要・不要判定部、１１３，５１３
…出力部。
Claims (8)
- 【請求項１】 対象が記号で表現された幾つかの属性に
対する属性値の列で表現されており、これら属性値の列
に対してクラスと呼ばれる特別な属性とその属性値であ
るラベルという離散な値とが割り当てられているような
複数の事例が与えられて、前記クラスが特定のラベルに
なることの必要十分条件を定義する記述を求める帰納的
概念学習装置に対し、予め与えられている属性／属性値
の組の列の一部分を選び出して新たな事例を生成して与
える属性選択装置において、 前記帰納的概念学習装置に与えるべき前記複数の事例を
２つの部分集合に分割する分割手段と、 前記分割手段により２つの部分集合に分けられた各部分
集合内で、ある属性が特定の属性値を取った場合の、ク
ラスが特定のラベルとなることの条件付き確率を計算す
る手段と、 計算された確率が前記２つの部分集合においてどれほど
異なるかを、前記ラベルおよび属性値について、それぞ
れの出現頻度に基づき加重平均する手段と、 前記属性の取り得る属性値について、前記加重平均され
た値を基に、属性がどれほど有用であるかを判断する判
断手段とを具備したことを特徴とする属性選択装置。 - 【請求項２】 請求項１記載の属性選択装置において、 前記判断手段は、 前記加重平均された値を、前記複数の事例の分割の仕方
をさまざまに変えた場合において計算する計算手段と、 前記計算手段により計算された値を積算する積算手段
と、 前記積算手段により積算された値を基に、属性がどれほ
ど有用であるかを判断する手段とを具備したことを特徴
とする属性選択装置。 - 【請求項３】 請求項２記載の属性選択装置において、 前記判断手段が、前記積算手段により前記積算された値
の比較的小さい属性が有用であると判断した場合、それ
らの属性のみからなる事例を前記帰納的概念学習装置に
与える手段を具備したことを特徴とする属性選択装置。 - 【請求項４】 対象が記号で表現された幾つかの属性に
対する属性値の列で表現されており、これら属性値の列
に対してクラスと呼ばれる特別な属性とその属性値であ
るラベルという離散な値とが割り当てられているような
複数の事例が与えられて、前記クラスが特定のラベルに
なることの必要十分条件を定義する記述を求める帰納的
概念学習装置に対し、前記属性が提供する情報の質に関
する評価尺度を与える属性評価装置において、 前記帰納的概念学習装置に与えるべき前記複数の事例を
２つの部分集合に分割する分割手段と、 前記分割手段により２つの部分集合に分けられた各部分
集合内で、ある属性が特定の属性値を取った場合の、ク
ラスが特定のラベルとなることの条件付き確率を計算す
る手段と、 計算された確率が前記２つの部分集合においてどれほど
異なるかを、前記ラベルおよび属性値について、それぞ
れの出現頻度に基づき加重平均する手段と、 前記属性の取り得る属性値について、前記加重平均され
た値を基に、属性がどれほど有用であるかを判断する判
断手段とを具備したことを特徴とする属性評価装置。 - 【請求項５】 請求項４記載の属性評価装置において、 前記判断手段は、 前記加重平均された値を、前記複数の事例の分割の仕方
をさまざまに変えた場合において計算する計算手段と、 前記計算手段により計算された値を積算する積算手段
と、 前記積算手段により積算された値を基に、属性がどれほ
ど有用であるかを判断する手段とを具備したことを特徴
とする属性評価装置。 - 【請求項６】 請求項５記載の属性評価装置において、 前記積算手段により前記積算された値を、前記属性の信
頼度として前記帰納的概念学習装置に与える手段を具備
したことを特徴とする属性評価装置。 - 【請求項７】 対象が記号で表現された幾つかの属性に
対する属性値の列で表現されており、これら属性値の列
に対してクラスと呼ばれる特別な属性とその属性値であ
るラベルという離散な値とが割り当てられているような
事例集合が与えられて、前記クラスが特定のラベルにな
ることの必要十分条件を定義する記述を求める帰納的概
念学習装置に対し、予め与えられている属性／属性値の
組の列の一部分を選び出して新たな事例を生成して与え
る属性選択方法において、 前記帰納的概念学習装置に与えるべき前記複数の事例を
２つの部分集合に分割する工程と、 前記２つの部分集合に分けられた各部分集合内で、ある
属性が特定の属性値を取った場合の、クラスが特定のラ
ベルとなることの条件付き確率を計算する工程と、 計算された確率が前記２つの部分集合においてどれほど
異なるかを、前記ラベルおよび属性値について、それぞ
れの出現頻度に基づき加重平均する工程と、 前記属性の取り得る属性値について、前記加重平均され
た値を、前記複数の事例の分割の仕方をさまざまに変え
た場合において計算する工程と、 前記計算された値を積算する工程と、 前記積算された値を基に、属性がどれほど有用であるか
を判断する工程と、 前記積算された値の比較的小さい属性が有用であると判
断された場合、それらの属性のみからなる事例を前記帰
納的概念学習装置に与える工程とを具備したことを特徴
とする属性選択方法。 - 【請求項８】 対象が記号で表現された幾つかの属性に
対する属性値の列で表現されており、これら属性値の列
に対してクラスと呼ばれる特別な属性とその属性値であ
るラベルという離散な値とが割り当てられているような
複数の事例が与えられて、前記クラスが特定のラベルに
なることの必要十分条件を定義する記述を求める帰納的
概念学習装置に対し、前記属性が提供する情報の質に関
する評価尺度を与える属性評価方法において、 前記帰納的概念学習装置に与えるべき前記複数の事例を
２つの部分集合に分割する工程と、 前記２つの部分集合に分けられた各部分集合内で、ある
属性が特定の属性値を取った場合の、クラスが特定のラ
ベルとなることの条件付き確率を計算する工程と、 計算された確率が前記２つの部分集合においてどれほど
異なるかを、前記ラベルおよび属性値について、それぞ
れの出現頻度に基づき加重平均する工程と、 前記属性の取り得る属性値について、前記加重平均され
た値を、前記複数の事例の分割の仕方をさまざまに変え
た場合において計算する工程と、 前記計算された値を積算する工程と、 前記積算された値を、前記属性の信頼度として前記帰納
的概念学習装置に与える工程とを具備したことを特徴と
する属性評価方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10055565A JPH11259447A (ja) | 1998-03-06 | 1998-03-06 | 属性選択装置、属性評価装置、属性選択方法、属性評価方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10055565A JPH11259447A (ja) | 1998-03-06 | 1998-03-06 | 属性選択装置、属性評価装置、属性選択方法、属性評価方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH11259447A true JPH11259447A (ja) | 1999-09-24 |
Family
ID=13002242
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP10055565A Withdrawn JPH11259447A (ja) | 1998-03-06 | 1998-03-06 | 属性選択装置、属性評価装置、属性選択方法、属性評価方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH11259447A (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7698235B2 (en) | 2003-09-29 | 2010-04-13 | Nec Corporation | Ensemble learning system and method |
| CN108460113A (zh) * | 2018-02-09 | 2018-08-28 | 水利部交通运输部国家能源局南京水利科学研究院 | 可用于比较水文领域中理论计算曲线过拟合程度的方法 |
-
1998
- 1998-03-06 JP JP10055565A patent/JPH11259447A/ja not_active Withdrawn
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7698235B2 (en) | 2003-09-29 | 2010-04-13 | Nec Corporation | Ensemble learning system and method |
| CN108460113A (zh) * | 2018-02-09 | 2018-08-28 | 水利部交通运输部国家能源局南京水利科学研究院 | 可用于比较水文领域中理论计算曲线过拟合程度的方法 |
| CN108460113B (zh) * | 2018-02-09 | 2021-09-24 | 水利部交通运输部国家能源局南京水利科学研究院 | 可用于比较水文领域中理论计算曲线过拟合程度的方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7769763B1 (en) | Large scale machine learning systems and methods | |
| US5799311A (en) | Method and system for generating a decision-tree classifier independent of system memory size | |
| US7444279B2 (en) | Question answering system and question answering processing method | |
| US20160307113A1 (en) | Large-scale batch active learning using locality sensitive hashing | |
| US5862259A (en) | Pattern recognition employing arbitrary segmentation and compound probabilistic evaluation | |
| US7987144B1 (en) | Methods and apparatus for generating a data classification model using an adaptive learning algorithm | |
| US7483864B2 (en) | Active learning method and system | |
| US11562294B2 (en) | Apparatus and method for analyzing time-series data based on machine learning | |
| CN110334208B (zh) | 基于贝叶斯信念网络的lkj故障预测诊断方法和系统 | |
| Qi et al. | Impacts of dirty data: and experimental evaluation | |
| US20060184474A1 (en) | Data analysis apparatus, data analysis program, and data analysis method | |
| CN114090663B (zh) | 应用人工智能的用户需求预测方法及大数据优化系统 | |
| US20010003817A1 (en) | Knowledge finding method | |
| Lee | A Hellinger-based discretization method for numeric attributes in classification learning | |
| Pugelj et al. | Predicting structured outputs k-nearest neighbours method | |
| CN112015898A (zh) | 基于标签树的模型训练、文本标签确定方法及装置 | |
| EP3745317A1 (en) | Apparatus and method for analyzing time series data based on machine learning | |
| Speranskaya et al. | Ranking vs. classifying: Measuring knowledge base completion quality | |
| Lynch et al. | Bayesian classification and feature reduction using uniform Dirichlet priors | |
| US7177863B2 (en) | System and method for determining internal parameters of a data clustering program | |
| KR102025280B1 (ko) | 다중 레이블 패턴 분류를 위한 특징 선택 방법 및 그 장치 | |
| JPH11259447A (ja) | 属性選択装置、属性評価装置、属性選択方法、属性評価方法 | |
| JP2007213441A (ja) | 多変数決定木構築システム、多変数決定木構築方法および多変数決定木を構築するためのプログラム | |
| Sam et al. | Customer churn prediction using machine learning models | |
| Psomopoulos et al. | A finite state automata based technique for protein classification rules induction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20050510 |