JPH06231107A

JPH06231107A - 学習方法

Info

Publication number: JPH06231107A
Application number: JP5067884A
Authority: JP
Inventors: Kenichi Yoshida; 建一吉田
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1992-12-10
Filing date: 1993-03-26
Publication date: 1994-08-19

Abstract

(57)【要約】【目的】機械学習のデータからルールを帰納的に学習
する方法と、推論過程を分析し効率化に有用なルールを
学習する方法を同じプログラムで実行する学習方法の提
供。【構成】分類したいデータはグラフに変換して入力さ
れる。計算機による処理の過程もグラフに変換して入力
される。次に入力グラフの中に現れるパターンが抽出さ
れ、評価結果が良好だったパターンが出力される。入力
グラフの種類に従い、パターンを分類用規則や高速化用
規則に変換して出力する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明はエキスパートシステムに
不可欠の知識ベースの作成に係わり、特に従来は人手で
行っていた知識ベースの作成を自動的に行う仕組みをエ
キスパートシステムに与えるための学習方法に関する。

【０００２】

【従来の技術】従来、機械学習の方法は、大きく分け
て、データからルールを帰納的に学習する方法と、推論
過程を分析し効率化に有用なルールを演繹的に学習する
方法の２つが研究されていた。

【０００３】前者の例としては、例えば、J. R. Quinla
nの文献「Induction of DecisionTrees (Machine Learn
ing, page 81〜106, 1986)」に、データからルールを帰
納的に学習する方法が示されている。

【０００４】後者の例としては例えば、Tom M. Mitchel
l, Richard M. Keller, SmadarT.Kedar-Cabelliの文献
「Explanation-Based Generalization : A UnifyingVie
w (Machine Learning, page 47〜80, 1986)」に、特定
の問題解決に必要な知識の適用系列を記憶することで、
学習後の類似例の解決を効率化する方法が示されてい
る。

【０００５】また、本発明と類似のアルゴリズムを利用
した方法として吉田、元田の文献「推論過程からの概念
学習（人工知能学会誌, page 119〜129, 1992）」が後
者と類似の目的のために提案されている。

【０００６】

【発明が解決しようとする課題】上記従来技術では、計
算機上で両方の機能が必要な場合、２つの方法を実行す
るための別々のプログラムが必要になるという問題点が
あった。

【０００７】例えば、途中まで与えられた使用者操作指
示を解析し、後に続く操作を推定して自動実行するよう
な計算機の操作支援システムを考えると、純粋な帰納的
な学習手法では、計算機の操作履歴を分析する時に「突
然来た電子メイルを処理する操作などによるノイズ」の
影響を必要以上に受け、実用的な実現は不可能であっ
た。また、純粋に演繹的な学習では、全ての操作やユー
ザー意図を解析可能な知識ベースが必要となり、やはり
実現できなかった。

【０００８】本発明の目的はこの問題点を解決するため
に、同じプログラムで２つの学習機能を提供することに
ある。

【０００９】

【課題を解決するための手段】上記目的は、入力したグ
ラフを分析し、該グラフの中に現れるパターンを抽出す
る仕組みと、抽出したパターンを評価する仕組みをそな
え、評価結果が良好だったパターンを出力する仕組みを
持った機械学習の方法により達成される。

【００１０】

【作用】分類したいデータはグラフに変換して入力され
る。計算機による処理の過程もグラフに変換して入力さ
れる。次に入力グラフの中に現れるパターンが抽出さ
れ、評価結果が良好だったパターンが出力される。入力
グラフの種類に従い、パターンを分類用規則や高速化用
規則に変換して出力することで、従来同じ方法で処理で
きなかった２種類の機械学習の仕事が同じ方法で実行で
きる。

【００１１】

【実施例】以下、本発明の１実施例を図面を参照して説
明する。

【００１２】図１は本発明の基本的アルゴリズムを示し
た図である。分類したいデータや、計算機による処理の
過程はグラフGinに変換して入力される。変換方法は後
述する。次に入力グラフGinの中に現れるパターンが図
１に示したアルゴリズムにより抽出され、別途入力する
評価方法Cにもとづく評価結果が良好だったパターンの
組み合わせ(ビュー, view)が抽出される。最後に入力グ
ラフの種類に従い、抽出したパターンを分類用規則や高
速化用規則に変換して出力する。また、L,Wは探索パラ
メータであり、適当な数を入力する。

【００１３】このアルゴリズムの中でもっとも重要なの
は変形操作(pattern modification)である。変形操作(p
attern modification)の中で、一時パターンとは縮約さ
れたグラフの中で、2つのつながったノードから構成さ
れるパターンである。一時パターンの逆縮約パターンと
は、縮約前のGinの中で一時パターンに対応するパター
ンである。一時パターンの一方または両方のノードが縮
約されたノードで、Ginの中では複数のノードからなる
パターンに対応している場合、逆縮約パターンは複雑な
パターンとなる。アルゴリズム中でiが増えるに従い、
変形操作(pattern modification)が繰り返され、複雑な
パターンが抽出される。

【００１４】変形操作(pattern modification)で一時パ
ターンを取り出す時には、根本側が背反事象に関する情
報、すなわちクラス情報、が付いているもののみパター
ンとして抽出を行う。これにより後述するように、取り
出したパターンが分類規則として解釈できるようにな
る。

【００１５】図２は図１に示したアルゴリズムの処理過
程を説明するための例である。ここでＬは５、Ｗは１が
入力され、評価方法Ｃは縮約後のグラフに関して次の式
が指定されていたとする。評価方法の指定は、ノードの
数、リンクの数などグラフの性質に関する幾つかのデー
タからなる数式を指定し、アルゴリズムを実現するプロ
グラムが実際に数式を評価し、値の大きいものが選択さ
れるようにしておけば良いが、小さいものが選択される
ようにしておいても良い。ここでは以下の指定を使って
説明する。

【００１６】評価式＝ノード数＋グラフ中各パターン情
報を表す色についてｆで計算される値の総和ｆ(色)＝max(1, 各パターン情報を持つノードが持つク
ラス情報の種類の２乗) ｉが0の時には、Vtmpは空であるので縮約した結果のグ
ラフはGin(入力されたグラフ)そのものである。この
時、図２では、縮約したグラフのノード数は20、パター
ンマッチに用いる各ノードの持つ色（パターン情報）の
値は1〜8の8種類で、パターン情報2から8がクラス情報
（背反事象に関する情報を表す各ノードの持つ色でパタ
ーンマッチには用いない）を持たないのでそれぞれf=1
計7、パターン情報1がPとNの2つを持つのでf=4、評価値
は合計31となる。ここでは、一時パターンとして「1・
2」「1・4」「1・5」「1・6」「1・7」「1・8」が抽出
され、これらは逆縮約パターンと一致する。さらにパタ
ーン「1・2」を1つだけ含むビューが選択されたとす
る。

【００１７】この時、2つのノードからなるパターンと
しては「2・3」も考えられるが、どちらのノードも背反
事象PとNに関するクラス情報を持たないのでパターンの
抽出は行わない。

【００１８】ｉが1の時には、Vtmpはパターン「1・2」
だけを含む。これを仮にノード9とする。縮約した結果
のグラフはGinとは異なる。この時、縮約したグラフの
ノード数は16、パターン情報は3〜9の7種類で、パター
ン情報3から8がクラス情報を持たないのでそれぞれf=1
計6、パターン情報9がPとNの2つを持つのでf=4、評価値
は合計26となる。ここでは、一時パターンとして「9・
3」「9・4」「9・5」「9・6」「9・7」「9・8」が抽出さ
れ、これらは逆縮約パターン「1・2・3」「1・2・4」
「1・2・5」「1・2・6」「1・2・7」「1・2・8」とな
る。さらにパターン「1・2・5」と「1・2」を2つ含むビ
ューが選択されたとする。

【００１９】ｉが2の時には、Vtmpはパターン「1・2・
5」「1・2」を含む。それぞれを仮にノード10、9とす
る。この時、縮約したグラフのノード数は14、パターン
情報は3,4,6,7,8,9,10の7種類で、それぞれｆ＝１計7、
評価値は合計21となる。ここでは、一時パターンとして
「10・3」「10・4」「10・6」「9・3」「9・4」「9・
7」「9・8」が抽出され、これらは逆縮約パターン「1・
2・5・3」「1・2・5・4」「1・2・5・6」「1・2・3」
「1・2・4」「1・2・7」「1・2・8」となる。さらにパ
ターン「1・2・5・3」と「1・2」を2つ含むビューが選
択されたとする。

【００２０】ｉが3の時には、Vtmpはパターン「1・2・5
・3」「1・2」を含む。それぞれを仮にノード11、9とす
る。この時、縮約したグラフのノード数は12、パターン
情報は3,4,6,7,8,9,11の7種類で、それぞれｆ＝１計7、
評価値は合計19となる。ここでは、一時パターンとして
「11・4」「11・6」「9・3」「9・4」「9・7」「9・8」
が抽出され、これらは逆縮約パターン「1・2・5・3・
4」「1・2・5・3・6」「1・2・3」「1・2・4」「1・2・
7」「1・2・8」となる。さらにパターン「1・2・5・3」
と「1・2・3」を2つ含むビューが選択されたとする。

【００２１】ｉが4の時には、Vtmpはパターン「1・2・5
・3」「1・2・3」を含む。それぞれを仮にノード11、12
とする。この時、縮約したグラフのノード数は10、パタ
ーン情報は4,6,7,8,11,12の6種類で、それぞれｆ＝１計
6、評価値は合計16となる。ここでは、一時パターンと
して「11・4」「11・6」「12・4」「12・7」「12・8」
が抽出され、これらは逆縮約パターン「1・2・5・3・
4」「1・2・5・3・6」「1・2・3・4」「1・2・3・7」
「1・2・3・8」となる。さらにパターン「1・2・5・3」
と「1・2・3・4」を2つ含むビューが選択されたとす
る。

【００２２】ｉが5の時には、Vtmpはパターン「1・2・5
・3」「1・2・3・4」を含む。それぞれを仮にノード1
1、13とする。この時、縮約したグラフのノード数は8、
パターン情報は4,6,7,8,11,13の6種類で、それぞれｆ＝
１計6、評価値は合計14となる。

【００２３】図３は分類したいデータをグラフに変換す
る方法を説明した図である。ここではDNAの塩基配列か
ら、その塩基配列がpromoterと一般に呼ばれる塩基配列
となっているか否かの分類規則をデータから帰納的に学
習することを想定する。この場合Ginは一つ一つがDNAシ
ーケンスに対応している小さなグラフの集まりである。
個々の小さなグラフは1つの根元ノードとDNAシーケンス
の長さの末端ノードからなる深さ1のグラフである。例
えば、プロモータの正例に１、負例に２、塩基のＡ、
Ｔ、Ｃ、Ｇにそれぞれ３、４、５、６を割当て、1・3・
4・5・・・、2・5・6・3・・・からなるグラフとして入
力するのである。

【００２４】根元部分のパターン情報としては常に1を
持ち、クラス情報としては正例、負例の識別情報を持
つ。末端部分のパターン情報としてはDNAシーケンスの
塩基情報を持ち、クラス情報は持たない。

【００２５】上記方法で、データをグラフに変換した
後、図１のアルゴリズムでパターンが抽出できる。図４
は抽出したパターンを分類用規則に変換する方法を説明
した図である。抽出したパターンの根本部分のノードの
クラス情報を分類規則の結論とし、末端部分のノードの
パターン情報を条件とすれば、一つ一つのパターンから
それぞれ、分類規則を作成することができる。

【００２６】図５は計算機による処理の過程をグラフに
変換する方法を説明した図である。この場合、グラフは
１種の証明木とみなすことができる。各ノードは推論過
程に現れる（中間的）結論に相当する。パターン情報と
しては結果を求めるのに利用した推論規則を記憶する。
クラス情報としては、複数の推論規則が適用可能な時
に、選択にあたって代替案があり、その選択により推論
が成功したかどうかで、「正／負」の情報を記憶してお
く。代替案がなかった場合は、「正」を記憶しておけば
良いが、クラス情報を記憶しなくてもかまわない。ま
た、ノードにおいて何番目の枝であるかの情報が変数束
縛(unification)の情報を示すようにしておく。

【００２７】記憶すべき変数束縛(unification)の情報
は使用する推論システムにより異なる。例えば、もとの
計算処理がprologで行なわれておれば、body部の何番目
のtermであるかが、何番目の枝であるかの情報として記
憶される。prologの処理は一般的な証明過程であるの
で、prolog以外の推論システムを利用する場合でも、pr
ologの例を参考に、記憶すべき情報を選択できる。

【００２８】上記方法で、計算機による処理過程をグラ
フに変換した後、図１のアルゴリズムでパターンが抽出
できる。図６はパターンを高速化用規則に変換する方法
を説明した図である。抽出したパターンのうち、根本部
分のクラス情報として「正」を持つパターンの、根本部
分のノードのパターン情報を結論に、末端部分のノード
のパターン情報を条件とすれば、一つ一つのパターンか
らそれぞれ、利用することにより、推論が成功する高速
化用規則を作成できる。根本部分のクラス情報として
「負」を持つパターンからは利用すると推論が失敗する
規則を抽出できる。

【００２９】なお上記の実施例においては、計算機上で
の簡単な実現方法を示すために、抽出したパターンの評
価を毎回行うアルゴリズムの説明を行った。この方法は
実現が簡便な一方、処理速度は遅いという欠点を持つ。
この欠点は、図１のアルゴリズム中変数Ｂnextに格納さ
れるパターンの組み合わせの評価を、次に述べる方法等
によって代用すれば高速化できる。

【００３０】まず変数Ｂに格納されたパターンの組み合
わせについては前述の評価方法に従い実際に評価を行っ
ておく。次にＢnextのパターンの組み合わせを評価する
時には、変数Ｂに格納されたパターンの組み合わせＶの
変形操作(PatternModification)により登録されたにパ
ターンの組み合わせには次式により定まる代用の評価結
果を用いる。

【００３１】評価式＝変形前のVの評価結果 −変形操作の時に抽出された一時パターンの数＋ｇ＋ｈ −ｆ（一時パターンの根本の色）ｇ＝グラフから一時パターンを削除したグラフを作り、
そのグラフにおいて、一時パターンの根本の色について
ｆを計算しなおしたものｈ＝グラフから一時パターンだけを取り出したグラフを
作り、そのグラフにおいて、一時パターンの根本の色に
ついてｆを計算しなおしたものここで、評価式の２項目はノードの数（元の評価式の１
項）の減少数の予測値、３項以降は元の評価式２項の減
少数の予測値であり、およその傾向を示すものであれば
別の式でも良い。

【００３２】変数Ｂに格納されたパターンの組み合わせ
Ｖtmp1とＶtmp2の併合操作により登録されたにパターン
の組み合わせには、Ｖtmp1とＶtmp2の評価結果の平均を
代用の評価結果として用いる。

【００３３】通常、変数Ｂに格納されるパターンの組み
合わせは、変数Ｂnextに格納されるパターンの組み合わ
せより数が少ないので、上記の代用評価方法により、パ
ターンの組み合わせの評価の回数を削減できる。評価に
はグラフの縮約処理が必要であるが、評価回数を削減す
ることで、処理時間のかかる縮約処理の回数を削減で
き、アルゴリズム全体として高速化が可能となる。

【００３４】なお、文献「推論過程からの概念学習（人
工知能学会誌, page 119〜129,1992）」では類似のアル
ゴリズムが利用されているが、分類すべきクラスや、処
理の成功、失敗など、背反事象に関する情報を考慮して
おらず、分類したいデータをグラフに変換して入力し、
パターンを分類用規則に変換することはできない。

【００３５】さらに、本発明は、学習結果を活かしたプ
ログラムの作成にも発展させることができる。図7に、
この特徴を説明するための例として計算機の操作履歴の
学習とこれによるプログラムの部分作成の例を示す。

【００３６】図7は、文章生成のための計算機の操作履
歴の例である。計算機の使用者は文章清書システムとし
てLaTeX(原稿の記憶されたファイルを分析する主プログ
ラム)を、文献データ検索システムとしてbibtex(LaTeX
の出力から文献データを検索するプログラム)を、ま
た、清書結果の表示システムとしてdvi2ps(LaTeXの出力
から印刷用コマンドを作成するプログラム)およびghost
view(印刷用コマンドを解析し端末に表示するプログラ
ム)を利用している。また履歴(a)では、LaTeXとbibtex
の仕様から、文献データを処理するためにLaTeXコマン
ドが複数回起動されている。

【００３７】図7(a)に示した操作は、前半の3コマンド
「文献データの検索操作」と、後半の3コマンド「清書
および表示操作」に分割して考えることができる。ま
た、文章作成初期の段階では、図7(a)に示した処理全体
を毎回実行していたが、後半の校正段階では参考文献は
あまり変更しないので、後半のステップのみ実行すれば
良い(図7(b))。

【００３８】このような操作履歴を本発明で分析するた
めグラフ表現したものを図8に示す。使用者の操作に従
い使用されたプログラムを操作順に収集した、このよう
なグラフを図1のアルゴリズムで解析すれば、「文献デ
ータの検索操作」と「清書および表示操作」などを複合
操作として学習可能である。さらに使用者の操作履歴と
学習した複合操作の前半の一致を調べ、一致する場合は
後半の操作を自動実行することができる。すなわち、使
用者が前半の操作をしたことで後半の操作を実施するプ
ログラムを作成することができ、使用者は次のコマンド
を指定することなく該当操作（後半の操作）を実施する
ことができる。

【００３９】

【発明の効果】以上の実施例で明らかなように，本発明
によれば、従来技術では、別々のプログラムが必要にな
る場合にも、同じプログラムで２つの学習機能を提供す
ることができる。さらには学習結果を活かしたプログラ
ムを自動作成することができる。

【００４０】

【図面の簡単な説明】

【図１】本発明の１実施例の処理手順を示した図。

【図２】本発明を説明するための例として選んだグラフ
の処理過程を示した図。

【図３】分類したいデータをグラフに変換する方法を説
明した図。

【図４】パターンを分類用規則に変換する方法を説明し
た図。

【図５】計算機による処理の過程をグラフに変換する方
法を説明した図。

【図６】パターンを高速化用規則に変換する方法を説明
した図。

【図７】（ａ）、（ｂ）は計算機使用者の操作に従い使
用されたプログラムを操作順に収集した例を示す図。

【図８】操作順に収集したプログラムをグラフ化した例
を示す図。

Claims

【特許請求の範囲】

【請求項１】入力したグラフを分析し、該グラフの中に
現れるパターンを抽出する仕組みと、抽出したパターン
を評価する仕組みをそなえ、評価結果が良好だったパタ
ーンを出力する仕組みを持った機械学習の方法。
【請求項２】入力するグラフが色付有向グラフであるこ
とを特徴とする請求項１記載の機械学習の方法。
【請求項３】出力するパターンが複数あることを特徴と
する請求項１記載の機械学習の方法。
【請求項４】分類したいデータをグラフに変換して入力
し、パターンを分類用規則に変換して出力する仕組みを
持つことを特徴とする請求項１記載の機械学習の方法。
【請求項５】計算機による処理の過程をグラフに変換し
て入力し、パターンを処理の高速化用規則に変換して出
力する仕組みを持つことを特徴とする請求項１記載の機
械学習の方法。
【請求項６】分類すべきクラスや、処理の成功、失敗な
ど、背反事象に関する情報をグラフに付けて入力するこ
とを特徴とする請求項１記載の機械学習の方法。
【請求項７】入力グラフの中の背反事象に関する情報が
付いている部分を起点にパターンの抽出を行うことを特
徴とする請求項６記載の機械学習の方法。
【請求項８】抽出したパターンを評価する仕組みが該パ
ターンに一致するグラフを調べ、一致するグラフが１種
類ではなく複数種類の背反事象に対応するパターンに対
して評価結果を減ずる仕組みを持つことを特徴とする請
求項６記載の機械学習の方法。
【請求項９】入力したグラフを分析し、該グラフの中に
現れるパターンを抽出する仕組みと、抽出したパターン
を評価する仕組みをそなえ、評価結果が良好だったパタ
ーンを出力する仕組みを持って使用者の操作を機械学習
するとともに、使用者の操作のパターンからその後の使
用者の操作を推定し、自動的に実行可能とすることを特
徴とする計算機の操作支援システム。