JPH0395666A - パターン学習装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔概要〕 ニューラルネットワークのパターン学讐を行うパターン
学習方式に関し、 望ましい学習の仕方の知識をルール化し、これをもとに
学習を行い、効率的かつ柔軟な学背を可能にすることを
目的とし、 学習対象のニューラルネットワークと、学習させる入力
パターン（入力信号および教師信号）を格納する入力パ
ターンデータベースと、望ましい学習の仕方をルール化
して予め格納する学習則ルールベースと、この学習則ル
ールベースカラルールを取り出し、解釈・実行するルー
ルインクプリ夕とを備え、上記入力パターンデータベー
スから取り出した入力パターンを上記ニューラルネット
ワークに提示し、上記ルールインタプリタが上記学習則
ルールベースから取り出したルールを解釈し、このとき
のニューラルネットワークの入力信号、教師信号、出力
信号、および内部状態を参照して内部変数の変更、提示
する入力パターンの選択などを行い、ルールに対応した
学習を行うように構戒する。

〔産業上の利用分野〕

本発明は、ニューラルネットワークのパターン学習を行
うパターン学習方式に関するものである。

パターン認識や制御などに向いた多様なニューラル不ノ
トワークを学習させる際に、ルールを用いて動的に学習
パラメータなどを変更し、効率的な学習を行うことが望
まれている。

〔従来の技術と発明が解決しようとする課題〕従来、ニ
ューラルネフトワークは、例えば第８図（口）に示すよ
うに、人力信号の総和に応じたある大きさの出力信号を
出力するユニット（細胞）を複数、３層構造に配置して
相互を第８図（ハ）に示すように接続してネソトワーク
を形戒する。このネントワークについていわゆるバンク
プロバゲーション法によって人力信号および教師信号を
図示のように提示してその誤差をフィードバノク学習す
ることを繰り返し行い、層間の重みＷを調整するように
している。この際、入力パターン（入力信号および教師
信号）の提示順序や、パターン数が固定であり、効率の
良い学習を必ずしも実現し得ないと共に、柔軟性に欠け
、例えば特定のパターンだけについて学習が進まない場
合にこれを集中的に学習させたくてもこれを行い得ない
などの問題があった。

尚、第８図構戒を簡単に説明する。

第８図（イ）において、ニューラルネットワーク５ｌは
第８図（ハ〉に示すように３層構造にしたネットワーク
であり、リーダ５２ぱ入力パターンデータベース５３か
ら人力パターン（入力信号および教師信号）を読み出し
てニューラルネットワーク５１に提示するものである。

この際、ニューラルネットワーク５１に固定的な内部初
期値および学習パラメータで初期化するようにしている
。

本発明は、望ましい学習の仕方の知識をルール化し、こ
れをもとに学背を行い、効率的かつ柔軟な学習を可能に
することを目的としている。

〔課題を解決する手段〕

第ｌ図は、本発明の原理構成図を示す。

第１図において、ニューラルネットワーク１は、学習対
象のニューラルネットワークである。

人力パターンデータベース３は、学習させる入力パター
ン（人力信号および教師信号）を格納するデータベース
である。

学習則ルールベース４は、望ましい学習の仕方（知識）
をルール化して予め格納するルールベースである。

ルールインタプリタ５は、学習則ルールヘ−　ス４から
ルールを取り出し、解釈・実行するものである。

〔作用〕

本発明は、第１図に示すように、人力パターンデータベ
ース３から取り出した入力パターン（入力信号および教
師信号）をニューラルネノトヮーク１に提示し、ルール
インタプリタ５が学習則ルールベース４から取り出した
ルールを解釈し、このときのニューラルネットワーク１
の人力信号、教師信号、出力信号、および内部状態を参
照して内部変数の変更、提示する学習バクーンの選択な
どを行い、ルールに対応した学習を行うようにしている
。

従って、望ましい学習の仕方の知識をルール化し、これ
をもとに学習を行うことにより、ニューラルネットワー
クｌの効率的かつ柔軟な学習を行うことが可能となる。

〔実施例〕

次に、第ｌ図から第７図を用いて本発明の１実施例の構
或および動作を順次詳細に説明する。

第１図において、ニューラル不ソトヮーク１は、学習対
象のニューラルネソトヮークであって、第ＩＮの入力層
、第２層の中間層、および第３層の出力層からなる３Ｎ
型のニューラルネットワークである。

パターンリーダ２は、人力パターンデータベース３から
人力パターンを読み出して人力信号と教師信号とに分割
し、ニューラルネソトヮークｌの入力層に人力信号、出
力およびルールインクブリータ５に教師信号を提示する
ようにしている．入力パターンデータベース３は、学習
させる入力パターン（入力信号および教師信号）を格納
するデータベースである。

学習刑ルールベース４ば、望ましい学習の仕方（知識）
をルール化して予め格納するルールベースである（第４
図参照）。

ルールインタプリタ５は、学＝ＵＵルー／ｌｚヘ−７！
．４からルールを取り出して解釈し、このときのニュー
ラルネットワーク１の入力信号、教師信号、出力信号、
および内部状態を参照して、内部変数の変更、提示する
学習バクーンの選択などを行うものである（第２図、第
３図参照）。

会話処理機構６は、オペレータがルールを入力したり、
会話しつつ学習を行ったりなどする入出力機構である。

次に、第２図に示す順序に従い、第１図構戒の動作を説
明する． 第２図において、■は、ルールベース（学習則ルールベ
ース４）からルールを１個読みだす。例えば第４図Ｒｕ
ｌｅ＃ｌを読み出す。ルールは、会話処理機構６を用い
て予め学習に関する知識をルールの形式で第４図に示す
ように記述し、学習則ルールベース４に格納しておく。

向、１回の学習を行う毎に、■以降の処理を行う。

■は、条件節解釈・実行する。これは、■で読みだした
ルールを解釈・実行する。例えば第４図Ｒｕ　Ｉ　ｅ＃
１のｉｆ文〔条件節）を解釈・実行し、ニューラルネッ
トワークを構戒する全てのユニノトの重みの変化ΔＷが
閾値Ｔ１よりも小さいか否かを判別する。真の場合（例
えば全てのユニソトの重みの変化ΔＷが閾値Ｔ１よりも
小さい場合）、■ないし［相］を実行する．偽の場合（
例えばユニソトの重みの変化ΔＷが閾値Ｔｌよりも小さ
いものがあった場合）、■ですべてのルールが偽か？否
かを判別し、ＹＥＳのときに終了し、ＮＯのときに０を
操り返し、他のルールを解釈・実行する。

■は、実行節解釈・実行する。例えば第４図Ｒｕ　Ｉ　
ｅ　＃　１０ｔｈｅｎ文（実行節）を解釈・実行し、全
てのパラメータηをη＋Δη、αをα＋Δαに変更する
（後述する）。

■は、内部変数を変更、および学習パターンの指示を行
う。

■は、入力パターン（学習パターン）の読み込みを行う
。

［相］は、ネノトワーク学習、即ちニューラルネットワ
ークｌの各層間の重みＷなどを調整し、学習を行う。

次に、第３図から第７図を用いて本発明の１実施例の構
或および動作を具体的に説明する。

第３図において、ＮＮメモリ１−１は、ニューラルネッ
トワークｌの内部状態を記憶するメモリであって、Ｌ１
、Ｌ２、Ｌ３、ＷＬＷ２のメモリ領域から構威されてい
る。Ｌ１、Ｌ２、Ｌ３は、入力層、中間層、出力層のユ
ニソトの内部状態をまとめて記憶するメモリ領域である
．ＷＬＷ２は、層間の結合情報をまとめて記憶するメモ
リ領域である。これらＬｌ，Ｌ２、Ｌ３、Ｗ１、Ｗ２は
、バスラインを介して外部から自由に読み書きできる。

Ｌ＋　　（ｉ＝１、２・・・）、およびＷ，（ｉ＝１、
２・・・）の詳細を第６図（イ）、（ロ）にそれぞれ示
す。

ルールインタプリタ５ば、データをリードするデークリ
ーダ６−１、データをライトするデータライタ６−２、
学習則ルールベース４から取り出した条件節を解釈する
条件節解釈部７、学習則ルールベース４から取り出した
実行節を解釈する実行節解釈部８、条件節の内容を格納
する解釈部レジスタ９、変数を格納する変数指示レジス
タ１０、解釈部レジスタ９に格納した内容の真偽を判定
する真偽判定部１ｌ、データリーダ６−１によって読み
取った変数を格納する変数続出レジスタ１２、実行節の
内容を格納する実行部レジスタ■３から構威されている
。

結合重み更ｔｒ機構１４、学習パラメータ更新機構１５
、バクーン選択機構１６は、結合重みＷを更新する機構
、学習パラメータη、αを更新する機構、学習パターン
を選択する機構である。

パターン情報メモリ３７は、入力パターンデータベース
３内の全ての人力パターンに対応づけて人力不可フラグ
の○Ｎ／○ＦＦ情報を格納するメモリである。すべての
人力パターンの入力不可フラグがＯＮになった状態で学
習動作を停止（終了）する。

乱数発生機構３８は、乱数を発生する機構である。

信号伝達機構４０は、各層間の信号伝達量などを計算す
る機構である。

次に、第３図構戒の動作を第４図ないし第７図を参照し
て詳細に説明する。ここで、第５図ニューラルネットワ
ーク（入力層Ｌｌ　　（ｕＬ　ｕ２、ｕ３）、第２層Ｌ
２（ｕ４、ｕ５）、出力層Ｌ３（ｕ５、ｕ７））を用い
て以下説明する。

（１）乱数発生機構３８によってＮＮメモリ１）内のＷ
１、Ｗ２の全ての結合重みＷｊｉにランダムな値を格納
する． （２）パターンリーダ２が入力パターンデータベース３
から例えば入力パターンＮＯ．１の入力信号（１、１、
ｌ）および教師信号（１、１）を読み出し、入力信号（
１、１、１）をＮＮメモリ１一ｌ内の０１、０８、○，
に１、１、１として格納すると共に、教師信号（１、１
）を図示外のレジスタＴ内のｔｌ、ｔｚに１、１として
格納する。

＋３１Ｗ１の結合重みｗ４．ないしＷ。，　Ｗ５，ない
しＷＨを使って入力層から第２Ｎへの信号を計算する。

具体的には下記式（１）、（２）に従って、第２層のユ
ニソトｕ　４　、ＩＪ　５への入力信号Σ４、Σ，を求
める。

Σ４　””　Ｗ４１　Ｑ　１　　＋　Ｗａ！Ｏ　ｚ　＋
　Ｗ４ゴｏ３−＝（１）ΣＳ　＝Ｗ５１０１　　＋Ｗ５
２０２　＋Ｗ５３０３　　・・・（２）そして、ユニン
トｌｌａ　％　ｔ！ｓへの出力信号は、それぞれ変換関
数ｆ．、ｆ，によって、下式（３）、（４）を求める。

ｏ，＝ｆ．（Σ４）・・・・・・・・・・・（３）ｏ５
＝ｆ５（Σ，）・・・・・・・・・・・（４）同様に、
第２層から出力層への信号伝播も求める。以上の計算は
、信号伝播機構４０が行う。

（４）　　出力層の出力Ｏａ　、Ｏｓが得られた後、ル
ールインタプリタ５が動作を開始し、以下の処理を行う
。

条件節解釈部７が学習則ルールベース４の最初のルール
から順番にサーチし、条件節に記述されている命令を実
行する。例えば第４図Ｒｕ　Ｉ　ｅ９ｌの条件節 ａｌｌ−ｏｆ一Δ一≦Ｔ１　　・・・・・・・・・・・
（５）という文字列を条件節解釈部７が取り出し、解釈
部レジスタ９に格納する。解釈部レジスタ９ぱ、ｘ，ｃ
，ｙという３つの部分からなり、Ｃは判定、ＸとＹは対
象を表す。この場合は、Ｘ＝“全てのΔＷ　；　ｉ　　
、Ｃ−”≦９、Ｙ＝’Ｔ１”となる。変数指示レジスタ
１０は、受け取った変数Ｘ（全でのΔＷ　ｊ　ｉ　）に
ついてＮＮメモリ１−１から読み出すようにデータリー
ダ６−１に指示し、データリーダ６−１がＮＮメモリ１
−１からＷｌ、Ｗ２のΔＷ．の内容をバスラインを介し
て読み出し、変数続出レジスタ１２に格納する。この格
納したΔＷｉｉの内容を解釈部レジスタ９に戻し、真偽
判定部ｌ１がｘ，ｃ，ｙの関係が戒立するか否かを判定
する。判定結果は、実行節解釈部８に伝達し、それに従
って学習則ルールベース４から実行節を読み出し、実行
部レジスタｌ３に格納する。実行部レジスタ１３は、Ｄ
，ＸＳＹの３つの部分からなり、Ｄは命令、ＸとＹは処
理対象を表す。第４図Ｒｕ　］　ｅｊ＄ｌでは、Ｄ＝“
学習パラメータの更新゛、Ｘ一“全てのηとα゛、Ｙ一
　ηＪ．＋Δη、αｊ，＋Δα′が格納される。これら
の値は、変数指示レジスタｌＯ、変数続出レジスタ１２
を用いて読み出す。実行部レジスタ１３の内容は、学習
パラメータ更新機構１５に対して、ηｊｉとα、．のデ
ータと共に渡し、これらのデータ更新を行う。

学習パラメータ更新機構ｌ５は、第７図（口）に？すよ
うに、η１，レジスタ３１、α，，レジスタ３２、Δη
レジスタ３３、Δαレジスタ３４から構威され、それぞ
れ加算した結果をＮＮメモリ１−１のηの２亥当箇所に
データライト６−２、バスラインを介して書き込み、更
新する。例えば結合重みの更新量Δｗ４，、ΔＷ５１な
どの全てが闇値Ｔ１以下であれば、η。一η。＋Δη、
α■−α４１＋Δα・・・と更新する。

以上の一連の動作が終了すると、条件節解釈部７が次の
ルールを読み出し、同様に処理をｊ〒う。

第４図の第２のＲｕｌｅ＃２も同様に、条件が威立した
場合、パターン選ＩＲａ構■６に処理が渡る。このとき
、実行部レジスタ１３の状態は、Ｄ＝“パターン選沢”
、Ｘ一“パターン番号゛、Ｙ一“処理フラグ０″となっ
ている。パターン選択機構Ｉ６は、学習した入力バクー
ンの番号と処理フラグ（処理フラグＯ”は入力しない、
“ｌ”は再入力するを表す）を対にしてパターン情報メ
モリ３７に格納する。

第４図の第３のＲｕ　ｌ　ｅ＃３の条件節は“常に？”
なので、そのまま結合重み更新機構ｌ４に処理が渡る。

結合重み更新機構ｌ４ば、バ・７クブロパゲーション法
による結合重みの更新を第７図（イ）１８ないし３０の
機構で実行する。この学習は、２つのユニットｊとユニ
ソトｉとの間の結合重みＷｊｉをΔＷｊｉだけ変更する
ものである。第ｎ回目の学習における更新量ΔＷｊ■（
ｎ）は下式（６）で求める。

ΔＷｊｉ　（ｎ）＝’７＝ｉδＪ　Ｏ．＋α．ΔＷｊｔ
（ｎ−１）　　・・・・・・・・・・・・・・・・・・
ｆ６）ただし、δ五＝Ｏｊ　　（１−Ｏｊ）（ｔ、−０
ｊ）：Ｌ＝３のとき δｉ　＝Ｏｊ　　（Ｌ−ＯＪ）Σｋ　δｋｗ，Ｊ＝それ
以外のとき ここで、δｊｉ、α．、Ｏｉ、η１ば、ユニノトＵ，に
関する２つのパラメータ、出力信号、誤差伝播量を示す
。Δｗ．（ｎ−１〕は前回の重み更新量である。δｋ　
、Ｗｋｊはユニノトｕｊに結合した後の層のユニソ｝ｕ
ｍの誤差伝Ｆ＠量と結合重みである． ここで、第７図（イ）において、レジスタ１８は、処理
中の層の番号Ｌ、レジスタ１９、２０、２１はそれぞれ
ユニットの通し番号を保持する。

レジスタｌ８の内容は１３”から順番に減少していき、
“１”となった時点で結合重み更新機構１４の全体の処
理を終わる。レジスタｌ９は注目しているユニソトｕｊ
％　レジスタ２０はユニットＵ１に結合したｔ１層のユ
ニットｕ８、レジスタ２ｌはユニソトＵ、に結合した後
の層のユニットｕｋを格納する。レジスタ１８は、Ｌ層
に属するユニノト番号をｊレジスタ１９に与える。また
、セレクタ２９に作用する。ｊレジスタ１９ばｉレジス
タ２０と共にηｊ，レジスタ２２、αｉＬレジスタ２３
、ΔＷｊｉレジスタ２４、Ｏｊ　レジスタ２５、ｔ、レ
ジスタ２６、δ、レジスタ３０の内容の読み書きを制御
する。ｋレジスタ２ｌはｊレジスタｌ９と共にＷｋＪレ
ジスタ２７、δ５レジスタ２８の内容の読み書きを制？
Ｈする。ユニ，ト番号Ｌ　　ｉ、ｋの徂み合せは複数あ
るので、Ｌ→ｊ→ｉｓｋの順番で内容が変化し、全ての
組み合せで計算を進める．たとえばＬ＝３のときにはｊ
＝６〜７、１−４〜５、ｋ＝なし、１＝２のときにはｊ
＝４〜５、ｉ＝＝１〜３、ｋ＝５〜７と変化する。レジ
スタ２２〜２８には、それぞれユニノトＵ，とＵ．間の
学習パラメータη、．とα１い重み更新量ΔＷｊｊ、ユ
ニソトｕ４の出力Ｏｊ％ユニットｕ＋＋間の結合重み＠
　Ｗ　ｋ　ｊ、ユニッ｝ｕ（の誤差伝播量δ，を格納す
る．セレクタ２９は層番号Ｌが３の場合とそれ以外の場
合とで計算対象を切り換える働きをもつ。以上の機構で
計算された結果、レジスタ２０にはユニ’７　トｕｊに
ついての誤差伝播量δ１が格納され、学習パラメータと
の積和計算によって、レジスタ２４内の重み更新量ΔＷ
ｊｉを変更し、ＮＮメモリ１−１に戻す。

ルールインタプリタ５は、ルールベース６内の最後のル
ールを解釈処理しても停止しない場合には、ルールベー
スの最初のルールから再度解釈を開梧する．学習が進行
するにつれて出力信号と教師信号との誤差が減少してい
くと、第２のルールによって入力されないパターンが増
えていく。最後に全てのパターンについて第２のルール
が或立すると、それ以上の入力パターンが入力されなく
なる。以上で全ての学習動作は停止する。本例の場合に
は、３つの入力パターンの誤差量がともに閾値Ｔ２以下
になった時点で学習が停止することになる。

以上の機構および処理手順により、ルールに従った柔軟
なニューラルネットワーク学習が可能となる。

第４図は、本発明に係る学習則ルールベース例を示す。

これは、ｉ　ｆ　−　ｔ　ｈ　ｅ　ｎ形式で３つのルー
ル、Ｒｕｌｅ＃１、Ｒｕ　Ｉ　ｅ＃２、Ｒｕｌｅ＃３を
記述したものである。

第１のＲｕｌｅ＃ｌは、“学習時の結合重みの更新量Δ
ＷがあるＩＴＩよりも全て小さければ、学習パラメータ
η、αをΔη、Δαだけそれぞれ増加させよ”というル
ールである。

第２のＲｕ　Ｉ　ｅ＃２は、“学習時の誤差１ｉがある
ｌＴ２よりも小さければ、フラグをＯにセントし、その
学習パターンを学習しなくてもよい”というルールであ
る。

第３のＲｕ　Ｉ　ｅ＃３は、“真ならば、通常の学習を
せよ”というルールである。

第５図は、ニューラルネットワークと入力パターン例を
示す．ここで、ニューラルネットワークは、第１層の入
力層、第２Ｎ、および第３層の出力層から構威されてい
る。第ｌ層の入力層はｕ１、ｕ２、ｕ３の３つであって
、これらユニットの各種値は第３図Ｌ１に格納される。

第２層はｕ４、ｕ５の２つであって、これらユニソトの
各種値は第３図Ｌ２に格納される。第３Ｎの出力層はｕ
６、ｕ７の２つであって、これらユニノトの各種値は第
３図Ｌ３に格納される。第１層の人力層から第２層への
結合重みＷは、図示のようにＷ４１ないしＷａ３、Ｗ１
ないしＷ％３であって、第３図Ｗ１にそれぞれ格納され
る。第２層から第３層の出力層への結合重みＷは、図示
のようにｗ６４、Ｗ６％ｚＷク４、Ｗ，％であって、第
３図Ｗ２にそれぞれ格納される。

また、入力パターンデータベース３から取り出した入力
パターン番号Ｎｏｌ、Ｎｏ２、Ｎｏ３などに対応づけて
、入力層Ｌ１のユニットｕ１、ｕ２、ｕ３に人力する入
力信号、および出力層に対する教師信号とを模式的に示
す。例えばＮ０１は、人力信号（１、ｉ，ｌ）が入力層
Ｌ１のユニットｕ１、ｕ２、ｕ３に入力され、出力層Ｌ
３の教師信号として（１、１）が提示され、既述したよ
うにバンクブロパゲーション法による学習を行いつつ、
このときの内部状態、入力パターン（人力信号、教師信
号）、出力信号などに対応して第４図学習則ルールベー
ス４かラ取り出したルールによってパラメータ、結合重
みＷなどの更新、入力パターンの学習の停止処理などが
行われる。

第６図は、ＮＮメモリ内の構造例を示す。

第６図（イ）は、第５図第ＩＮの入力層のユニソトｕＬ
ｕ２などに対応して、第３図ＮＮメモリ１−１内のユニ
・ノトメモリＬ，に格納する情報例を示す。ここで、入
力値総和Σ，は当該ユニソトｉに入力された入力信号の
総和を表し、変換関数ｆ，は既述した式（４）、（５）
に示す変換関数を表し、出力値０，ば当咳ユニットｉか
らの出力信号の値を表し、誤差伝ｔｉ量δ１は当該ユニ
ットｉの誤差伝ｔａｌｔを表す。同様に、ユニソトｕ２
などについても情報が格納される。

第６図（ロ）は、結合情報メモリＷ．を示す。

これは、第５図入力層から第２層、第２Ｎから出力層へ
の図示のような結合情報を格納したものである。

第７図は、本発明に係る更新／選沢機構例を示す。

第７図（イ）は、結合重み更新機構１４を示す。

これは、既述したように、層間の結合重みＷを更新する
機構である。

第７図（ロ）は、学習パラメータ更新機構ｌ５を示す。

これは、既述したように、学習パラメータを更新する機
構である。

第７図（ハ）は、パターン選択機構１６を示す。

これは、既述したように、学習した人力パターンについ
て、例えば第４図Ｒｕ　１　ｅ＃２で真となったときに
、もやは学習を行う必要がない入力パターンとし、処理
フラグをセットしてパターン情報メモリ３７に格納し、
学習を停止させるものである。

〔発明の効果〕

以上説明したように、本発明によれば、望ましい学習の
仕方の知識をルール化し、これをもとにニューラルネッ
トワークの学習を行う構戒を採用しているため、ニュー
ラルネットワークの効率的かつ柔軟な学習を行うことが
できる。また、学習の仕方をルール化しているため、（
１）経験的な学習の仕方を容易にニューラルネットワー
クに反映させることができる、（２）ルールの変更や追
加を容易に行うことができる、（３冫ルールを人が見易
い形で記述しているために保守し易い、｛４｝学習時の
内部状態を常にモニタしているために暴走やローカルξ
ニマムの状態を検出し易い。

【図面の簡単な説明】

第１図は本発明の原理構戒図、第２図は本発明の処理手
順例、第３図は本発明の１実施例構或図、第４図は本発
明に係る学習則ルールベース例、第５図はニューラルネ
ットワークと入力パターン例、第６図はＮＮメモリ内の
構造例、第７図は本発明に係る更新／選択機構例、第８
図は従来技術の説明図を示す。 図中、１ばニューラルネットワーク、１−１ばＮＮメモ
リ、２はパターンリーグ、３は入力パターンデータベー
ス、４は学習則ルールベース、５はルールインクブリ夕
、６は会話処理機構、７は条件節解釈部、８は実行節解
釈部、ｌ４は結合重み更新機構、１５は学習パラメータ
更新機構、１６はパターン選択機構、３７はパターン情
報メモリ、３８は乱数発生機構、４０は信号伝播機構を
表す．

Claims (1)

1. 【特許請求の範囲】 ニューラルネットワークのパターン学習を行うパターン
   学習方式において、 学習対象のニューラルネットワーク（１）と、学習させ
   る入力パターン（入力信号および教師信号）を格納する
   入力パターンデータベース（３）と、望ましい学習の仕
   方をルール化して予め格納する学習則ルールベース（４
   ）と、 この学習則ルールベース（４）からルールを取り出し、
   解釈・実行するルールインタプリタ（５）とを備え、 上記入力パターンデータベース（３）から取り出した入
   力パターンを上記ニューラルネットワーク（１）に提示
   し、上記ルールインタプリタ（５）が上記学習則ルール
   ベース（４）から取り出したルールを解釈し、このとき
   のニューラルネットワーク（１）の入力信号、教師信号
   、出力信号、および内部状態を参照して内部変数の変更
   、提示する入力パターンの選択などを行い、ルールに対
   応した学習を行うように構成したことを特徴とするパタ
   ーン学習方式。