JPH03288258A

JPH03288258A - データ処理装置の学習方法

Info

Publication number: JPH03288258A
Application number: JP2088162A
Authority: JP
Inventors: Sunao Takatori; 直高取; Makoto Yamamoto; 誠山本
Original assignee: TAKAYAMA KK
Current assignee: TAKAYAMA KK
Priority date: 1990-04-04
Filing date: 1990-04-04
Publication date: 1991-12-18
Also published as: DE69124813D1; EP0450521A3; US5430829A; EP0450521A2; DE69124813T2; EP0450521B1; KR910018921A

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】〔産業上の利用分野〕本発明は、ニューラルネットワークの概念を基礎とする
データ処理装置に関する。

〔従来の技術〕

この種のデータ処理装置におけるニューラルネットワー
クは、第３図に示す神経細胞モデル（以下、ニューロン
という）１を、並列に設けて層状に構成される。各層の
ニューロンは隣接する他の層の全てのニューロンにシナ
プス結合して、データの入出力を行う。すなわちニュー
ロン１において、外部から入力されるデータＩｔ、Ｉｚ
、■３・・・Ｉｎにはそれぞれ重みＷ＋　ＳＷｚ　、Ｗ
ｓ・・・Ｗｎが掛けられ、これらの総和と閾値θとの比
較結果に応じたデータ０が出力される。

この比較方法としては種々のものが可能であるが、例え
ば正規化関数１　［ｆ）を採用すると、出力データ０は
、Ｏ＝１　〔ΣＷｎ−Ｊｎ−〇〕・・・・・（１）と表さ
れる。すなわち、ΣＷｎ・Ｉｎが閾値０以上の時そのニ
ューロンは発火して出力データ０は「１」となり、また
ΣＷｎ・Ｉｎが閾値θより小さい時出力データ０はｒＱ
、となる。

従来のニューラルネットワークは、このようなニューロ
ンを並列に設けてニューラルレイヤを形成するとともに
、このニューラルレイヤを直列に接続して構成される。

ニューラルレイヤは例えば、ローゼンブラット（Ｒｏｓ
ｅｎｂｌａｔｔ）が提案したパーセプトロンのように３
層すなわち入力層、中間層および出力層から成り、各層
のニューロンは隣接する他の層の全てのニューロンにシ
ナプス結合する。

〔発明が解決しようとする課題〕

このようなデータ処理装置において各ニューロンのシナ
プス重みを最適化する操作は「学習」と呼ばれ、その実
現の保証と効率化は重要な課題である。例えば、近年注
目を集めているバックプロパゲーション法では、ローカ
ルミニマムからの脱出と、収束時間が問題点として残さ
れている。特に多数の中間層を含むニューラルネットワ
ークにおいてその傾向が大である。

本発明はこのような従来の問題点を解消すべく創案され
たもので、中間層に対し効率的学習を施し得る学習方法
を提供することを目的とする。

〔課題を解決するための手段〕

本発明に係る学習方法は、入力層の発火パターンと出力
層の発火パターンとを複数の入出力について人為的に決
定し、各入出力について、中間層が入力層、出力層両者
の発火パターンに対する最小近似となる傾向を持つよう
に、中間層および出力層のシナプスの重みを決定し、１
個の中間層の学習が所定段階まで終了したときに、新た
に中間層を追加し、これに対しても同様の学習を施し、
逐次中間層を増加させるものである。ここに入出力層の
ニューロン数はその１回のデータ容量により決定され、
処理し得るデータ個数はニューラルネットワーク全体の
ニューロン数により決定される。したがって多くのデー
タの処理のためには中間層の増大は必須である。なお最
小近似の求め方としては最小二乗近似等が考えられる。

〔実施例］以下図示実施例により本発明を説明する。

第１図は、本発明の一実施例に係る学習方法を適用した
データ処理装置を有する文字認識システムを示す。この
文字認識システムは、ビデオカメラ１０、前処理装置２
０、データ処、理装置３ｏ、後処理装置４０およびデイ
スプレィ５０を備える。

ビデオカメラ１０は文字を入力するために設けられ、前
処理装置２０に接続される。前処理装置２０は例えば従
来公知の画像処理装置であり、入力された文字の特徴デ
ータ（例えば端点数、分岐点数等）を抽出し、この特徴
データをデータ処理装置３０に出力する。データ処理装
置３０は、後述するようにニューラルネットワークを構
成し、前処理装置２０から入力された文字の特徴データ
に基づいてその文字を認識し、この認識結果に応じたデ
ータを後処理装置４０に出力する。認識信号は例えばキ
ャラクタコードであり、後処理装置４０はこの出力デー
タを例えばワープロデータとして格納し、同時にデイス
プレィ５ｏに出力する。

デイスプレィ５０は例えばＣＲＴから構成され、データ
処理装置３０により認識された文字を画面上に表示する
。

データ処理装置３０を構成するニューラルネットワーク
はコンピュータのハードウェアの一部として構成される
。このデータ処理装置３０は第１図において模式的に表
されており、この図から理解されるように入力層３１、
中間層３２および出力層３３を有し、中間層３２は入力
層３１および出力層３３の間に配設される。各層３１．
３２．３３は本実施例において、それぞれ同数のニュー
ロンＮを有し、入力層３１のニューロンＮは中間層３２
の全てのニューロンＮに接続され、また中間層３２のニ
ューロンＮは出力層３３の全てのニューロンＮに接続さ
れる。

各ニューロンＮは第３図を参照して上述したように、（
１）式の正規化関数に基づき、ｒｌ」または「０」のデ
ータを出力する。ニューロンＮは例えばオペアンプから
構成され、また各ニューロンＮへ入力されるデータに乗
じられる重みＷｎは、例えば、オペアンプの入力端子に
接続された可変抵抗により得られる。また閾値関数はス
イッチング素子等によって実現される。すなわち各ニュ
ーロンの出力データに応じて可変抵抗の大きさを変化さ
せることにより、重みＷｎが変化せしめられ、出力デー
タが補正されて学習制御が行われる。

第２図は入力層３１、中間層３２および出力層３３を模
式的に表したもので、各層３１．３２．３３は相互に同
数のニューロンを有している。ここでは説明の簡単のた
め、各層３１．３２．３３のニューロン数は３６個とし
、また各層においてニューロンは横方向に６個、縦方向
に６個配列されている。ここで、図の左下隅のニューロ
ンの位置を原点とし、左からｉ番目、下からｊ番目に位
置するニューロンをＮ工、とする。

入力層３１の各ニューロンは、ビデオカメラ１０を介し
て得られる文字の特徴データによって発火する。例えば
Ｎ８、ＮＩ□、Ｎｚ０、Ｎ２ｔの発火の組合せによって
端点数が表され、Ｎ１ｆｆ、ＮＩ４、Ｎ２３、Ｎ２４の
発火の組合せによって分岐点数が表されるとする。すな
わち、入力層３１のニューロンの発火パターンは入力さ
れる文字に応じて人為的に決定される。

一方出力層３３では、例えば、左下隅と右上隅のニュー
ロンを結ぶ対角線上のニューロンＮ　ｉ　ｉにより文字
が表される。すなわちこの対角線上のニューロンは、そ
の文字のキャラクタコードを表し、出力層３３のニュー
ロンの発火パターンは人為的に決定される。本実施例に
おいて、対角線上のニューロンＮ　ｉ　ｉの発火パター
ンの種類は６４通りあり、したがって本実施例では６４
種類の文字を認識することができ、例えばアルファベッ
トの認識が可能である。

さて文字認識の学習が行われる前においては、データ処
理装置３０に文字データが入力されても、出力Ｉｗ３３
のニューロンは発火しない。このニューロンは、学習に
よって発火が可能となり、入力された文字データに応じ
た所定の発火パターンを呈するようになると、学習は終
了する。なお学習用の入出カバターンはニューラルネッ
トワークで処理すべきデータの代表データであり、実際
に処理すべきデータは広範囲に渡る。そして学習は、こ
の代表入出力データに対する連想が適正に行われるまで
実行される。しかして学習が終了すると、入力層３１お
よび出力層３３は入力された文字データに応じて上述し
たように人為的に定められる発火パターンを呈すること
となる。そして、入力層３１、中間層３２および出力層
３３の各層における発火パターンはこれらの層３１．３
２．３３にわたってスムーズに変化していくと推定され
る。

そこで本発明では、学習の過程において、これらの層に
おける発火パターンがスムーズに変化するように、中間
層３２および出力層３３の重みを変化させている。

次に、本発明の第１実施例に係る学習方法を説明する。

ここで図の左下隅のニューロンの位置を原点とし、入力
層３１において左からｉ番目、下からｊ番目に位置する
ニューロンＮ　ｉ　ｊの出力データをａ８、とする。同
様に、中間層３２におけるニューロンＮ１．の出力デー
タをｂ　ｉｊとし、出力層３３におけるニューロンＮ　
ｉ　ｊの出力データをＣ４ｊとする。

各層３１．３２．３３の各ニューロンの出力データの差
の二乗の和ｆは、ｆ＝Σ　（（ａ　ｉ＝−ｂ　ｔ、）”＋　（ｂ　＝Ｊ−
ｃ　ｔ＝）”）と表される。すなわちこの二乗和ｆは、
発火パターン間の関係における二乗距離である。ただし
Σは、ｉおよびｊについて１から６までの和をとること
を示す。

ａｉｊおよびＣｉｊは入力文字が決まれば一定に定まり
、ｂ　ｉｊだけが未知である。したがって二乗和ｆが最
小値になる時のｂ　ｉｊは公知の手法、例えば最小二乗
法により容易に得られる。文字認識の学習において、中
間層３２および出力層３３の各ニューロンの重みは、こ
のようにして得られたｂ　ｉｊすなわち発火パターンが
得られるように、所定値だけ増加せしめられる。

これを第３図を用いて具体的に説明すると、中間層のニ
ューロン１の出力データｏ（ｂ、ｊ）が発火時の値（例
えば「１」）であれば、そのニューロンｌに結合してい
る入力層のニューロンのうち、発火しているニューロン
から入力されるデータ（例えば「Ｉ２」と’Ｉｚ」）に
対するシナプス重み（この場合「Ｗ２」と「Ｗ、」）が
、例えば５％だけ増加せしめられる。出力層のニューロ
ンのシナプス重みについても同様に処理され、上述した
ように最小二乗法によって発火すべきであるとされた中
間層のニューロンに対するシナプス重みが、例えば５％
だけ増加せしめられる。

しかして、入力層３１、中間層３２および出力層３３の
各層間において発火パターンが最もスムーズに変化する
ように、中間層３２および出力層３３の重みが増加せし
められる。ここで、入力層３１および出力層３３の各ニ
ューロンが全ての入力文字に関してできるだけ同じ頻度
で発火するように定めておけば、中間層３２の各ニュー
ロンも均等に発火することが可能となる。これによって
、ローカルミニマムへの落ち込みを防止することが可能
となり、また中間層３１の各ニューロンは、それぞれ略
均等に発火することとなる。すなわち発火しないニュー
ロンの発生を回避することが可能となり、中間層３２の
ニューロンを効率的に作用させることができる。

なお１回の学習におけるシナプス重みの増加は学習回数
に対して第４図のように変化し、複数回の学習により徐
々に全体系の学習が行われるとともに、学習終期には微
小変化による微調整が行われる。また初期の重みの急増
により学習速度が高められる。

上記実施例において、中間層３２は入力層３１と出力層
３３に接続され、暦数は３であった。しかし、本発明は
３層のニューラルネットワークに限定されるものではな
く、４層以上のニューラルレイヤを有するニューラルネ
ットワークにも適用可能である。この場合、まず中間層
を一つ選択しておき、この中間層のニューロンの発火パ
ターンと入力層３１および出力層３３の発火パターンと
の二乗和が最小となるように、中間層および出力層のニ
ューロンのシナプス重みを増加させる。そして、全ての
入力文字に対する学習が所定段階まで終了した時点で、
第２の中間層の発火パターンが、この中間層に隣接する
他の２層（第１の中間層と入力層または出力層）の発火
パターンに基づいて二乗和が最小になるように、第２の
中間層と出力層のニューロンのシナプス重みを増加させ
、学習を行う。しかして４層の場合の重み分布が得られ
る。５層以上の場合も同様である。

入力層３１、中間層３２および出力層３３の各層間にお
いて発火パターンがスムーズに変化するような、中間層
３２および出力層３３の重み分布の決定方法は、上述し
た第１実施例のものに限定されず、その他種々の方法が
考えられる。

例えば第２実施例として、各層のニューロ７（７）出力
データの差の絶対値を考慮してもよい。すなわち、入力
層３１のニューロンの出力データと中間層３２のニュー
ロンの出力データとの差の絶対値１ａｉｊ　　ｂｉＪｌ
と、中間層３２のニューロンの出力データと出力層３３
のニューロンの出力データとの差の絶対値１ｂ＝＝　　
Ｃ１ｊｌとを全てのニューロンについて合計した値ｆ、
すなわちハミング距離ｆ＝Σ（ｌ　ａ、ｊ　　ｂｉＪｌ　＋ｌ　ｂｉＪＣ＝、
１）を考慮する。なお本実施例では、Σはｉおよびｊに
ついて１から６までの和をとることを示す。

ａｉｊおよびＣ＝ｊは入力文字が決まれば一部に定まり
、ｂ　ｉｊだけが未知である。したがってハミング距離
ｆが最小値になる時のｂ　ｉｊは公知の手法により容易
に得られる。文字認識の学習において、中間層３２およ
び出力層３３の各ニューロンの重みは、このようにして
得られたｂ□ｊすなわち発火パターンが得られるように
、所定値だけ増加せしめられる。

これを第３図を用いて具体的に説明すると、中間層のニ
ューロンｌの出力データｏ（ｂ、、）が発火時の値（例
えば「１」）であれば、そのニューロン１に結合してい
る入力層のニューロンのうち、発火しているニューロン
から入力されるデータ（例えば「Ｉ２」と’Ｉ＋」）に
対するシナプス重み（この場合「Ｗｔ」と’Ｗ３Ｊ）が
、例えば５％だけ増加せしめられる。出力層のニューロ
ンのシナプス重みについても同様に処理され、上述した
ようにハミング距離を用いて発火すべきであるとされた
中間層のニューロンに対するシナプス重みが、例えば５
％だけ増加せしめられる。

この第２実施例によっても、第１実施例と同様な効果が
得られる。

また第２実施例も、第１実施例と同様に、３層のニュー
ラルネットワークに限定されるものではなく、４層以上
のニューラルレイヤを有するニューラルネットワークに
も適用可能である。この場合、まず第１の中間層を選択
し、入力層３１の各ニューロンの出力データと第１の中
間層の各ニューロンの出力データとの差の絶対値と、第
１の中間層の各ニューロンの出力データと出力層３３の
各ニューロンの出力データとの差の絶対値との和が最小
となるように、つまりハミング距離が最小になるように
、第１の中間層および出力層のシナプス重みを増加させ
る。そして全ての入力文字について学習が所定段階まで
終了すると、新たに第２の中間層を追加し、この第２の
中間層についても同様にして、ハミング距離が最小にな
るように、第２の中間層およびこの中間層の出力側に結
合された層（出力層または第１の中間層）におけるシナ
プス重みを増加させる。しかして４層の場合の重み分布
が得られる。５層以上の場合も同様である。

次に、本発明の第３実施例を説明する。

各層３１．３２．３３におけるニューロンＮ　ｉ　ｊは
、共に同じ座標位置にあり、相互に対応している。各層
３１．３２．３３の発火パターンがスムーズに変化する
ためには、中間層３２のニューロンは、入力層３１およ
び出力層３３の対応するニューロンが共に発火している
場合に、発火する傾向にあると考えられる。そこで本実
施例では、中間層３２の各ニューロンが、入力層３１お
よび出力層３３の対応するニューロンが共に発火してい
る場合に、発火しやすくなるように、中間層３２および
出力層３３の所定のニューロンのシナプス重みを所定の
割合だけ増加させている。

これを第２図および第３図を用いて具体的に説明する。

なおこの説明において、出力層３３のニューロンＮＩＪ
はキャラクタコードの一部を構成していると仮定する。

ある文字を認識する時に入力層３１のニューロンＮ８、
と出力層３３のニューロンＮ　ｉ　ｊが共に発火すべき
である場合、中間層３２のニューロンＮ　ｉ　ｊが発火
し易くなるように、中間層３２と出力層３３のシナプス
重みの分布を定める。例えば、第３図に示すニューロン
１が上記中間層３２のニューロンＮＬＪであるとすると
、このニューロン１に結合している入力層のニューロン
のうち、発火しているニューロンから入力されるデータ
（例えば「Ｉ２」とＮ５Ｊ）に対するシナプス重み（こ
の場合「Ｗ２」と「Ｗ、」）が、例えば５％だけ増加せ
しめられる。出力層のニューロンのシナプス重みについ
ても同様に処理され、上述したように発火すべきである
とされた中間層のニューロンに対するシナプス重みが、
例えば５％だけ増加せしめられる。

この第３実施例によっても、第１および第２実施例と同
様な効果が得られる。

また第３実施例も、第１および第２実施例と同様に、３
層のニューラルネットワークに限定されるものではなく
、４層以上のニューラルレイヤを有するニューラルネッ
トワークにも適用可能である。この場合、まず第１の中
間層を選択し、この中間層の各ニューロンが、入力層お
よび出力層の対応するニューロンが共に発火している場
合に、発火する傾向を持つように、中間層および出力層
のシナプス重みを増加させる。そして全ての入力文字に
ついて学習が所定段階まで終了すると、新たに第２の中
間層を追加し、この第２の中間層についても同様にして
、第２の中間層およびこの中間層の出力側に結合された
層（出力層または第１の中間層）におけるシナプス重み
を増加させる。

しかして４層の場合の重み分布が得られる。５層以上の
場合も同様である。

次に、本発明の第４実施例を説明する。

各層３１．３２．３３の発火パターンがスムーズに変化
するためには、中間層３２のニューロンは、入力層３１
および出力層３３の対応するニューロンの少なくとも一
方が発火している場合に、発火する傾向にあると考えら
れる。そこで本実施例では、中間層３２の各ニューロン
が、入力層３１および出力層３３の対応するニューロン
の少なくとも一方が発火している場合に、発火しやすく
なるように、中間層３２および出力層３３の所定のニュ
ーロンのシナプス重みを所定の割合だけ増加させている
。

これを第２図および第３図を用いて具体的に説明する。

なお第３実施例の場合と同様に、出力層３３のニューロ
ンＮ　ｉ　ｊはキャラクタコードの一部を構成している
と仮定する。

ある文字を認識する時に入力層３１のニューロンＮ　ｉ
　ｊと出力層３３のニューロンＮ　ｉ　ｊの少なくとも
一方が発火すべきである場合、中間層３２のニューロン
Ｎ　ｉ　ｊが発火し易くなるように、中間層３２と出力
層３３のシナプス重みの分布を定める。

例えば、第３図に示すニューロン１が上記中間層３２の
ニューロンＮ１Ｊであるとすると、このニューロン１に
結合している入力層のニューロンのうち、発火している
ニューロンから入力されるデータ（例えば「Ｉ！」とＮ
５Ｊ）に対するシナプス重み（この場合「Ｗ２」と’Ｗ
ｘ」）が、例えば５％だけ増加せしめられる。出力層の
ニューロンのシナプス重みについても同様に処理され、
上述したように発火すべきであるとされた中間層のニュ
ーロンに対するシナプス重みが、例えば５％だけ増加せ
しめられる。

この第４実施例によっても、上記各実施例と同様な効果
が得られる。

また第４実施例も、上記各実施例と同様に、３層のニュ
ーラルネットワークに限定されるものではなく、４層以
上のニューラルレイヤを有するニューラルネットワーク
にも適用可能である。この場合、まず第１の中間層を選
択し、この中間層の各ニューロンが、入力層および出力
層の対応するニューロンの少なくとも一方が発火してい
る場合に、発火する傾向を持つように、中間層および出
力層のシナプス重みを増加させる。そして全ての入力文
字について学習が所定段階まで終了すると、新たに第２
の中間層を追加し、この第２の中間層についても同様に
して、第２の中間層およびこの中間層の出力側に結合さ
れた層（出力層または第１の中間層）におけるシナプス
重みを増加させる。

なお上記各実施例において、ニューロンに対する入出力
データは、デジタルの場合２僅に限定されず、多値であ
ってもよく、またアナログデータであってもよい。

さらに出力層は、対角線上のニューロンによってキャラ
クタコードを表すように構成される必要はなく、全ての
ニューロンによって認識文字を定義するように構成して
もよい。

また各層３１．３２．３３におけるニューロン数は、上
記実施例のように３６個に限定されず、認識する文字の
種類の数に応じた数だけ設けられる。

さらに、本発明は文字認識だけでなく、図形認識あるい
は音声認識に適用することもできる。

〔発明の効果］以上のように本発明によれば、ニューラルネットワーク
の中間層に対し効率的な学習を施すことができるという
効果が得られる。

【図面の簡単な説明】

第１図は本発明の一実施例を適用した文字認識システム
を示す概略構成図、第２図は入力層、中間層および出力層におけるニューロ
ンを示す概念図、第３図はニューロンの一例を示す概念図、第４図は学習
回数と重みの変化との関係を示すグラフである。１、Ｎ・・・ニューロン３１・・・入力層３２・・・中間層３３・・・出力層

Claims

【特許請求の範囲】

（１）入力されたデータに所定の処理を施した結果に基
づいて発火し所定のデータを出力する複数のニューロン
をそれぞれ有する入力層および出力層と、上記入力層お
よび出力層の間に配設され、上記複数のニューロンを有
するとともに、各ニューロンが上記入力層および出力層
の各ニューロンに結合する中間層とを備えたデータ処理
装置の学習方法において、入力層の発火パターンと出力
層の発火パターンとを複数の入出力について人為的に決
定し、各入出力について、中間層が入力層、出力層両者
の発火パターンに対する最小近似となる傾向を持つよう
に、中間層および出力層のシナプスの重みを増加させ、
全ての入出力に対して同様の処理を施すことを特徴とす
るデータ処理装置の学習方法。
（２）請求項１記載の学習方法により学習されたデータ
処理装置について、新たな中間層を追加し、この中間層
の各ニューロンを隣接する層の各ニューロンに接続し、
新たな中間層の発火パターンがこれに隣接する層の発火
パターンに対する最小近似となる傾向をもつようにシナ
プスの重みを増加させ、全ての入出力に対して同様の学
習を施し、学習が所定段階まで終了した時点でさらに新
たな中間層の追加と同様の学習を繰り返し、中間層を増
加させていくことを特徴とするデータ処理装置の学習方
法。
（３）入力されたデータに所定の処理を施した結果に基
づいて発火し所定のデータを出力する複数のニューロン
をそれぞれ有する入力層および出力層と、上記入力層お
よび出力層の間に配設され、上記複数のニューロンを有
するとともに、各ニューロンが上記入力層および出力層
の各ニューロンに結合する中間層とを備えたデータ処理
装置の学習方法において、入力層の発火パターンと出力
層の発火パターンとを複数の入出力について人為的に決
定し、各入出力について、入力層のニューロンの出力値
と中間層のニューロンの出力値との差の絶対値と、中間
層のニューロンの出力値と出力層のニューロンの出力値
との差の絶対値との和が最小となる傾向を持つように、
中間層および出力層のシナプスの重みを増加させ、全て
の入出力に対して同様の処理を施すことを特徴とするデ
ータ処理装置の学習方法。
（４）請求項３記載の学習方法により学習されたデータ
処理装置について、新たな中間層を追加し、この新たな
中間層の各ニューロンを隣接する層の各ニューロンに接
続し、隣接する入力側の層のニューロンの出力値と上記
新たな中間層のニューロンの出力値との差の絶対値と、
上記新たな中間層のニューロンの出力値と隣接する出力
側の層のニューロンの出力値との差の絶対値との和が最
小となる傾向を持つように、新たな中間層および隣接す
る出力側の層のシナプスの重みを増加させ、全ての入出
力に対して同様の学習を施し、学習が所定段階まで終了
した時点でさらに新たな中間層の追加と同様の学習を繰
り返し、中間層を増加させていくことを特徴とするデー
タ処理装置の学習方法。
（５）入力されたデータに所定の処理を施した結果に基
づいて発火し所定のデータを出力する複数のニューロン
をそれぞれ有する入力層および出力層と、上記入力層お
よび出力層の間に配設され、上記複数のニューロンを有
するとともに、各ニューロンが上記入力層および出力層
の各ニューロンに結合する中間層とを備えたデータ処理
装置の学習方法において、入力層の発火パターンと出力
層の発火パターンとを複数の入出力について人為的に決
定し、各入出力について、中間層の各ニューロンが、入
力層および出力層の対応するニューロンが共に発火して
いる場合に、発火する傾向を持つように、中間層および
出力層のシナプスの重みを増加させ、全ての入出力に対
して同様の処理を施すことを特徴とするデータ処理装置
の学習方法。
（６）請求項５記載の学習方法により学習されたデータ
処理装置について、新たな中間層を追加し、この新たな
中間層の各ニューロンを隣接する層の各ニューロンに接
続し、該中間層の各ニューロンが、この中間層の前段お
よび後段の各層の対応するニューロンが共に発火してい
る場合に、発火する傾向を持つように、新たな中間層お
よび上記後段の層のシナプスの重みを増加させ、全ての
入出力に対して同様の学習を施し、学習が所定段階まで
終了した時点でさらに新たな中間層の追加と同様の学習
を繰り返し、中間層を増加させていくことを特徴とする
データ処理装置の学習方法。
（７）入力されたデータに所定の処理を施した結果に基
づいて発火し所定のデータを出力する複数のニューロン
をそれぞれ有する入力層および出力層と、上記入力層お
よび出力層の間に配設され、上記複数のニューロンを有
するとともに、各ニューロンが上記入力層および出力層
の各ニューロンに結合する中間層とを備えたデータ処理
装置の学習方法において、入力層の発火パターンと出力
層の発火パターンとを複数の入出力について人為的に決
定し、各入出力について、中間層の各ニューロンが、入
力層および出力層の対応するニューロンの少なくとも一
方が発火している場合に、発火する傾向を持つように、
中間層および出力層のシナプスの重みを増加させ、全て
の入出力に対して同様の処理を施すことを特徴とするデ
ータ処理装置の学習方法。
（８）請求項７記載の学習方法により学習されたデータ
処理装置について、新たな中間層を追加し、この新たな
中間層の各ニューロンを隣接する層の各ニューロンに接
続し、該中間層の各ニューロンが、この中間層の前段お
よび後段の各層の対応するニューロンの少なくとも一方
が発火している場合に、発火する傾向を持つように、新
たな中間層および上記後段の層のシナプスの重みを増加
させ、全ての入出力に対して同様の学習を施し、学習が
所定段階まで終了した時点でさらに新たな中間層の追加
と同様の学習を繰り返し、中間層を増加させていくこと
を特徴とするデータ処理装置の学習方法。