JP3277648B2 - 並列ニューラルネットワーク - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、パターン認識、連想メ
モリ、データ変換、画像処理及び大規模多値論理回路な
どの分野に適用可能な大規模ニューラルネットワークに
おいて、簡単な学習により高速かつ安定に所望の出力信
号を得ることが出来る並列ニューラルネットワークに関
するものである。

【０００２】

【従来の技術】従来のニューラルネットワークには、文
献 麻生英樹著、「ニューラルネットワーク情報処
理」、産業図書出版などに示されているように、多層
（階層）ニューラルネットワークや相互結合ニューラル
ネットワークなどがある。

【０００３】図１は、多層ニューラルネットワークとし
て、１層の中間層を持った３層ニューラルネットワーク
１の実行処理モードでの実行処理の１構成例を示す。Ｎ
個のユニットからなる入力層４、Ｐ個のユニットからな
る中間層５及びＭ個のユニットからなる出力層６から構
成される。入力層のユニット数Ｎは入力端子２の入力信
号Ｉのエレメント総数に対応し、出力層のユニット数Ｍ
は出力端子３の出力信号Ｏのエレメント総数に対応して
いる。

【０００４】多層ニューラルネットワークへの入力信号
Ｉは、Ｉ_１、Ｉ_２、．．Ｉ_Ｎの入力信号エレメントを持
ったベクトルから構成され、入力端子２を介してそれぞ
れ対応した入力層４のユニットに入力された後、更に中
間層５の各ユニット（隠れユニット）にそれぞれ重み付
けされ出力される。中間層５では、入力層４の各ユニッ
トからの重み付けされた出力の総和を入力とし、スレシ
ョルド値を差し引いた後、シグモイド関数と呼ばれる入
出力特性を持った関数を介してユニット出力信号が出力
される。出力層６においても中間層５と同様な入出力処
理が行われた後、各出力ユニットからそれぞれ出力ユニ
ット信号を出力端子３を介してベクトルの出力信号Ｏの
エレメントＯ_１、Ｏ_２、．．Ｏ_Ｍに対応させて送出す
る。尚、ここでは、出力層６から出力されるユニット出
力信号を出力ユニット信号と呼び、他の層からの出力と
区別する。

【０００５】３層以上の多層の際にも、同様に各層にお
けるそれぞれのユニットは、入力側の隣接層の各ユニッ
ト出力信号に重み付けをした後、それらの総和を入力と
して得、更にその入力からスレショルド値を差し引いた
後、シグモイド関数を介し出力層側の隣接層にユニット
出力信号を送出する。

【０００６】次に、３層ニューラルネットワークの学習
モードにおける学習処理の１構成例を図２に示す。この
ような多層ニューラルネットワークの学習方法として
は、例えば、前記文献にも記載されているようにバック
・プロパゲーション・アルゴリズムがある。本アルゴリ
ズムを用いた学習過程では、結合重みを初期設定した
後、端子２を介して入力層４に予め用意された学習用入
力信号を入力する。出力層６の出力ユニット信号から予
め用意された教師信号Ｔを減算器８にて差し引き、結合
重み更新用誤差信号として結合重み制御器９に入力す
る。結合重み制御器９は、端子１０を介して入力された
各層のユニット出力信号と結合重み更新用誤差信号とを
基に誤差電力を最小にするように各層間の結合重みの修
正値を求め、端子１０を介して３層ニューラルネットワ
ーク１の結合重みとして新たに設定する。この学習処理
をすべての学習用入力信号に対して繰り返す。

【０００７】学習過程に於て完全に収束すると、学習用
入力信号に対する出力ユニット信号が教師信号Ｔと同一
となる。しかしながら、誤差電力を極小にする所に一旦
落ち込むと、学習が進まず最小とならず教師信号Ｔと異
なった出力ユニット信号を出力するなどの問題がある。
特に、入力ユニット数の多い３層あるいは多層ニューラ
ルネットワークにおいて教師信号Ｔに対して確実に収束
させる設計手法は明らかになっておらず、結合重みの初
期値を変更したり、隠れユニット（中間ユニット）数あ
るいは更に中間層を増やすなどの試行錯誤を行ってい
る。

【０００８】また、論文 "Parallel, Self-Organizing,
Hierarchical Neural Networks"IEEE Trans on Neural
Networks, Vol.1, No.2, June 1990 において示されて
いる並列ニューラルネットワーク２０では、複数個のニ
ューラルネットワークを並列に接続し、例えば図３の実
行処理で示すように、後述の学習処理で順次学習させて
得られた結合重みを各ニューラルネットワーク１２、１
３、１４に、また、学習処理で得た出力ユニット信号に
対するそれぞれの誤差検出領域を誤差検出器１５、１
６、１７に設定して動作させる。各ニューラルネットワ
ーク１２、１３、１４のそれぞれの出力ユニット信号と
その誤差検出領域とを誤差検出器１５、１６、１７にお
いて比較し、出力選択制御器１８にて誤差検出領域にい
ずれも落ち込まない出力ユニット信号を送出しているニ
ューラルネットワークを１つ検出し、出力選択スイッチ
１９にてそのニューラルネットワークの出力ユニット信
号を取り出し２値スレショルド回路４１を介して所望の
出力信号Ｏとして端子３から送出させている。

【０００９】また、学習処理においては、学習用入力信
号に対して第１ニューラルネットワーク１２を予め規定
された回数の学習を行わせ、その出力ユニット信号の２
値スレショルド回路出力と２値の教師信号Ｔとが一致し
ない学習用入力信号を検出し、その学習用入力信号に対
して、次段の第２ニューラルネットワーク１３を予め規
定された回数程同様に学習させている。このように、そ
の出力ユニット信号の２値スレショルド回路出力と教師
信号Ｔとが一致しない学習用入力信号があれば、その学
習用入力信号に対して更に次段のニューラルネットワー
ク１４を規定の回数程順次学習させる。この結果、全て
の学習用入力信号に対応した出力ユニット信号の２値ス
レショルド回路出力と教師信号Ｔとが一致すると、並列
ニューラルネットワークの追加を止め、収束したとみな
している。

【００１０】また、実行処理において正しい出力ユニッ
ト信号を送出するニューラルネットワークを１つ選択す
るために、この学習過程では、それぞれのニューラルネ
ットワークの各出力ユニット信号において、教師信号Ｔ
と一致しない２値出力を生じた場合に出力ユニット信号
からその教師信号Ｔを差し引き誤差を求め、その最大の
誤差を検出しそれぞれの出力ユニット信号に対する誤差
検出領域を定めている。

【００１１】実行処理では、誤差検出器１５、１６、１
７において設定された誤差検出領域をもとに出力ユニッ
ト信号の誤りの有無を検出し、出力選択制御器１８にお
いて並列接続されているニューラルネットワークからの
１つのニューラルネットワークの選択を決定する。（出
力選択制御器１８においてニューラルネットワークから
の１つの出力ユニット信号の選択を決定する。）この方
法では、論文に報告されているように学習用入力信号に
対しても完全に正しく出力させることが出来ない。ま
た、それぞれの出力ユニット信号に対して一定の独立な
誤差領域を設けていることから、学習外入力信号に対し
て出力ユニット信号の誤りの有無の検出をある程度は正
しくできるものの、入力信号によっては誤動作が多くな
る。特に、誤差検出領域には汎化性が無いことから、入
力信号に相関が少ない場合、あるいは出力信号のクラス
分けの数（教師信号の数）が増えた場合には、大幅にニ
ュー ラルネットワークの選択を誤るなどの欠点を有す
る。

【００１２】

【発明が解決しようとする課題】従来の多層ニューラル
ネットワーク１の学習処理において説明したごとく、多
層ニューラルネットワークにおいて教師信号Ｔを用いて
結合重みを学習させる際に、結合重みの初期値の設定に
よっては、所望の出力信号を送出する収束状態になるま
での学習回数が非常に多くなる場合や、ローカルミニマ
ム（局部極小）の状態に落ち込み、学習を続けても収束
しない場合があるなどの欠点を有している。また、従来
の並列ニューラルネットワーク２０において、誤差検出
領域を設け正しい出力ユニット信号を送出するニューラ
ルネットワークを１つ選択し出力させる方法において
も、誤差検出器１５、１６、１７の検出動作が不完全で
あるために、学習用入力信号に対しても所望の出力信号
を選択出来ない場合や、学習外入力信号に対しては大幅
に誤った選択をする場合がある。特に、入出力層のユニ
ット数や教師信号Ｔの数が多い場合には、所望の出力信
号を送出することが非常に困難であり、満足するニュー
ラルネットワークを自由に設計する方法が確立されてい
ない。

【００１３】本発明の目的は、上記の問題を解決し、従
来方式のニューラルネットワークなどに比べて、簡単な
学習により等価的に安定に収束させ、学習外入力信号に
対しても所望の出力信号を得やすい並列ニューラルネッ
トワークを提供することにある。

【００１４】

【課題を解決するための手段】上記の問題点を解決する
ために、本発明の並列ニューラルネットワークにおい
て、主ニューラルネットワークに対して１つ以上の補正
ニューラルネットワークを並列接続し、学習用入力信号
に対して学習させた前記主ニューラルネットワークと、
前段の前記主あるいは補正ニューラルネットワークの出
力ユニット信号から対応したユニットの教師信号を差し
引いた誤差が許容誤差範囲を越えた学習用入力信号に対
して順次学習させた前記補正ニューラルネットワーク
と、前記補正 ニューラルネットワークに於て、前段の前
記主あるいは補正ニューラルネットワークの出力ユニッ
ト信号における許容誤差範囲を越えた前記誤差の有無を
出力状態教師信号とし、出力状態信号を送出できるよ
う、少なくとも最終段の前記ニューラルネットワークを
更に学習させ、該出力状態信号をもとに前記補正ニュー
ラルネットワークの出力ユニット信号の選択を決定する
出力選択制御手段と、該出力選択制御手段からの制御信
号のもとに出力ユニット信号を選択し送出する出力選択
スイッチ手段とを少なくとも具備し、出力信号を得る。

【００１５】あるいは、主ニューラルネットワークに対
して１つ以上の補正ニューラルネットワークを並列接続
し、学習用入力信号に対して学習させた前記主ニューラ
ルネットワークと、前段の前記主あるいは補正ニューラ
ルネットワークの出力ユニット信号から対応したユニッ
トの教師信号を差し引いた誤差が許容誤差範囲を越えた
学習用入力信号に対して該誤差を教師信号として順次学
習させた補正用誤差を出力する前記補正ニューラルネッ
トワークと、前記補正ニューラルネットワークに於て、
前段の前記主および補正ニューラルネットワークの出力
ユニット信号における許容誤差範囲を越えた前記誤差の
有無を出力状態教師信号とした出力状態信号を送出でき
るよう、少なくとも最終段の前記ニューラルネットワー
クを更に学習させ、該出力状態信号をもとに前記主およ
び補正ニューラルネットワークの出力ユニット信号の選
択を決定する出力選択制御手段と、該出力選択制御手段
からの制御信号のもとに前記主および補正ニューラルネ
ットワークの出力ユニット信号を選択し、許容誤差範囲
を越えた前記誤差を持つ前記主ニューラルネットワーク
の出力ユニット信号に対して、補正用誤差である後段の
前記補正ニューラルネットワークの出力ユニット信号を
加算し補正して送出する出力選択加算手段とを少なくと
も具備し、出力信号を得る。

【００１６】

【作用】本発明の並列ニューラルネットワークでは、上
記のごとく主ニューラルネットワークからの出力ユニッ
ト信号から、対応した教師信号を差し引き求められた誤
差が、許容誤差範囲を越えた誤差を生じる学習用入力信
号に対して、並列に接続された補正ニューラルネットワ
ークを用いて順次学習させ、また、どのニューラルネッ
トワークが許容誤差範囲外の出力ユニット信号を送出す
るかを示す出力状態信号を少なくとも最終段の補正ニュ
ーラルネットワークから送出できるよう学習させてい
る。従って、実行処理においては、主及び補正ニューラ
ルネットワークからの出力ユニット信号の内、少なくと
も最終段の補正ニューラルネットワークから出力された
出力状態信号を基に、許容誤差範囲内の出力ユニット信
号を直接選択し、あるいは更に許容誤差範囲を越えた誤
差を持つ出力ユニット信号を補正したのち出力し、所望
の出力信号を送出させる。

【００１７】並列接続された後段の補正ニューラルネッ
トワークでは、許容誤差範囲を越えた誤差を発生する学
習用入力信号の数が段数と共に次第に少なくなり、最終
段の補正ニューラルネットワークにおいては、その出力
ユニット信号を許容できる誤差範囲内で確実に収束させ
ることができ、学習用入力信号に対して所望の出力信号
を出力することが出来ると共に、学習外入力信号に対し
ても、補正ニューラルネットワークの汎化性から、所望
の出力信号を得やすい。

【００１８】また、教師信号Ｔに対して主あるいは補正
ニューラルネットワークの出力ユニット信号の許容誤差
範囲を越えた誤差を補正教師信号として、学習用入力信
号に対して補正用誤差を出力するよう補正ニューラルネ
ットワークを順次学習させ、最終段の補正ニューラルネ
ットワークの学習過程において、その出力ユニット信号
がそのユニットの補正教師信号に対して許容誤差範囲内
になるよう収束させているが、補正教師信号にはゼロ成
分が非常に多く、而も少ない数の学習用入力信号に対し
て少なくとも収束させればよいことから、少ない学習回
数あるいは少ない隠れユニット数の条件下でも最終段の
補正ニューラルネットワークの収束が簡単に得られる。
また、中段の補正ニューラルネットワークにおいても、
誤差を生じる学習用入力信号の数が前段のそれより減少
することから、学習回数や隠れユニット数を大幅に減す
ことが出来きる。

【００１９】各ニューラルネットワークの出力ユニット
信号が許容誤差範囲内かどうかを示す出力状態信号を出
力するため補正ニューラルネットワークを学習させる
際、その出力状態教師信号は多くのゼロ成分をもってお
り、容易に収束させることが出来る。また、主および補
正ニューラルネットワークの汎化性から学習外入力信号
に対しても誤りの少ない出力状態信号及び出力ユニット
信号を送出させることが出来る。また、従来技術での出
力信号単位での選択とは異なり、主および補正ニューラ
ルネットワークの出力ユニット信号から、それに対応し
たユニットの教師信号を差し引き誤差を求め、この出力
ユニット信号単位の誤差を基に出力状態信号を得、出力
状態信号を用いて正しい出力ユニット信号を選択してい
る。また、不正解の出力信号に於てだけでなく、出力信
号が正解の場合でも、正解となる余裕の少ない出力ユニ
ット信号に対しても前記の誤差を求め、これを正しく選
択或いは更に補正している。従って、学習用入力信号は
勿論のこと、学習外入力信号に対しても幅広く正しく出
力ユニット信号を選択或いは補正することが出来、主及
び補正ニューラルネットワーク単独の出力信号の汎化特
能力よりも格段に広い範囲で正しい並列ニューラルネッ
トワークの出力信号を得ることが出来る。特に、従来技
術のように、学習用入力信号に対して正しい出力信号を
送出するニューラルネットワークを選択する（べクトル
である出力信号単位の選択する）場合には、学習外入力
信号に対して安定な動作を余り期待出来ない問題がある
が、これをも解決することが出来る。このことは、本発
明により学習外入力信号に対しても非常に安定に動作す
る並列ニューラルネットワークが実現出来ることを意味
している。

【００２０】複雑な教師信号の為に、最終段の補正ニュ
ーラルネットワークが規定の学習回数以内で収束しない
場合には、その隠れユニット数を増やすか、あるいは前
段のニューラルネットワークの学習回数か、その隠れユ
ニット数を増やして再度学習させ、中段のニューラルネ
ットワークの補正教師信号との誤差を生じる学習用入力
信号の数を少なくすることにより、確実に最終段の補正
ニューラルネットワークを収束させることが出来る。

【００２１】

【実施例】以下に本発明の並列ニューラルネットワーク
の実施例１−５をあげ、その構成及びその動作につい
て、詳細に説明する。本発明の並列ニューラルネットワ
ークは、予め準備された学習用入力信号に対して結合重
みを学習させるための学習処理モードと、学習された結
合重みを用いて入力信号に対して出力信号を求める実行
処理モードとの２つのモードのもとに動作させる場合を
前提に説明する。ここで、入力信号、出力信号及び教師
信号、補正教師信号等はベクトルとして扱う。

【００２２】

【実施例１】実施例１としての本発明の並列ニューラル
ネットワーク３０において、実行処理モードにおける実
行処理の１構成例を図４に示す。本発明の並列ニューラ
ルネットワーク３０は、入力に対して並列接続された主
ニューラルネットワーク２１と補正ニューラルネットワ
ーク２２と、出力選択制御器２３と、出力選択スイッチ
１９と、主及び補正ニューラルネットワーク２１及び２
２の上記の動作モードを制御するための動作モード制御
器２４とから構成される。

【００２３】次に動作を説明する。動作モード制御器２
４は、学習処理モードと実行処理モードとの切り替えを
行う機能を有しており、動作モード制御回路２４からの
制御により実行処理モードに設定され動作を開始する。
主及び補正ニューラルネットワーク２１及び２２には、
学習処理モードにおける学習処理により得られた結合重
みがそれぞれ設定されている。主ニューラルネットワー
ク２１及び補正ニューラルネットワーク２２に入力され
た入力信号に対して、主ニューラルネットワーク２１及
び補正ニューラルネットワーク２２からの出力ユニット
信号の内、許容誤差範囲内のいずれかの出力ユニット信
号の選択を、補正ニューラルネットワーク２２からの出
力状態信号を基に出力選択制御器２３にて決定し、その
出力の制御信号により出力選択スイッチ１９内のスイッ
チを切り替え、ニューラルネットワーク２１、２２から
のいずれかの出力ユニット信号を端子３を介して出力信
号Ｏとして出力する。

【００２４】ここで、出力状態信号は、主ニューラルネ
ットワーク２１からの出力ユニット信号が対応したユニ
ットの教師信号に対して許容誤差範囲内であるかどうか
をユニット毎に示す信号であり、補正ニューラルネット
ワーク２２の出力層にユニットを付加し、後述の学習処
理における出力状態教師信号生成器２６にて求めた出力
状態教師信号を用いて更に学習させ、送出される。

【００２５】主ニューラルネットワーク２１は、学習用
入力信号に対して必ずしも全ては所望の出力ユニット信
号を与えず、出力ユニット信号から対応したユニットの
教師信号を差し引いた誤差が許容誤差範囲を越えた出力
ユニット信号を出力する場合がある。従って、補正ニュ
ーラルネットワーク２２では、少なくともこの誤差を生
じている学習用入力信号に対して許容誤差範囲内の出力
ユニット信号が送出されるよう学習させる。また、出力
状態信号は、主ニューラルネットワーク２１の出力ユニ
ット信号において対応したユニットの教師信号に対して
許容誤差範囲を越えた前記の誤差の有無を示しており、
この信号を基に許容誤差範囲内の出力ユニット信号の選
択が行われる。主ニューラルネットワーク２１が許容誤
差範囲内の出力ユニット信号を送出している場合には、
これを選択し、補正ニューラルネットワーク２２が許容
誤差範囲を越えた出力信号ユニットを出力しても、選択
されず出力信号には影響を与えないことから、補正ニュ
ーラルネットワーク２２の学習が簡単に行える。

【００２６】次に、本発明の並列ニューラルネットワー
ク３０における学習処理モードでの学習処理の構成を図
５に示す。学習処理モードでは、まず、主ニューラルネ
ットワーク２１の初期パラメータを設定し、学習用入力
信号に対して教師信号Ｔを用いて結合重みの学習を開始
させる。ここで、例えば、学習回数など規定の学習条件
を満足すると学習を終了させ、出力ユニット信号と教師
信号Ｔとから誤差検出器２５にて誤差を検出し、出力状
態教師信号生成器２６にて、許容誤差範囲を越えた前記
の誤差の有無を主ニューラルネットワークの出力状態教
師信号として、例えば、許容誤差範囲を越えた前記の誤
差が有れば１、無ければ０とし学習用入力信号に対応さ
せてそれぞれ記憶させる。この時、主ニューラルネット
ワーク２１がローカルミニマムに陥った場合にも出力状
態教師信号の成分は殆どがゼロとなる。

【００２７】主ニューラルネットワーク２１の学習過程
では、従来と同様に、減算器２１０において、出力ユニ
ット信号から教師信号Ｔを差し引き、結合重み更新用誤
差信号として結合重み制御器２１１に入力し、端子２１
２からの各層のユニット出力信号とを基にその誤差電力
が最小となるよう結合重みの更新を行い、端子２１２を
介して新たな結合重みの設定を繰り返す。

【００２８】ここで、主ニューラルネットワーク２１か
らの全ての出力ユニット信号が対応したユニットの教師
信号と許容誤差範囲内で一致するまで結合重みの学習を
行うことは、従来技術の問題点においても明らかにした
ようにローカルミニマムに陥り困難な場合が多い。従っ
て、結合重み制御器２１１にて、例えば、学習回数を規
定値と比較する方法、実時間処理の場合などではタイマ
を用いその設定値と比較する方法、あるいは結合重み更
新用誤差信号の大きさを規定値と比較する方法などのい
ずれかの方法により学習を終了させ、動作モード制御器
２４に指示する。

【００２９】次に、補正ニューラルネットワーク２２の
初期パラメータを設定し、学習用入力信号と教師信号Ｔ
と出力状態教師信号とを用いて学習を開始させる。補正
ニューラルネットワーク２２の学習過程では、減算器２
２０にて出力ユニット信号から対応したユニットの教師
信号を差し引き結合重み更新用誤差信号として、また、
減算器２２３にて出力状態信号から出力状態教師信号を
それぞれ差し引き出力状態信号の為の結合重み更新用誤
差信号として、結合重み制御器２２１にそれぞれ入力
し、端子２２２からの各層のユニット出力信号とを基に
その誤差電力が最小となるよう結合重みの更新を行い、
端子２２２を介して新たな結合重みの設定を繰り返す。

【００３０】ここで、収束判定器２７では、少なくとも
主ニューラルネットワーク２１において、許容誤差範囲
外の誤差を生じている学習用入力信号に対する出力ユニ
ット信号が、対応したユニットの教師信号と許容誤差範
囲内で一致し、更に、全ての学習用入力信号に対して出
力状態信号と出力状態教師信号とが許容誤差範囲内で一
致する状態を検出するまで学習を繰り返す。一致すれ
ば、補正ニューラルネットワーク２２が収束していると
みなし学習を終了させる。その後、動作モード制御器２
４により学習モードから実行処理モードへ切り替える。

【００３１】この時、補正ニューラルネットワーク２２
において、規定の学習条件下で収束しない場合は、主ニ
ューラルネットワーク２１で許容誤差範囲を越えた誤差
を生じている学習用入力信号に対してのみ学習回数を増
やしてもよく、更には、その誤差を生じている学習用入
力信号数が多すぎると見なし、動作モード制御器２４か
らの制御のもとに補正ニューラルネットワーク２２の隠
れユニット数を増やし、再度学習させ、同様な処理を行
わせてもよい。あるいは、主ニューラルネットワーク２
１を再度学習させ、許容誤差範囲を越えた誤差を生じる
学習用入力信号の数を減少させ、出力状態教師信号を生
成しなおした後、補正ニューラルネットワーク２２を学
習させ完全に収束させてもよい。

【００３２】実行処理モードでは、上記の学習処理によ
り得られたそれぞれの結合重みが主及び補正ニューラル
ネットワーク２１、２に設定されており、少なくとも学
習用入力信号に対しては対応したユニットの教師信号と
許容誤差範囲内で同一の出力ユニット信号が出力選択ス
イッチ１９を介して選択され得られ、主ニューラルネッ
トワーク２１の不完全な学習により生じた誤差に関係な
く所望の出力信号Ｏを端子３から得ることが出来る。

【００３３】本実施例のニューラルネットワーク３０に
おいて、上記説明のごとく補正ニューラルネットワーク
２２を、少なくとも許容誤差範囲を越えた誤差を発生し
ている限られた学習用入力信号に対して教師信号Ｔを用
いて学習させ、更に、出力状態信号が正しく得られるよ
う出力状態教師信号を用いてそれぞれ収束させれば良
く、主ニューラルネットワーク２１の収束は必ずしも必
要ない。例えば、主ニューラルネットワークからの出力
ユニット信号の内、許容誤差範囲内の出力ユニット信号
を９０％程度送出するように学習させることは僅かの学
習回数で実現できる。これ以上に収束させ、より多くの
所望の出力信号を主ニューラルネットワーク２１から得
ようとすれば、指数関数的に学習回数が増加することか
らも、従来方式に比べて学習回数を大幅に削減できるこ
とが明らかである。

【００３４】一方、補正ニューラルネットワーク２２は
残りの１０％程度の学習用入力信号に対して、また、ゼ
ロ成分の多い出力状態教師信号に対して収束すればよ
く、これらを僅かの学習回数で許容誤差範囲内で完全に
収束させることは容易である。従って、学習において主
ニューラルネットワーク２１を所望の出力信号を送出す
るよう完全に収束させる必要がないことと、補正ニュー
ラルネットワーク２２でも学習の際に収束が簡単な為、
それぞれの中間層や隠れユニット数を削減でき、演算規
模も小さくなる。

【００３５】学習外入力信号に対しても、主ニューラル
ネットワーク２１に比べて補正ニューラルネットワーク
２２の汎化性から誤りの少ない出力状態信号を得ること
ができ、同様に汎化性を持った主及び補正ニューラルネ
ットワーク２１、２２のいずれかから許容誤差範囲内の
出力ユニット信号を出力選択制御器２３の制御のもとに
選択して出力させることにより所望の出力信号が得やす
い。また、出力ユニット信号単位に選択出力されること
から、学習外入力信号に対して、補正ニューラルネット
ワーク２２から誤った出力状態信号が送出され、それに
対応した補正ニューラルネットワーク２２の出力ユニッ
ト信号が選択されても、それが許容誤差範囲ならば出力
信号が不正解とはならない。従って、従来技術のように
出力信号を単位に出力を選択するよりも、学習外入力信
号に対して良好な性能を実現出来る。

【００３６】ここで、説明は省略するが、主ニューラル
ネットワーク２１と補正ニューラルネットワーク２２と
の間に並列に更に複数個の補正ニューラルネットワーク
を挿入し、前段の主及び補正ニューラルネットワークで
許容誤差範囲を越えた誤差を生じている学習用入力信号
に対して順次学習させ、主ニューラルネットワーク２１
及び最終段以外のの補正ニューラルネットワークで同時
に許容誤差範囲外の誤差を生じている学習用入力信号に
対して最終段の補正ニューラルネットワーク２２を学習
させても良い。これらの学習により得られたそれぞれの
結合重みを設定し実行動作させ、最終段の補正ニューラ
ルネットワーク２２からの出力状態に基づき、何れかの
補正ニューラルネットワークの出力ユニット信号を出力
選択スイッチ１９を介して選択して取り出す構成でも良
い。

【００３７】更には、最終段の補正ニューラルネットワ
ーク２２からだけでなく、全ての補正ニューラルネット
ワークからそれぞれの出力状態信号を送出させ、出力選
択制御器２３にて選択すべき出力ユニット信号を決定し
て、出力選択スイッチ１９を介して所望の出力ユニット
信号を選択し出力させてもよい。ここでは、これらの実
施例の実行処理及び学習処理の構成例は省略する。

【００３８】このように本発明の並列ニューラルネット
ワーク３０を用いて簡単に而も短時間で確実に学習させ
ることができることから、従来のニューラルネットワー
クでは極めて設計が困難な大規模ニューラルネットワー
クを容易に実現できる。また、本発明の並列ニューラル
ネットワーク３０において複数組の学習した結合重みを
それぞれ用意し、これらを切り替えて設定すれば、同一
の構成で複数個の大規模ニューラルネットワークを容易
に実現できる。また、状況に応じて短時間で学習し直す
ことも可能なことから、同一構成上に新たな入出力関係
を与える大規模ニューラルネットワークも容易に実現出
来る。また、従来のニューラルネットワークを本発明の
並列ニューラルネットワーク３０で置き換え、簡単に学
習をさせ、パターン認識、連想メモリ、データ圧縮、デ
ータ変換などに用いることも出来る。

【００３９】

【実施例２】実施例２としての本発明の並列ニューラル
ネットワーク４０は、主ニューラルネットワーク２１と
補正ニューラルネットワーク２２とを用い入力に対して
並列接続し、主ニューラルネットワーク２１の出力ユニ
ット信号に許容誤差範囲を越える誤差が有る場合は、補
正ニューラルネットワーク２２から対応したユニットの
補正用誤差としての出力ユニット信号を選択し送出さ
せ、主ニューラルネットワーク２１の許容誤差範囲を越
えた誤差を持つ出力ユニット信号との加算演算処理によ
りこの誤差を補正して出力させる。

【００４０】実行処理モードでの実行処理の構成では、
実施例１と同様に各ニューラルネットワークに学習モー
ドでの学習処理により得られた結合重みが設定されてい
る。図６に示すように教師信号Ｔに対して主ニューラル
ネットワーク２１からの許容誤差範囲内の誤差を持つ出
力ユニット信号は、出力選択制御器２３からの制御のも
とに出力選択加算器２８を介して端子３から直接出力
し、許容誤差範囲を越えた誤差を持つ出力ユニット信号
には補正ニューラルネットワーク２２から補正用誤差と
して送出された出力ユニット信号を出力選択加算器２８
にて加算演算し前記の誤差を補正した後、端子３に出力
する。実施例１と同様に、主ニューラルネットワーク２
１からの出力ユニット信号の許容誤差範囲を越えた誤差
の有無を示す出力状態信号を補正ニューラルネットワー
ク２２から送出させ、主ニューラルネットワーク２１か
らの出力ユニット信号を直接出力するか、あるいは更に
補正し出力するかの選択を出力選択制御器２３にて決定
し、出力選択加算器２８を制御して、所望の出力信号を
端子３から得る。

【００４１】学習処理モードでの学習処理の１構成例を
図７に示す。これまでの実施例と同様に、まず、動作モ
ード制御器２４からの制御信号により、主ニューラルネ
ットワーク２１の学習を開始させる。学習終了後、誤差
検出器２５にて出力ユニット信号から対応したユニット
の教師信号を差し引き誤差を求め、許容誤差範囲を越え
た誤差を補正教師信号生成器２９にて補正教師信号とし
て記憶させると共に、出力状態教師信号生成器２６にて
許容誤差範囲を越えた誤差の有無を示す出力状態教師信
号を記憶させる。

【００４２】次に、動作モード制御器２４からの制御信
号により補正ニューラルネットワーク２２の学習を開始
させ、補正教師信号を補正教師信号生成器２９から読み
だし、減算器２２０にて結合重み更新用誤差信号を求
め、また、出力状態教師信号生成器２６から出力状態教
師信号を読みだし、減算器２２３にて結合重み更新用誤
差信号を求め、結合重み処理器２２１にそれぞれ入力
し、結合重みを修正し、端子２２２を介して補正ニュー
ラルネットワーク２２に設定し学習させる。この学習過
程において、収束判定器２７にて、少なくとも主ニュー
ラルネットワーク２１で許容誤差範囲を越えた誤差を生
じている補正教師信号に対して出力ユニット信号が許容
誤差範囲内にあり、また、出力状態教師信号に対しても
出力状態信号がすべて許容誤差範囲内にあれば、収束し
たとみなし学習を終了する。

【００４３】規定の学習条件下で収束しなければ、実施
例１と同様な処理や、あるいは、更に主ニューラルネッ
トワーク２１の学習を再度開始して、主ニューラルネッ
トワーク２１での許容誤差範囲を越えた誤差を生じる学
習用入力信号の数を減し、補正教師信号を生成しなお
し、再度補正ニューラルネットワーク２２を学習させて
もよい。学習処理が終了すると、動作モード制御器２４
により学習処理モードを実行処理モードに切り替える。

【００４４】補正教師信号は補正用誤差のあるところ以
外はゼロ成分となること、教師信号Ｔとは全く異なった
成分を有することから、また、少なくとも主ニューラル
ネットワーク２１において許容誤差範囲を越えた誤差を
生じている学習用入力信号に対して学習させればよいこ
となどから、補正ニューラルネットワーク２２を迅速に
収束させることが簡単にできる。

【００４５】

【実施例３】実施例３としての本発明の並列ニューラル
ネットワーク５０において、学習による収束をより簡単
に行う為に、主ニューラルネットワーク２１と補正ニュ
ーラルネットワーク２２との間に更に並列に補正ニュー
ラルネットワーク３１を付加し、許容誤差範囲内の出力
ユニット信号の選択と誤差の補正とを組み合わせた１構
成例を示す。この場合の実行処理の１構成例を図８に示
す。最初に、主ニューラルネットワーク２１、次に補正
ニューラルネットワーク３１、更に最終段の補正ニュー
ラルネットワーク２２とを実施例１あるいは２のごとく
順次学習させた結合重み係数がそれぞれ設定されてい
る。出力選択加算器２８にて、主ニューラルネットワー
ク２１の許容誤差範囲を越えた誤差に対して、補正ニュ
ーラルネットワーク３１からの出力ユニット信号を、選
択する処理や、補正用誤差との加算処理によりその誤差
の補正に用いる処理などが出力選択制御器３２からの制
御信号のもとに内部のスイッチを制御することにより実
行される。

【００４６】更には、補正ニューラルネットワーク３１
からの出力ユニット信号が許容誤差範囲を越えた誤差を
生じている場合には、出力選択加算器２８にて、最終段
の補正ニューラルネットワーク２２からの出力ユニット
信号を、選択する処理、あるいは補正ニューラルネット
ワーク３１で生じている許容誤差範囲を越えた誤差を最
終段の補正ニューラルネットワーク２２からの補正用誤
差を用いて加算処理により補正する処理なども内部のス
イッチを制御することにより実現される。

【００４７】このように出力選択制御器３２ではどの主
及び補正ニューラルネットワークからの出力ユニット信
号を直接用いるか、あるいは補正用誤差として用いるか
を補正ニューラルネットワーク２２、３１からの出力状
態信号をもとに決定し、出力選択加算器２８を制御す
る。

【００４８】それぞれ補正ニューラルネットワークで
は、実行処理の方法によって学習方法が異なり、出力ユ
ニット信号を選択し直接出力する場合には教師信号Ｔを
用いて学習させ、補正用誤差としての出力ユニット信号
を出力させるには補正教師信号を用いて学習させること
になる。従って、前段の主及び補正ニューラルネットワ
ークの許容誤差範囲を越えた誤差の出方によって、教師
信号Ｔを用いるか補正教師を用いるかの学習方法を選択
することも出来る。これらの学習処理の説明はここでは
省略する。

【００４９】

【実施例４】実施例４の本発明の並列ニューラルネット
ワーク６０として、主ニューラルネットワーク２１と、
補正ニューラルネットワーク２２と、出力状態ニューラ
ルネットワーク３３とを入力に対して並列に接続し、主
及び補正ニューラルネットワーク２１、２２のいずれが
許容誤差範囲内の出力ユニット信号を出力しているかを
示す出力状態信号を得る為に、実施例１とは異なり、独
立に出力状態ニューラルネットワーク３３を用意して行
う方式を示す。

【００５０】実行処理モードでの実行処理の１構成例を
図９に示す。補正ニューラルネットワーク２２には、学
習モードにおける学習処理により主ニューラルネットワ
ーク２１からの出力ユニット信号において許容誤差範囲
を越える誤差を生じる学習用入力信号に対して、許容誤
差範囲内の出力ユニット信号を送出するよう学習させた
結合重みが設定されている。また、出力状態ニューラル
ネットワーク３３には、主ニューラルネットワーク２１
の許容誤差範囲を越えた誤差の有無を示す出力状態信号
を独立に出力するよう学習させた結合重みが設定されて
いる。この出力状態信号に基づき出力選択制御器２３に
て主および補正のどのニューラルネットワークの出力ユ
ニット信号を選択するかを決定し、出力選択スイッチ１
９を動作させ、所望の出力信号Ｏを端子３から出力させ
ることが出来る。

【００５１】図１０の学習処理モードでの学習処理の構
成としては、実施例１と同様に、まず、主ニューラルネ
ットワーク２１を学習させる。規定の学習条件下で学習
が終了すると、教師信号Ｔと出力ユニット信号とから誤
差を誤差検出器２５にて求め、出力状態教師信号生成器
２６にて許容誤差範囲を越えた誤差の有無を出力状態教
師信号として記憶させる。次に、補正ニューラルネット
ワーク２２を教師信号Ｔを用いて学習させる。主ニュー
ラルネットワーク２１からの出力ユニット信号が許容誤
差範囲を越えた誤差を送出する学習用入力信号に対し
て、補正ニューラルネットワーク２２からの出力ユニッ
ト信号とその教師信号Ｔとが許容誤差範囲内で一致した
ことを収束判定器３９にて検出すると、収束したと見な
し学習を終了させる。

【００５２】更に、出力状態ニューラルネットワーク３
３において、出力状態教師信号生成器２６からの出力状
態教師信号を基に学習させる。出力ユニット信号と出力
状態教師信号とが許容誤差範囲内で一致したことを収束
判定器３５にて検出すると、収束したとみなし学習を終
了させる。

【００５３】規定の学習回数以内で一致しない場合は、
動作モード制御器３４からの制御のもとに補正ニューラ
ルネットワーク２２や出力状態ニューラルネットワーク
３３の隠れユニット数を増やし、再度、これらのニュー
ラルネットワークを学習させる。更に収束しない場合に
は、主ニューラルネットワーク２１を再度学習させ、許
容誤差範囲を越える誤差を生じる学習用入力信号の数を
減し、出力状態教師信号を求め直した後、補正ニューラ
ルネットワーク２２及び出力状態ニューラルネットワー
ク３３を再度学習させてもよい。

【００５４】尚、ここでは、詳細な構成は省略するが、
図９において出力選択スイッチ１９の代わりに出力選択
加算器２８を用い、実施例２のごとく主ニューラルネッ
トワーク２１での許容誤差範囲を越えた誤差からなる補
正教師信号を用いて補正ニューラルネットワーク２２を
学習させて、補正用誤差を出力させ出力選択加算器２８
にて加算処理させて誤差を補正する構成としても良い。

【００５５】本実施例とこれまでの実施例との基本的な
違いは、出力状態信号を出力させるために出力状態ニュ
ーラルネットワーク３３を独立に用いて実現しているこ
とである。補正及び出力状態ニューラルネットワーク２
２、３３は自由度が増し簡単に確実に収束させることが
出来ることから、それぞれのニューラルネットワークの
隠れユニット数の削減や学習回数の削減が可能となる。

【００５６】本実施例は、主ニューラルネットワーク２
１、補正ニューラルネットワーク２２及び出力状態ニュ
ーラルネットワーク３３とも設計の自由度を増すことが
でき、従来では高速で安定な収束ができない大規模ニュ
ーラルネットワークを本発明の並列ニューラルネットワ
ークで実現出来る。

【００５７】

【実施例５】実施例５の本発明の並列ニューラルネット
ワーク７０として、主ニューラルネットワーク２１と、
補正ニューラルネットワーク２２と、出力状態ニューラ
ルネットワーク３３とを入力に対して並列接続し、補正
ニューラルネットワーク２２からの出力状態信号の許容
誤差範囲を越えた誤差を出力状態ニューラルネットワー
ク３３からの出力ユニット信号で補正する方式の１構成
例を示す。

【００５８】実行処理モードでの実行処理の構成におい
て、図１１に示すように実施例２と同様に教師信号Ｔに
対して主ニューラルネットワーク２１からの許容誤差範
囲内の出力ユニット信号を、出力選択制御器３６からの
制御のもとに出力選択加算器２８を介して端子３から出
力し、許容誤差範囲を越えた出力ユニット信号には補正
ニューラルネットワーク２２から補正用誤差として送出
された出力ユニット信号を出力選択加算器２８にて加算
演算し誤差を補正した後、端子３に出力し所望の出力信
号を得る。

【００５９】出力選択制御器３６は、主ニューラルネッ
トワーク２１からの出力ユニット信号の許容誤差範囲を
越えた誤差の有無を示す出力状態信号を補正ニューラル
ネットワーク２２から送出させ、これに許容誤差範囲を
越えた誤差があれば、出力状態ニューラルネットワーク
３３からの出力状態補正用誤差としての出力ユニット信
号を加算しその誤差を補正し、正しい出力状態信号を得
た後、制御信号を出力選択加算器２８に出力する。

【００６０】学習処理モードでの学習処理の１構成例を
図１２に示す。実施例３と同様に、まず、動作モード制
御器３４からの制御信号により主ニューラルネットワー
ク２１の学習を開始させる。学習終了後、誤差検出器２
５にて出力ユニット信号から対応したユニットの教師信
号を差し引き誤差を求め、許容誤差範囲を越えた誤差を
補正教師信号生成器２９にて補正教師信号として記憶さ
せると共に、出力状態教師信号生成器２６にて許容誤差
範囲を越えた誤差の有無を示す出力状態教師信号を記憶
させる。

【００６１】次に、動作モード制御器３４からの制御信
号により補正ニューラルネットワーク２２の学習を補正
教師信号と出力状態教師信号とを用いて開始させ、補正
教師信号を補正教師信号生成器２９から読みだし学習さ
せる。この学習過程において、収束判定器３９にて主ニ
ューラルネットワーク２１にて許容誤差範囲を越えた誤
差を生じている学習用入力信号に対して出力ユニット信
号が許容誤差範囲内にあれば、収束したと見なして学習
を終了させる。また、この時、誤差検出器３７にて出力
教師信号生成器２６からのユニット毎の出力状態信号か
ら出力状態教師信号を差し引き誤差を検出し、許容誤差
範囲を越えた誤差があれば、出力状態補正教師信号とし
て出力状態補正教師信号生成器３８に記憶させる。

【００６２】次に、動作モード制御器３４からの制御信
号により出力状態補正教師信号を用いて出力状態ニュー
ラルネットワーク３３の学習を開始させる。この学習過
程において、収束判定器３５にてユニット毎の出力状態
補正教師信号に対して出力状態補正信号が許容誤差範囲
内にあれば、収束したと見なして学習を終了させる。

【００６３】規定の学習条件下で収束しなければ、出力
状態ニューラルネットワーク３３の隠れユニット数を増
やし再度出力状態ニューラルネットワーク３３の学習を
繰り返してもよい。また、補正ニューラルネットワーク
２２の収束判定器３９において収束が検出されない場合
には、その隠れユニット数を増やし再度補正ニューラル
ネットワーク２２の学習を繰り返してもよい。あるい
は、更に主ニューラルネットワーク２１の学習を再度開
始して、主ニューラルネットワーク２１での許容誤差範
囲を越えた誤差を生じる学習用入力信号の数を減し、補
正教師信号生成器２９での補正教師信号を生成しなお
し、再度補正ニューラルネットワーク２２を学習させて
もよい。学習処理が終了すると、動作モード制御器３４
により学習処理モードを実行処理モードに切り替える。

【００６４】このように、正しい出力状態信号が補正ニ
ューラルネットワーク２２で得られない場合には、出力
状態ニューラルネットワーク３３を用いてユニット毎の
出力状態補正信号を出力させ、出力選択制御器３６にて
選択し加算処理により補正し、正しい出力状態信号を得
た後、制御信号を出力選択加算器２８に出力する。これ
により、学習外入力信号に対しても所望の出力信号が得
やすくなる。

【００６５】ここでは、詳細を省略するが、実施例１−
５において、主及び補正ニューラルネットワークの出力
ユニット信号に対して、入力された信号を多値信号に変
換する（多値数ー１）個のスレショルドを持った多値ス
レショルド回路を介してそれぞれ多値出力ユニット信号
を得、収束判定器において多値教師信号Ｔと、あるいは
補正教師信号と多値出力ユニット信号とが一致したこと
を検出することにより収束したと判断させ、また、実行
処理における各ニューラルネットワークと出力選択スイ
ッチとの間に多値スレショルド回路を挿入した多値ニュ
ーラルネットワークを構成してもよい。

【００６６】また、出力選択加算器に代わりに、選択さ
れた出力ユニット信号に対して、多値スレショルド回路
を介し加算した後、多値数を法とするモジュロ演算を行
なう出力選択加法演算器を用いた多値論理ニューラルネ
ットワークを構成してもよい。

【００６７】以上の実施例１−５において、示したごと
く補正ニューラルネットワークとして教師信号を用いて
学習させることが出来るニューラルネットワークであれ
ば、上記の多層ニューラルネットワーク以外のニューラ
ルネットワークを用いても良い。また、主ニューラルネ
ットワーク２１としては教師信号を用いないニューラル
ネットワークを適用することも出来る。

【００６８】また、並列ニューラルネットワークにおい
て、最終段の補正ニューラルネットワークの学習の際
に、補正ニューラルネットワーク、あるいは更に主ニュ
ーラルネットワークの隠れユニット数を増やし再度学習
させ収束させることもできる。

【００６９】また、並列ニューラルネットワークにおい
て、出力選択制御器を省略し、その機能を補正ニューラ
ルネットワークもしくは出力状態ニューラルネットワー
クに行わせることもできる。

【００７０】

【発明の効果】以上述べたように、本発明の並列ニュー
ラルネットワークは、入力に対して主ニューラルネット
ワークと少なくとも１つ以上の補正ニューラルネットワ
ークとを入力に対して並列に接続し、それぞれを順次学
習させ、少なくとも最終段の補正ニューラルネットワー
クからの出力状態信号を用いて、入力信号に対して主及
び補正ニューラルネットワークからの出力ユニット信号
を選択し直接出力させるか、或いは選択後更に加算演算
処理を介して、または多値演算処理の場合には多値出力
ユニット信号を加算した後モジュロ演算を施した多値加
法演算処理を介して出力させることにより、学習用入力
信号に対して所望の出力信号を出力させ、学習外入力信
号に対してもより多くの所望の出力信号を得ることが簡
単に出来る。このように、ニューラルネットワークの出
力ユニット信号から、それに対応したユニットの教師信
号を差し引き誤差を求めて、従来技術での出力信号単位
と異なり、この出力ユニット信号単位の誤差を基に出力
状態信号を得、出力状態信号を用いて正しい出力ユニッ
ト信号を選択している。また、不正解の出力信号に於て
だけでなく、出力信号が正解の場合でも、正解となる余
裕の少ない出力ユニット信号に対しても前記の誤差を求
め、許容誤差範囲を越えておれば、これを正しく選択或
いは更に補正している。従って、学習用入力信号は勿論
のこと、学習外入力信号に対しても幅広く正しく出力ユ
ニット信号を選択或いは補正することが出来、主及び補
正ニューラルネットワーク単独の出力信号の汎化特能力
よりも格段に広い範囲で正しいニューラルネットワーク
の出力信号を得ることが出来る。特に、従来技術のよう
に、学習用入力信号に対して正しい出力信号を送出する
ニューラルネットワークを選択する（出力信号ベクトル
の単位の選択）場合には、学習外入力信号に対して安定
な動作を余り期待出来ない問題をも解決することが出来
る。従って、本発明により学習外入力信号に対しても非
常に安定に動作する並列ニューラルネットワークが実現
出来る。

【００７１】従来方式によるニューラルネットワークに
比べて、少ない中間層ユニットあるいは隠れユニットを
用いて少ない学習回数で等価的に安定に収束させ、所望
の出力信号を送出することができ、また、非常に多くの
入力信号エレメント数を持った入力信号や数多くの教師
信号Ｔを有したユニット数の多い並列ニューラルネット
ワークも実現できる。

【００７２】これらのことから、従来技術では実現が困
難な大規模ニューラルネットワークを短時間で自由に設
計し実現することや、これまで迅速な学習が必要で、且
つ完全な収束が要求される人工知能システムや検索シス
テム、データ変換、データ圧縮、多値画像処理、更に
は、通信システムなどへの幅広い応用ができるなどの非
常に幅広い効果を有している。

【００７３】また、本発明の多値論理ニューラルネット
ワークにおいて学習した結合重みをそれぞれ複数組用意
し、結合重みを切り替え設定すれば、一定遅延を持った
プログラマブルな大規模可変多値論理回路も容易に実現
でき、また、状況に応じて短時間で学習しなおすことに
より同一ハードウェア上に新たな大規模多値論理回路も
実現できる。特に、本発明の並列ニューラルネットワー
クを低い内部演算精度を持った同一の複数のニューロＬ
ＳＩチップを用いて構成することにより、並列処理機能
と柔軟性に富んだ多値論理演算処理の効果的な利用が出
来る。また等価的に完全に学習用入力信号に対して収束
させられることからも、本発明の並列ニューラルネット
ワークを複雑に組み合わせた大規模ニューラルネットワ
ークを容易に構成することも可能である。

【図面の簡単な説明】

【図１】従来方式による３層ニューラルネットワークの
実行処理の１構成例である。

【図２】従来方式による３層ニューラルネットワークに
おける学習処理の１構成例である。

【図３】従来方式による並列ニューラルネットワークの
実行処理の１構成例である。

【図４】実施例１における本発明の並列ニューラルネッ
トワークの実行処理の１構成例である。

【図５】実施例１における本発明の並列ニューラルネッ
トワークの学習処理の１構成例である。

【図６】実施例２における本発明の並列ニューラルネッ
トワークの実行処理の１構成例である。

【図７】実施例２における本発明の並列ニューラルネッ
トワークの学習処理の１構成例である。

【図８】実施例３における本発明の並列ニューラルネッ
トワークの実行処理の１構成例である。

【図９】実施例４における本発明の並列ニューラルネッ
トワークの実行処理の１構成例である。

【図１０】実施例４における本発明の並列ニューラルネ
ットワークの学習処理の１構成例である。

【図１１】実施例５における本発明の並列ニューラルネ
ットワークの実行処理の１構成例である。

【図１２】実施例５における本発明の並列ニューラルネ
ットワークの学習処理の１構成例である。

【符号の説明】

１ ３層ニューラルネットワーク ２ ニューラルネットワーク入力信号入力端子 ２_１ ニューラルネットワーク入力信号ユニット入力端
子 ２_２ ニューラルネットワーク入力信号ユニット入力端
子 ２_Ｎ ニューラルネットワーク入力信号ユニット入力端
子 ３ ニューラルネットワーク出力信号出力端子 ３_１ ニューラルネットワーク出力信号ユニット出力端
子 ３_２ ニューラルネットワーク出力信号ユニット出力端
子 ３_Ｍ ニューラルネットワーク出力信号ユニット出力端
子 ４ 入力層 ４_１ 入力層ユニット ４_２ 入力層ユニット ４_Ｎ 入力層ユニット ５ 中間層 ５_１ 中間層ユニット ５_２ 中間層ユニット ５_Ｐ 中間層ユニット ６ 出力層 ６_１ 出力層ユニット ６_２ 出力層ユニット ６_Ｍ 出力層ユニット ７ 教師信号入力端子 ７_１ ユニット教師信号入力端子 ７_２ ユニット教師信号入力端子 ７_Ｍ ユニット教師信号入力端子 ８ 減算器 ８_１ 減算器 ８_２ 減算器 ８_Ｍ 減算器 ９ 結合重み制御器 １０ 結合重み制御入出力端子 １１ ２値スレショルド回路 １２ 第１のニューラルネットワーク １３ 第２のニューラルネットワーク １４ 第３のニューラルネットワーク １５ 誤差検出器 １６ 誤差検出器 １７ 誤差検出器 １８ 出力選択制御器 １９ 出力選択スイッチ ２０ 従来技術による並列ニューラルネットワーク ２１ 主ニューラルネットワーク ２１０ 減算器 ２１１ 結合重み制御器 ２１２ 結合重み制御入出力端子 ２２ 補正ニューラルネットワーク ２２０ 減算器 ２２１ 結合重み制御器 ２２２ 結合重み制御入出力端子 ２２３ 減算器 ２３ 出力選択制御器 ２４ 動作モード制御器 ２５ 誤差検出器 ２６ 出力状態教師信号生成器 ２７ 収束判定器 ２８ 出力選択加算器 ２９ 補正教師信号生成器 ３０ 実施例１の本発明の並列ニューラルネットワーク ３１ 補正ニューラルネットワーク ３２ 出力選択制御器 ３３ 出力状態ニューラルネットワーク ３３１ 結合重み制御器 ３３２ 結合重み制御入出力端子 ３４ 動作モード制御器 ３５ 収束判定器 ３６ 出力選択制御器 ３７ 誤差検出器 ３８ 出力状態補正教師信号生成器 ３９ 収束判定器 ４０ 実施例２の本発明の並列ニューラルネットワーク ４１ ２値スレショルド回路 ５０ 実施例３の本発明の並列ニューラルネットワーク ６０ 実施例４の本発明の並列ニューラルネットワーク ７０ 実施例５の本発明の並列ニューラルネットワーク

フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06N 1/00 - 7/08 G06G 7/60

Claims (6)

(57)【特許請求の範囲】
1. 【請求項１】 主ニューラルネットワーク（２１）に対
   して１つ以上の補正ニューラルネットワーク（２２）を
   並列接続し、学習用入力信号に対して学習させた前記主
   ニューラルネットワーク（２１）と、前段の前記主ある
   いは補正ニューラルネットワークの出力ユニット信号か
   ら対応したユニットの教師信号を差し引いた誤差が許容
   誤差範囲を越えた学習用入力信号に対して順次学習させ
   た前記補正ニューラルネットワークと、前記補正ニュー
   ラルネットワークに於て、前段の前記主あるいは補正ニ
   ューラルネットワークの出力ユニット信号における許容
   誤差範囲を越えた前記誤差の有無を出力状態教師信号と
   し、出力状態信号を送出できるよう、少なくとも最終段
   の前記補正ニューラルネットワークを更に学習させ、該
   出力状態信号をもとに前記補正ニューラルネットワーク
   の出力ユニット信号の選択を決定する出力選択制御手段
   （２３）と、該出力選択制御手段からの制御信号のもと
   に前記主ニューラルネットワーク又は前記補正ニューラ
   ルネットワークの出力ユニット信号を選択し送出する出
   力選択スイッチ手段（１９）とを少なくとも具備し、前
   記出力ユニット信号をベクトルのエレメントとしてもつ
   出力信号を得ることを特徴とした並列ニューラルネット
   ワーク。
2. 【請求項２】 主ニューラルネットワークに対して１つ
   以上の補正ニューラルネットワークを並列接続し、学習
   用入力信号に対して学習させた前記主ニューラルネット
   ワークと、前段の前記主あるいは補正ニューラルネット
   ワークの出力ユニット信号から対応したユニットの教師
   信号を差し引いた誤差が許容誤差範囲を越えた学習用入
   力信号に対して該誤差を教師信号として順次学習させた
   補正用誤差を出力する前記補正ニューラルネットワーク
   と、前記補正ニューラルネットワークに於て、前段の前
   記主および補正ニューラルネットワークの出力ユニット
   信号における許容誤差範囲を越えた前記誤差の有無を出
   力状態教師信号とした出力状態信号を送出できるよう、
   少なくとも最終段の前記補正ニューラルネットワークを
   更に学習させ、該出力状態信号をもとに前記主および補
   正ニューラルネットワークの出力ユニット信号の選択を
   決定する出力選択制御手段と、該出力選択制御手段から
   の制御信号のもとに前記主および補正ニューラルネット
   ワークの出力ユニット信号を選択し、許容誤差範囲を越
   えた前記誤差を持つ前記主ニューラルネットワークの出
   力ユニット信号に対して、補正用誤差である後段の前記
   補正ニューラルネットワークの出力ユニット信号を加算
   し補正して送出する出力選択加算手段とを少なくとも具
   備し、前記出力ユニット信号をベクトルのエレメントと
   してもつ出力信号を得ることを特徴とした並列ニューラ
   ルネットワーク。
3. 【請求項３】 主ニューラルネットワークに対して一つ
   以上の補正ニューラルネットワークと、出力状態ニュー
   ラルネットワークとを並列接続し、学習用入力信号に対
   して学習させた前記主ニューラルネットワークと、 前段の前記主あるいは補正ニューラルネットワークの出
   力ユニット信号から対応したユニットの教師信号を差し
   引いた誤差が許容誤差範囲を越えた学習用入力信号に対
   して順次学習させた前記補正ニューラルネットワーク
   と、 前記主および補正ニューラルネットワークの出力ユニッ
   ト信号における許容誤差範囲を越えた前記誤差の有無を
   出力状態教師信号とし、出力状態信号を送出できるよ
   う、学習させた前記出力状態ニューラルネットワーク
   と、 該出力状態信号をもとに前記主及び補正ニューラルネッ
   トワークの出力ユニット信号の選択を決定する出力選択
   制御手段と、 該出力選択制御手段からの制御信号のもとに前記主ある
   いは補正ニューラルネットワークの出力ユニット信号を
   選択し、送出する出力選択加算手段とを少なくとも具備
   し、前記出力ユニット信号をベクトルのエレメントとし
   てもつ出力信号を得ることを特徴とした並列ニューラル
   ネットワーク。
4. 【請求項４】 主ニューラルネットワークに対して一つ
   以上の補正ニューラルネットワークと、出力状態ニュー
   ラルネットワークとを並列接続し、学習用入力信号に対
   して学習させた前記主ニューラルネットワークと、 前段の前記主あるいは補正ニューラルネットワークの出
   力ユニット信号から対応したユニットの教師信号を差し
   引いた誤差が許容誤差範囲を越えた学習用入力信号に対
   して該誤差を教師信号として順次学習させ補正用誤差を
   出力する前記補正ニューラルネットワークと、前段の前
   記主および補正ニューラルネットワークの出力ユニット
   信号における許容誤差範囲を越えた前記誤差の有無を出
   力状態教師信号とした出力状態信号を送出できるよう学
   習させた前記出力状態ニューラルネットワークと、該出
   力状態信号をもとに前記主および補正ニューラルネット
   ワークの出力ユニット信号の選択を決定する出力選択制
   御手段と、該出力選択制御手段からの制御信号のもとに
   前記主および補正ニューラルネットワークの出力ユニッ
   ト信号を選択し、許容誤差範囲を越えた前記誤差を持つ
   前記主ニューラルネットワークの出力ユニット信号に対
   して、補正用誤差である前記補正ニューラルネットワー
   クの出力ユニット信号を加算し補正して送出する出力選
   択加算手段とを少なくとも具備し、前記出力ユニット信
   号をベクトルのエレメントとしてもつ出力信号を得るこ
   とを特徴とした並列ニューラルネットワーク。
5. 【請求項５】 前記主および補正ニューラルネットワー
   クの出力ユニット信号を一つ以上のスレショルドを有す
   る多値スレショルド回路を介して多値化して多値出力ユ
   ニット信号を得て、前記出力選択スイッチ手段を介して
   出力信号を得る請求項１または３記載の並列ニューラル
   ネットワーク。
6. 【請求項６】 前記主および補正ニューラルネットワー
   クの出力ユニット信号を一つ以上のスレショルドを有す
   る多値スレショルド回路を介して多値化して多値出力ユ
   ニット信号を得て、前記出力選択加算手段を、選択され
   た多値出力ユニット信号を加算した後多値数を法とする
   モジュロ演算を行なう出力選択加法演算手段に置き換え
   た請求項２または４記載の並列ニューラルネットワー
   ク。