JP3328935B2 - 並列多値ニューラルネットワーク - Google Patents

Description

【発明の詳細な説明】 産業上の利用分野 本発明は、大規模論理回路、パターン認識、連想メモ
リ、データ変換及び画像処理などの分野に適用可能なニ
ューラルネットワークや、大規模ニューラルネットワー
クにおいて簡単な学習により高速かつ安定に所望の多値
出力信号を得ることが出来る並列多値ニューラルネット
ワークに関するものである。

従来の技術 従来のニューラルネットワークには、文献 麻生英樹
著、「ニューラルネットワーク情報処理」、産業図書出
版などに示されているように、多層（階層）ニューラル
ネットワークや相互結合ニューラルネットワークなどが
ある。

図１は、多層ニューラルネットワークとして、１層の
中間層を持った３層ニューラルネットワーク１の実行処
理モードでの実行処理の一構成例を示す。Ｎ個のユニッ
トからなる入力層４、Ｐ個のユニットからなる中間層５
及びＭ個のユニットからなる出力層６から構成される。
入力層のユニット数Ｎは入力端子２の入力信号Ｉのエレ
メント総数に対応し、出力層のユニット数Ｍは出力端子
３の出力信号０のエレメント総数に対応している。

多層ニューラルネットワークへの入力信号Ｉは、I₁、
I₂、・・I_Nの入力信号エレメントを持ったベクトルから
構成され、入力端子２を介してそれぞれ対応した入力層
４のユニットに入力された後、更に中間層５の各ユニッ
ト（隠れユニット）にそれぞれ重み付けされ出力され
る。中間層５では、入力層４の各ユニットからの重み付
けされた出力の総和を入力とし、スレショルド値を差し
引いた後、シグモイド関数と呼ばれる入出力特性を持っ
た関数を介して出力される。出力層６においても中間層
５と同様な入出力処理が行われた後、各出力ユニットか
らそれぞれ対応した出力ユニット信号を出力端子３を介
してベクトルの出力信号O₁、O₂、・・O_Mとして送出す
る。３層以上の多層の際にも、各層におけるそれぞれの
ユニットは、入力側の隣接層の各ユニット出力信号に重
み付けをした後、それらの総和を入力として得、更にそ
の入力からスレショルド値を差し引いた後、シグモイド
関数を介し出力層側の隣接層にユニット出力信号を送出
する。

図２は、相互結合ニューラルネットワーク７の実行処
理モードでの実行処理の一構成例を示す。１層のユニッ
トとして7₁、7_M、・・7_N、・・の場合を示しており、出
力信号との間で重み係数を持ったフィードバック結合を
有しているユニットと、端子2₁、2_M、・・2_Nを介して入
力された入力信号Ｉを初期入力として接続されたユニッ
トと、隠れユニットと呼ばれる他ユニットと重み係数を
介して接続されたユニットとから構成されている。平衡
状態となった時点で出力ユニット信号が得られ、端子
3₁、3₂、・・3_Mから出力信号ベクトルＯとして送出され
る。

次に、これらの従来のニューラルネットワークの学習
処理モードにおける重み係数の学習処理の構成について
説明する。図３は、３層ニューラルネットワークの学習
処理の一構成例を示す。このような多層ニューラルネッ
トワークの学習方法としては、例えば、前記文献にも記
載されているようにバック・プロパゲーション・アルゴ
リズムがある。本アルゴリズムを用いた学習過程では、
重み係数を初期設定した後、予め用意された多値原教師
信号Ｔ（多値原教師信号エレメント、T₁、T₂、・・T_M）
と、入力層４に端子２を介して入力された予め用意され
た学習用入力信号に対する出力層６からの出力ユニット
信号との誤差信号を減算回路９を介して求め、重み係数
制御器10に入力する。重み係数制御器10は、端子11'を
介して入力された各層の出力ユニット信号と誤差信号と
を基に誤差電力を最小にするように各層間の重み係数の
修正値を求め、端子11を介して３層ニューラルネットワ
ーク１の各重み係数を新たに設定し、適応制御による学
習をおこなうものである。この適応制御の学習をすべて
の学習用入力信号に対して繰り返す。学習課程に於て完
全に収束すると、学習用入力信号に対する出力端子３か
らの出力ユニット信号が教師信号と同一となる。しかし
ながら、誤差電力を極小にする所（ローカルミニマム）
に一旦落ち込むと、学習が進まず最小とならないこと、
多値化された誤差信号を重み係数の更新に利用しても収
束を速めることが出来ないことなどの問題がある。特
に、入力ユニット数の多い３層あるいは多層ニューラル
ネットワークにおいて一般に多値教師信号に対して確実
に収束させる設計手法は明らかになっておらず、重み係
数の初期値を変更したり、隠れユニット（中間ユニッ
ト）数を増やすなどの試行錯誤を行っている。

図４は、相互結合ニューラルネットワーク７における
学習処理の一構成例である。相互結合ニューラルネット
ワーク７の学習制御では、前記文献に記載されているよ
うに相互結合ニューラルネットワークに多値の記憶パタ
ーン信号を記憶させ、ネットワークの安定な平衡状態に
おいて出力ユニットからの出力ユニット信号が所望の出
力ユニット信号になるように、結合の重み付けを設定す
る必要がある。この為、重み係数処理器12において、端
子13₁、13₂、・・13_Uを介して入力された記憶させたい
記憶パターン信号Ｓを持った相互結合ニューラルネット
ワーク７が平衡点に達するようにエネルギー関数を最小
とする重み係数を予め計算し、それを端子14を介して、
相互結合ニューラルネットワーク７のそれぞれの結合の
重み係数として設定する。重み係数の設定値によって
は、入力信号Ｉに対して極小値を与える係数となってい
ることもあり、平衡状態に達しない場合や平衡状態にな
っても意図していない異なった出力ユニット信号となる
場合があり、所望の出力信号を得るためには多くの隠れ
ユニットを使用する必要がある。また、一般の多値の記
憶パターン信号では確実に収束させる（平衡状態で所望
の多値出力信号が得られる）のための設計手法が明らか
になっていない。

また、特開平２−100757の並列ニューラルネットワー
ク学習方式において示されているニューラルネットワー
ク61では、図５に示すように２個のニューラルネットワ
ークを並列に接続し、各ニューラルネットワークを順次
学習させる際、第１のニューラルネットワーク62（主ニ
ューラルネットワーク）を一定回数学習させた後、その
教師信号と出力ユニット信号との誤差を第２のニューラ
ルネットワーク63（補正ニューラルネットワーク）の新
たな教師信号として用いて第２のニューラルネットワー
ク63を学習させている。２個以上のニューラルネットワ
ークを用いる場合にも、同様にして、ｎ個目のニューラ
ルネットワークでは、ｎ−１個目までの全てのニューラ
ルネットワークの出力ユニット信号の和と教師信号との
誤差をその教師信号として学習させ、学習用入力信号に
対してそれぞれのニューラルネットワークの出力ユニッ
ト信号の和をとり、出力信号を得ている。

この学習方法では、最終段のニューラルネットワーク
において、その収束状態を検出する条件として出力ユニ
ット信号を正確にその教師信号に完全に一致させること
は非常に困難であること、ローカルミニマムの状態に陥
ることもあり完全な収束状態を検出することが簡単には
出来ないなどの問題がある。従って、特開平２−100757
の実施例で説明されているがごとく多段のニューラルネ
ットワークを接続し、場合によっては順次新たなニュー
ラルネットワークを付加していく必要があるなどの欠点
がある。また、中段のニューラルネットワークにおいて
も局部極小状態の時、学習の結果が変化しないなどの理
由から学習を止めており、学習回数が不必要に多くなっ
てしまうなどの欠点もある。また、多値論理などを行わ
せることは出来ない。

発明が解決しようとする課題 従来の多層ニューラルネットワーク１の学習処理にお
いて、多層ニューラルネットワークが学習用入力信号に
対応した所望の多値出力信号を送出するよう多値教師信
号を用いて重み係数を学習する際に、重み係数の初期値
の設定によっては、所望の多値出力信号を送出する収束
した状態になるまでの学習回数即ち学習繰り返し回数が
非常に多くなる場合や、学習しても収束しない状態即ち
ローカルミニマム（局部極小）の状態に落ち込み所望の
多値出力信号が送出されない場合があるなどの欠点を有
している。また、従来の複数のニューラルネットワーク
を並列に接続した方法でも、所望の多値出力信号を得る
ことが出来ない。特に、入出力層のユニット数が少なく
なると学習による収束が非常に困難となり、所望の多値
出力信号を送出する多値ニューラルネットワークを自由
に設計する方法が確立されていない。また、収束しやす
くするために中間ユニット（隠れユニット）数を大幅に
増やす方法や新たに並列にニューラルネットワークを付
加する方法があるが、当然のことながらそれぞれの演算
量が増し、非常に大きいハードウェア能力あるいはコン
ピュータ能力が要求される。而も、収束しやすくなるも
のの初期値依存性の為に必ずしも収束は補償されないな
どの欠点を有している。

一方、相互結合ニューラルネットワークでは、記憶さ
せたい多値記憶パターン信号に対して計算された重み係
数を設定しても、必ずしも平衡状態において所望の多値
出力信号を送出するとは限らないなどの欠点がある。ま
た、平衡状態に達しない場合もある。相互結合ニューラ
ルネットワークにおいても所望の多値出力信号を得るた
めには、隠れユニット数を大幅に増やすことが必要であ
るが、最小ユニットを用いて確実に設計する方法が確立
されていない。これらの欠点から、短い実時間で学習し
重み係数を適時設定する多値ニューラルネットワークを
実現することも非常に困難である。

本発明の目的は、上記の問題を解決し、従来方式のニ
ューラルネットワークなどに比べて、簡単な学習により
初期値依存性が無く高速且つ安全に等価的に収束させ、
学習用入力信号に対して所望の多値出力信号を容易に得
ることができる新たな並列多値ニューラルネットワーク
を提供することにある。

発明の開示 上記の問題点を解決するために、本発明の並列多値ニ
ューラルネットワークにおいて、主ニューラルネットワ
ークと少なくとも１つ以上の補正ニューラルネットワー
クとを入力に対して並列接続し、予め用意された学習用
入力信号に対して多値原教師信号を用いて学習させた該
主ニューラルネットワークと、該多値原教師信号と該学
習用入力信号に対して該主ニューラルネットワークから
多値スレショルド回路を介して得られた多値出力ユニッ
ト信号との誤差を該補正ニューラルネットワークから多
値スレショルド回路を介して得られた多値出力ユニット
信号を用いて補正できるよう学習させた少なくとも１つ
以上の該補正ニューラルネットワークと、該主及び補正
ニューラルネットワークからの該多値出力ユニット信号
を互いに加法演算し送出する手段とを少なくとも具備
し、該主ニューラルネットワークの該出力ユニット信号
内の該誤差を補正し所望の多値出力信号が得られるよう
構成する。

本発明の他の並列多値ニューラルネットワークにおい
ては、該主ニューラルネットワークと少なくとも１つの
該補正ニューラルネットワークとを入力に対して並列接
続し、予め用意された該学習用入力信号に対して多値原
教師信号を用いて学習させた該主ニューラルネットワー
クと、該多値原教師信号と該主ニューラルネットワーク
から得られた該多値出力ユニット信号との誤差の内少な
くとも一部を予め決められたパターン変換則に従って変
換し該補正ニューラルネットワークの補正教師信号とし
て順次学習させた該補正ニューラルネットワークと、該
補正ニューラルネットワークからの多値出力ユニット信
号に於て該変換された誤差に対応した該多値出力ユニッ
ト信号に対しては該パターン変換則の逆変換を行うパタ
ーン逆変換処理手段と、該パターン逆変換処理手段を介
して得られた出力信号と該主ニューラルネットワークか
らの多値出力ユニット信号とを互いに加法演算し送出す
る加法演算手段とを少なくとも具備し、該主ニューラル
ネットワークからの該多値出力ユニット信号内の誤差を
補正し、入力信号に対して所望の多値出力信号が得られ
るよう構成する。

本発明の並列多値ニューラルネットワークの実行処理
において、上記のごとく予め用意された多値原教師信号
と主ニューラルネットワークの学習用入力信号に対応し
た多値出力ユニット信号との誤差を補正するために、学
習用入力信号に対して主ニューラルネットワークと並列
接続された少なくとも１つ以上の補正ニューラルネット
ワークを介して得られた多値出力ユニット信号を、主ニ
ューラルネットワークから多値スレショルドを介して得
られた多値出力ユニット信号にそれぞれ加法演算し、所
望の多値出力信号を送出するよう構成されている。従っ
て、学習用入力信号に対して主及び補正ニューラルネッ
トワークを学習させる際、多値スレショルド回路を介し
加法及び減法演算処理を行うことから、最終段の補正ニ
ューラルネットワークの収束状態を正確に判断し学習さ
せることができ、所望の多値出力信号が得られると共
に、学習回数や中間ユニット（隠れユニット）数あるい
は中間層数を大幅に削減出来る。

更に、多値原教師信号と主ニューラルネットワークか
らの多値出力ユニット信号との多値の誤差を、多値補正
教師信号として第１の補正ニューラルネットワークを学
習させ、前段の補正ニューラルネットワークの多値出力
ユニット信号とその多値補正教師信号との多値の誤差を
新たな多値補正教師信号として補正ニューラルネットワ
ークを順次学習させているが、最終段の補正ニューラル
ネットワークの学習過程において、その多値出力ユニッ
ト信号がその多値補正教師信号と完全に一致するよう収
束させる必要があるが、最終段の補正ニューラルネット
ワークの多値補正教師信号はゼロ成分が非常に多く、そ
の種類も少ないこと、而も多値スレショルド処理を行う
ことからなどから、少ない学習回数あるいは少ない隠れ
ユニット数の条件下でも最終段の補正ニューラルネット
ワークの収束が簡単に得られる。また、中段の補正ニュ
ーラルネットワークにおいても、前段より多値の誤差を
減少させる範囲内で学習させれば良く、学習回数や隠れ
ユニット数を大幅に減すことが出来る。更に、最終段の
ニューラルネットワークが規定の学習回数以内で収束し
ない場合には、そのユニット数を増やすか、あるいは前
段のニューラルネットワークの学習回数か、その隠れユ
ニット数を増やして再度学習させ中段のニューラルネッ
トワークの補正教師信号との多値の誤差を少なくするこ
とにより、確実に最終段の補正ニューラルネットワーク
を収束させることが出来る。

上記説明のごとく本発明の並列多値ニューラルネット
ワークは、従来方式のニューラルネットワークに比べて
初期値依存性も無く非常に高速に且つ安定に学習させ所
望の多値出力信号を容易に得ることができることから、
種々の論理演算を行うことが出来る並列多値ニューラル
ネットワークを自由に設計できる。

また、本発明の並列多値ニューラルネットワークを複
数接続して使用しても、それぞれの並列多値ニューラル
ネットワークが容易に所望の多値出力信号を送出するよ
う学習させることができることから、並列多値ニューラ
ルネットワークの設計自由度が増すと共に、実時間で学
習をやり直す必要がある多値論理システムや、非常に多
くの入力信号エレメント数を持った入力信号や数多くの
多値教師信号を有したユニット数の多いニューラルネッ
トワークを用いた多値論理システムを実現できる。更
に、従来方式では安定で高速に収束させることができず
所望の多値出力信号が得られない大規模多値ニューラル
ネットワーク、多値画像処理などにおけるデータ変換な
ども容易に設計し実現することが可能となる。

図面の簡単な説明 図１は従来方式による３層ニューラルネットワークの
実行処理の一構成例、図２は従来方式による相互結合ニ
ューラルネットワークの実行処理の一構成例、図３は従
来方式による３層ニューラルネットワークにおける学習
処理の一構成例、図４は従来方式による相互結合ニュー
ラルネットワークの学習処理の一構成例、図５は従来技
術による２つのニューラルネットワークを用いた実行処
理の基本構成、図６は実施例１における本発明のニュー
ラルネットワークの実行処理の一構成例、図７は多値ス
レショルド回路の入出力特性（Ｒ値の場合）、図８は実
施例１における本発明のニューラルネットワークの学習
処理の一構成例、図９は実施例１における本発明のニュ
ーラルネットワークの多値補正教師信号生成器24の一構
成例、図10は実施例２における本発明のニューラルネッ
トワークの実行処理の一構成例、図11は実施例２におけ
る本発明のニューラルネットワークの多値補正教師信号
生成器52の一構成例、図12は実施例３における本発明の
ニューラルネットワークの多値補正教師信号生成器53の
一構成例、図13は実施例４における本発明のニューラル
ネットワークの実行処理の一構成例、図14は実施例５に
おける本発明のニューラルネットワークの学習処理の一
構成例、図15は実施例６における本発明のニューラルネ
ットワークの学習処理の一構成例、図16は実施例７にお
ける本発明のニューラルネットワークの実行処理の一構
成例、図17は実施例７における本発明のニューラルネッ
トワークの学習処理の一構成例、図18は実施例８におけ
る本発明のニューラルネットワークの実行処理の一構成
例である。

発明を実施するための最良の形態 以下に本発明の並列多値ニューラルネットワークの実
施例１−８をあげ、その構成及びその動作について、詳
細に説明する。本発明の並列多値ニューラルネットワー
クは、予め準備された学習用入力信号と教師信号に対し
て重み係数を修正し学習させるための学習処理モード
と、学習された重み係数を用いて入力信号に対して出力
信号を送出させる実行処理モードとの２つのモードで動
作させる場合を前提に説明する。

実施例１ 実施例１としての本発明の並列多値ニューラルネット
ワーク15において、多層ニューラルネットワークからな
る主ニューラルネットワーク16と補正ニューラルネット
ワーク18とを入力に対して並列接続し、多値原教師信号
と多値の誤差の補正の為の多値加法演算処理とを用いた
一構成例を示す。本発明の並列多値ニューラルネットワ
ーク15は、予め準備された学習用入力信号に対して重み
係数を学習させるための学習処理モードと、学習された
重み係数を用いて入力信号に対して多値出力信号を送出
する実行処理モードとの２つのモードのもとに動作す
る。

実行処理モードにおける実行処理の構成として、多値
加法演算処理を用いた一構成例を図６に示す。本発明の
並列多値ニューラルネットワーク15は、入力信号Ｉをユ
ニット毎に入力する端子2₁、2₂、・・・2_Nと多値出力信
号Ｏとしてユニット毎に出力する端子3₁、3₂、・・・3_M
とを有し、主ニューラルネットワーク16と、入力に対し
て並列接続された補正ニューラルネットワーク18と、主
ニューラルネットワーク16からの出力ユニット信号を多
値化する多値スレショルド回路17と、補正ニューラルネ
ットワーク18からの出力ユニット信号を多値化する多値
スレショルド回路19と、多値スレショルド回路17及び19
からのそれぞれ対応した多値出力ユニット信号を加法演
算処理する加法演算器20と、主及び補正ニューラルネッ
トワーク16及び18の動作モードを制御するための動作モ
ード制御器21とから構成される。

並列多値ニューラルネットワーク15は、動作モード制
御回路21からの制御により実行処理モードに設定され動
作する。この時、主及び補正ニューラルネットワーク16
及び18はそれぞれ学習処理モードにおける学習により得
られた重み係数が設定されている。端子2₁、2₂、・・・
2_Nを介してそれぞれ並列接続された多層ニューラルネッ
トワークからなる主ニューラルネットワーク16及び補正
ニューラルネットワーク18に入力された入力信号Ｉに対
して、主ニューラルネットワーク16及び補正ニューラル
ネットワーク18から出力される出力ユニット信号を、多
値スレショルド回路17₁、17₂、・・17_M及び19₁、19₂、
・・19_Mにより多値化して多値出力ユニット信号とし
て、加法演算器20にそれぞれ入力する。ここで、多値ス
レショルド回路としてＲ値の多値化入出力の関係の一例
を図７に示す。加法演算器20では、多値スレショルド回
路17_m（ｍ＝１、・・・Ｍ）からの多値出力ユニット信
号X_mと多値スレショルド回路19_mからの多値出力ユニッ
ト信号Y_mとを加法演算（X_m＋Y_m）mod（Ｒ）によって処
理して、端子3₁、3₂、・・3_Mから並列多値ニューラルネ
ットワーク15のＲ値の多値出力信号Ｏとして出力する。
主ニューラルネットワーク16には学習により得られた重
み係数を設定しているが、前記学習用入力信号に対して
必ずしも全ては所望の多値出力ユニット信号を与えず、
多値の誤差を持った信号を出力する。一方、補正ニュー
ラルネットワーク18では、この多値の誤差に等しい多値
出力ユニット信号を送出して加法演算器20にてこの誤差
を補正できるよう学習させた重み係数が設定されてお
り、主ニューラルネットワークからの多値の誤差を持っ
た多値出力ユニット信号が正確に補正され、所望の多値
出力信号Ｏが端子３から送出される。ここで、加法演算
器20において多値スレショルド回路17の多値出力ユニッ
ト信号ベクトルを（X₁、X₂、・・X_M）及び多値スレショ
ルド回路19の多値出力ユニット信号ベクトルを（Y₁、
Y₂、・・Y_M）とすると、加法演算器20の多値出力ベクト
ル（Z₁、Z₂、・・Z_M）のエレメントZ_iは（X_i＋Y_i）mod
（Ｒ）により計算される。

次に、本発明の並列多値ニューラルネットワーク15に
おける学習処理モードでの多層ニューラルネットワーク
を用いた学習処理の構成を図８に示す。動作モード制御
器21は、学習処理モードと実行処理モードとの切り替え
を行う機能を有している。並列多値ニューラルネットワ
ーク15の学習処理モードでは、まず、主ニューラルネッ
トワーク16としての多層ニューラルネットワークの重み
係数初期値の設定と学習開始及び終了の制御とを行い、
次に、多値補正教師信号の生成と補正ニューラルネット
ワーク18の重み係数初期値の設定と学習開始の制御とを
行い、補正ニューラルネットワークの学習処理が終了す
ると学習処理モードを実行処理モードに切り替える。

主ニューラルネットワーク16の学習過程では、端子２
からの予め用意された学習用入力信号と端子８からの多
値原教師信号Ｔとを用い学習を行う。従来と同様に、減
算器９において多値原教師信号Ｔから主ニューラルネッ
トワーク16からの出力ユニット信号を差し引き、誤差信
号を求め重み係数制御器22に入力し、端子23'からの各
層のユニット出力信号とを基にその誤差電力が最小とな
るよう重み係数の更新を行い端子23を介して新たな重み
係数の設定を繰り返す。ここで、主ニューラルネットワ
ーク16から多値スレショルド回路17を介して得られた多
値出力ユニット信号が多値原教師信号Ｔと完全に一致す
るまで重み係数の学習を行うことは、多値スレショルド
回路を通さない場合に比べ収束しやすくなるものの、従
来技術においても明らかにしたように完全な収束は困難
である。従って、重み係数制御器22にて、学習回数を検
出し規定値と比較する方法、実時間処理の場合などでは
タイマを用い設定値と比較する方法、あるいは補正教師
信号生成器24内において多値スレショルド回路17からの
多値出力ユニット信号と多値原教師信号Ｔとの多値の誤
差の大きさを検出し規定値と比較する方法などのいずれ
かの方法により、動作モード制御器21を介して学習を終
了させる。

その後、主ニューラルネットワーク16の学習が終了し
た時点での多値原教師信号Ｔと学習用入力信号に対応し
た多値出力ユニット信号との多値の誤差を、補正教師信
号生成器24内において減法演算処理により求め、これを
多値補正教師信号TCとして記憶させる。図９は補正教師
信号生成器24の一構成例であり、端子８から入力された
多値原教師信号Ｔから多値スレショルド回路17を介して
入力された多値出力ユニット信号をユニット毎に減法演
算し、多値の誤差を出力する減法演算器80と、その出力
を多値補正教師信号TCとして記憶する補正教師信号記憶
器82とから構成される。減法演算器80は、多値原教師信
号T_i（ｉ＝１、・・・、Ｍ）と多値出力ユニット信号X_i
との間で、（Ｒ＋T_i−X_imod（Ｒ）なる減法演算し出力
する。

上記動作が完了すると、動作モード制御器21を介し
て、前記学習用入力信号と多値補正教師信号TCとを用い
た補正ニューラルネットワーク18の学習を開始させ、減
算器25にて多値補正教師信号TCから補正ニューラルネッ
トワーク18からの出力ユニット信号を差し引き、これを
誤差信号として重み係数制御器26に入力し、端子27'か
らの各層のユニット出力信号とを基にその誤差電力が最
小となるよう重み係数の更新を行い端子27を介して新た
な重み係数の設定を繰り返す。この学習過程では、一致
判定器28において多値補正教師信号TCと多値スレショル
ド回路19を介して得られた多値出力ユニット信号との完
全な一致を検出するまで学習を繰り返し、一致すれば、
多値補正教師信号TCに対して補正ニューラルネットワー
ク18が完全に収束しているとみなし学習を終了させ、動
作モード制御器21により学習モードから実行処理モード
へ切り替える。

実行処理モードでは、学習用入力信号を用いて多値原
教師信号Ｔに対して学習させて得られた重み係数を設定
した主ニューラルネットワーク16から多値スレショルド
回路17を介して得られた多値出力ユニット信号と、多値
補正教師信号TCに対して学習させて得られた重み係数を
設定した補正ニューラルネットワーク18から多値スレシ
ョルド回路19を介して得られた多値出力ユニット信号と
を加法演算器20にて加法演算処理することにより、少な
くとも学習用入力信号に対しては完全に多値原教師信号
と同一の多値出力信号Ｏが得られ、主ニューラルネット
ワーク16の不完全な学習により生じた多値の誤差を正確
に補正することが出来る。

本実施例の並列多値ニューラルネットワーク15におい
て、上記説明のごとく補正ニューラルネットワーク18が
多値の誤差を多値補正教師信号として学習し、完全に収
束できれば、主ニューラルネットワーク16は収束しなく
てもよく、例えば、主ニューラルネットワークからの多
値出力ユニット信号の内、多値の誤差を持たない多値出
力ユニット信号を90％から95％程度送出させることは僅
かの学習回数で実現できる。これ以上に収束させ、より
多くの所望の多値出力信号を得ようとすれば指数関数的
に学習回数が増加することからも、従来方式に比べて学
習回数を大幅に削減できることが明らかである。一方、
主ニューラルネットワーク16の多値原教師信号Ｔがほぼ
ランダムな成分を持っているのに対して、補正ニューラ
ルネットワーク18の多値補正教師信号TCは10％程度の僅
かな多値の誤差成分しか持たず、その他の成分はゼロと
なる。このように種類が少なく而も発生頻度が特定の信
号パターンに片寄った多値補正教師信号に対して、補正
ニューラルネットワーク18を僅かの学習回数で完全に収
束させることは簡単である。従って、上記のように学習
させた重み係数が設定された主及び補正ニューラルネッ
トワーク16及び18を用いた並列多値ニューラルネットワ
ーク15の実行処理で、学習用入力信号に対して所望の多
値出力信号を端子３から出力させることは簡単に実現で
きる。また、多値原教師信号と多値補正教師信号とも同
一の多値空間を有していることから、主及び補正ニュー
ラルネットワークとも同一のニューラルネットワークで
実現すれば良く、同じ重み係数精度やシグモイド関数を
用いた構成でよい。

学習において主ニューラルネットワーク16を完全に収
束させる必要がないため、中間層や隠れユニット数を削
減でき、また、多値スレショルド回路や加法及び減法演
算などによる多値演算処理を行うためにニューラルネッ
トワーク内の演算精度も低くて良く、演算規模も小さく
なる。特に、多値原教師信号が２値の場合には、多値ス
レショルド回路17、19として２値スレショルド回路を用
い、加法演算器20はXOR回路で与えられ、補正教師信号
生成器24内の減法演算器80もXOR回路で簡単に実現され
る。例えば、コンピュータシミュレーションによると、
入力層75ユニット、中間層21ユニット及び出力層７ユニ
ットを持った３層の主及び補正ニューラルネットワーク
16、18をそれぞれバックプロパゲーション・学習アルゴ
リズムを用いて構成した場合、75ビットの入力信号（入
力変数）と７ビットの多値出力信号（出力変数）との間
で所望の入出力関係を与える２値論理関数を、初期値の
依存性も非常に小さく全学習回数が210回以内で簡単に
学習させることができ、実行処理モードでは、学習用入
力信号に対して常に所望の多値出力信号を正しく得るこ
とが出来る。これを、従来型の３層のバックプロパゲー
ション学習アルゴリズムによる入力層75ユニット、中間
層40ユニット及び出力層７ユニットを持った同規模の単
一の３層ニューラルネットワークで実現した場合、同様
の２値論理関数の設計において、２万回以上の学習を繰
り返しても収束せず、初期値依存性が大きく所望の入出
力関係を与えることが出来ない。入力層及び出力層のユ
ニット数を更に増やすと所望の出力を得るための学習回
数と必要な演算精度の差は一段と拡大する。

多値論理関数の真理値表を本発明のニューラルネット
ワーク15を用いて簡単に而も短時間で学習させることが
できることから、従来の大規模ニューラルネットワーク
では極めて設計が困難な大規模多値論理回路も容易に実
現できる。また、本発明の並列多値ニューラルネットワ
ーク15において複数組の学習した重み係数をそれぞれ用
意し、これらを切り替えて設定すれば、同一の演算遅延
で複数個の大規模可変多値論理回路を容易に実現でき
る。また、状況に応じて短時間で学習仕直すことも可能
なことから、同一構成上に新たな入出力関係を与える大
規模多値論理回路も容易に実現出来る。特に、主及び補
正ニューラルネットワークを同一のニューロLSIチップ
で構成すれば、同一ハードウェアの並列処理機能と柔軟
な演算処理機能の効果的な利用により、高速大規模可変
多値論理回路を簡単に実現できる。また、従来のニュー
ラルネットワークを本発明のニューラルネットワーク15
で置き換え、簡単に学習をさせ、パターン認識、連想メ
モリ、データ圧縮、データ変換などに用いることも出来
る。

実施例２ 本発明の第２の実施例として、実施例１と異なった補
正教師信号生成器52を用いた並列多値ニューラルネット
ワーク83を示す。学習処理モードでの学習処理の構成及
び学習過程での動作は、補正教師信号生成器52の構成が
異なる以外は図８の実施例１と同じである。ここでは、
補正教師信号生成器52の構成と実行処理モードでの構成
とその動作のみ説明する。

図11は本実施例における補正教師信号生成器52の一構
成例であり、端子８から入力された多値原教師信号Ｔか
ら多値スレショルド回路17を介して入力された多値出力
ユニット信号をユニット毎に減法演算し多値の誤差を出
力する減法演算器80と、多値の誤差の中から予め指定さ
れた誤差パターンを検出し、それとの距離が拡大される
ようパターン変換して出力し、その他の多値の誤差はそ
のまま出力するパターン変換処理器81と、パターン変換
処理器81の出力を多値補正教師信号TCとして記憶する補
正教師信号記憶器82とから構成される。減法演算器80及
び補正教師信号記憶器82は、図９の実施例１の補正教師
信号生成器24と同じ機能構成である。

主ニューラルネットワーク16の学習の際に、多値の誤
りがなく全エレメントが０（０、０、・・・、０）即ち
誤差の無い誤差パターン（C0）の発生率が90％程度とな
るか、あるいは誤差パターンの最大重みが定められた値
以下となると、学習を終了させる。この時点で、上記の
補正教師信号生成器52の減法演算器80において、多値原
教師信号Ｔから、主ニューラルネットワーク16から多値
スレショルド回路17を介して得られた多値出力ユニット
信号をそれぞれユニット毎に減法演算処理し、多値の誤
差を求め、一部の指定された誤差に対してパターン変換
を行ない、互いのパターンの距離（例えば、ハミング距
離やリー距離）を拡大し、それらを補正教師信号TCとし
て記憶させる。即ち、発生頻度の最も高いC0を全エレメ
ントが最大値Ｒ−１を持つ誤差パターン（C1）にパター
ン変換し、他の誤差パターンの種類は多値原教師信号の
R^M個のパターン数に比べて大幅に削減されており、而も
重みの小さいパターン（０のエレメントを数多く持った
パターン）であることから、これらをそのまま多値補正
教師信号として用いる。特に、多値原教師信号が２値の
場合には、多値スレショルド回路17、19として２値スレ
ショルド回路を用い、加法演算器20及び減法演算器80も
XOR回路でそれぞれ簡単に実現される。この時のパター
ン変換としてはC0パターン（０、０、・・・、０）の補
数でC1パターン（１、１、・・・、１）を実現すれば良
い。

補正教師信号生成器52において多値補正教師信号TCの
生成が完了すると、図８に示すように動作モード制御器
21を介して、重み係数の初期設定の後、前記学習用入力
信号と多値補正教師信号TCとを用いて補正ニューラルネ
ットワーク18の学習を開始させる。この学習過程では、
一致判定器28において多値補正教師信号TCと多値スレシ
ョルド回路19を介して得られた多値出力ユニット信号と
の完全な一致が検出されると、多値補正教師信号TCに対
して補正ニューラルネットワーク18が完全に収束したと
みなし学習を終了させ、動作モード制御器21により学習
処理モードから実行処理モードへ切り替える。多値補正
教師信号において発生頻度の高いパターンと他の誤差パ
ターンとの距離が大きく拡大されており、学習用入力信
号の多値出力ユニット信号への割付が非常に簡単とな
り、一段と少ない学習回数で補正ニューラルネットワー
ク18を容易に収束させることができる。

次に、並列多値ニューラルネットワーク83の実行処理
モードにおける実行処理を説明する。実行処理の一構成
例を図10に示す。主ニューラルネットワーク16と、並列
接続された補正ニューラルネットワーク18と、主ニュー
ラルネットワーク16及び補正ニューラルネットワーク18
からの出力ユニット信号をそれぞれ多値化する多値スレ
ショルド回路17、19と、補正教師信号生成器52において
パターン変換され得られた特定パターンを多値スレショ
ルド19からの多値出力ユニット信号内から検出し、これ
を元の多値誤差パターンにパターン逆変換して出力し、
その他はそのまま出力するパターン逆変換処理器84と、
多値スレショルド回路17及びパターン逆変換処理器84か
らのそれぞれ対応した出力を加法演算し、端子３に多値
出力信号Ｏとして出力する加法演算器20と、主及び補正
ニューラルネットワーク16及び18の動作モードを制御す
るための動作モード制御器21とから構成される。ここ
で、動作モード制御器21からの制御により実行処理モー
ドが設定され動作する際、主及び補正ニューラルネット
ワーク16及び18ではそれぞれ学習モードで得られた重み
係数が設定される。

補正ニューラルネットワーク18からの多値出力ユニッ
ト信号からパターン逆変換処理器84を介して元の多値誤
差パターンが得られ、加法演算器20にて主ニューラルネ
ットワーク16からの多値出力ユニット信号とそれぞれ加
法演算処理されることから、主ニューラルネットワーク
16からの多値出力ユニット信号内の不完全な学習により
生じた誤差が補正できる。これにより、並列多値ニュー
ラルネットワーク83において学習用入力信号に対しては
完全に多値原教師信号と同一の多値出力信号Ｏが端子３
から得られる。

上記の説明のごとく本発明の並列多値ニューラルネッ
トワーク83は少ない学習回数で等価的に収束させること
ができ、誤差パターンの変換を施した補正教師信号を用
いることにより補正ニューラルネットワーク18を完全に
収束させるための学習回数を大幅に削減出来る。

実施例３ 実施例３として、本発明に関する実施例２とは異なる
パターン変換方式を用いた実施例を示す。実施例２では
補正教師信号生成器52において、発生頻度が高い全エレ
メントが０の特定の誤差パターンだけを全エレメントが
Ｒ−１のパターンに変換するパターン変換方式について
一具体例を示した。ここでは、主ニューラルネットワー
ク16の学習回数を極端に少なくした場合に多値誤差パタ
ーンの重みが増え種類が若干増加し、而も発生頻度もほ
ぼ同じ状態となる誤差パターンに対して、Ｍ次元符号空
間で相互に距離を離す為のパターン変換方式を用いた補
正教師信号生成器53を導入した実施例を示す。

実施例３は、実施例２の補正教師信号生成器52の減法
演算器80から出力される多値の誤差パターンを変換処理
するパターン変換処理器81及び補正ニューラルネットワ
ーク18からの多値出力ユニット信号に対するパターン逆
変換処理器84の構成のみが異なることから、これらのパ
ターン変換処理及びパターン逆変換処理についてのみ記
述する。ここでは、図12に示すようにパターン変換処理
器81の代わりに誤り訂正符号処理器85を用いた場合につ
いて説明する。誤り訂正符号処理器85は各誤差パターン
に対して誤り訂正符号変換処理を用いて距離の拡大され
たパターンを出力し、補正教師信号記憶器82に書き込
む。また、パターン逆変換処理器84の代わりに誤り訂正
符号処理器85と逆の入出力関係を与える新たなパターン
逆変換器をROMを用いて構成する。これにより補正ニュ
ーラルネットワーク18からの多値出力ユニット信号をパ
ターン逆変換し元の多値の誤差に戻すことが出来る。

２値の誤り訂正符号処理方式について具体例をあげ説
明する。前述した通り極端に少ない学習回数において
も、主ニューラルネットワーク16からの多値出力ユニッ
ト信号を基にした２値の誤差パターンの種類ｋは２値教
師信号の種類2Mに比べて少なく、ｋ＜＜2Mである。この
時、log₂（ｋ）≦Ｋを満たす最小の整数Ｋのビット数で
ｋ種類の誤差パターンを表すことができる。このＫビッ
トパターンを情報ビットとし、誤り訂正符号理論で用い
られている線形符号や巡回符号等の誤り訂正符号処理器
85を用いて単一誤り以上の訂正能力を持ったＭ−Ｋビッ
トの検査ビットを生成すれば、最小ハミング距離が３の
Ｍビット符号語を作成することができ、ハミング距離を
３以上に拡大できる。ここで、それぞれの誤差パターン
に対応させたＭビット符号語を変換パターンとして補正
教師信号記憶器82へ記憶させればよい。

２値の出力ユニット数Ｍが７の時、学習モードにおい
て例えば誤差パターンの数が８個となると学習を終了さ
せると、変換前の誤差パターンはハミング重みが０及び
１のパターンとなる。したがって、これらの誤差パター
ンは３ビットの情報ビットを用いれば全て表せることか
ら、３ビットの情報符号を基にした誤り訂正符号処理器
85により４ビットの検査ビットを持った少なくとも最小
ハミング距離が３の誤り訂正符号語を生成し、これらを
補正教師信号とすればよい。以上、２値の場合について
説明したが、多値の場合についても同様に多元の誤り訂
正符号理論により相互にリー距離が拡大された符号語を
生成することができる。これらの方法により入力された
誤差パターンに応じてパターン変換し補正教師信号とし
て補正教師信号記憶器82に記憶させればよい。また、パ
ターン逆変換処理器84の代わりとしては、逆の入出力関
係を与える符号逆変換処理器としてROMを用意すればよ
い。

本実施例は、実施例２に比較してパターン変換則が若
干複雑になるが、誤差パターン間のリー距離あるいはハ
ミング距離を相互に拡大できることから、補正教師信号
生成器53を用いた並列多値ニューラルネットワーク83を
等価的に更に高速に収束させることができる。

実施例４ 実施例４として、多値学習パターン信号を用いて重み
係数を求める相互結合ニューラルネットワークを用いた
主ニューラルネットワーク29と、多層ニューラルネット
ワークを用いた補正ニューラルネットワーク18とを入力
に対して並列に接続し、多値教師信号からの多値の誤差
の補正の為の多値加法演算処理を用いた本発明の並列多
値ニューラルネットワークの一構成例をあげ説明する。
本発明の並列多値ニューラルネットワークの実行処理モ
ードでの実行処理の構成は、主ニューラルネットワーク
29として相互結合ニューラルネットワークを用いる他は
実施例１の並列多値ニューラルネットワーク15の図６の
構成と同じで、動作も同様であるので構成と詳細説明を
省略する。

学習処理モードでの学習処理の一構成例を図13に示す
が、実施例１の図８の構成とは異なる。尚、以下の説明
では、同一構成部分については同一番号を付し、説明の
重複を省く。図13の本発明のニューラルネットワークの
学習処理モードでの学習処理の構成としては、相互結合
ニューラルネットワークからなる主ニューラルネットワ
ーク29と、多層ニューラルネットワークからなる補正ニ
ューラルネットワーク18とを入力に対して並列に配置
し、端子13から入力される多値記憶パターン信号をもと
に主ニューラルネットワーク29の重み係数を計算するた
めの重み係数処理器30と、多値記憶パターン信号の一部
を学習用入力信号に対応した多値原教師信号として、こ
の多値原教師信号と主ニューラルネットワーク29から多
値スレショルド17を介して得られた多値出力ユニット信
号とから多値の誤差を求め、その誤差を多値補正教師信
号として記憶するための補正教師信号生成器32と、学習
用入力信号と多値補正教師信号とを用いて補正ニューラ
ルネットワーク18の重み係数を学習させる為に、多値補
正教師信号とその出力ユニット信号との誤差信号を求め
る減算器25と、その誤差電力を最小とするよう重み係数
を更新制御する重み係数制御器26と、補正ニューラルネ
ットワーク18の出力ユニット信号を多値化する多値スレ
ショルド回路19と、多値スレショルド回路19の出力であ
る多値出力ユニット信号と多値補正教師信号とが完全に
一致したことを検出するための一致判定器28と、学習の
開始及び終了制御、重み係数初期設定及び相互結合ニュ
ーラルネットワークの隠れユニット数の設定を行う動作
モード制御器33とからなる。

本実施例と実施例１との基本的な違いは、主ニューラ
ルネットワーク29を相互結合ニューラルネットワークで
実現しており、それに伴って重み係数を算出するための
多値記憶パターン信号を端子13から重み係数処理器30に
入力し、更に、多値原教師信号として多値記憶パターン
信号の一部が補正教師信号生成器32に入力されている。

相互結合ニューラルネットワークである主ニューラル
ネットワーク29の重み係数は重み係数処理器30において
多値記憶パターン信号と隠れユニット数が与えられると
計算され、主ニューラルネットワーク29に端子31を介し
て設定される。主ニューラルネットワーク29からの出力
ユニット信号が平衡状態に達すると、多値スレショルド
17にて多値出力ユニット信号を得、補正教師信号生成器
32にて多値記憶パターン信号内の多値教師信号と比較し
多値の誤差を求め、それを多値補正教師信号として記憶
される。ここでは、省略するが、多値補正教師信号生成
器32として、前述の多値補正教師信号生成器24と同一の
構成でよい。

次に、補正教師信号生成器32から出力された多値補正
教師信号と学習用入力信号とから補正ニューラルネット
ワーク18を学習させるために、多値補正教師信号と補正
ニューラルネットワーク18の出力ユニット信号とから減
算器25にてそれぞれのユニットの誤差信号を求め、この
誤差電力を最小とするよう重み係数を重み係数制御器26
にて修正し、更新された重み係数を補正ニューラルネッ
トワーク18に端子27を介して設定する。この学習過程に
おいて、多値出力ユニット信号が多値補正教師信号と完
全に一致すると、これを一致判定器28にて検出し、完全
に収束したとみなし学習を終了させる。規定の学習回数
以内で一致しない場合は、補正すべき多値の誤差が多す
ぎると見なし、動作モード制御器33からの制御のもとに
主ニューラルネットワーク29の隠れユニット数を増や
し、再度、主ニューラルネットワーク29から学習させ同
様な処理により、多値補正教師信号を求め直した後、補
正ニューラルネットワーク18を再度学習させ完全に収束
させる。あるいは、補正ニューラルネットワーク18の隠
れユニット数を増やし再度学習させて完全に収束させて
もよい。

上記の説明のごとく、学習処理モードにおいて、主ニ
ューラルネットワーク29の相互結合ニューラルネットワ
ークの平衡点における多値出力ユニット信号の多値の誤
差を多値補正教師信号とした補正ニューラルネットワー
ク18を学習させ完全に収束させることが、実施例１と同
様の理由で簡単に出来る。このような学習処理モードで
得られた主及び補正ニューラルネットワーク29及び18の
重み係数を実行処理モードにおいて設定し用いることに
より、図６と同様な構成の基に主ニューラルネットワー
ク29からの多値出力ユニット信号に含まれる多値の誤差
を補正ニューラルネットワーク18からの多値出力ユニッ
ト信号を用いて加法演算器20にて補正し、端子３から学
習用入力信号に対する完全な所望の多値出力信号を送出
することができる。

従来の相互結合ニューラルネットワークでは、平衡状
態を得るには多くの隠れユニット数を用いる必要がある
が、ローカルミニマムの存在により所望の解が得られな
い場合が多く、任意の所望の多値出力ユニット信号を得
るよう設計することは困難である。しかし、本発明の並
列多値ニューラルネットワークでは上記説明のごとく、
相互結合ニューラルネットワークの問題点を簡単に解決
できる非常に有効的なニューラルネットワークを提供で
きる。尚、相互結合の一例として、２値のホップフィー
ルド・ネットワークやボルツマン・マシンの場合には、
出力ユニット信号は２値となることから、図13の学習処
理及び実行処理の構成において多値スレショルド回路を
省略してもよく、加法演算器はXOR回路となる。また、
補正教師信号生成器32内の減法演算も同様にXOR回路と
なる。

実施例５ 実施例５は、本発明の並列多値ニューラルネットワー
クとして多層ニューラルネットワークによる主ニューラ
ルネットワーク16と、多値学習パターン信号による重み
係数計算を行う相互結合ニューラルネットワークからな
る補正ニューラルネットワーク37とを用い入力に対して
並列接続した一構成例である。

実行処理モードでの実行処理の構成は、実施例１にお
ける図６の並列多値ニューラルネットワーク15の実行処
理の構成と同一であるが、主ニューラルネットワーク16
として多層ニューラルネットワークを、補正ニューラル
ネットワーク37として、相互結合ニューラルネットワー
クを用いている。動作は実施例１と同様であるので説明
を省略する。

学習処理モードでの学習処理の一構成例を図14に示
す。まず、動作モード制御器38からの制御信号により主
ニューラルネットワーク16の学習を開始させる。ここ
で、主ニューラルネットワーク16の学習は、実施例１の
図８の主ニューラルネットワーク16の学習と同様であ
る。学習終了後、補正記憶パターン信号生成器34は、多
値原教師信号Ｔと主ニューラルネットワーク16から多値
スレショルド回路17を介して得られた多値ユニット出力
信号とから多値の誤差を求め、この誤差を多値補正教師
信号とし相互結合ニューラルネットワークからなる補正
ニューラルネットワーク37の補正多値学習パターン信号
の一部として記憶させる。

次に、動作モード制御器38からの制御信号により補正
ニューラルネットワーク37の学習を開始させ、補正多値
記憶パターン信号を補正記憶パターン信号生成器34から
読みだし、重み係数処理器35に於て、相互結合ニューラ
ルネットワークの重み係数を計算し、端子36を介して補
正ニューラルネットワーク37に設定し動作させる。補正
ニューラルネットワーク37が平衡状態になると、補正多
値記憶パターン信号内の多値補正教師信号と補正ニュー
ラルネットワーク37から多値スレショルド回路を介して
得られた多値出力ユニット信号とを一致判定器28にて比
較し、一致すれば、学習を終了する。一致しなければ、
補正ニューラルネットワーク37の隠れユニット数を増や
し再度重み係数を計算し補正ニューラルネットワーク37
への設定を繰り返す。規定の回数以内に一致判定器28に
て一致が検出されない場合には、主ニューラルネットワ
ーク16の学習を再度開始して、多値の誤差の少ない多値
補正教師信号を持つ補正多値記憶パターン信号を補正記
憶パターン生成器32で生成し、再度重み係数処理器35に
て重み係数を計算し補正ニューラルネットワーク37に設
定し動作させる。多値補正教師信号と多値出力ユニット
信号とが一致したことが一致判定器28において検出され
るまで、上記の学習過程を繰り返す。学習処理が終了す
ると、動作モード制御器38により学習処理モードを実行
処理モードに切り替える。

このように、主ニューラルネットワーク16の多層ニュ
ーラルネットワークの学習回数あるいは誤差量に基づき
学習を制御すると共に、補正ニューラルネットワーク37
の相互結合ニューラルネットワークの隠れユニット数を
調整することにより、ゼロ成分が多い多値補正教師信号
を用いて補正ニューラルネットワーク37を正しく収束さ
せることが簡単にできる。

実行処理モードでは、このようにして学習し得られた
重み係数を設定した主及び補正ニューラルネットワーク
16、37を用いることにより、主ニューラルネットワーク
16の多値ユニット出力信号に含まれる誤差は補正ニュー
ラルネットワーク37からの多値ユニット出力信号を用い
て加法演算器20にて補正され、端子３から得られる本発
明の多値ニューラルネットワークの多値出力信号は学習
用入力信号に対して常に所望の出力となる。

実施例６ 実施例６は、本発明の多値ニューラルネットワークに
おいて、主及び補正ニューラルネットワーク29、37とも
多値記憶パターン信号により重み係数を計算する相互結
合ニューラルネットワークを用いた一構成例である。本
発明の並列多値ニューラルネットワークの実行処理モー
ドでの実行処理の構成は、主及び補正ニューラルネット
ワーク29、37とも相互結合ニューラルネットワークを用
いる他は実施例１と同じで、図６の並列多値ニューラル
ネットワーク15と同様な構成となり、動作も同様である
ので説明を省略する。

学習処理モードでの学習処理の構成を図15に示す。動
作モード制御器39の制御のもとに端子13に入力された多
値原教師信号を含んだ多値記憶パターン信号から重み係
数処理器30において主ニューラルネットワーク29の重み
係数を計算し端子31を介して設定する。実施例２の図９
と同様に動作させ、補正記憶パターン信号生成器34に
て、多値記憶パターン信号の一部からなる多値原教師信
号との多値の誤差を求め、この誤差を多値補正教師信号
として持つ補正記憶パターンを生成し記憶させる。その
後、補正ニューラルネットワーク37を学習させる為に、
重み係数処理器35に補正多値記憶パターン信号を入力
し、重み係数を計算し補正ニューラルネットワーク37に
端子36を介して設定し動作させる。実施例３の図14と同
様に補正ニューラルネットワーク37が平衡状態に達する
と、一致判定器28にて多値補正教師信号と補正ニューラ
ルネットワーク37から多値スレショルド19を介して得ら
れた多値ユニット出力信号との一致を調べ、完全に一致
していれば学習を終了する。また、一致しなければ、補
正ニューラルネットワーク37の隠れユニット数を増や
し、再度重み係数を重み係数処理器35において計算しな
おし、同様の処理を実施する。この時、補正ニューラル
ネットワーク37の隠れユニット数が規定の数以上あるい
は繰り返し回数が規定以上になると、補正ニューラルネ
ットワーク37が収束しないとみなし、再度主ニューラル
ネットワーク29の隠れユニット数を増やし、上記の学習
処理を実施させる。

実行処理モードでは、学習処理により得られた重み係
数をそれぞれ主及び補正ニューラルネットワーク29、37
に設定し、図６と同様に構成することにより本発明の並
列多値ニューラルネットワークは学習用入力信号に対し
て常に所望の多値出力信号を端子３から送出することが
出来る。

また、これまでの実施例では主ニューラルネットワー
ク29として、重み係数処理器30において多値記憶パター
ン信号を用いて重み係数を求め、これを設定した相互結
合ニューラルネットワークを使用しているが、多値記憶
パターン信号を使わずにエネルギー関数を最小化する重
み係数を直接計算し設定した相互結合ニューラルネット
ワークを代わりに用いてもよい。この場合は、主ニュー
ラルネットワーク29から多値スレショルド回路17を介し
て得られる多値出力ユニット出力内の多値の誤差は多値
原教師信号を用いた場合に比べ若干増えるが、補正ニュ
ーラルネットワーク18あるいは37からの多値出力ユニッ
ト信号で十分にこれら誤差を補正することが出来る。学
習処理モードでの学習処理の構成としては、端子13に多
値原教師信号を用意し、重み係数処理器30に入力する必
要はないこと以外は同様で、動作も殆ど同じため説明を
省略する。

実施例７ 実施例７として、本発明の並列多値ニューラルネット
ワーク40において、入力に対して主ニューラルネットワ
ークと２段の補正ニューラルネットワークとを並列接続
した一構成例を示す。図16は、主ニューラルネットワー
ク41及び２個の補正ニューラルネットワークI42及びII4
3を用いて構成した際の実行処理モードにおける実行処
理の構成を示す。入力端子２に並列接続された主ニュー
ラルネットワーク41と、補正ニューラルネットワークI4
2と、補正ニューラルネットワークI43と、多値スレショ
ルド回路17、19と、補正ニューラルネットワークII43か
らの出力ユニット信号を多値化する多値スレショルド回
路44と、加法演算器20、45と、動作モード制御器46とか
らなる。補正ニューラルネットワーク42、43に接続され
た多値スレショルド回路19及び44からの多値出力ユニッ
ト信号をそれぞれ加法演算器45で加法演算して、更にそ
れぞれの出力と主ニューラルネットワーク41に接続され
た多値スレショルド回路17からの多値出力ユニット信号
とを加法演算器20により加法演算することにより、主ニ
ューラルネットワーク41及び補正ニューラルネットワー
クＩからの多値の誤差をそれぞれ補正し、本発明の並列
多値ニューラルネットワーク40の多値出力信号Ｏとして
端子３を介して学習用入力信号に対して常に所望の多値
出力信号を送出させる。

次に、本発明の並列多値ニューラルネットワーク40の
学習処理モードにおける学習処理の一構成例を図17に示
す。全て多層ニューラルネットワークを用いた例をあげ
説明する。動作モード制御器46からの制御信号により、
まず主ニューラルネットワーク41の学習を開始させる。
動作は実施例１の主ニューラルネットワーク16と同じで
ある。学習が終了すると補正教師信号Ｉ生成器47におい
て多値原教師信号Ｔと多値スレショルド回路17からの多
値出力ユニット信号とから多値の誤差を求め、この誤差
を多値補正教師信号Ｉとして記憶させる。補正教師信号
Ｉ生成器47は補正教師信号生成器24と図９に示すように
同一の構成で良い。

次に、動作モード制御器46からの制御信号により、補
正ニューラルネットワークI42の学習を開始させる。多
値補正教師信号Ｉが補正教師信号Ｉ生成器47から読みだ
され、減算器25にて得られた誤差信号を基に重み係数制
御基26において補正ニューラルネットワークI42の重み
係数が修正される。規定の学習が終了すると、補正教師
信号II生成器48にて多値補正教師信号Ｉと補正ニューラ
ルネットワークI42に接続された多値スレショルド回路1
9の多値出力ユニット信号とから多値の誤差を求め、こ
の誤差を多値補正教師信号IIとして記憶させる。補正教
師信号II生成器48は補正教師信号Ｉ生成器47と同一の構
成でよい。

次に、動作モード制御器46からの制御信号により、補
正ニューラルネットワークII43の学習が開始されると、
多値補正教師信号IIが補正教師信号II生成器48から読み
だされ、減算器49からの誤差信号を基に重み係数制御器
50にて補正ニューラルネットワークIIの重み係数が修正
される。この学習過程において、補正教師信号II生成器
48からの多値補正教師信号IIと、補正ニューラルネット
ワークII43から多値スレショルド回路44を介して得られ
た多値出力ユニット信号とが完全に一致することを一致
判定器28にて検出すると学習を終了させる。一致しない
場合は、補正ニューラルネットワークＩの学習を再開
し、多値補正教師信号Ｉの中に含まれている多値の誤差
を削減した後、再度補正ニューラルネットワークIIの学
習をやり直せば完全に収束させることができる。また、
主ニューラルネットワーク41の学習をやり直しその誤差
を減少させて、前記処理を行ってもよい。

動作モード制御器46は、主ニューラルネットワーク4
1、補正ニューラルネットワークI42、補正ニューラルネ
ットワークII43の順序で順次学習を行うように制御して
おり、上記の説明のごとく最終段の補正ニューラルネッ
トワークII43を除く主および補正ニューラルネットワー
クI41、I42では、それぞれの多値原教師信号および多値
補正教師信号Ｉに対して完全に収束させる必要がないた
め、大幅に学習回数の削減や中間層数あるいは隠れユニ
ット数の削減が出来る。また、最終段の補正ニューラル
ネットワーク43も多値の誤差が少なく殆どゼロの成分を
持った多値補正教師信号IIを用いて学習させることか
ら、簡単に収束し多値補正教師信号IIと一致した多値出
力ユニット信号を送出できる。

並列多値ニューラルネットワーク40の実行処理モード
では、このような学習により得られた重み係数をそれぞ
れ主ニューラルネットワーク41、補正ニューラルネット
ワークI42、補正ニューラルネットワークII43に設定
し、動作させることにより、補正ニューラルネットワー
クＩから多値スレショルド回路19を介して得られた多値
出力ユニット信号内の多値の誤差を補正ニューラルネッ
トワークIIから多値スレショルド回路44を介して得られ
た多値出力ユニット信号で加法演算器45にて補正し、そ
の後、主ニューラルネットワーク41から多値スレショル
ド回路17を介して得られた多値出力ユニット信号内の多
値の誤差を加法演算器45の出力で加法演算器20にて補正
し、学習用入力信号に対して常に所望の多値出力信号を
端子３から送出することが出来る。

本実施例では、主ニューラルネットワーク41、補正ニ
ューラルネットワークI42及びII43を共に多層ニューラ
ルネットワークとしたが、実施例４から６において示し
たように、全て相互結合あるいは多層ニューラルネット
ワークと相互結合ニューラルネットワークとを組み合わ
せた構成も可能である。また、本実施例では、２つの補
正ニューラルネットワークを用いた例について示した
が、補正ニューラルネットワークを更に並列に付加し、
順次学習させ、最終段の補正ニューラルネットワークに
おいてその多値補正教師信号とその多値出力ユニット信
号が完全に一致するよう確実に収束させる構成にしても
よい。このような構成にすることにより、主ニューラル
ネットワークと最終段以外の補正ニューラルネットワー
クはより少ない回数で学習を終えることが出来、実時間
で学習を頻繁に繰り返すことが必要なニューラルネット
ワークでは非常に有効である。

本実施例は、処理が実施例１に比較し若干複雑になる
が、主及び補正ニューラルネットワークの設計の自由度
を増すことができ、入力層、中間層あるいは出力層にお
いて多くのユニット数を持った従来では高速で安定な収
束ができない大規模多値ニューラルネットワークを本発
明の並列多値ニューラルネットワークで実現出来る。

実施例８ 実施例８として、実施例７より学習において更に高速
の収束を実現するために、補正教師信号生成器において
誤差パターン変換を用いた実施例を示す。入力に対して
主ニューラルネットワーク41と２段の補正ニューラルネ
ットワーク42、43とを、パターン逆変換処理器88、90と
加法演算器87、89とを介して並列接続した並列多値ニュ
ーラルネットワーク86の一構成例を図18に示す。

本発明の並列多値ニューラルネットワーク86の学習処
理モードにおける学習処理の構成は、補正教師信号Ｉ生
成器47及び補正教師信号II生成器48の内部構成を除いて
全て図17と同様である。動作モード制御器46からの制御
信号により、まず主ニューラルネットワーク41の学習を
開始させる。動作は実施例７の主ニューラルネットワー
ク41と同じである。学習が終了すると、補正教師信号Ｉ
生成器47において、多値原教師信号Ｔと多値スレショル
ド回路17からの多値出力ユニット信号とから多値の誤差
を求め、実施例２あるいは３の補正教師信号生成器52、
53のごとく予め指定された誤差パターンに対してパター
ン変換を施し、多値補正教師信号Ｉとして補正教師信号
Ｉ生成器47に記憶させる。

次に、動作モード制御器46からの制御信号により、補
正ニューラルネットワークI42の学習を開始させる。多
値補正教師信号Ｉが補正教師信号Ｉ生成器47から読みだ
され、減算器25にて得られた誤差信号を基に重み係数制
御器26において補正ニューラルネットワークI42の重み
係数が修正される。規定の学習が終了すると、補正教師
信号II生成器48にて多値補正教師信号Ｉと補正ニューラ
ルネットワークI42から多値スレショルド回路19を介し
て得られた多値出力ユニット信号とから多値の誤差を求
め、実施例２あるいは３の教師信号生成器52、53のごと
く予め指定された誤差パターンをパターン変換して多値
補正教師信号IIとして補正教師信号II生成器48に記憶さ
せる。ここで、補正教師信号Ｉ生成器47及び補正教師信
号II生成器48との間で異なったパターン変換則を使用し
てもよい。

補正ニューラルネットワークII43の学習処理は図17と
同様であることから説明を省略する。

並列多値ニューラルネットワーク86の実行処理モード
における実行処理の構成を図18に示す。入力端子２に並
列接続された主ニューラルネットワーク41と、補正ニュ
ーラルネットワークI42と、補正ニューラルネットワー
クII43と、多値スレショルド回路17、19と、補正ニュー
ラルネットワークII43からの出力ユニット信号を多値化
する多値スレショルド回路44と、加法演算器87、89と、
パターン逆変換処理器88、90と、動作モード制御器46と
からなる。実行処理モードでは、学習処理モードにおい
て得られた重み係数をそれぞれ主ニューラルネットワー
ク41、補正ニューラルネットワークI42、補正ニューラ
ルネットワークII43に設定し、動作させる。

パターン逆変換処理器90では、補正ニューラルネット
ワークII43に接続された多値スレショルド回路44からの
多値出力ユニット信号に対して、補正教師信号II生成器
48内で変換処理されたパターンが検出されるとパターン
逆変換し出力され、多値スレショルド回路19からの多値
出力ユニット信号とそれぞれ対応したエレメント毎に加
法演算器89で加法演算して出力する。更に、それぞれの
出力をパターン逆変換処理器88に入力して、補正教師信
号Ｉ生成器47内で変換処理されたパターンを検出しパタ
ーン逆変換処理を行ない出力し、多値出力主ニューラル
ネットワーク41に接続された多値スレショルド回路17か
らの多値出力ユニット信号と加法演算器87により加法演
算する。これにより主ニューラルネットワーク41及び補
正ニューラルネットワークI42からのそれぞれの多値の
誤差を補正し、本発明の並列多値ニューラルネットワー
ク86の多値出力信号Ｏとして学習用入力信号に対して常
に所望の多値出力信号を端子３を介して送出させる。

主ニューラルネットワーク41、補正ニューラルネット
ワークI42、補正ニューラルネットワークII43の順序で
順次学習を行う際、上記の説明のごとく主および補正ニ
ューラルネットワークI41、42では、それぞれの多値原
教師信号および多値補正教師信号Ｉに対して完全に収束
させる必要がなく、また、互いに距離が離れた収束しや
すい多値補正教師信号Ｉ及びIIを用いることから学習回
数の大幅な削減や中間層数あるいは中間ユニット（隠れ
ユニット）数の大幅な削減が可能となる。また、最終段
の補正ニューラルネットワークII43では、多値の誤差パ
ターンの種類が非常に少なく、更に学習しやすいパター
ンに変換された多値補正教師信号IIを用いて学習させる
ことから、非常に簡単に収束し多値補正教師信号IIと一
致した多値出力ユニット信号を多値スレショルド回路44
から容易に送出できる。

本実施例では、実施例７と同様に主ニューラルネット
ワークと最終段以外の補正ニューラルネットワークは非
常に少ない回数で学習を終えることができ、実時間で学
習を頻繁に繰り返すことが必要な並列多値ニューラルネ
ットワークでは非常に有効である。

また、本実施例は、処理が実施例７に比較し若干複雑
になるが、主及び補正ニューラルネットワークの設計の
自由度を増すことができる。その結果、入力層、中間層
あるいは出力層において多くのユニット数を持った従来
では高速で確実な収束ができない大規模多値ニューラル
ネットワークを本発明の並列多値ニューラルネットワー
クで実現できる。

以上の実施例２、３及び８において示したごとく補正
ニューラルネットワークに於てパターン変換を伴った補
正教師信号を用いて学習させることができる並列多値ニ
ューラルネットワークであれば、上記の多層ニューラル
ネットワーク以外のニューラルネットワークを用いても
よい。また、主ニューラルネットワークとしては教師信
号を用いないニューラルネットワークを適用した場合も
本願発明の権利範囲内である。

以上の実施例１−８において、多層ニューラルネット
ワークあるいは相互結合ニューラルネットワークを前提
に説明したが、補正ニューラルネットワークとして多値
教師信号を用いて学習させることができるニューラルネ
ットワークであれば、上記以外のニューラルネットワー
クを用いても良い。

産業上の利用可能性 以上述べたように、本発明の並列多値ニューラルネッ
トワークは、入力に対して主ニューラルネットワークと
少なくとも１つ以上の補正ニューラルネットワークとを
入力に対して並列に接続し、それぞれを順次学習させ、
それぞれの主及び補正ニューラルネットワークから多値
スレショルド回路を介して得られた多値出力ユニット信
号を加法演算することにより、学習用入力信号に対して
所望の多値出力信号を送出させることが簡単に出来る。

更に、本発明の並列多値ニューラルネットワークにお
いて、補正ニューラルネットワークを順次学習させる際
に、誤差（差分）を基に少ない種類で而も互いに距離が
離れた多値補正教師信号を生成し、これを用いて補正ニ
ューラルネットワークを学習させることにより、その収
束速度を大幅に改善でき、学習用入力信号に対して所望
の多値出力信号を容易に送出させることができる。

従って、従来方式によるニューラルネットワークに比
べて、一段と少ない中間層ユニットあるいは隠れユニッ
トを用い、且つ非常に少ない学習回数と低い演算精度を
持った重み係数とで高速かつ確実に並列ニューラルネッ
トワークを等価的に収束させ所望の出力信号を送出する
ことができ、そのハードウェア規模あるいは演算規模を
大幅に削減できる。

本発明の並列多値ニューラルネットワークを用いるこ
とにより、実現が困難な大規模な多値論理回路などを短
時間で自由に設計し実現することや、これまで迅速な学
習が必要で、且つ完全な収束が要求される人口知能シス
テムや検索システム、データ変換、データ圧縮、多値画
像処理さらには通信システムなどへの幅広い応用ができ
るなどの非常に幅広い効果を有している。

また、学習した重み係数をそれぞれ複数組用意し、本
発明の並列多値ニューラルネットワークの重み係数を切
り替え設定すれば、一定遅延を持ったプログラマブルな
大規模可変多値論理回路も容易に実現でき、また、状況
に応じて短時間で学習仕直すことにより同一ハードウェ
ア上に新たな大規模多値論理回路も実現出来る。特に、
本発明の並列多値ニューラルネットワークを低い内部演
算精度を持った同一の複数のニューロLSIチップを用い
て構成することにより、並列処理機能と柔軟性に富んだ
多値論理演算処理の効果的な利用ができ、また等価的に
完全に収束させられることからも、本発明の並列多値ニ
ューラルネットワークを複雑に組み合わせた大規模多値
ニューラルネットワークを容易に構成することも可能で
ある。

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06G 7/60 G06N 1/00

Claims (5)

(57)【特許請求の範囲】
1. 【請求項１】主ニューラルネットワークと少なくとも１
   つ以上の補正ニューラルネットワークとを入力に対して
   並列接続し、予め用意された学習用入力信号に対して多
   値原教師信号を用いて学習させた該主ニューラルネット
   ワークと、該主ニューラルネットワークの出力ユニット
   信号を多値化し多値出力ユニット信号を出力する多値ス
   レショルド回路と、該補正ニューラルネットワークの出
   力ユニット信号を多値化し多値出力ユニット信号を出力
   する多値スレショルド回路と、該学習用入力信号に対す
   る該主ニューラルネットワークから該多値スレショルド
   回路を介して得られた該多値出力ユニット信号と多値原
   教師信号との多値の誤差を、該補正ニューラルネットワ
   ークから該多値スレショルド回路を介して得られた該多
   値出力ユニット信号を用いて補正できるよう学習させた
   少なくとも１つ以上の該補正ニューラルネットワーク
   と、主及び補正ニューラルネットワークから該多値スレ
   ショルドを介して得られた該多値出力ユニット信号をそ
   れぞれ加法演算し送出する手段とを少なくとも具備し、
   該主ニューラルネットワークから該多値スレショルドを
   介して得られた該多値出力ユニット信号内の該誤差を補
   正して所望の多値出力信号が得られるよう構成した並列
   多値ニューラルネットワーク。
2. 【請求項２】主ニューラルネットワークと少なくとも１
   つ以上の補正ニューラルネットワークとを入力に対して
   並列接続し、予め用意された学習用入力信号に対して多
   値原教師信号を用いて学習させた該主ニューラルネット
   ワークと、該主ニューラルネットワークの出力ユニット
   信号を多値化し多値出力ユニット信号を出力する多値ス
   レショルド回路と、該補正ニューラルネットワークの出
   力ユニット信号を多値化し多値出力ユニット信号を出力
   する多値スレショルド回路と、該多値原教師信号と該学
   習用入力信号に対する該主ニューラルネットワークから
   該多値スレショルド回路を介して得られた該多値出力ユ
   ニット信号との多値の誤差を求め、少なくとも一部の誤
   差のパターンを予め決められたパターンに変換した誤差
   を補正教師信号とし学習させた該補正ニューラルネット
   ワークと、該補正ニューラルネットワークから該多値ス
   レショルド回路を介して得られた該多値出力ユニット信
   号を基に変換されたパターンを逆変換し元の多値の誤差
   に戻し、主ニューラルネットワークから該多値スレショ
   ルド回路を介して得られた該多値出力ユニット信号と加
   法演算し送出する手段とを少なくとも具備し、該主ニュ
   ーラルネットワークから該多値スレショルドを介して得
   られた該多値出力ユニット信号内の該誤差を補正して所
   望の多値出力信号が得られるよう構成した並列多値ニュ
   ーラルネットワーク。
3. 【請求項３】請求の範囲２に記載の並列多値ニューラル
   ネットワークにおいて、該誤差を誤り訂正符号処理を用
   いて変換し補正教師信号とすることを特徴とした並列多
   値ニューラルネットワーク。
4. 【請求項４】請求の範囲１、２及び３に記載の並列多値
   ニューラルネットワークにおいて、最終段の補正ニュー
   ラルネットワークの学習の際に、該補正ニューラルネッ
   トワークから多値スレショルド回路を介して得られた多
   値出力ユニット信号がその多値補正教師信号と完全に一
   致しない場合、該最終段補正ニューラルネットワークの
   隠れユニット数を増やし再度学習させ該多値出力ユニッ
   ト信号と該多値補正教師信号とを完全に一致させること
   を特徴とした並列多値ニューラルネットワーク。
5. 【請求項５】請求の範囲１、２、３及び４に記載の多値
   ニューラルネットワークにおいて、最終段補正ニューラ
   ルネットワークの学習の際に、該補正ニューラルネット
   ワークから多値スレショルド回路を介して得られた多値
   出力ユニット信号がその多値補正教師信号と完全に一致
   しない場合、主ニューラルネットワークあるいは前段の
   補正ニューラルネットワークの学習回数や隠れユニット
   数を増やしそれぞれ再度学習しなおし、該最終段補正ニ
   ューラルネットワークからの該多値出力ユニット信号を
   完全に該多値補正教師信号に一致させることを特徴とし
   た並列多値ニューラルネットワーク。