JP2810202B2 - ニューラルネットワークによる情報処理装置 - Google Patents

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、従来の計算機では解決困難なパータン認識
など、各種の情報を統合している情報処理を行うニュー
ラルネットワークの構成に関する。

〔従来の技術〕

従来、パラレル・ディストリビューティッド・プロセ
ッシングＩとII（1986年）（Parallel Distrubuted Pro
cessing I and II,（1986）で述べられているように、
データとデータの一対一関係の記憶・学習法があった。

〔発明が解決しようとする課題〕

上記従来技術は、入力データの質的に異なる特徴を混
合して情報処理することによりネットワークの所望のタ
スクを充分に実行できる、などのニューラルネットワー
クの特性を充分に考慮していないため、パータン認識を
始め、時系列データなど時間的変化を扱う情報処理を充
分に行うことができなかった。

本発明の目的は、入力データの質的に異なる特徴を個
別に処理、記憶し、とりまく環境の不確定性要素を考慮
した上で、各特徴の統合処理を具備したことを特徴とす
るニューラルネットワークによる情報処理装置を提供す
ることにある。

〔課題を解決するための手段〕

上記目的を達成するために、第１図に示すように、次
元の異なる各種の情報を統合して処理するニューラルネ
ットワークによる情報処理装置において、確定的な入力
データに対しては後の処理の混同を避けるため、前処理
を経て、階層的特徴抽出器102で前処理106を通過したデ
ータを予めいくつかの特徴に分けて別々のデータとして
扱い、それぞれの特徴データ107に対応するニューラル
ネットワーク群103の学習機能付ニューラルネットワー
ク108でそれぞれの特徴データを並列的に学習により記
憶する。取り巻く環境の不確実であいまいな外部要因11
0であるデータは、競合・協調型ニューラルネットワー
クでニューラルネットワーク処理をした後、異種情報統
合ロジック生成装置104で特徴データの合成に必要な情
報を決定する。最後に、競合・協調型ニューラルネット
ワークで処理した不確定的な入力データを用いて入力時
に分離した特徴データを学習機能付異種情報合成装置10
5で合成し、最終的な出力情報109とする情報処理を行な
う。

〔作用〕

第１図において、まず、入力データ数に対応した１あ
るいは複数個のニューロンで構成されたネットワークの
入力部からデータを入力し、ニューロンで処理できるよ
うに例えば０と１の間の値になるように規格化し、更に
必要に応じて量子化し、時系列データ処理、プロセス制
御など対象に応じて、例えば平均的挙動に不可欠な大域
的特徴、微細な変動を表わす局所的特徴など、必要な異
なる特徴がネットワークの出力部に位置するニューロン
から出力を可能とする。

ニューロン間は情報伝達効率を変更できるシナプスで
結合され、各ニューロンは重み付き総入力の値に応じて
その出力を決定するしきい値論理を実行し、それらが必
要に応じた規模の数で結合した入力層と出力層を含む２
層あるいは２層以上の多層型ニューラルネットワークで
構成され、階層的特徴抽出器からの出力データを入力層
および出力層に与え、過去の事例から学習により学習機
能付ニューラルネットワークへの入力と出力との対応関
係つまり写像をシナプス結合の値を調整することでシナ
プス結合間に分散的に学習により記憶する。

異種情報統合ロジック生成装置では、統計的な手段
で、測定不可能な１あるいは複数の未知要因に対する因
果関係を頼りにした競合・協調型ニューラルネットワー
クの出力として、不確実であいまいなデータの最終的な
情報処理に与える影響、たとえば階層的特徴抽出器で抽
出された特徴データの重み付けに関するルールなどを決
定する。

学習機能付異種情報合成装置において、異種情報統合
ロジック生成装置からの出力データから、たとえば階層
的特徴抽出ネットワークで抽出された特徴データの重み
付けに関するルールに含まれる１あるいは複数のパラメ
ータを過去の事例からニューラルネットワークで学習
し、決定する。

〔実施例〕

以下、本発明による実施例を述べる。

具体的な例として、以下では時系列データ処理を扱
う。ニューラルネットワークを用いた時系列データ処理
方式は、静的信号処理、静止画像処理のような静的な処
理に比べると、かなり進展が遅いように思われる。通常
の多層ニューラルネットワークは、入力データとそれに
対応する一般に符号化されたデータの写像関係を学習に
より記憶するように設計されている。それ故、時間的要
素に入る余地はなく、時系列データのようなダイナミッ
クスを対象にする場合には、ネットワークの構成を新た
に設計しなければならない。勿論、時系列データにして
も、ある系列（時間）区間のデータを一まとめのパター
ンと見なし静的に考えるならば、既に提案されているニ
ューラルネットワークでも処理できる。しかし、時系列
としての重要な時間相関が全く無視される。これまで時
系列データ処理として成功をおさめたと言えるものは必
ずしもなく、時間経過の重要な音声関係ですらも静的デ
ータの写像の記憶問題として捉えられている程度にすぎ
ない。時系列に本質的な時間相関の学習記憶という観点
からネットワークの設計しているものは、文献等では見
当らない。

本発明の一実施例である株価の動向を予測において
は、従来のプロセス系とは異なり対象のダナミックスが
あまり明確ではなく、しかも不特定多数の外部要因が存
在するのではないかと思われるほど複雑な挙動を示す。
本実施例では長期間先の予測を前提にした時系列データ
処理が可能なニューラルネットワークの提案を行なう
が、測定不能な不確実環境下における一般的な問題に対
してもデータ処理が可能な方式になっている。ここで扱
う問題は予測問題に限定されているが、状態推定など一
般の制御問題にも有効に使えるものと期待している。以
降は、本発明で提案するニューラルネットワークの基本
構想、およびその詳細処理内容を述べ、最後に本発明の
有効性を示すために、不確認な環境下における時系列デ
ータの典型的な例として、株価データの動向予測に応用
する。

以下に、ニューラルネットワークを時系列データ処理
に応用する場合に克服しなければならない３つの課題に
ついて列挙する。

時系列データ処理に限らずニューラルネットワークを
応用する場合にまず考慮しなければならないことは、ニ
ューロンの出力関数としてシグモイドのような非線飽和
関数を用いていることである。なぜならば、この飽和性
のため、変動成分が大きいデータに対してはそれが必要
であろうが不必要であろうがスムーズにしてしまい、デ
ータの変動が消滅させる効果がある。この効果のため、
ノイズが付加された情報に対しても一見軟柔な連想処理
ができるかのように見えるのが、変動成分に意味がある
一般の系列データを対象にする場合には十分気を付けな
ければならない。おそらく最も確実な方法は、このよう
な変動成分を予め元のデータから取りだして独立に処理
することであろう。ここでは、この処理を入力データの
特徴抽出処理と考える。

次に、長期間先の予測を前提にした時系列データ処理
に応用する場合を想定すると、まず静的データ処理と時
系列データ処理との間には本質的な考えの相違がある。
静的データ処理方式はパターンとパターンの写像の記憶
問題であるが、時系列データはそうではなく、ある時刻
のデータと次の時刻のデータとの関係、つまり時間相関
を決定することが本質的な課題である。別な言い方をす
ると、対象の動的過程を何等かの方法で決定することで
ある。この処理過程は出力情報を入力側にフィードバッ
クすることにより、出力データの各データを一あるいは
数時刻前のデータと関連させることができるフィードバ
ックニューラルネットワークで行う。

最後に考慮しなければならないことは、データの変動
に影響する不特定多数の外部的要因である。既知の特定
外部要因は別にしても、事実上、全ての外部要因を特定
できるわけではなく、しかもかなり多数存在する場合が
ほとんどである。このため、不特定多数の外部要因の影
響をマクロに捉え、要因が多数あることを積極的に取り
入れて、シナージェティック的な統計手段でこのマクロ
な影響を決定する手段（モデル）を提供する。実際のデ
ータを利用してこの統計手段の有効性を確認した。各処
理の詳細な説明に入る前に、第１図を用いて全体システ
ムのデータの流れについて大まかに説明する。

与えられた異種情報101の時系列データをN_N（Ｎ＝1,
2,3,……）で表わす。データ処理の第一段階は、X_Nの特
徴をどのように捉えるかである。つまり、ニューラルネ
ットワークへの入力としてX_Nをそのまま用いるのか、そ
れともなんらかの加工したものを用いるべきかである。
当然、対象に依存することであるが、ここで第５図に示
すように２種類の加工データを考える。一般的なニュー
ラルネットワークの性質として、ニューロンの出力関数
として飽和関数（シグモイド）を利用しているので、元
のデータ501を滑らかにする傾向がある。つまり、ノイ
ズ除去の効果を持っている。しかし、後で述べる株価デ
ータのように変動そのものが重要な場合には、飽和関数
のノイズ除去効果により変動成分が消去されてしまうこ
とになる。そこで、変動そのものを別なデータ503とし
てX_Nから、例えば微分演算を施して利用する。さらに、
高次の変動が必要な場合には、高階の微分をとれば良
い。別な方法としては、たとえば幅の異なるガウシアン
フィルターを用意すれば同様の処理を行なうことができ
る。このようにして分離したデータを、仮りにＹデー
タ、Ｘデータと名付けることにする。これらのデータを
外部要因の影響をシナージェティック的な統計手段で決
定するモデルを考慮して合成し、最終的な予測データを
出力する。

階層的特徴抽出器102では、第５図に示すように、与
えられた時系列データ501をX_N＝αX_YN＋（１−α）X_XN
のように大域的特徴502を表わすＹデータと局所的特徴5
03を表わすＸデータに分解する。

このようにY,Xと名付けた系列データは、以下のよう
にして与えられたデータX_N（Ｎ＝1,2,3,………）から構
成する。（第22図） 特徴を抽出するために構成されたネットワーク2201か
ら、次式に従ってデータを分割2202する。

X_YN＝X_N （１） X_XN＝｛X_n＋Σ_ｊ＝_ｎ▽X_j｝ （２） ここに、αは０から１までの正のパラメータで、Ｙと
Ｘのデータの混合比率を表わす。式（１）では、元のデ
ータX_Nをそのまま用いているが、ニューロンの飽和出力
関数の特性を利用して、ノイズなどの不必要な情報を除
去したデータが得られる。もっとも、陽に平均操作を施
したデータ＜X_N＞でも良い。ＸデータはX_Nの局所的な特
徴、つまり変動成分を表わすようにしたいので、ここで
はX_Nをある基準時刻における値X_nから、差のデータ▽X_j
を用いて表現することにした。データの局所的特徴はこ
れ以外にも、たとえば幅の異なるガウシアンフィルター
処理でも抽出できるが、最も単純な上式を利用すること
にする。ＹとＸのデータは、例えば、第４図に示す簡単
な結合定数を固定したネットワークで生成できる。前処
理された各データ401は、それぞれ入力層402から出力層
403に伝播し、入力層のニューロンと出力層のニューロ
ンは各データ処理に応じて、正負の値をもつ定数404で
結合されており、出力データ405が取り出される。

ニューラルネットワークで学習するデータは結局X_Nと
▽X_jで、予測時刻以前の過去の時系列データを教師デー
タとして使用する。勿論、これらのデータは独立ではな
いが、ニューロンの飽和出力関数を考慮し、データの変
動分は独立した別のデータと考えた。ここで暗に対象と
している株価データは、この変動分が重要な意味をもつ
のであるが、そうでない場合にはこのような分離の必要
性はない。

大域的特徴と局所的特徴の比を表わす定数αはある意
味では学習パラメターになっているが、これを決定する
要因は直接データに内在するものではなく、むしろ外部
的なものと考えられる。しかし、外部的要因は一般には
必ずしも全て特定できるわけではなく、学習可能なパラ
メータにはなりえないのである。しかし、全く決定不可
能というわけではなく、以下に述べる様に、一般の場合
には満足されているだろうと思われるある条件を前提に
すれば、統計的性質を利用した方法で決定できる。

データ群X₁〜X_n601から長期間先のデータ群X_n+1〜X_N6
02を予測する問題に限定する。第６図に示すように、学
習過程においては、ｎ時刻までのデータをすべて利用で
きる。これ以外にも、状態推定など通常の制御処理も同
様に扱うことができるが、ここでは予測問題に限定す
る。従来の単純な多層ニューラルネットワーク的な観点
からは、たとえばX₁〜X_nとX_n+1〜X_Nの写像関係の記憶と
して捉えることになるであろう。しかし、これでは最初
の予測出力データX_n+1は別にしても、それ以降のX_n+2〜
X_Nは各出力データに関連しているはずの一あるいは数時
刻前のデータの影響が全く無視されてしまう。これで
は、時系列データとしての特質は全く意味をなさず、通
常のパターン間の写像と異なることがない。系列デー
タ、一般に既知、あるいは未知の関数Ｆを用いて、 X_j＝Ｆ（X_j-1,X_j-2,……）ｊ＝1,2,3,…… （３） と書けることから容易に理解できる。別な言い方をする
と、時系列データ処理はパターン間の写像記憶ではな
く、データ間の相関関係の連想、つまり関数Ｆを決定す
ることである。

ここで提案する時系列データ処理用のニューラルネッ
トワークの入出力関係を第６図に示す。

このネットワークは大域的特徴Ｙと局所的特徴Ｘの両
データに共通して用いるが、もちろん、ニューロン間の
結合定数はそれぞれ異なる。それぞれのネットワークを
Ｙ記憶、Ｘ記憶名付ける。ネットワークの特徴は、図に
示すように出力情報入力側にフィードバック605されて
いることにある。このフィードバックにより、出力デー
タ群Y_n+1〜Y_Nの各データを一あるいは数時刻前のデータ
と関連させることができる。ところが、このフィードバ
ック605が存在するために一時刻先の予測は当然可能で
あるが、本実施例の課題である長期間先の予測は原理的
に不可能になってしまう。そこで、学習過程においては
すべてのデータが利用できるのでフィードバック605が
存在しても何等支障がないが、第７図に示すように、認
識過程（予測過程）においてはフィードバックをカット
できるようにする。これを達成するために、出力データ
に対応する入力データとして、 |X_j−Y_j| ｊ＝ｎ＋1,n＋2,……,N ｜▽X_j−▽Y_j| ｊ＝ｎ＋1,n＋2,……,N （４） を用いることにした。絶対値を付けたのは、ニューロン
への入力が正に限られているからである。学習過程が終
了すると、X_j＝Y_j,j＝ｎ＋1,n＋2,…,Nが実現している
はずなので、期待どおり認識過程においてはフィードバ
ックが消滅する。しかしながら、学習過程で時系列デー
タとしての相関関係はニューロン間の結合定数に分散記
憶604されているので、単なるパターン間の写像とは本
質的に異なる。尚、入力が０になってもニューロンの出
力特性から0.5が出力されるので、常にニューロンは活
動状態にある。

〔アルゴリズム〕（第23図） ：演算の開始。（2301） ：係数定数W_ij（ｌ）の初期値を設定する。（2302） ：各対象に対し各層のニューロンの状態X_i（ｌ）を決
定する（2303） ：教師情報を用いて出力層でのZ_i（Ｌ）を計算する。
（2304） ：出力層に結合する係数定数W_ij（Ｌ）を、Z_i（Ｌ）
を用いて決定する。（2305） ：下層のZ_i（ｌ）を、上層ですでに決定されているW
_ij（ｌ＋１）から求める。（2306） ：の処理を入力層まで繰り返す。（2307） ：以上の様にして決定されたW_ij（ｌ）を初期値と
し、フィードバック項式（４）を入力層に入力する。
（2308） ：繰返しを終了するかどうか収束判定をし、収束しな
ければ、からの処理を繰返す。（2309） ：収束すれば、演算を終了。（2310） 時間相関を取り入れる方法は上記の方法以外にも、た
とえば、学習の初期過程において式（４）に代わりX_jお
よび▽X_jをフィードバックし、それ以降はフィードバッ
クを強制的に０におくことも可能であろう。

以上で、学習機能付ニューラルネットワークの入出力
関係の特徴を述べたが、具体的には多層（以下の例では
３層）ニューラルネットワークを前提とする。

最後に、学習機能付異種情報合成装置105で決定する
のがパラメータαである。先に述べたようにこれを決定
する外部要因は必ずしも全て特定できるわけではないの
で、何か別のアプローチで必要である。ここでは、外部
的要因が多数あるとの前提を積極的に利用して、シナー
ジェティック的な統計手法でαを決定する手段（モデ
ル）を導く。外部的要因はいずれにしてもデータX_Nに反
映されるものであるが、αはもともと大域的な特徴と局
所的な特徴の比率を表わすパラメターであることを考慮
すると、間接的に外部要因の全体的な影響を一つのパラ
メターに縮約して表したのがデータのバラツキ▽X_N/X_N
と考えられる。このバラツキは時刻に依存するので、簡
単に、η＝max｛▽X_N/X_N｝をスカラー指標とする。結
局、課題はηの関数としてαを決定することである。こ
の関数を、ファジー理論ではメンバシップ関数と呼ばれ
ている。

今、外部要因を添字ｊで表わし、αにも添字を付け
る。定義から、０≦α_ｊ≦１である。これは、各外部要
因はそれぞれηに与える影響度は異なることを示すもの
である。この定義から各外部要因に対して、エネルギー
関数−α_ｊη^２なる関数を最小化するようにα_ｊが決定
されているとモデル化できる。ここにη^２はデータの揺
らぎの分散的な大きさを示すもので、揺らぎの小さいと
きは、α_ｊ＝１となり、そうでない場合にはα_ｊ＝０を
選択する。つまり、揺らぎの小さい平均的な挙動が重要
な場合には、データＸを用い、変動の大きな場合には、
むしろ変動分表わすデータＹを重視する。一般には、そ
の中間的な地を採ることになる。更に、ある要因ｉと別
な要因ｊが同調あるいは競合して変動するものとすれ
ば、外部要因すべてについて重み付け和をとると、 Ｅ＝−∫Σ_ijk_ij（η^２α_ｉ）（η^２α_ｊ）Π_kdα_ｋ
（５） なるエネルギーが仮定できる。ここに、正定数k_ijは重
みを表わす。これを全エネルギーとし、確率分exp（−
Ｅ）で平均したパラメター＜α＞＝Σ_ｊ＜α_ｊ＞／（要
因数）を求めると、 ＜α_ｉ＞〜∫α_iexp（−Ｅ）ｄα_i/exp（−Ｅ） 〜1/η^２ （６） となり、η^２に逆比例することになる。この結果は異種
情報統合ロジック作成器104で与えられる。

実施例として株価の動向予測を選んだ理由は、従来の
プロセス系とは異なり対象のダナミックスがあまり明確
ではなくしかも不特定多数の外部要因が存在する複雑な
挙動を示すので、新しい工学的アプローチの必要性のあ
る分野のように思われる。

本発明によるニューラルネットワークによる情報処理
装置の有効性を示すため、時系列データの典型例として
株価データの長期間予測を取り扱う。課題は、与えられ
たデータ群X₁〜X_n（ｎ＝10）から長期間先のデータ群X
_n+1〜X_N（Ｎ＝20）を予測することである。元の株価デ
ータをニューラルネットワークに入力するために、第２
図に示すように、０と１の間に入るように前処理部106
で規格化202しなければならない。ここでは、学習に用
いたメカデータ201を、全学習データの平均を０となる
ように線形変換後、更にシグモイド変換を施し、正格化
201した。さらに必要に応じて、量子化処理203を施す。
シグモイド関数の傾きは、最小値は０付近、同じく最大
値は１付近になるように設定した。尚、実数データは、
本来ならばバイナリーデータに変換したほうがニューロ
ンへの入力として適切の様に思われるが、今の所、線形
変換とシグモイド変換をうまく行なえば、バイナリーデ
ータを利用した結果との重大な相違が見出されていな
い。しかも、ニューロン数および結合数が大巾に増える
ので、以下に示すシミュレーション実験では上記の様な
方法を用いる。学習過程のネットワークの入力は20個、
中間層は40個、出力は10個のニューロンで構成し、認識
過程では入力データ用のニューロンは10個である。使用
した株価データは日足データなので各データの添字は日
をあらわすが、実質的には日はあまり意味がないのでこ
こでは単位と呼んでおくことにする。学習に使用したデ
ータは64単位であり、２単位おきに順番に学習に用いた
ため、合計22組のデータを教師として利用した。尚、す
べてのデータが入力されるようにランダムに選んだ10組
の教師データでも、ほぼ同じ学習結論が得られている。
Ｘデータ、Ｙデータとも各教師データを100000回逆伝播
法（学習係数は0.5で、慣性項は考えていない）で学習
させた。出力誤差は10^-2〜10^-3程度である。

先に、大域的特徴と局所的特徴の比αがη^２に逆比例
することを理論的に導いた。学習時の用いたデータで最
も適したαをプロットすると、この関係が確かに成立
し、しかも、比例係数が23となることがわかる。この関
係を用いれば、予測の際にも過去のデータ変動成分から
αを決定できるので、予測データαX_YN＋（１−α）X_XN
が決定できる。

株価データ803の動向予測の一例を第９図に示す。図
中、予測期間801を矢印付の太線で、予測期間中の実際
の株価データを細線で表す。むろん、予測期間中の実際
の株価データは学習にはいっさい使用していない。全体
的には絶対値、傾向ともほぼ満足のいくものである。た
だし、９単位先ぐらいになるとやはり実際のデータの傾
向から少しずれてくる。現在、20サンプルのデータで検
証した結果、16サンプルまでが予測できた。つまり、80
％の的中率である。

学習機能付異種情報合成装置903の一使用例に関し
て、以下に述べる。

入力データ群901は重ならないようにして指定された
位置から入力する。各データは指定された順番に従っ
て、同期させて入力するための入力制御装置902で制御
されている。各データに対応した神経回路網の出力を、
必要に応じて外部情報904あるいは内部情報を用いて、
評価するための評価装置905に入力する。そこで計算さ
れた評価値に基づいて、神経回路網を変更するための学
習装置906を動作させる。

第11図は各素子1101の入出力関係を表わす。各データ
の神経回路網への入力方向に従って、たとえば入力1102
に対応して、出力1104、また入力1103に対応させて出力
1105を出す。各素子は神経回路網の内にある位置に従っ
て、ある特定のデータのみを処理する場合もあり、また
第10図のように複雑のデータをある順序に従って処理す
る場合もある。

入力データが２個の場合を例にとり、動作の例を第12
図に従って説明する。各入力データ1201,1202は複数の
素子の状態として表わされるものとし、それぞれの値を
神経回路網1203の端に位置する同数の素子に与える。神
経回路網1203は、しきい値論理素子1206が必要に応じて
互いに結合されているような構造になっている。ただ
し、構造として特徴あることは、この神経回路網は、各
データが処理される素子だけを見れば、それらの素子は
そのデータに対しては、多層構造をした神経回路網を構
成している。従って、全体としては、各データに対応し
た多層型神経回路網を複合して構成したのが第12図の神
経回路網である。従って、入力データ1201と、それに対
応した出力データ1204の対応関係を、各素子間の縮合定
数に分散的に記憶することが可能である。同様に、もう
一つの入力データ1202に対応した出力データ1205との関
係も記憶することが可能となる。さらに本発明による神
経回路網1203の特徴は、各データ間の関係を、各データ
に対応する多層型神経回路網の接する位置に対する素子
1207で、各層型神経回路網の各層ごとに、各データの特
徴的な関係を記憶できる。

第13図は、各入力データの処理プロセスを示す。も
し、データ間の関係を考えなければ（素子1301を無視す
れば）全ての入力データに対し、並列的に処理ができる
ので、入力データ数には無関係に、高速な処理ができる
ことになる。しかし、素子1301を考えると、その素子は
関連するデータを同時に処理する必要があるので、各デ
ータを同期させて入力する。このようにすると、各時刻
においてはどちらかの入力データのみを処理しているこ
とになり、混存することはなくなる。

神経回路網における学習とは、入力データと教師デー
タとの写像関係を、素子間の結合定数の値として記憶す
ることである。一般によく用いられている逆伝播法（バ
ックプロパゲーション法）では、与えられた入力データ
から得られる出力データと教師データとの２乗誤差を０
にするように結合定数を修正する。本発明での学習法で
は、第14図に示すように、入力データ1401と教師データ
1402を同期させて入力する。そして、神経回路網の出力
素子1403から、それぞれのデータに対応した、出力140
4,1405を比較器1406に入力する。ここで、出力素子は、
従来の学習用多層型神経回路網におけるちょうど中間層
の素子に対応するものである。

入力データ1401と教師データ1402から得られる出力デ
ータ1404と出力データ1405の値が等しくなるよう学習装
置1407で結合定数を修正する。このようにすると、入力
データ1401と教師データ1402を一対一に対応させること
ができるので、学習ができることになる。しかも、従来
法とは異なり、同期的な演算処理が可能なので、高速な
学習処理が望める。第15図に、具体的な処理プロセスを
示す。入力データ1501、教師データをそれぞれ読み出し
信号に同期させて神経回路網に入力する。そして、それ
ぞれのデータに対する出力データの２乗誤差1502が、学
習が進むに従って０に収束してゆく。

学習機能付ニューラルネットワーク108において、逆
伝播法はパターン認識等で広く用いられている代表的学
習アルゴリズムである。多層型ニューラルネットワーク
では、第８図に示すように、信号704は入力層701から、
中間層702をへて、出力層703に向かって伝播する。出力
層では記憶すべき対象の符号化された情報が教師情報と
して与えられる。結合定数は予め与えられていないの
で、意味のない出力しか得られない。そこで、出力情報
と教師情報との誤差に基づき結合定数を徐々に変更し、
誤差がなくなるまで繰り返す。逆伝播法はこの考え方を
そのままアルゴリズムの型で与えたものであるが、数学
的に厳密に構成されたものではない。このため、学習速
度、学習手順、学習容量など学習能力に関した重要なこ
とがらはノウハウとして蓄積されているに過ぎない。し
かし、数学的裏付けが欠如し直感的に構成しているにも
関わらず各種の応用が発表されていることから分かるよ
うに予期せぬ高い能力を備えている。特に重要なことが
らは、原理的には学習可能な場合（与えられた学習パタ
ーンをすべて記憶できる十分余裕のある結合定数で構成
されたネットワーク、あるいは単純に学習パターン数と
同サイズの中間層で構成されたネットワーク）にも、例
えば初期値により必ずしも出力誤差が０にならない、つ
まり学習しない場合が多いことである。学習時間の制約
から、あまり結合定数を多くしたくないが、あまり少な
いと学習しにくくなる傾向がある。原理的に学習可能な
程度の少数の結合定数ニューラルネットワークを構成し
たいのであるが、学習可能な初期値設定に苦労すること
になる。このようなトレードオフ関係を改善するために
は、結合定数の初期値に係らず学習できるアルゴリズム
の提案が必要になってきた。

学機能付ニューラルネットワーク108での学習で特に
重要な出力誤差の収束性を保証するように、ランジェバ
ン型確率微分方程式を基礎にした確率学習アルゴリズム
を与えることである。逆伝播法は誤差の最小化を最化降
下法で求めようとしているため、わずかな偶然を除けば
本質的に絶対的な最小化はできない。第16図に示すよう
に、一般に出力誤差1601には多数の極小解1602が存在す
るため、逆伝播法のように確率的要素を内在しないアル
ゴリズムでは極小解に陥るとそこから脱出する術をもた
ない。このため、組み合せ最適化問題などで良く用いら
れている、ゆらぎ1603を利用して極小解から脱出して最
小化するSimulated Anneling法を学習アルゴリズムに適
用した。シミュレーション結果は、予期したように従来
の逆伝播法より学習性能が向上した。

神経回路モデル（第３図）はパターン認識等で通常良
く用いられている多層神経回路網である。入力層から第
ｌ層のｉ番目ニューロン状態をX_i（ｌ）（ｌ＝1,2,…,
L）とし、 X_i（ｌ）＝f_i｛Σ_jW_ij（ｌ）X_j（ｌ−１）｝ （７） と書く。ここに、W_ij（ｌ）はｌ層のｉニューロンとｌ
−１層のｊニューロン間のシナプス結合301、f_iは0,1に
飽和するしきい値関数302で、一般にシグモイド関数305
f_i（Ｚ）＝1/｛１＋exp（−（Ｚ−θ）/T）｝を採る場
合が多いが、階段関数304も用いられる。Ｔは温度に相
当するパラメータ、θはしきい値である。層番号Ｌは出
力層に対応する。式（７）における和はｌ−１層のすべ
ての他ニューロンからの出力303の和をとる密結合構造
でも、ある一定の範囲に存在するニューロンの和をとる
受容野的構造でもよい。

今、記憶パターンがＰ種類あり、その番号をｎ（1,2,
…,P）で表わすと、式（７）をＰ個連立させることにな
り、 X_i ⁿ（ｌ）＝f_i｛Σ_jW_ij（ｌ）X_j ⁿ（ｌ−１）｝（８） なる方程式群を得る。学習として最も重要な事項なこと
は、すべてのパターンを同じ結合定数で記憶できるよう
にすることである。異なる結合定数で記憶するのであれ
ば問題は簡単であり、意味がない。このことは結合定数
にある程度冗長性を持たせることの重要性を示すもので
あり、従来多くの応用で密結合構造を採用している理由
である。

第１の例として従来の代表的学習方法は逆伝播法と呼
ばれるアルゴリズムで、出力層での２乗誤差Ｅ＝0.5Σ
_ｉ（X_i（Ｌ）−D_i）^２を最小にするように結合定数を決
定する。ここに、D_iは学習により記憶させたい対象に対
応する教師情報である。この方法自体最小化を保証しな
いにも関わらず、意外にも収束、つまり学習できる場合
が多い。その理由として、最初に考えられるのは、誤差
０を満たす解はたくさんあっても意外と極小解が少ない
可能性がある。これに関しては、現在にいたるまで明確
な解答が得られていない。第二の可能性は、極小解を避
ける確率的メカニズムがなんらかの方法で入っているこ
とである。可能性として、学習用パターンをランダムに
与えることから生じる確率性があるが、ほとんど効果が
ない。最も重要なことは、結合定数のランダム性によ
る。ほとんどのシミュレーション実験では、結合定数の
初期値として正負の混じった‘乱数’を設定している。
この理由は、すべて同一符号の結合定数だと明らかに意
味のない解しか得られないため、簡単に設定できる乱数
にしている。しかも、学習過程において結合定数のすべ
てが変動するわけではなく、冗長性のため多数の結合定
数が初期値のまま、あるいは初期値付近の値に停留して
いる場合が多い。このため、多くの場合、陽に外部から
確率性を導入することなく結合定数の乱数初期値から極
小解を避ける学習ができている。

以上に述べた逆伝播法における確率性導入の説明か
ら、この確率性を積極的に導入して逆伝播法を確率逆伝
播法に拡張するために、Ｅの最小化ではなく、確率分布 exp（−E/T） の最大化に置き換えよう。ここに‘温度'Tは正の定数
で、ノイズの分散を表わす。確率の最大化（実現状態）
は、結合定数の時間変化としてランジェバン型確率微分
方程式 ΔW_ij（ｌ）＝−η∂E/∂W_ij（ｌ）＋ξ_ij（ｌ）
（９） に等価である。ここに、ηは正の定数で、ξ_ij（ｌ）は
平均値０で分散Ｔの独立な付加ランダムノイズ（以下で
は、白色ガウス分布を仮定する）である。逆伝播法との
違いは単に右辺にランダム項は付加されているだけであ
るが、この項こそが極小解を回避ならしめるのである。
この式は一つの記憶に対する学習としては数学的にも厳
密なものであるが、多数の情報を記憶するとなるとその
ままでは成立せず拡張する必要があるが、しかし、逆伝
播法では厳密な取り扱いがなく、学習方法は上式に従う
結合定数を各記憶対象ごとに適当に繰り返しているに過
ぎない。

式（９）の右辺を具体的に計算すると、確率逆伝播法
として以下のようなアルゴリズムが導ける。

W_ij（Ｌ）＝ηZ_i（Ｌ）X_j（Ｌ−１）＋W_ij（Ｌ）^＊ ＋ξ_ij（Ｌ） Z_i（Ｌ）＝（D_i−X_i（Ｌ））X_i（Ｌ）｛１−X
_i（Ｌ）｝ W_ij（ｌ）＝ηZ_i（ｌ）X_j（ｌ−１）＋W_ij（ｌ）^＊ ＋ξ_ij（ｌ） Z_i（ｌ）＝｛Σ_kW_ki（ｌ＋１）Z_k（ｌ＋１）｝X
_i（ｌ） ｛１−X_i（ｌ）｝ ｌ＝Ｌ−1,…,2,1 （10） 逆伝播法で現われる微小変位ΔW_ij（ｌ）は本来の定
義から離れて、W_ij（ｌ）−W_ij（ｌ）^＊としているので
厳密には逆伝播法はＥの最小化だけを行っているのでは
ないことを注意する必要がある。記憶数が１であればこ
の定式化は厳密にＥの最小化を行うものであるが、多数
のパターンを同時に記憶する場合には意味がはっきりし
ない。たとえば、ランダムに多数のパターンを記憶する
場合には、W_ij（ｌ）とW_ij（ｌ）^＊を決定する過程での
対応するパターンが異なっている。

〔アルゴリズム〕（第24図） ：演算の開始。（2401） ：係数定数W_ij（ｌ）及びノイズの標準偏差の温度の
初期値を設定する。（2402） ：各対象に対し各層のニューロンの状態X_i（ｌ）を決
定する。（2403） ：教師情報を用いて出力層でのZ_i（Ｌ）を計算する。
（2404） ：出力層に結合する係数定数W_ij（Ｌ）を、Z_i（Ｌ）
とランダムノイズξ_ij（Ｌ）を用いて決定する。（240
5） ：下層のZ_i（ｌ）を、上層ですでに決定されているW
_ij（ｌ＋１）から求める。

：の処理を入力層まで繰り返す。（2406） ：以上の様にして決定されたW_ij（ｌ）を初期値と
し、ノイズの標準偏差の温度を、例えば式（18）に従っ
て変更する。（2407） ：繰返しを終了するかどうか収束判定をし、収束しな
ければ、からの処理を繰返す。（2408） ：収束すれば、演算を終了。（2409） 式（10）における付加ノイズを全て独立して生成する
と処理時間が長くなるため、外部ノイズをシナプス結合
数と学習回数の積に相当する数生成することによる長時
間の処理時間を回避することを目的に、第17図に示すよ
うにシナプス結合数に相当するノイズで作成した表1701
と、学習回数に相当するノイズで作成した表1702を用意
し、学習の各繰り返し過程においてシナプス結合に対応
するノイズと学習回数に対応するノイズの積を外部ノイ
ズとする。

第２の例として、同一出願人により特願平１−97350
で提案された最大原理に基づく高速学習アルゴリズムに
ついて述べる。最大原理の出発点はコスト関数Ｊの定義
である。まず、逆伝播法と同じく、出力層での２乗誤差
の最小化を行う関数Σ_ｎΣ_ｉ（X_i ⁿ（Ｌ）−D_i ⁿ）^２を用
意する。形式的には逆伝播法と同じようだが重要な違い
がある。逆伝播では記憶対象についての和がなく、アル
ゴリズムの構成後無理矢理に多くの対象を記憶するよう
に最小化を繰返し用いている。このため、記憶順番を固
定したランダムにしたり別々に求めて最後に足しあわせ
るなど様々な方法が提案されている。本方式では上記の
コスト関数に結合定数の組合せの中から選択するための
項をつけ加えて、次の様なコスト関数Ｊを採用する。

Ｊ＝0.5Σ_ｎΣ_ｉ（X_in（Ｌ）−D_i ⁿ）^２＋0.5Σ_lk（ｌ）
Σ_ｉ Σ_ｊ（W_ij（ｌ）−W_ij（ｌ）^＊）^２ （11） ここに、ｋ（ｌ）は層番号に依存する正の定数であ
り、W_ij（ｌ）^＊は既に記憶されている固定値である。
第二項は新たに学習により結合定数が変更されたとして
も、既に記憶された値からあまりずれないように制御す
るためのものである。最大原理ではコスト関数も方程式
系に組み入れて定式化するので、新しい変数X_S（ｌ）を
用意する。ここに、ｓは層に依存した関数ｓ（ｌ）で、
各層内の最後のニューロンの次の番号を割り当てる。新
しい変数が従う方程式は X_S（ｌ）＝X_S（ｌ−１）＋Σ_ｎΣ_ｉ（X_i ⁿ（Ｌ）−D_i ⁿ）
²/L＋ｋ （ｌ）Σ_ｉΣ_ｊ（W_ij（ｌ）−W_ij（ｌ）^＊）^２（12） と仮定する。右辺を仮りにf_S（ｌ）とおくとコスト関数
の代わりに動的方程式を一つ追加することになるが、取
り扱いが容易となる。次に系のハミルトニアンＨを定義
する。

Ｈ＝Σ_ｌ｛Σ_ｎΣ_iZ_i ⁿ（ｌ）f_i｛Σ_jW_ij（ｌ）X_j ⁿ（ｌ
−１）｝ ＋Z_S ⁿ（ｌ）f_S（ｌ）｝ （13） 本式に現われる変数Z_i ⁿ（ｌ）は補助変数で、最小化
のための重要な変数である。補助変数の従う方程式は随
伴方程式と呼ばれ、Z_i ⁿ（ｌ−１）＝∂H/∂X_i ⁿ（ｌ−
１）より決定される。

結合定数の従う方程式は、ハミルトニアンＨをW
_ij（ｌ）について微分し、０とおくことにより容易に得
られる。入力層と出力層での値が与えられている構成か
ら本質的に２点境界値問題となっているので、解析的に
解法する手段は望めない。一般には繰返し法で収束計算
することになる。

W_ij（Ｌ）＝（l/k（ｌ））Σ_nZ_i ⁿ（Ｌ）X_j ⁿ（Ｌ−１）
＋W_ij（Ｌ）^＊ Z_i ⁿ（Ｌ）＝（1/LT）（D_i ⁿ−X_i ⁿ（Ｌ））X_i ⁿ（Ｌ）・
｛１−X_i ⁿ（Ｌ）｝ W_ij（ｌ）＝（1/k（ｌ））Σ_nZ_i ⁿ（ｌ）X_j ⁿ（ｌ−１）
＋W_ij（ｌ）^＊ Z_i ⁿ（ｌ）＝（1/T）｛Σ_ｋΣ_nW_ki ⁿ（ｌ＋１）・Z_k ⁿ（ｌ
＋１）｝X_i ⁿ（ｌ）｛１−X_i ⁿ（ｌ）｝ （14） 出力層を除いた各層では結合定数に関する和Σ_kW
_ki（ｌ＋１）Z_k ⁿ（ｌ＋１）を求めなければならない部
分があるので、完全ではないが並列化し易いことが推察
できる。出力層以外の層では、結合定数に関する上述し
た和を計算する部分があり、それは原理的に並列化でき
ない。並列化するための方法として、既に決定されてい
る一ステップ前の結合係数を用いれば近似的には可能で
ある。

大規模な神経回路網で計算時間が大幅にかかるところ
はニューロンの状態変化を求めるところではなく、結合
定数の変更部分であることに注意する。特に，添字ijの
全てについて計算しなければならない。ニューロン状態
は、 Σ_jW_ij ^＊（ｌ）X_j ⁿ（ｌ−１）の総入力と結合定数の変
更式においてはΣ_kW_ki ^＊（ｌ＋１）Z_k ⁿ（ｌ＋１）で決
定されるので、これらの量を直接計算した方が得策であ
る。ここでW_ij（ｌ）でなく一ステップ前のW_ij ^＊（ｌ）
を用いたのは学習済の結合定数から次の学習対象に対し
計算をすることによるものである。そこで、これらの和
をΠ_i ⁿ（ｌ）、Ξ_i ⁿ（ｌ）で表わす。

Π_i ⁿ（ｌ）＝Σ_jW_ij ^＊（ｌ）X_j ⁿ（ｌ−１） （15） Ξ_i ⁿ（ｌ）＝Σ_jW_kj ^＊（ｌ）Z_k ⁿ（ｌ−１） （16） 式（14）を式（15）を代入すると上式に対する階差方
程式、つまり学習方程式は容易に求まる。プログラム的
には、２重DOループが１重DOループになり演算が早ま
る。これらの方程式に、逆伝播法と同様に確率要素を導
入すると、 なる階差方程式が得られる、ここに、ξ_i ⁿ（ｌ）は平均
値０で分散Ｔの独立なランダム変数である。初期値が与
えられると順次Π_i ⁿ（ｌ）が計算可能となる。ただし、
初期の繰返しでは係数定数よりΠ_i ⁿ（ｌ）を求めなけれ
ばならないが、全計算量に対してはほとんど無視出来る
程度である。式（17）はニューロンの状態変化量が小さ
い場合の謂わば第１近似に対応するものである。以上の
ようにしてΠ_i ⁿ（ｌ）が決定されると、Ξ_i ⁿ（ｌ）に対
する階差方程式は式（16）から求まる。

学習終了後における結合定数は、Π_i ⁿ（ｌ）＝Σ_kW_ik
（ｌ）X_k ⁿ（ｌ−１）を全記憶対象に対して成立するこ
とを要求することで決まる。たとえば、２乗誤差の最急
降下法から、容易に求められる。ここに、ΔW_ij（ｌ）
は結合定数の変化分で、λは収束計算の定数で一般に１
よりも小さく正である。この時にもやはり、付加ノイズ
の効果を導入する。

シミュレーション実験として確率逆伝播法でも確率高
速学習方式でも確率性導入の効果は同じなので、ここで
は前者のシミュレーション結果のみを報告する。学習用
入力として、４個の適当な図形パターンを用意した。入
力画像1902は16×16ピクセル、出力画像1903も16×16ピ
クセルである。ニューラルネットワーク1901は出力層は
16×16個、中間層は12×12〜３×３個、そしい入力層は
16×16個のニューロンから構成されている（第19図）。
教師パターンと入力パターンを同一にとったので、出力
層は入力層と同じ規模である。また層間の素子は全て結
合したので、結合定数の合計は73728〜4608個となる。
Ｔは変数とし、係数としてη＝0.5を採用し、学習回数
は各学習パターンに対しそれぞれ1000回実行した。

最初の例は、第20図に示すように逆伝播法2001でも収
束し易い場合（中間層は12×12）2004である。出力誤差
2002におけるプラトー（変動がない状態が長く続く状況
を示す）の存在が学習を異常に長引かせている。結合定
数の初期値は−0.01〜0.01の一様乱数である。付加する
白色ガウスノイズの平均値は０、分散はＴであるが、T1
801は通常のシミュレーティッドアニーリング法でよく
用いられるギースンのクーリングスケジュール1802 を利用した（第18図）。ここに、ｔは学習回数1803を示
す。βが例えば0.0316のような大きな値だと言うまでも
なく、付加ノイズに結合定数が支配されてしまい学習が
意味をなさなくなる。また逆にβ＝0.0001のように小さ
過ぎると確率学習として意味がなくなるので、その結果
はほとんど従来の逆伝播法と同じである。βとして0.00
1（初期値の10％程度の乱数）とすると、収束回数がほ
ぼ半分になり、外部乱数の効果が現われる。さらに値を
大きくし、β＝0.01（初期値の50％程度の乱数）にする
と、10^-3までしか収束しないが収束過程が顕著に異なっ
ている。初期のプラトーを回避することができている。
クーリングスケジュールとしては上記以外にも、たとえ
ば でも同様の結果が得られる。

次の例は、逆伝播法ではほとんど収束しない場合（中
間層は５×５〜３×３）である。第21図に出力誤差2101
の学習回数t2102に関する変動を示すが、少なくともｔ
＝1000では10^-2程度までしか収束しない。特に中間層サ
イズが３×３の場合2103には収束がほとんど望めない。
中間層のサイズ以外は上記と同条件であるが中間層をし
ぼったために、冗長な結合定数が少なくなり、学習しに
くくなっている。この例に、 なるクーリングスケジュールで本手法を適用すると、出
力誤差が10^-4までおちる。一般の場合を想定すると、当
然の事ながらこのような初期値設定で悩まされることな
くニューラルネットワークを構成できる。

〔発明の効果〕

本発明によれば、複雑なデータおよびそれらの関係を
別なデータに関係づけることができ、従来の学習のよう
に一対一のデータ対応関係の写像より広範囲な写像を実
現することができる。これにより、例えば、視覚情報や
音声情報を同時に扱うことが可能となり、パターン認識
策を従来以上の精度で行うことができるようになる。

【図面の簡単な説明】

第１図は本発明のニューラルネットワークによる情報処
理装置の全体構成図、第２図は前処理部、第３図はニュ
ーロンの特性、第４図は特徴抽出機構、第５図は特徴デ
ータ群、第６〜第８図は学習機能付ニューラルネットワ
ークの構成図、第９図はシミュレーション例、第10図は
学習機能付異種情報合成装置、第11〜15図はその詳細構
造、第16図は出力誤差の概念図、第17図はノイズ表、第
18図はクリーニングスケジュール、第19図はネットワー
ク構成、第20,21図はシミュレーション例、第22〜24図
はアルゴリズムのフローチャートである。 106:前処理部 107:特徴抽出用ニューラルネットワーク 108:学習機能付ニューラルネットワーク 109:出力情報

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.⁶，ＤＢ名) G06F 15/18 ＪＩＣＳＴ科学技術文献データベース

Claims (15)

(57)【特許請求の範囲】
1. 【請求項１】次元の異なる各種の情報を統合処理するニ
   ューラルネットワークにおいて、確定的な入力データに
   対して予め変動成分に関する特徴データと該変動成分以
   外に関する特徴データに分けて別々のデータとして扱
   い、該各特徴データに対応する学習機能付ニューラルネ
   ットワークで各特徴データを並列的に学習記憶する階層
   的特徴抽出器と、不確定な入力データに対して競合・協
   調型ニューラルネットワークでニューラルネットワーク
   処理した後、特徴データの合成に必要な情報を決定する
   異種情報統合ロジック生成装置と、前記競合・協調型ニ
   ューラルネットワークで処理した不確定な入力データを
   用いて入力時に分離した特徴データを合成し、最終的な
   出力データとする学習機能付異種情報合成装置とからな
   ることを特徴とするニューラルネットワークによる情報
   処理装置。
2. 【請求項２】前記階層的特徴抽出器は、入力データ数に
   対応した１あるいは複数個のニューロンで構成されたネ
   ットワークの入力部からデータを入力し、ニューロンで
   処理できるように所定範囲の値に規格化および、量子化
   し、平均的挙動に不可欠な大域的特徴と、微細な変動を
   表す局所的特徴とをネットワークの出力部に位置するニ
   ューロンから出力するネットワーク構成からなることを
   特徴とする請求項１項記載のニューラルネットワークに
   よる情報処理装置。
3. 【請求項３】前記学習機能付ニューラルネットワーク
   は、ニューロン間は情報伝達効率を変更できるシナプス
   で結合され、各ニューロンは重み付き総入力の値に応じ
   てその出力を決定するしきい値論理を実行し、各ニュー
   ロンが必要に応じた規模の数で結合した入力層と出力層
   を含む２層あるいは３層以上の多層型ニューラルネット
   ワークで構成され、前記階層的特徴抽出器からの出力デ
   ータを入力層および出力層に与え、過去の事例から学習
   した学習機能付ニューラルネットワークへの入力と出力
   との対応関係をシナプス結合の値を調整することでシナ
   プス結合間に分散的に記憶する手段を有することを特徴
   とする請求項１記載のニューラルネットワークによる情
   報処理装置。
4. 【請求項４】前記異種情報結合ロジック生成装置は、階
   層的特徴抽出器で抽出された特徴データの重み付けに関
   するルールを競合・協調型ニューラルネットワークを用
   いて統計的な手法により決定する手段からなることを特
   徴とする請求項１記載のニューラルネットワークによる
   情報処理装置。
5. 【請求項５】前記学習機能付異種情報合成装置は、請求
   項４記載の異種情報統合ロジック生成装置からの出力デ
   ータに基づき、階層的特徴抽出器で抽出された特徴デー
   タの重み付けに関するルールに含まれる１あるいは複数
   のパラメータを過去の事例から学習し、決定することを
   特徴とする請求項１記載のニューラルネットワークによ
   る情報処理装置。
6. 【請求項６】前記階層的特徴抽出器は、データを異なる
   特徴に分離する過程を、サイズの異なるフィルターによ
   るか、または対応するシナプス結合を固定した２層ある
   いは２層以上の多層型ニューラルネットワークにより実
   現することを特徴とする請求項２記載のニューラルネッ
   トワークによる情報処理装置。
7. 【請求項７】時系列データの識別、認識あるいは予測処
   理において、連続するデータの時間相関関係を学習する
   ために、学習機能付ニューラルネットワークの入力部に
   時間的に連続する学習用の時系列データを供給し、出力
   部に時間間隔の学習用の時系列データを供給し、出力部
   のデータをこれに対応する時刻の入力部におけるデータ
   にフィードバックし、学習終了後の認識過程ではフィー
   ドバックした入力部には常に０あるいは固定値を供給す
   ることを特徴とする請求項３項記載のニューラルネット
   ワークによる情報処理装置。
8. 【請求項８】出力部における学習機能付ニューラルネッ
   トワークの出力と予め希望する値として与えた教師デー
   タとの出力誤差の最小化のための収束過程、つまり学習
   課程において、多層ネットワークの中間に位置する中間
   層のニューロン数を分類に必要な程度の数、あるいはそ
   の数をできる限り少なくする場合には、出力誤差の局所
   解であるローカルミニマムを回避し、かつ収束過程で出
   力誤差が増加する超過学習を避けるために、シナプス結
   合の変更則において外部ノイズを付加することにより確
   率性を利用することで所望の出力誤差の最小化を保証す
   ること特徴とする請求項３項記載のニューラルネットワ
   ークによる情報処理装置。
9. 【請求項９】請求項８記載のシナプス結合則に付加する
   外部ノイズを全てのシナプス結合について学習過程にお
   いて毎回算出する代わりにシナプス結合の数だけノイズ
   値を算出し、該ノイズ値を格納したノイズ表と、学習回
   数だけノイズ値を算出し、学習回数のノイズ値を格納し
   たノイズ表を予め用意し、学習過程においては、シナプ
   ス結合に関するノイズ表に格納された値と学習回数に関
   するノイズ表に格納された値との積を算出し、該算出値
   をシナプス結合則に付加する外部ノイズとすることを特
   徴とする請求項８項記載の学習機能付ニューラルネット
   ワーク。
10. 【請求項１０】請求項９記載のシナプス結合則に付加す
    る外部ノイズを利用して出力誤差の最小化を保証するた
    めに、外部ノイズと学習回数に依存して０まで低下する
    変数との積を改めて外部ノイズとしてシナプス結合に付
    加することを特徴とする請求項８項記載の学習機能付ニ
    ューラルネットワーク。
11. 【請求項１１】同質、あるいは異質のデータ群を同期を
    とりながら入力し、それらのデータ群およびそれらの関
    連を外部あるいは内部情報に多対一に対応づけることを
    目的に、多入力一出力のしきい値論理素子で構成された
    ラティス状の神経回路網において、重ならないようにし
    た回路網の各入力位置からそれぞれのデータを入力し、
    それぞれ定められらた方向に伝播させ、出力位置におい
    て各データに対応した情報を出力し、各出力情報を外部
    あるいは内部情報にマッチングするように、各素子間の
    結合を修正することで神経網を変更することを特徴とす
    る請求項４項記載の学習機能付異種情報合成装置。
12. 【請求項１２】各入力データを同期させて入力すること
    により、各素子はいずれかの入力データに対応したデー
    タを処理し、神経網全体としては常に全ての入力データ
    を並列的に処理することを特徴とする請求項４項記載の
    学習機能付異種情報合成装置。
13. 【請求項１３】各入力データは、その入力データのみが
    処理されていくプロセスは多層状の神経回路網を入力層
    から出力層に伝播してゆくプロセスと等価であり、素子
    間の結合を修正することで入力データに対応する出力デ
    ータと外部あるいは内部で与えられた情報に一対一に写
    像できることを特徴とする請求項４項記載の学習機能付
    異種情報合成装置。
14. 【請求項１４】出力データは各入力データに対応した出
    力データ群と、入力データ間の関連データから構成する
    ことを特徴とする請求項４項記載の学習機能付異種情報
    合成装置。
15. 【請求項１５】各出力データおよびそれらの関連情報を
    横軸に、それらのデータに対するそれぞれの認識率をた
    て軸にとりグラフを作成すると、このグラフでデータ間
    の関連に関するあいまいさを表現することが可能とな
    り、あらかじめ定めておいたあいまいさを表現する関数
    と比較することにより機械的に、あるいはマンマシンイ
    ンターフェースを通じて対話的にデータ間の関連を判断
    することを特徴とする請求項４項記載の学習機能付異種
    情報合成装置。