JPH0276062A - 神経回路網の構成方法および神経回路網 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、パターン認識、機械やシステムの制御等に用
いられる層状の神経回路網を構成・設計する方法とその
結果実現される神経回路網に関する。

〔従来の技術〕

神経回路網は、生物の神経素子の働きを模した第１４図
に示すような多久カー出力の人工的神経素子を多数結合
することにより、信号処理、情報処理の機能を実現する
回路網の総称である。第１４図において、１は神経素子
への入力（Ｘ□〜ｘｎ）、２は各々の入力と神経素子本
体を結ぶ枝であり、入力が神経素子の内部状態に影響す
る度合を表わす荷重を持っている。３は神経素子本体、
４は神経素子の内部状態を出力信号に変換する時の特性
を表わす出力関数、５は神経素子からの出力（ｙ）であ
る。最も典型的に用いられる神経回路網の入出力関係は
１次の式で表わされるようなものである。

こ＼で、ｘｉはｉ番目の入力値、Ｗｉは１番目の入力に
ついての重み、Ｎは入力線の本数、ｙは出力、ｆ　（ｘ
）は出力関数、ａは神経素子の感度、θはいき値を表わ
す、これらの神経素子が層状あるいは網状に結合されて
神経回路網を構成する。

第１５図は層状神経回路網の構成例で、３は第１４図に
示したような神経素子本体であり、６の部分は入力層、
７の部分は出力層、８および９の部分は中間層もしくは
隠れ層、１０の部分は入力層から中間子への枝、１１の
部分は異なる中間層の間を結ぶ枝、１２の部分は中間層
から出力層への枝である。この層状神経回路網は、１３
に示す入力ｘ１〜ＸＱを１４に示す出力ＺＬ””’！、
に変換する機能を持つ。一般に入力の次元数、中間層で
の次元数、出力の次元数は異なっている。

第１６図は網状神経回路網で、神経素子が網状に結合さ
九ている６なお、網状神経回路網は本発明の対象外であ
るので、詳細な説明は省略する。

神経回路網の機能は、このような神経素子の結合の仕方
と、入力線に対する重みとして表わされる結合の強さ、
神経素子の感度およびいき値により定められる。

第１４図に示した神経素弊モデルを実現する従来の技術
としては、第１７図に示すようなＣＭＯＳインバータを
用いる方法がある。第１７図の回路の入出力特性は、第
１８図に示したような非線形の飽和特性を有しており、
第１４図の神経素子モデルの出力の非線形関数部分４の
実現手段として用いられる。また、第１４図に示した神
経素子モデルにおける入力に対する荷重の付与部分２は
、第１９図に示すような回路網により実現される。

第１９図においては、上方から入った入力は上部の回路
により、正極性の信号と負極性の信号とに分れられ、中
央の抵抗回路網により、重み付きの和が計算される。こ
のように、入力信号から正極性の信号と、負極性の信号
が作られることから、第１９図の抵抗回路網により、正
及び負の荷重が実現される。第１９図における抵抗は、
実際の抵抗によっても、スイッチドキャパシタ等、ＬＳ
Ｉ化に適合した様々な技術により実現される。これらの
要素を半導体基盤上に集積することにより。

第２０図に例示するように、神経回路網をＬＳＩ化する
ことができる。むろん、これらの素子および回路を、Ａ
／Ｄ変換器、Ｄ／Ａ変楠変器換器ディジタル信号処理回
路を組合せて、ディジタル的に実現している例もある。

なお、神経回路網のＬＳＩについては１例えばＡｌ５ｐ
ｅｃｔｏｒ、　　Ｊ　　ａｎｄ　　Ａ１１ｅｎ、　　Ｒ
，Ｂ、：　　Ａ　　Ｎｅｕ−ｒｏ＋ｎｏｒｐｈｉｃ　　
Ｌｅａｒｎｉｎｇ　　Ｓｙｓｔｅｍ、ｉｎ　　Ａｄｖａ
ｎｃｅｄＲｅｓｅａｒｃｈ　　ｉｎ　　Ｖ　Ｌ　Ｓ　Ｉ
　：　　Ｐｒｏｃａｅｄｉｎｇｓ　ｏｆ　　１９８７　
５ｔａｎｆｏｒｄ　　Ｃｏｎｆｅｒｅｎｃｅ、Ｐａｕｌ
　　Ｌｏｓｌｅｂｅｎ（Ｅ　ｄ　、）ＩＭＩ　Ｔ　　　
Ｐｒｅｓｓ、Ｃａｍｂｒｉｄｅ、ＭＡ。

１９８７、ｐｐ、３１３−３４９．に実際に構成例が紹
介されている。

〔発明が解決しようとする課題〕

Ｎ個の入力とＬ個の出力の間の関係が連続写像で表わさ
れるものであるなら、３層以上の層数の層状の神経回路
網により、任意の精度で近似できることが知られている
（舟橋二ニューラルネットワークのｃａｐａｂｉｌｉｔ
ｙについて、電子情報通信学会技術研究報告、ＭＢＥ８
８−５２．（１９８８゜７））、Ｌかし、従来、ある連
続写像が入出力の関係を表わす関数や、入力とそれに対
応する出力を組合わせたデータの集まりとして与えられ
た場合に、どのようにすればその連続写像を近似する層
状の神経回路網を実際に構成できるかは明らかではなか
った。

従来、層状の神経回路網を構成する方法としては、誤差
逆向き伝播法が広く用いられてきた（Ｒｕｖａｅｌｈａ
ｒｔ、　Ｈｉｎｔｏｎ　ａｎｄ　Ｗｉｌｌｉａｍｓ　：
”Ｌｅａｒｎｉｎｇ　Ｉｎｔｅｒｎａｌ　Ｒｅｐｒｅｓ
ｅｎａｔｉｏｎｓ　ｂｙＥｒｒｏｒ　ＢａｃｋＰｒｏｐ
ａｇａｔｉｏｎ、”　ｉｎ　Ｒｕｍａｌｈａｒｔ　ａｎ
ｄＭｃＣｌｅｌｌａｎｄ（ｅｄｓ、）、　Ｐａｒａｌｌ
ｅｌ　ＤｉｓｔｒｉｂｕｔｅｄＰｒｉｃｅｓｓｉｎｇ、
　ｖｏｌ、　１　、　ｐｐ、　３１８−３６２　。

Ｍ　Ｉ　Ｔ　Ｐｒｅｓｓ、　Ｃａｍｂｒｉｄｇｅ　（１
９８６）　）。

この誤差逆向き伝播法を適用した神経回路網を第２１図
に示す。第２１図において、１３で表わされる入力ｘ１
〜Ｘｆｉは、８の中間層と７の出力層を通ることにより
、先の（１）式に示した変換を受け、１４で表わされる
出力２８〜Ｚｎを生ずる。この出力２．〜２．は、１５
で表わされる望ましい出力（教師信号と呼ばれる）１１
〜ｔ１と比較器１６により比較され、１７で表わされる
誤差信号を生ずる０通常、１４の出力２□〜Ｚｌと１５
の教師信号ｔ工〜ｔ、は一致しないため、比較器１６の
出力誤差信号を入力して、この誤差信号を減少させるよ
うな中間層と出力層の間の枝の荷重の更新量が荷重計算
回路１８によって計算され、１２で表わされる枝の荷重
が更新される６次いで、１７で表わされる誤差信号を１
２で表わされる枝の重みを用いて誤差計算回路１９によ
り、中間層での誤差に換算した誤差信号２０を求める。

こうして求められた中間層での誤差信号２０を減少させ
るような入力層と中間層の間の枝の重みの更新量が荷重
計算回路２１により計算され、１０で表わされる枝の荷
重が更新される。以上の操作を、入力が与えられる毎に
実行することを、教師信号と実際の神経回路網の誤差が
十分に小さくなるまで繰り返すことにより、枝の重を決
定する。

層の数が３層以上の場合も同様にして、逐次、誤差を前
段階の層における誤差に換算することを繰り返すことに
より、全ての層間の枝の荷重を決定することが出来る。

なお、神経素子の感度は、枝の重みの大きさに、いき値
は、常に１を出力する神経素子からの枝への荷重として
表わされており、枝の荷重のみを指定すること、神経回
路網の特性を規定できる。

ところで、以上説明した誤差逆向き伝播法の手順は、誤
差信号を減少させる方向に枝の重みを変化させるという
条件から導き出されており、基本的には、枝の重みと誤
差の局所的な関係に基づき、誤差の極小点を求める方法
であるといえる。従って、誤差逆向き伝播法には以下の
ような問題がある。

１、求められた枝の重みが全体的な誤差の最小値を与え
るものである保証は無い。

２、枝の荷重を調整する場合に、−度にたくさんの調整
を行うと発散してしまうことがあるため、微少な調整を
多数繰り返す必要があり、枝の荷重を決定するまでの計
算量が極端に大きくなる。

３、入力信号の性質等について予め保有している知識や
、入出力間の写像について予め保有している知識を枝の
荷重に予め組込んでおく方法が明らかでない。

４、構成された神経回路網に、構成するときに用いたも
のと異なった入力が入った場合にどのような出力が生ず
るかが予測できない。

５、ある機能を実現するための神経回路網がどの様な規
模になるかを予め見積ることが困難である。

本発明の目的は、上述の誤差逆向き伝播法の問題点を解
消し、少ない計算量で、事前の知識を組込むことが可能
で、回路網の規模の見積や、異常入力時の応答の見積が
可能な神経回路網の構成方法と、そのようにして構成さ
れた神経回路網を提供することにある。

〔課題を解決するための手段〕

上記目的を達成するため、本発明の神経回路網構成方法
は１人工的神経素子を層状に結合した神経回路網におい
て、人力信号空間の凸な領域に対応する部分的な神経回
路網を構成し、該構成される一つ乃至複数の部分的神経
回路網を用いて学習用の入力パターンを変換して作成さ
れる中間パターンと望ましい出力を出力素子の入力側の
値に逆変換した値とを用いて神経素子間の枝の荷重を決
定することを特徴とするものである。

又、本発明の神経回路網は、人工的神経素子を入力層、
中間層、出力層の層状に結合した神経回路網において、
入力信号空間中の凸な領域に対応する点を基準点とし、
該基準点から入力層と中間層の間の枝の荷重および中間
層の非線形性を定めるパラメータを求める回路と、望ま
しい出力を表わす教師信号を出力層の入力側に換算する
回路と。

入力側に換算された教師信号と中間層の出力より中間層
と出力層の間の枝の荷重を決定する回路と、教師信号、
教師信号を出力層の入力側に換算した信号、中間層の出
力信号、出力層への入力信号、出力層の間からの出力信
号に基づき中間層と出力層の枝の荷重を決定する回路と
を有することを特徴とするとするものである。

〔作　用〕

本発明は、Ｎ次元の入力信号を、２層の神経回路網によ
る写像で凸な閉領域を識別領域として形成する方法と、
識別に用いられる関数として不連続な階段状の関数では
なく飽和特性を持つ準線形の関数を用いることで入力の
Ｎ次元空間内の点を中間層の神経素子の出力により構成
されるＤ次元の空間に連続的に写像すること＼、目的と
する最終層の出力値を最終層の神経素子の出力関数の逆
関数を用いて出力層の神経素子の入力側の値に換算する
ことで種々の入力信号を与えた場合の中間層の出力と出
力層の入力側に換算された教師信号により構成される線
形の連立−次方程式を解くことにより中間層から出力層
への枝の荷重を決定すること＼、入力信号の存在する空
間の中に、幾つかの基準となる点を配置してその基準点
の位置を入力層から中間層への枝の荷重に変換する。こ
れにより、収束性や最適性の保証されない繰返し計算に
よらず、直接的な演算により枝の荷重を決定できる。

〔実施例〕

以下、本発明の一実施例について図面により説明する。

第１図は、本発明の一実施例を説明する図であって、１
３は入力、１６は入力層、１０は入力層から中間層への
枝、８は中間層、１２は中間層から出力層への枝、７は
出力層を示す。本発明では、段階的に枝の荷重、各層の
神経素子の非線形特性を定めることにより、目的とする
神経回路網を構成する。

以下、第１図の各部の動作の説明を行う。まず、入力と
して考えられるものＮ中から、中間層の神経素子の個数
と等しい個数のものを選び出す。それらは、入力の存在
する空間の中の点と考えることが出来るので、基準点と
呼ぶことへする。基準点の選択に当っては、入力の性質
についての事前の知識を利用してもよく、事前の知識が
利用できない場合には、乱数を用いて、入力の存在する
空間内に一様に基準点をばらまいてもよい、２２にその
ような基準点の一つを示す、２２の基準点から、荷重計
算回路２３を用いて、入力から中間層への枝１０の荷重
と中間層８の神経素子の非線形性のパラメータを決定す
る０以上の孫作により、入力１３からの中間層８の出力
２４を求める部分の神経回路網が構成される。

次に、入力１３を中間層の出力２４に変換したものと、
その入力に対応する望ましい出力を表わす教師信号１５
を、予め定めである出力層の神経素子の出力特性の逆関
数からなる換算回路２５により出力層の神経素子の入力
側に換算した教師信号２６とを用いて、２４の信号と２
６の信号の誤差が最小になるような枝１２の荷重を最小
自乗法を実行する荷重計算回路２７を用いて計算し、中
間層から出力層にいたる部分の枝の荷重を決定する。出
力層の神経素子の非線形性のパラメータは、予め定めで
あるので、こＮまでの操作で、目的とする機能を実現す
る神経回路網が構成される。

このようにして構成された層状の神経回路網を、必要に
応じて、次の手順で、更に性能を向上させることができ
る。こＮまでの操作で、層状の神経回路網のパラメータ
は全て定まっているため、入力１３が与えられた場合の
出力層の出力１４を求めることが出来る。従って、出力
素子の入力側で計算した誤差と出力素子の出力側で計算
した誤差との違いを反映させて重み付きの最小自乗法に
より中間層から出力層への枝の荷重１３を計算する荷重
計算回路２８に、中間層の出力２４．出力層の格経素子
の入力側に換算した教師信号１５、出力層の神経素子へ
の実際の入力２９、出力層の出力１４、教師信号１５と
を入力して、中間層から出力層への枝の荷重を決定する
。

以下、図に即して各部の詳細な働きを説明する。

こ＼で、入力層の各々の神経素子への入力をまとめて、 Ｘ”　　（Ｘｘｔ　　Ｘ２１　　”’＊　　ＸＮ）”　
　　　　　　（２）なる列ベクトルで表わす。たゾし、
Ｎは入力の次元数を表わし、入力素子の個数に対応して
いる。

こ＼で、入力は、 １ｌｘｌｌ＝１　　　　　　　　　　　　　（３）の条
件を満たしているものとする。すなわち、Ｘは、半径が
１の超球表面上の点である。すると、８の中間層の神経
素子のｉ番目のものに注目した場合、その神経素子に対
する入力の総和ｉ工は、ｉ　ｔ＝　Ｗｉ　ｘ　　　　　
　　　　　　　　　（４）という内積演算により求めら
れる。こＮで。

Ｗｉ＝　（ｗｔ　＋　・・・ｔ　ＷＮ　）　　　　　　
　　（５）は、中間層のｉ番目の神経素子の入力の枝の
荷重からなる列ベクトルである。

ところで、 とすれば、ｇ、も半径が１の超球表面上の点となる。し
たがって、ある入力Ｘに対する中間層のｉ番目の神経素
子への総入力は、Ｘとｇ□との距離ｄ１が、 ｄよ＝（ｘ−ｇ□）Ｔ（ｘ−ｇ□） ＝２　（１ｇｉｘ）　　　　　　　　（７）と表わされ
ることを用いれば、 ’／　ｉ　＝　ａ□（１−ｄよ／　２　）　　　　　　
　（８）のように、ｄｉの関数として表わされる。こ＼
で、ａ　□＝ｌｌＷｔｌｌ　　　　　　　　　　　　　
（９）である。以上から、中間層８のｉ番目の神経素子
の出力り、は、 ｈｉ＝ｆ　（ａｉ　（Ｌ　　ｄｔ／２）　）　　　　（
１０）として求められる。すなわち、中間層の神経素子
の出力は、その素子に対応する、超球の表面に設定され
た点（基準点）と、入力に対応する点との距離により定
まること＞なる。

中間層８の出力は具体的には、第２図に示すような形を
している。３０は、８式により表わされる中間層の神経
素子への総入力である。中間層の出力３１は、総入力３
０を、非線形の連続的な飽和型の関数ｆ　（ｘ）により
変換したものである。

非線形の関数ｆ（ｘ）を（１）式のようにモデル化した
場合には、式に含まれるパラメータａとθについては、
図中に示すパラメータ、すなわち、３２で表わされてい
る入力と基準点が一致した場合に生ずるべき中間層の出
力ｆ工と、出力が３３のようにｆ□の半分となるような
３４により示される距’Ｗｂ　ｄ　ｈを用いて次のよう
に計算することが出来る。

特別の場合として、ｆ、＝０．５とすると。

θ　＝−ａ という簡単な表示が得られる。すなわち、中間層の神経
素子の出力が基準点のまわりでどの様に広がっているか
を定めてやれば、枝の荷重から構成されるベクトルの長
さに相当するａ、を定めることができ、同時にいき値θ
を定めることできる。

したがって、基準点の配置と、中間層の神経素子の出力
の広がりを定めることにより、入力層から中間層への枝
の荷重が規定される。

以上により、もし、入力がどの様に分布しているかが予
め分かっていれば、分布と相似の密度で。

基蒲点を配置し、そのような知識が利用できない場合に
は、−様に基準点を配置して、基準点の回りでの中間層
の出力の広がりを定めることにより。

入力層から中間層への枝の荷重を直接計算することが出
来る。

このようにして入力層から中間層への枝の荷重と中間層
の神経素子の感度といき値が定まれば、この部分を既知
のものとして利用することにより、中間層から出力層へ
の枝の荷重と出力層の神経素子の感度といき値を以下の
手順で定めることができる。

こシで、ある出カニニットが目標とする教師信号を１ｉ
と表わする。これを出カニニットの出力関数の逆関数を
用いて出カニニットの入力側の値として表わしたものを
、ｏ４と記す。具体的には、Ｏｉ＝　ｆ−１（ｔ　Ｌ）
　　　　　　　　　　　（１３）により定義する。たゾ
し、ｆ　（ｘ）は、出カニニットの入出力関係を表わす
関数であり、例えばｓｉｇｍｏｉｄ等が用いられる。

入出力関係を学習するための学習サンプルの第１番目の
ものをベクトルで表わし、 ｉ＝１．２．・・・２Ｍ とした場合に、ｉ番目の入力に対する中間層の出力全体
から構成される列ベクトルを、 ｉ＝１，２．　　・・２Ｍ とする。これらの学習サンプルに対応する教師信号の値
の出カニニットの入力側への読み変え値（ｏｒ）ｔ、□
、−，Ｍからなるベクトルをｏｔｇとし、−連の学習サ
ンプルを与えたときに実際に出カニニットの入力側に生
じる値からなるベクトルを次のように定義する。

ｙ＝Ｈ”ｗ　　　　　　　　　　　　　　（１５）こ＼
で。

Ｗ：　　（Ｗ、、Ｗ、、−、ＷＤ）” Ｈ＝　　（ｈ□、ｈ２．・・・、ｈＭ）Ｔである。こへ
で出カニニットの入力側に読み変えた自乗誤差 （１”　＝　（ｏ　ｔｔ　　ｙ　）”（ｏ　ｔｔ　　ｙ
　）　　　　（１７）を最小にすることによって導かれ
る次の正規化方程式の解として、中間層から出力層ｌ＼
の枝の重みが求められる。

Ｗ：＝　（Ｈ”Ｈ）−１Ｈ”ｏ　ｔｇ　　　　　　　　
（１８）こうして求められた解は、入力側のネットワー
クを固定する限り、最小自乗の意味において最適なもの
であるが、次に、誤差の評価について、出力層に非線形
性に基づく、出力の値に対応する変化を反映させて重み
をつけた誤差に対しての最小自乗解を求める。具体的に
は、こうして求められたネットワークにより求められる
、出力神経素子の入力側に読み変えた重み付き自乗誤差
σ＝　（ｏｔｇ−ｙ）”Ｃ（ｏｔｇ−ｙ）　　　　（１
９）を最小とすることによって導かれる次の正規方程式
の解として、修正された枝の重みが求められる。

ｗ＝（Ｈ丁ＣＨ）−’　Ｈ”Ｃｏ　ｔｇ　　　　　　　
　（２０）二＼で。

あるいは。

たゾし。

ｙｌ＝ｈ１ｗ ｔ□＝ｆ（ｙｉ） である。

本発明の方法により構成された神経回路網の能力を例に
よって具体的に示す。目標関数をｔ＝０．５＋０．２ｓ
ｉｎ（２πｘ）　　　　　（２３）０　＜　ｘ　＜　１ として、実験を行った結果を第３図に示す。比較の対象
として、通常の誤差逆向き伝播法を用いた。

この例の場合、１人力１出力であり、５ＰＡＮの中間層
のユニットとしては、３個から１０個までについて、各
々１０回の繰返しを行い、確かめた。

基準点の一つは、ｘ＝１に設定し、残りを乱数により設
定した、５ＰＡＮの学習サンプルは１００個である。誤
差は、学習サンプルとは異なったサンプルを用いて評価
した、第３図中の３５は３個の隠れユニットを有する誤
差逆向き伝播法に８゜００個のデータを与えて学習させ
た場合の教師信号との誤差の自乗平均値である。３６は
３個の隠れユニットを有する誤差逆向き伝播法に２００
００個のデータを与えて学習させた場合の教師信号との
誤差の自乗平均値である。３７は３個の隠れユニットを
有する誤差逆向き伝播法に５００００個のデータを与え
て学習された場合の教師信号との誤差の自乗平均値であ
る。３８は３個の隠れユニットを有する誤差動向き伝播
法に３５００００個のデータを与えて学習された場合の
教師信号との誤差の自乗平均値である。このような条件
の下では、４個以上の中間ユニットを用いた５ＰＡＮに
より、誤差逆向き伝播法よりも平均として優れた結果が
得られている。このような結果を得るための学習点数は
、誤差逆向き伝播法の約５００分の１以下である。なお
、こＮでは、全体特性の補正を行っていない。

次に目標関数を ｔ　＝　０．５　＋　０．２ｓｉｎ（２ｘ　ｘ、）ｓｉ
ｎ（２πｘ、）０＜ｘ、、　ｘ２＜１　　　（２４） として、実験を行った結果を第４図に示す。この関数は
、定義域の中で、２つのピークと２つのデイツプを有し
ており、例えば、同一のカテゴリに属するパターンが飛
び離れた領域にある場合を模擬するものである。この場
合も同様に、誤差逆向き伝播法と比較した。ニューラル
ネットとしては、２人力１出力のものを用い、中間層の
ユニットとしては、４個から１７個までについて調べた
。学習サンプルとして３００個のデータを用いた。誤差
の評価には、学習サンプルとは別の資料を用いた。

第４図中の３９は８個の隠れユニットを有する誤差逆向
き伝播法に４ｏｏｏｏ個のデータを与えて学習させた場
合の教師信号との誤差の自乗平均値である。４０は８個
の隠れユニットを有する誤差逆向き伝播法に７００００
個のデータを与えて学習させた場合の教師信号との誤差
の自乗平均値である。４１は８個の隠れユニットを有す
る誤差逆向き伝播法に２５００００個のデータを与えて
学習させた場合の教師信号との誤差の自乗平均値である
。基準点の一つは、（１，１）に設定し、残りの基準点
は、−様乱数により設定した。このような設定の下では
、１４個以上の中間層ユニットを設けることにより、平
均して誤差逆向き伝播法と同等の精度で入出力関数を近
似することができる。この場合の、学習用サンプルの個
数は、誤差逆向き伝播法の約８００分の１である。

第５図は第１図のニューラルネットを音声認識に用いる
場合の例である。二＼では、入力として音声の自己相関
関数（自己相関係数）を用いている場合の構成を示す。

４１で表わされる音声信号を、４２の全新装置により自
己相関係数とし、ニューラルネットへの入力１３及び、
中間層８を構成する際の基準パターン２２とする。訓練
の終了後は、出力１４の結果に基づいて入力のカテゴリ
を判定する判定回路４３により最終的な判定結果４４を
出力する。このように音声認識に本発明方法を適用する
場合には、最終的な判定の直前まで、連続量としての処
理が行われるため、入力の位相が保たれており、最終判
定に入力の微細な構造についての情報を利用でき、認識
率の向上を図ることが出来る。

自己相関係数を入力する場合には、基準点となる自己相
関係数から計算される最尤スペクトルパラメタ（Ａよ）
の定数倍を入力層６から中間層８への枝の荷重とするこ
とで、中間層の出力を基準点との距離の関数とすること
ができ、後は、第１図と同様にして中間層８と出力層７
の間の荷重を計算することが出来る。最尤スペク１−ル
パラメタは、以下のようにして計算する。

ｆｏｒｉ＝ｏ、±１　！　”’　）±ｎである。二５で
、α−は、入力Ｘ、から構成される次の方程式の解であ
る。

α、＝４　　　　　　　（２７） 最尤スペクトルパラメータと自己相関係数の積和がスペ
クトル領域での距離の関数になることについては、例え
ば抜食、斎藤：統計的手法による音声スペクトル密度と
ホルマント周波数の推定（電子通信学会論会誌、５３−
Ａ、１１　ＰＰ、３５−４２（昭和４５年））の論文に
詳しく４論的説明がδ己載されている。

第６図は、第１図のニューラルネットをシステムの制御
に適用した例であり、連続量から連続量への変換の例で
あるとメもに、超球の表面上に入力がない場合でも、入
力に新たに一つの格経回路素子をつけ加えることにより
、一つ高い次元の超球の表面上に入力を写像することで
、本発明の方法を適用できるようにする構成法の一実施
例である。

システムの各部に配置されたセンサーのｗｌ測値および
制御指令からなる入力４５から構成されるベクトルは、
通常は超球の表面のみに存在する保証はない。新たにつ
け加えた回路素子４６（神経素子で構成されていてもよ
い）により、後で述へる方法によりベクトルの要素を一
つ加えれば、そのようにして作成された入力ベクトル１
３が常に超球の表面にあるようにすることが出来る。同
様に、超球に乗らなかった見準点４７も、付加回路４８
により次元の上がった基準点２２を作れば、基準点が常
に超球の表面にあるようにすることが出来る。

このような回路４６．４８を付加すれば、一般の入力に
ついても本発明方法によ、る層状のニューラルネットの
構成法が適用でき、システム制御に必要な出力を高い精
度で近似する出力１４を得ることが出来る。この出力か
らシステムを１駆動する信号に変換する駆動回路４９を
用いて、システムの制御信号をつくり出すことにより、
センサーからの読出しと、操作指令に基づいてシステム
の制御を行うことが出来る。

入力を超球にのせるための付加回路４６では、具体的に
は、以下の方法を用いることが出来る。

ｎ次元の空間をｎ＋１の超球に写像することは例えば、
次のようにしてｎ＋１番目の神経素子の出力を求めれば
よい。

二＼で、新たに、 Ｎ　＝　ｎ　＋　１　　　　　　　　　（２９）と置け
ばよい。

第７図は本発明による神経回路網を構成する演算を、汎
用のプロセッサ用のソフトウェアにより行うようにした
実施例である。第７図において、５１は中央処理装置と
主記憶装置を含むプロセッサ本体であり、５２は補助記
憶装置、５３はアナログセンサーやマニピュレータ等を
含む入出力装置、５４はネットワーク接続装置を含む通
信装置である。学習用の人力と教師信号は、予め補助記
憶装置５２に格納されていてもよく、あるいは、入出力
装置５３を通して与えられてもよく、通信装置５４を介
して与えられてもよい。これらの学習用のサンプルによ
り構成された神経回路網により、予め補助記憶装置５２
に格納されていた入力や、入出力装置５３からの入力や
、通信装置５４を介して与えられる入力から、出力を計
算して、補助記憶装置５２に格納したり、入出力装置５
３を介してマニピュレータを操作したり、通信回線を介
して出力を返すために用いる。

第７図のプロセッサ本体５１に格納されている主要な手
続と゛データを第８図に示す、５１ａは神経回路網の波
荷重を計算し、神経回路網を設計する手続である。５１
ｂはこのようにして設計された神経回路網をシミュレー
トする手続本体である。

５１ｃは神経回路網を規定する波荷重および神経素子の
感度、いき値データの集まりである。５１ｄは制御部で
ある。

第９図に５１ａの神経回路網設計手続についての一例を
示す。１０１は入力データについての事前の知識に基づ
いて基準点（例えば第１図における２２）を設定するス
テップである。１０２は、設定された基準点の座標と、
あらかじめ定められた基準点の回りの関数の広がりに基
づき、基市点に対応する中間層の神経素子への波荷重を
計算するステップであり、第１図における回路２３に相
当する。１０３はそのようにして求められた波荷重を用
いて、学習用の入力データのサンプルを中間層の神経素
子の出力データのサンプル（第１図における２４）に変
換するステップである。１０４は、中間層の神経素子の
出力データのサンプルと、教師信号を出力層の入力側に
読み変えた信号に基づき、正規方程式を計算するステッ
プであり、第１図における換算回路２５と荷重計算回路
２７の機能を実現している。１０５は、このようにして
作成された正規方程式を解くことにより、中間層から出
力層へ〇波荷重を決定するステップであり、第１図の荷
重計算回路２７の機能に相当している。

以上で、神経回路網は基本的には構成できるが、より精
度を向上させる場合には、１０６の手続きにより、さら
に中間層から出力層への波荷重を補正する。１０７は、
構成された神経回路網全体を用いて、学習用の入力デー
タのサンプルを出力層の入力側のサンプル（第１図にお
ける２９）に変換することを介して、出力層の出力デー
タのサンプル（第１図における１４）に変換するステッ
プである。１０８は、これらのサンプルに基づき、正規
方程式を更新するステップであり、第１図の荷重計算回
路２８に相当する。１０９は、こうして更新さ胆た正規
方程式を解いて、中間層から出力層への波荷重を更新す
る部分であり、第１図の同じく荷重計算回路２８に相当
する。

第１０図は、このようにして構成された神経回路網をシ
ミュレートする手続の一例である。１１１は入出力装置
からのデータを取り込むステップであり１例えば第５図
における分析装置４２の機能に相当する部分である。１
１２は、このようにして取込まれたデータを本発明方法
が適用できる性質を持つデータに変換する前処理部分で
あり、第５図における同じく分析装置４２や第６図にお
ける付加回路４６の機能に相当する部分である。

１１３は、このようにして用意されたデータを中間層の
神経素子への入力に変換する部分であり、第１図におけ
る１０に相当する。１１４は、このようにして求められ
た。中間層の神経素子への入力を中間層の素子の出力に
変換する部分であり、第１図の８に相当する。１１５は
、以上のようにして求められた中間層の神経素子の出力
データを出力層の神経素子の入力データへ変換する部分
であり、第１図の１２に相当する。１１６は、出力層へ
の入力データを出力層の出力データに変換する部分であ
り、第１図の７に相当する。１１７は、このようにして
求められた出力データを、実際に利用できる形に変換す
る部分であり、第５図における判定回路４３や第６図に
おける駆動回路４９に相当する部分である。

第１１図は本発明による神経回路網を構成する演算を、
汎用の中央処理装置に付加された専用の演算装置を用い
て計算するようにした場合の実施例である。５５は中央
処理装置と主記憶装置を含むプロセッサ本体であり、５
６は神経回路網の動作に必要な計算を行う専用の演算装
置であり、５７は補助記憶装置、５８はアナログセンサ
やマニピュレータ等を含む入出力装置、５９はネットワ
ーク接続装置を含む通信装置である。学習用の入力と教
師信号は、予め補助記憶装置５７に格納されていてもよ
く、あるいは、入出力装置５８を通して与えられてもよ
く、通信装置５９を介して与えられてもよい、これらの
学習用サンプルにより構成された神経回路網により、予
め補助記憶装置５７に格納されていた入力や、入出力装
置５８からの入力や、通信袋＠５９を介して与えられる
入力から、出力を計算して、補助記憶装置５７に格納し
たり、入出力装置５８を介してマニピュレータを操作し
たり、通信回線を介して出力を返すために用いる。

第１２図にプロセッサ本体５５と専用の演算装置５６の
構成例を示す。５５ａは神経回路網の波荷重を計算し、
神経回路網を設計する手続であり、これは第８図の５１
ａと同様の手順（第９図の手順）から構成される。５５
ｂは神経回路網用の専用演算装置５６を制御する手続で
あり、第１３図に示すような手順から構成されている。

５５ｃは神経回路網の波荷重や、いき値や、神経素子の
感度等からなる設定データおよび、制御指例等のコマン
ド、バックエンドプロセッサとして使用する場合の入力
データ等を通す制御用インタフェースである。５５ｄは
専用演算装置５６の動作状態等を報告したり、バンクエ
ンドプロセッサとして使用する場合の出力データ等を通
す、読みだし用インタフェースである。５５ｅは制御部
である。

神経回路網用の専用の演算装置５６は、５６ａに示す神
経回路網を実現するハードウェア本体（フレームウェア
、ＬＳ　１．ないしは、個別部品による回路、光演算装
置も含む）と、本体と外界をつなぐ入力インタフェース
５６ｂおよび出力インターフェイス５６ｃからモカ成さ
れる。５６ｄは外界からの入力線、５６ｅは外界への出
力線である。

第１３図は、神経回路網用の専用の演算装置５６を制御
する手続５５ｂの構成例である。２０１は神経回路網設
計手続により求められた波荷重や、神経素子のいき値や
感度を、専用の演算装置５６の必要な部分に設定するス
テップである。２０２は専用の演算量［５６が動作する
上で必要な条件。

例えば、データの読み取り周期や、読み取りの条件（本
体のプロセッサを介してか、直接５６ｄ。

５６ｅの入出力を用いてか等）などを設定する部分であ
る。２０３は条件設定が終了した後に、神経回路網用の
専用の演算装置５６を起動するための制御や、その他の
必要な制御を行う部分である。

その他に、専用の演算装置５６をバックエンドプロセッ
サとして用いる場合には、プロセッサ本体５５が受は取
った入力データを、専用の演算装置用のデータに変換す
るステップや、専用の演算装置５６から転送されてきた
データをプロセッサ本体５５から外部に転送できる形に
変換するステップを用いる。また、これらのデータをプ
ロセッサ本体５５と、準用の演算装置５６との間で相互
に転送するための転送制御手順と、動作中の異常などを
検出し、必要な制御を行う監視手順を有する。

〔発明の効果〕

以上説明したように、本発明は、層状の神経回路網への
入力パターン空間における凸な領域を表わす部分的な神
経回路網を構成することにより、対象となる入力パター
ンについての知識と、様々な入力とその各々の入力に対
応する望ましい出力との組合せの例を用いて直接的に神
経回路網の枝の荷重と各々の神経素子の感度とひき値を
決定することができるため、以下に述べる利点がある。

１、対象について持っている知識を、神経回路網の枝の
重み、素子の感度およびいき値の決定に反映することが
できる。

２、従来の誤差逆向き伝播法を用いた場合には、神経回
路網の構成要素である神経素子の数を増やしても、神経
回路網のパラメタと誤差の関係に多数の極値（局所的な
最小値）が生ずるため全体的な性能が向上せず、かつ、
有効に使用されない神経画素子が生ずる場合があった。

しかるに、本方法では、神経素子の数の増加を性能の向
上に結びつけることができる。

３、入力信号として想定するパターン空間内の信号に対
する出力の誤差の範囲を容易に子側することができるた
め、許容誤差を満たすような神経回路網を構成すること
ができる。

４、誤差逆向き伝播法も本発明の方法も、神経回路網の
枝の荷重や素子の感度およびいき値を決定するための教
師あり学習方法の一種であるが、同程度の性能を持つ神
経回路網を構成するために要する本方法の演算量は、誤
差逆向き伝播法のそれと比較して、一般に１／１’ＯＯ
から１／１０００にできる。

５、本発明方法と、誤差逆向き伝播法等の既存の神経回
路網構成法を組み合わせて使用することができる。また
、そのようにして、得られた神経回路網の枝の重み等に
表現された情報を人カバターン空間内の点の分布や配置
として解釈することができるので、声音符号化のコート
ワード等の決定に利用できる。

【図面の簡単な説明】 第１図は本発明による層状の神経回路網の一実施例の構
成法を示す図、第２図は本発明において中１７１１層の
神経素子の出力がどの様に形成されるかの説明図、第３
図及び第４図は本発明の効果を実証するための従来の方
法との比較の実験結果を示す図、第５図は本発明の神経
回路網を自己相関係数を用いる音声認識系に適用した実
施例を示す図、第６図は本発明の神経回路網を一般の連
続的な入力出力関係の構成に利用する場合の例としてシ
ステムの制御に用いる場合の実施例を示す図、第７図は
本発明の神経回路網の実装の一例として汎用のプロセッ
サを用いる場合の構成例を示す図、第８図は第７図にお
けるプロセッサ本体内部の主要手続およびデータの詳細
を示す図、第９図は第８図における神経回路網設計手続
きの手順例を示す図、第１０図は第８図におけるシミュ
レーション実行手続の手順例を示す図、第１１図は本発
明の神経回路網の実装の一例として専用のプロセッサを
用いる場合の構成例を示す図、第１２図は第１１図にお
けるプロセッサ本体及び専用演算装置の構成例を示す図
、第１３図は第１２図における神経回路網ハードウェア
制御手続の手順例を示す図、第１４図は人工的神経素子
を示す図、第１５図は層状の神経回路網の構造を示す図
、第１６図は網状の神経回路網の構造を示す図、第１７
図は神経回路素子の非線型部を実現するＣＭＯＳインバ
ータを示す図、第１８図は第１７図のＣＭＯＳインバー
タの入出力特性を示す図、第１９図は神経回路素子の入
力に対する波荷重を実現する抵抗回路網を示す図、第２
０図は神経回路網のＬＳＩによる実現例を示す図、第２
１図は従来の方法による層状神経回路網の構成例を示す
図である。 ６・・・入力層、　　８・・中間層、　　７・・・出力
層、１０・・入力層と中間層の間の枝及び枝の荷重。 １２・・・中間層と出力層の間の技及び技の荷重。 １４・・・出力層の出力、　　１５・・・教師信号、２
２・・基準点、 ２３．２７．２８・荷重計算回路。 ２４・・・中間層の出力、　　２５・・・換算回路、２
６・・・入力側に関算された教師信号、２９・・・出力
層への入力信号。 第　　１　　　図 第　　２　　図 第　　３　　図 鉄差 （ｒｍｓ） ｊ＝ｏ、５すα２Ｓｉｒ１（２（χ乃止侠１１、差 （ｒｒｎｓ） ｔ　＝　０，５　ｔ　ｏ、２ｓＨｎ　（２ｙｃｘ）ｓｒ
ｎ　（２ｘｚ、）ｔｎｉｌ、イｌメ、第　　５　　図 第　　６　　図 第　　８　　図 第　　１５　　図 第　　１６　　図 第　　１７　　図 第　　１８　　図 第　　２０　　図 刈　デ′コータ゛ イ↑〒パコーヲ′。

Claims (2)

【特許請求の範囲】
1. （１）人工的神経素子を層状に結合した神経回路網にお
   いて、人力信号空間の凸な領域に対応する部分的な神経
   回路網を構成し、該構成される一つ乃至複数の部分的神
   経回路網を用いて学習用の入力パターンを変換して作成
   される中間パターンと望ましい出力を出力素子の入力側
   の値に逆変換した値とを用いて神経素子間の枝の荷重を
   決定することを特徴とする神経回路網の構成方法。
2. （２）人工的神経素子を入力層、中間層、出力層の層状
   に結合した神経回路網において、 入力信号空間中の凸な領域に対応する点を基準点とし、
   該基準点から入力層と中間層の間の枝の荷重および中間
   層の非線形性を定めるパラメータを求める回路と、 望ましい出力を表わす教師信号を出力層の入力側に換算
   する回路と、 入力側に換算された教師信号と中間層の出力より中間層
   と出力層の間の枝の荷重を決定する回路と、 教師信号、教師信号を出力層の入力側に換算した信号、
   中間層の出力信号、出力層への入力信号、出力層からの
   出力信号に基づき中間層と出力層の間の枝の荷重を決定
   する回路とを有することを特徴とする神経回路網。