JPH02196366A

JPH02196366A - 神経回路網の構成方法および神経回路網

Info

Publication number: JPH02196366A
Application number: JP1015894A
Authority: JP
Inventors: Toshio Irino; 俊夫入野
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 1989-01-25
Filing date: 1989-01-25
Publication date: 1990-08-02

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】〔産業上の利用分野〕本発明は、パターン認識、機械やシステムの制御等に用
いられる層状の神経回路網を構成・設計する方法とその
結果実現される神経回路網に関する。

〔従来の技術〕

神経回路網は、生物の神経素子の働きを模した第２図に
示すような多大カー出力の人工的神経素子を多数結合す
ることにより、信号処理、情報処理の機能を実現する回
路網の総称である。第２図において、１は神経素子への
入力、２は各々の入力と神経素子本体を結ぶ枝であり、
入力が神経素子の内部状態に影響する度合を表わす荷重
を持っている。３は神経素子本体、４は神経素子の内部
状態を出力信号に変換する時の特性を表わす出力関数、
５は神経素子からの出力である。最も典型的に用いられ
る神経回路網の入出力関係は、次の式に表わされるよう
なものである。

こ＼で、ｘｌはｉ番目の入力の値、Ｗ□はｉ番目の入力
についての重み、Ｎは入力線の本数、ｙは出力、ｆ　（
ｘ）は出力関数、ａは神経素子の感度、θはいき値を表
わす。これらの神経素子が層状または網状に結合されて
神経回路網を構成する。

第３図は層状神経回路網の構成例で、３は第２図に示し
たような神経素子本体であり、６の部分は入力層、７の
部分は出力層、８および９の部分は中間層もしくは隠れ
層、１０の部分は入力層から中間層への枝、１１の部分
は異なる中間層の間を結ぶ枝、１２の部分は中間層から
出力層への枝である。層状神経回路網は、１３に示す入
力を１４に示す出力に変換する機能を持つ。一般に入力
の次元数、中間層での次元数、出力の次元数は異なって
いる。

第４図は網状神経回路網で、神経素子が網状に結合され
ている。なお、網状神経回路網は本発明の対象外である
ので、詳細な説明は省略する。

神経回路網の機能は、このような神経素子の結合の仕方
と、入力線に対する重みとして表わされる結合の強さ、
神経素子の感度およびいき値により定められる。

第２図に示した神経回路素子モデルを実現する従来の技
術としては、第５図に示すようなＣＭＯＳインバータを
用いる方法がある。第５図の回路の入出力特性は、第６
図に示したような非線形の飽和特性を有しており、第２
図の神経素子モデルの出力の非線形関数部分４の実現手
段として用いられる。神経素子モデルにおける入力に対
する荷重の付与部分２は、第７図に示すような回路網に
より実現される。第７図においては、上方から入った入
力は上部の回路（第５図のＣＭＯＳインバータ）により
、正極性の信号と負極性の信号とに分けられ、中央の抵
抗回路網により、重み付きの和が計算される。このよう
に、久方信号から正極性の信号と、負極性の信号が作ら
れることがら、第７図の抵抗回路網により、正及び負の
荷重が実現される。第７図における抵抗は、実際の抵抗
によっても、スイッチドキャパシタ等、ＬＳＩ化に適合
した様々な技術により実現される。これらの要素を、半
導体基盤上に集積することにより、第８図に例示するよ
うに、神経回路網をＬＳＩ化することができる。むろん
、これらの素子および回路を、Ａ／Ｄ変換器、Ｄ／Ａ変
換器とディジタル信号処理回路を組み合わせてディジタ
ル的に実現している例もある。なお、神経回路網のＬＳ
Ｉについては、例えば、（Ａ　１ｓｐｅｃｔｏｒ　、　
Ｊ　ａｎｄ　Ａ　１ｌｅｎ　。

Ｒ，Ｂ、　：　　Ａ　Ｎｅｕｒｏｍｏｒｐｈｉｃ　Ｌｅ
ａｒｎｉｎｇ　Ｓｙｓｔｅｍ。

ｉｎ’　Ａｄｖａｎｃｅｄ　Ｒｅ５ｅａｒｃｈ　ｉｎ　
Ｖ　Ｌ　Ｓ　Ｉ　：　Ｐｒｏｃｅｅｄ−ｉｎｇｓ　ｏｆ
　ｔｈｅ　１９８７　５ｔａｎｆｏｒｄ　Ｃｏｎｆｅｒ
ｅｎｃｅ。

Ｐａｕｌ　Ｌｏｓｌｅｂｅｎ　（Ｅｄ、）　、　Ｍ　Ｉ
　Ｔ　Ｐｒｅｓｓ。

Ｃａｍｂｒｉｄｇｅ、　ＭＡ、　１９８７．　ｐｐ、　
３１３−３４９）に実際の構成例が紹介されている。

従来、層状の神経回路網を構成する方法としては、誤差
逆向き伝播法が広く用いられてきた（Ｒｕｍｅｌｈａｒ
ｔ、　Ｈｉｎｔｏｎ　ａｎｄ　Ｗｉｌｌｉａｍｓ　：“
Ｌ　ｅａｒｎｉｎｇ　　Ｉ　ｎｔｅｒｎａｌ　　Ｒｅｐ
ｒｅｓｅｎａｔｉｏｎｓ　ｂｙＥｒｒｏｒ　　Ｂａｃｋ
　　Ｐｒｏｐａｇａｔｉｏｎ、”　　ｉｎ　　Ｒｕｍａ
ｌｈａｒｔａｎｄ　　ＭｃＣｌｅｌｌａｎｄ　　（ｅｄ
ｓ、）、　　ＰａｒａｌｌｅｌＤｉｓｔｒｉｂｕｔｅｄ
　　Ｐｒｏｃｅｓｓｉｎｇ、　　Ｖｏｌ＋１　、　ｐｐ
、　３１８−３６２．ＭＩ　Ｔ　　Ｐｒｅｓｓ、Ｃａｍ
ｂｒｉｄｇｅ　（１９８６））。

従来の誤差逆向き伝播法による層状神経回路網の構成例
を第９図に示す。第９図において、１３で表わされる入
力ｘ１〜Ｘｏは、８の中間層と７の出力層を通ることに
より、先の（１）式に示した変換を受け、１４で表わさ
れる出力２１〜ＺＬを生ずる。この出力は、１５で表わ
される望ましい出力（教師信号と呼ばれる）ｔｉ〜ｔＬ
と比較器１６により比較され、１７で表わされる誤差信
号を生ずる。通常、１４の出力Ｚ１〜ＺＬと１５の教師
信号はｔ１〜ｔＬは一致しないため、比較器１６の出方
誤差信号を入力して、この誤差信号を減少させるような
中間層と出力層の間の枝の荷重の更新量が荷重計算回路
１８により計算され、１２で表わされる枝の荷重が更新
される。次いで、１７で表ゎされる誤差信号を１２で表
わされる枝の重みを用いて誤差計算回路１９により、中
間層での誤差に換算した誤差信号２０を求める。こうし
て求められた中間層での誤差信号２０を減少させるよう
な入力層と中間層の間の枝の重みの更新量が荷重計算回
路２１により計算され、１０で表わされる枝の荷重が更
新される。以上の操作を、入力１３が与えられる毎に実
行することを、教師信号１５と実際の神経回路網の誤差
が十分に小さくなるまで繰り返すことにより、枝１０．
１２の重みを決定する。

層の数が３層以上の場合も同様にして、逐次、誤差を前
段階の層における誤差に換算することを繰り返すことに
より、全ての層間の枝の荷重を決定することが出来る。

なお、神経素子の感度は、枝の重みの大きさに、いき値
は、常に１を出力する神経素子からの枝への荷重として
表わされており、枝の荷重のみを指定することで、神経
回路網の特性を規定できる。

〔発明が解決しようとする課題〕

以上説明した誤差逆向き伝播法の手順は、誤差信号を減
少させる方向に枝の重みを変化させるという条件から導
き出されており、基本的には、枝の重みと誤差の局所的
な関係に基づき、誤差の極小点を求める方法があるとい
える。従って、誤差逆向き伝播法には以下のような問題
がある。

（１）求められた枝の重みが全体的な誤差の最小値を与
えるものである保証が無い。

（２）枝の荷重を調整する場合に、−度にたくさんの調
整を行うと発散してしまうことがあるため、微少な調整
を多数繰り返す必要があり、枝の荷知識や、入出力間の
写像について予め保有している知識を枝の荷重に予め組
み込んでおく方法が明らかでない。

（４）構成された神経回路網に、構成するときに用いた
ものと異なった入力が入った場合にどのような出力が生
ずるかが予測できない。

（５）ある機能を実現するための神経回路網がどの様な
規模になるかを予め見積ることが困難である。

本発明の目的は、以上述べた誤差逆向き伝播法の欠点を
解消し、少ない計算量で、事前の知識を組み込むことが
可能な神経回路網の構成方法と、そのようにして構成さ
れた神経回路網を提供することにある。

〔課題を解決するための手段〕

上記目的を達成するために、本発明の神経回路網の構成
方法は、人工的神経素子を層状に結合した神経回路網に
おいて、各層の神経素子の出力目標値を定めて、入力層
から出力層の間で段階的に、前段からの入力値、後段へ
の出力値及び目標値から前段側の枝の荷重を決定し、目
的とする神経回路網を構成することを特徴とする。

又、本発明の神経回路網は、人工的神経素子を入力層、
中間層、出力層の層状に結合した神経回路網において、
入力層の入力と中間層の出力と該中間層の出力として望
ましい目標値から入力層と中間層の間の枝の荷重を決定
する回路と、中間層の出力と出力層の出力と該出力層の
出力として望ましい目標値から中間層と出力層の間の枝
の荷重を決定する回路とを有することを特徴とする。

〔作　用〕

本発明では、人工的神経素子を層状に結合して構成され
る神経回路網において、各層の神経素子の出力目標値を
定めることにより、入力層から中間層、中間層から出力
層へと段階的に、各神経素子間の枝の荷重を決定する。

これにより、目的とする神経回路網を構成しておいた後
、同様の手法によって新しい神経素子を簡単に加えるこ
とができる。

〔実施例〕

以下、本発明の一実施例について図面により説明する。

本発明では、各層の神経素子の出方目標値を定めること
により、段階的に枝の荷重を決定し、目的とする神経回
路網を構成する。初めに、第１０図および第１１図によ
り本発明における神経回路素子の入力荷重を決定する方
法について説明する。

第１０図の神経素子モデルは第２図と同じものであり、
１は入力、２は枝で荷重を持っており、３は神経素子本
体、５は出力、２２はこの神経素子の出力目標値である
。２３は荷重決定回路で、以下に示すようにして枝２の
荷重を計算する。

こ＼で、全部でＭ個ある入力のに番目のパターンが入力
されたとする。この出力ｙ＋ｃｔｒある事象Ｅが起こる
確率とみなす。たとえば、２つに分けた部分空間の片一
方にに番目の入力が含まれる確らしさとする。ｋ番目の
入力で事象Ｅが起った場合にｔｋ＝１、起こらなかった
場合にｔｋ＝０と目標値２２を設定する。これについて
の対数尤度関数ｌｏｇ　Ｌ　（ｗ）は、次のように表さ
れる。

１ｏｇＬ（ｗ）　＝ｌｏｇ　［ＩＩ　ｙｋｔｋ、　（１
−ｙＪｌ−ｔｋ］ｋ＝１阿たＳ′シ、１＋。−ｗＴＸｋＸｋ”　（１＋　Ｘｌに、Ｘ２に＋　”’ｒ　Ｘｐｋ）
ＴＷ　”　（Ｗｏ＋　Ｗｌｌ　Ｗ２１　”’ｙ　Ｗｐ）
Ｔとした。

式（２）の値を最大とする最尤推定量Ｗを求めるために
、ニュートン・ラプソン法を用いて、１階微分の値をに
すればよい。ｌｏｇ　Ｌ　（ｗ）の１階微分は、となり
、２階微分は、と表される。

ｎ回目の反復計算により求めたパラメータの推定ベクト
ルをｗ　’　”　）とすると、ニュートン・ラプソン法
によるｎ　＋　ｎ回目の推定バク１−ルは、式（４）で
与えられるＬ　（ｗ）の１階偏微分ｇ（ν）と式（５）
で与えられる２階偏微分Ｈ（ν）とを用いて次のように
表わされる。

こ＼では、逆行列の形で表わしたが、Δｗ”’を一次方
程式の解として直接解いたほうが、計算時間は短くなる
。また、収束判定は、Δｗｃｎ）のノルムの値が、ｗ”
’のものに比べて十分小さくなったかどうかで決める。

第１１図は荷重決定回路２３の処理手順を示したもので
ある。まず、処理１．０１で神経素子の望ましい出力を
示す目標値を設定する。処理１０２では、荷重の初期値
を設定する。処理１０３で。

Ｍ個の入力データに対する神経素子の出力値を全て計算
し、処理１０４で、この出力値を用いて。

尤度関数の１次微分、２次微分を計算する。処理１０５
では、その値を用いて荷重の変化量を計算する。処理１
０６で荷重変化量のノルムを計算し、十分小さかったら
、処理１０７に行って計算終了し、そのときの荷重を答
とし、そうでなければ、処理１０８に行き、荷重を更新
する。

以上のようにして目標値から荷重を決定できる神経素子
を統合し、神経回路網を構成する。

第１図は本発明の神経回路網の一実施例を示す図であっ
て、１３は入力、６は入力層、１０は入力層から中間層
への枝、８は中間層、２６は中間層の出力、１２は中間
層から出力層への枝、７は出力層、１４は出力層の出力
、１５と２４は目標値、２５と２７は荷重決定回路を示
す。こ＼で、荷重決定回路２５．２７は第１０図におけ
る荷重決定回路２３と同じ機能を有する。

以下に第１図の動作を説明する。まず、入力として考え
られるものを部分空間に分割するために、中間層８の神
経素子それぞれに対応する目標値を設定する。この目標
値の値ｔｋは、式（２）ではＯか１であるが、実質的に
はＯから１の間の任意の値に設定可能である。この選択
に当たっては、入力の性質についての事前の知識を利用
してもよく、事前の知識が利用できない場合には、Ｌ個
の出力層の神経素子に対して、全ての２分割の部分空間
にねける２Ｌ−１個の目標値を設定してもよい。

２４はそのような目標値の一つを示すものである。

２４の目標値と１３の入力と２６の中間層の出力とから
、第１０図における荷重決定回路２３と同機能の荷重決
定回路２５を用いて、入力層６から中間層８への枝１０
の荷重を決定する。こ＼までの操作により、入力１３か
ら中間層の出力２４を求める部分の神経回路網が構成さ
れる。なお、荷重決定回路２５は一般に中間層の数だけ
集める。

同様に、入力１３を中間層の出力２６に変換したものと
、その入力に対応する望ましい出力を表わす教師信号１
５を目標値として、２５と同機能の荷重決定回路２７に
より中間層８から出力層７にいたる部分の枝１２の荷重
を決定する。以上の操作で、目的とする機能を実現する
神経回路網が構成される。

次に、本発明による神経回路網の構成例及び応用例につ
いて説明する。

第１２図は第１図の神経回路網を音声認識にもちいる場
合の例である。２８で示される音声信号は、２９の音声
分析装Ｗ（データ変換回路）によって音声の特徴を捉え
ていて、かつ成分相互の相関が低い信号に変換され、本
神経回路網の入力１３となる。音声分析装置２９には、
自己相関関数を作るもの、ＬＰＧケプッストラムを取る
もの、基底膜振動パターンをｃｏｓｉｎｅ展開するもの
等、従来から音声認識で用いられている信号処理のいず
れでもかまわない。荷重決定回路２５．２７により、各
荷重を決定した後は、出力１４の結果に基づいて入力の
カテゴリを判定する判定回路３０により最終的な判定結
果３１を出力する。また、３２で示される入出力の性質
に関する事前情報を、３３で示される活性度に変換する
装置（目標値設定回路）をとおして２４の中間層に対す
る目標値に反映させることができ、これにより、さらに
認識率を向上させることができる。

第１３図は本発明による神経回路網を実現する場合の一
つの方法を示したもので、汎用のプロセッサ用のソフト
ウェアにより行うようにした実施−１５＝例である。３４は中央処理装置と主記憶装置を含むプロ
セッサ本体で、神経回路網を構成する部分であり、３５
は補助記憶装置、３６はアナログセンサーやマニピュレ
ータ等を含む入出力装置、３７はネットワーク接続装置
を含む通信装置である。

学習用の入力と教師信号は、予め補助記憶装置３５に格
納されていてもよく、あるいは、入出力装置３６を通し
て与えられてもよく、通信装置を介して与えられてもよ
い。これらの学習用のサンプルにより構成された神経回
路網により、予め補助記憶装置３５に格納されていた入
力や、入出力装置３６からの入力や、通信装置３７を介
して与えられる入力から、出力を計算して、補助記憶装
置３５に格納したり、入出力装置３６を介してマニピュ
レータを操作したり、通信回線を介して出力を返すため
に用いる。

第１３図のプロセッサ本体３４に格納されている主要な
手続とデータを第１４図に示す。３４ａは神経回路網の
被荷重を計算し、神経回路網を設計する手続である。３
４ｂはこのようにして設計された神経回路網をシミュレ
ートする手続本体である。３４ｃは神経回路網を規定す
る被荷重および神経素子の感度、いき値データの集まり
である。

３４ｄは制御部である。

第１４図に第１３図の神経回路網設計手続３４ａの処理
フローの一例を示す。２０１は入力データについての事
前の知識に基づいて中間層の目標値（第１−図における
２４）を設定するステップである。２０２は入力データ
、目標値と中間層の神経素子の出力を用いて入力層から
中間層への被荷重を計算するステップであり、第１図に
おける荷重決定回路２５に相当する。２０３は、そのよ
うにして求められた被荷重を用いて、学習用の入力デー
タのサンプルを中間層の出力データのサンプル（第１図
における２６）に変換するステップである。２０４は、
中間層の神経素子の出力データのサンプルと、出力層の
出力、教師信号から中間層から出力層への被荷重を決定
する部分であり、第１図の荷重決定回路２７の部分に相
当している。

第１６図は、このようにして構成された神経回路網をシ
ミュレートする手続の一例である。２１１は、入出力装
置からのデータを取り込むステップであり、例えば第１
２図の応用例では分析装置２９に入力する部分に相当す
る。２１２は、このようにして取り込まれたデータを本
方法が適用できる性質を持つデータに変換する前処理部
分であり、第１２図における分析装置２９に相当するス
テップである。２１３は、このようにして用意されたデ
ータを中間層の神経素子への入力に変換するステップで
あり、第１図における１０に相当する。２１４は、この
ようにして求められた中間層の神経素子への入力を中間
層の神経素子の出力に変換するステップであり、第１図
の８に相当する。

２１５は、以上のようして求められた中間層の神経素子
の出力データを出力層の神経素子の入力データに変換す
るステップであり、第１図の１２に相当する。２１６は
、出力層への入力データを出力層の出力データに変換す
るステップであり、第１図の７に相当する。２１７は、
このようして求められた出力データを、実際に利用でき
る形に変換するステップであり、例えば第１２図の応用
例では判定回路３０に相当する部分である。

第１７図は本発明による神経回路網を実現する場合の他
の方法を示したもので、汎用の中央処理装置に付加され
た専用の演算装置を用いて計算するようにした実施例で
ある。３８は中央処理装置と主記憶装置を含むプロセッ
サ本体であり、３９は神経回路網の動作に必要な計算を
行う専用の演算装置であり、４０は補助記憶装置、４１
はアナログセンサーやマニピュレータ等を含む入出力装
置、４２はネットワーク接続装置を含む通信装置である
。学習用の入力と教師信号は、予め補助記憶装置４０に
格納されていてもよく、あるいは、入出力装置４１を通
して与えられてもよく、通信装置４２を介して与えられ
てもよい。これらの学習用のサンプルにより構成された
神経回路網により、予め補助記憶装置４０に格納されて
いた入力や、入出力装置４１からの入力や、通信装置４
２を介して与えられる入力から、出力を計算して、補助
記憶装置４０に格納したり、入出力装置４１を介してマ
ニピュレータを操作したり１通信回線を介して出力を返
すために用いる。

第１８図は第１７図におけるプロセッサ本体３８と専用
の演算装置３９の構成を示す。３８ａは第１４図の３４
ａと同様の部分から構成される手続である。３８ｂは神
経回路網用の専用演算装置３９を制御する手続である。

３８Ｃは神経回路網の被荷重や、いき値や、神経素子の
感度等からなる設定データおよび、制御指令等のコマン
ド、バックエンドプロセッサとして使用する場合の入力
データ等を通す制御用インタフェースである。３８ｄは
、専用演算装置の動作状態等を報告したり、バックエン
ドプロセッサとして使用する場合の出力データ等を通す
、読み出し用インタフェースである。、３８ｅは制御部
である。

神経回路網用の専用の演算装置３９は、３９ａに示す神
経回路網を実現するハードウェア本体（ファームアエア
や、ＬＳＩ、ないしは個別部品による回路、光演算装置
も含む）と、本体と外界をつなぐ、入力インタフェース
３９ｂおよび出力２〇− インタフェース３９ｄから構成される。３９ｄは外界か
らの入力線、３９ｅは外界への出力線である。

第１９図に神経回路網用の専用の演算装置３９を制御す
る手続３８ａの処理フローの一例を示す。

２２１は神経回路網設計手続により求められた被荷重や
、神経素子のいき値や感度を、専用の演算装置の必要な
部分に設定するステップである。２２２は専用の演算装
置が動作する上で必要な条件、例えば、データの読み取
り周期や、読み取り条件（本体のプロセッサを介してか
、直接３９ｄ、３９ｅの入出力を用いてか等）などを設
定するステップである。２２３は、条件設定が終了した
後に、神経回路網用の専用の演算装置を起動するための
制御や、その他の必要な制御を行うステップである。

その他に、専用の演算装置３９をバックエンドプロセッ
サとして用いる場合には、プロセッサ本体３８が受は取
った入力データを、専用の演算装置用のデータに変換す
るステップや、専用の演算装置から転送されてきたデー
タをプロセッサ本体から外部に転送できる形に変換する
ステップを用いる。また、これらのデータをプロセッサ
本体３８と、専用の演算装置３９との間で相互に転送す
めための転送制御手順と、動作中の異常などを検出し、
必要な制御を行う監視手順を含む。

〔発明の効果〕

以上説明したように、本発明では、層状の神経回路網へ
の入カバターン空間における部分空間を作る神経回路網
を構成することにより、対象となる入カバターンについ
ての知識と、様々な入力とその各々の入力に対応する望
ましい出力との組合せの例を用いて直接的に神経回路網
の枝の荷重と各々の神経素子の感度といき値を決定する
ことができるため、以下に述べる利点がある。

（１）対象について持っている知識を、神経回路網の枝
の重みの決定に反映することができる。

（２）従来の誤差逆向き伝播法を用いた場合には。

神経回路網の構成要素である神経素子の数を増やしても
、神経回路網のパラメタと誤差の関係に多数の極値（局
所的な最小値）が生ずるため全体的な性能が向上せず、
かつ、有効に使用されない神経素子が生ずる場合があっ
た。しかるに、本発明では、神経素子の数の増加を性能
の向上に結びつけることができる。

（３）誤差動向き伝播法も本発明の方法も、神経回路網
の枝の荷重や素子の感度およびいき値を決定するための
教師であり学習方法の一種であるが、同程度の性能を持
つ神経回路網を構成するために要する本発明の演算量は
、誤差逆向き伝播法のそれと比較して減らすことができ
る。

（４）本発明の方法と、誤差逆向き伝播法等の既存の神
経回路網構成方法を組み合せて使用することができる。

【図面の簡単な説明】

第１図は本発明による層状の神経回路網の一実施例の構
成法を示す図、第２図は人工的神経素子を示す図、第３
図は層状の神経の神経回路網の構造を示す図、第４図は
網状の神経回路網の構造を示す図、第５図は神経回路素
子の非線形部を実現するＣＭＯＳインバータを示す図、
第６図は第５図のＣ，ＭＯＳインバータの入出力特性を
示す図、第７図は神経回路素子の入力に対する荷重を実
現する抵抗回路網を示す図、第８図は神経回路網のＬＳ
Ｉによる実施例を示す図、第９図は従来の方法による層
状神経回路網の構成法を示す図、第１０図は本発明にお
ける神経回路素子の入力荷重を決定する方法の説明図、
第１１図は第１０図の神経回路素子の入力荷重決定する
手順を示す図、第１２図は本発明の神経回路網を音声認
識系に適用した実施例を示す図、第１３図は本発明の神
経回路網の実現法として汎用のプロセッサを用いる場合
の構成例を示す図、第１４図は第１３図におけるプロセ
ッサ本体内部の主要手続およびデータの詳細を示す図、
第１５図は第１４図における神経回路網設計手続の手順
を示す図、第１６図は第１４図におけるシミュレータ実
効手順を示す図、第１７図は本発明の神経回路網の実現
法として専用のプロセッサを用いる場合の構成例を示す
図、第１８図は第１７図におけるプロセッサ本体および
専用演算装置の構成例を示す図、第１９は第１８図にお
ける神経回路網ハードウェア制御の手順を示す向である
。６・・・入力層、　　７・・・出力層、　　８・・・中
間層、１０・・・入力層と中間層の間の枝及び枝の荷重
、１２・・・中間層と出力層の間の枝及び枝の荷重、１
４・・・出力層の出力、　　１５・・・教師信号、２２
・・・目標値、２３．２５．２７・・・荷重計算回路、２６・・・中間
層の出力。第５図第６図ｉｎ列デ゛コーク°゛介〒子゛コ２°′ 手続補正書（方式）１、事件の表示平成１年特許願第１５８９４号２、発明の名称神経回路網の構成方法および神経回路網３、補正をする
者事件との関係　　出願人住所　　東京都千代田区内幸町１丁目１番６号名称　　
（４２２）　　日本電信電話株式会社代表者　　　　　
　　山　　口　　開　生４、代理人５、補正命令の日付平成１年３月３１日（発送日平成１年４月２５日）７、補正の内容明細書箱２６頁１行目の「第１９は」を「第１９図は」
に補正する。以上

Claims

【特許請求の範囲】

（１）人工的神経素子を層状に結合して神経回路網を構
成する方法であって、各層の神経素子の出力目標値を定
めて、入力層から出力層の間で段階的に、前段からの入
力値、後段への出力値及び目標値から前段側の枝の荷重
を決定し、目的とする神経回路網を構成することを特徴
とする神経回路網の構成方法。
（２）人工的神経素子を入力層、中間層、出力層の層状
に結合した神経回路網において、入力層の入力と中間層の出力と該中間層の出力として望
ましい目標値から入力層と中間層の間の枝の荷重を決定
する回路と、中間層の出力と出力層の出力と該出力層の出力として望
ましい目標値から中間層と出力層の間の枝の荷重を決定
する回路とを有することを特徴とする神経回路網。