JPH027154A

JPH027154A - 神経ネットワーク回路

Info

Publication number: JPH027154A
Application number: JP63158536A
Authority: JP
Inventors: Koji Akiyama; 浩二秋山; Hiroshi Tsutsu; 博司筒; Tetsu Ogawa; 小川　鉄; Hiroshi Tsutsui; 博司筒井
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1988-06-27
Filing date: 1988-06-27
Publication date: 1990-01-11
Anticipated expiration: 2010-04-19
Also published as: JPH0736181B2

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】産業上の利用分野本発明は、神経系と類似な入出力動作、例えばパターン
認識、音声認識、連想記憶、並列演算処理などを行う神
経ネットワーク回路に関するものである。

従来の技術現在使用されている計算機はフォノ・ノイマン型計算機
であり、アルゴリズムに沿って直列的に情報を処理して
いく。つまり、−時に１つの命令しか実行しないのが原
則であるため、効率のよい計算法や解法が分からない問
題では、可能性をしらみつぶしに調べて行くことに成り
かねない。直列的な情報処理では、扱える問題に限界が
あることは明かである。

このような計算機に対し、生物の脳は情報を処理するた
めに神経細胞からなるネットワークを作り、外界からの
多量の情報を処理するに当たって、神経細胞間の相互作
用を用いて並列に処理を行っている。この方法は、大量
の機械計算や高度の論理演算を余り得意としないが、複
雑かつ曖昧な状況に柔軟に対処し、適切な解を素早く出
す点で高い能力を発揮できる。つまり、計算機を使って
パターン認識や音声認識を行うには、処理・時間がかか
りすぎる。融通性が無いなどの問題があり大変困難であ
るが、脳はなんの苦もなく簡単に行うことができる。ま
た、脳は、計算機がプログラムを取り替えることによる
万能性をもつのに対し、学習と自己組織により自己の性
能を改善し環境の情報構造の自己を適合させる特徴を持
つ。

このような脳の持つ特徴を人工的に獲得するためには、
脳と同じような並列情報処理原理を技術的に実現する必
要がある。このような要求の中から、第５図に示すよう
な階層的な構造を持つパーセブトロンが提案されている
。

第５図のような３層構造のパーセプトロンに対する教師
つき学習法として、逆伝搬学習法が現在のところ最も有
効である。逆伝搬学習法は、入力層５０に入カバターン
が与えられるたびに教師が出力層５１の細胞の出力を検
査し、もし誤っていたら正しい出力を出せるように中間
層５２の細胞との結合係数を修正する学習方法である。

この学習法の有効性については、ジローンズ・ホプキン
ス大学（Ｊｏｈｎｓ　　ｎａｐｋｉｎｓ）のセノースキ
ー博士（Ｔ、Ｊ　、Ｓｅｊｎｏｗｓｋｌ）とプリンスト
ン大学のローゼンベルグ博士（Ｃ，Ｒ，Ｒｏｓｅｎｂｅ
ｒｇ）が研究した文章の音読を学習するネットワークシ
ステム、ネットトーク（ＮＥＴ　　ｔ　ａ　ｌ　ｋ）で
実証されている。

発明が解決しようとする課題逆伝搬学習法を使ってパターン認識や音声認識を行わせ
る場合、中間層に含まれる神経細胞の数を幾つにすると
、あるいは中間層の神経細胞のうちどれくらいの割合で
出力細胞と結合させたら、認識できるパターンの数およ
び認識率を低下させることなく最も効率よく学習できる
のかという問題については、まだ明らかにされていなか
った。

本発明は以上のような従来の間・照点を解決するもので
、効率よく学習でき、しかも認識率の高い神経ネットワ
ーク回路を提供するものである。

課題を解決するための手段本発明の神経ネットワーク回路は、複数の入力を受け取
り、かつ入力の総和に対する出力値が非線形の関係にあ
る単位神経素子を複数個集めた集団を複数個作成して入
力層と少なくとも１つ以上の中間層と出力層とし、入力
層に含まれる単位神経素子の数が１００個以上であり、
入力層に含まれる単位神経素子の出力を中間層に属する
単位神経素子の入力に接続し、出力層の入力に中間層に
属する単位神経素子の出力を接続した階層状のネットワ
ークを構成し、かつ各々の中間層に属する単位神経素子
の数（これをｘｋとする、但しに＝１゜２．３．・・・
ｌ　ｎｌ　ｎは中間層の数）と入力層に属する単位神経
素子の数（これをｙとする）と出力層に属する単位神経
素子の数（これを２とする）との関係が　ｙ　＠　、　
Ｉｒ≦Ｘｋ≦２ｙおよび２≦ｙを満足することを特徴と
するものである。

作用本発明者らは、入力層、１つ以上の中間層、出力層の階
層的な神経ネットワーク回路において、神経系と類似な
入出力動作の一例としてパターン認識の問題を適用させ
、各層に含まれる単位神経素子の数と学習の効果および
認識率との関連について調べた。その結果、学習アルゴ
リズムとして逆伝搬学習法を用いた場合には、入力層に
含まれる単位神経素子の数を１００個以上にした時、中
間層に含まれる単位神経素子の数（Ｘ）と入力層に含ま
れる単位神経素子の数（ｙ）及び出力層に含まれる単位
神経素子の数（２）との関係にｙｅ・６≦Ｘ≦２ｙおよ
び２≦ｙを満足させると、学習の際に収束し易く、学習
回数を少なくでき、しかも認識率を余り減少することな
く最もよい状態を得ることができた。また、中間層が複
数個（ｎ）ある場合でも何れの中間層において各層に含
まれる単位神経素子の数Ｃｘｋ、　　ｋ＝　１．　２＋
　　３ｔ　　”’ｎ）について上記の条件を満足させる
と同様の効果を得ることができた。なぜ、上記の条件を
満足するときに最もよい状態を得ることができるかにつ
いて、現在のところ数学的に解析できていないが、以下
のように概ね考えている。

入力層に含まれる単位神経素子数が１００個以上である
ような、神経素子数の比較的多いネットワーク回路にお
いて、中間層または出力層の単位神経素子数および結合
数をあまり多くするとネットワーク回路のエネルギーの
極小値の深さの浅いものが増える。・その結果、回路の
状態がこのような浅い極小値に捕られれ、安定な深さの
深い極小値に落ち着き難くなる。従って、学習の際収束
しにくくなり、認識率も余り向上しなくなってしまう。

また、中間層の単位神経素子数および結合数を少なくし
過ぎると認識できるパターンの数を増やすことができな
い。

以上のことから、上記の条件を満足する場合において、
認識率を余り減少させることなく、学習の収束度を高め
、学習回数を減少させることができたものと思われる。

実施例本発明の実施例について、図面を参照しながら説明する
。

第１図に本発明の神経ネットワーク回路の一例を示す。

この図に示すように回路は入力層１１゜中間層１２．出
力層１３からなり、各層間で単位神経素子１４どうし結
合しており、この結合１５は神経細胞のシナプス結合に
相当し、ある結合強度を持っている。また、入力層に含
まれる単位神経素子１４は、１００個以上に設定されて
いる。

中間層１２に含まれる単位神経素子１４の数（これをＸ
とする）は、入力層１１に含まれる単位神経素子１４の
数（これをｙとする）に対して、ｙｅ・６≦Ｘ≦２ｙの
関係を満足しており、かつ出力層１３に含まれる単位神
経素子１４の数（これを２とする）とｙに対しては２≦
ｙを満足している。

また、この例では中間層１２は１層であるが、処理を行
う問題の複雑さに合わせて２層以上にしてもよい。ただ
し、各中間層に含まれる単位神経素子の数は常に上記の
条件を満足していなければならない。さらにこの場合、
入力層と結合している中間層に含まれる単位神経素子の
数を他の中間層に属している単位神経素子の数が越えな
いように設定すると学習の最の収束度はより向上する。

また、中間層あるいは出力層に属するある１つの単位神
経素子が受け取る入力の数（これをｐとする）の、これ
らの入力を出力している単位神経素子を含む層に属する
単位神経素子の総数（これをｑとする）に対する割合（
ｐ／ｑ）の平均値を３０％以上８５％以下にすることに
より、認識率をあまり低下させることなく学習時の回路
の収束度を高めることができる。このｐ／ｑは、言い替
えれば１つの単位神経素子が前段の層に属する全単位神
経素子（ｑ個）のうちいくつの単位神経素子（ｐ個）か
ら入力を受けているかを表わす割合である。またｐ／ｑ
の平均値は、好適には４５％以上８０％以下であり、最
適には５５％以上８０％以下である。

単位神経素子の入出力特性は、実際の神経細胞がそうで
あるように非線形であり、例えば、第２図（ａ）および
（ｂ）に示すように、入力が無限大に近づくにつれて出
力の微係数が零に収束する正数であるＳ字状の特性を持
ち、しきい値の値にしたがって曲線は横軸方向に移動す
るものである。

あるいは、第２図（Ｃ）および（ｄ）に示すような階段
状の特性があげられる。

以下に、具体的な実施例を述べる。

実施例１本発明の一実施例として、第３図に示すような神経ネッ
トワーク回路を作製した。第３図（ａ）。

（ｂ）および（Ｃ）は、それぞれ回路全体の構造。

神経素子間の結合部分の平面図およびその断面図である
。増幅器３０は第１図の単位神経素子１４に相当し、第
２図（ａ）または（ｂ）の入出力特性を持つ。増幅器３
０の数はそれぞれ、入力層３１では２５６個、中間層３
２では１２０個、出力層３３では８０個である。

このネットワーク回路の作製方法を以下に示す。

絶縁性基板３４上にアルミニウム、クロムなどでの導電
性配線パターン３５を形成し、酸化シリコン、窒化シリ
コンポリイミドなどの絶縁材料からなる絶縁層３６を積
層する。シナプス結合を形成する部分だけ絶縁層３６を
除去し、この部分に光導電層３７として非晶質シリコン
または非晶質シリコンゲルマニウムなどの光導電材料の
薄膜を埋め込む。この部分は、第１図において結合１５
に相当する。続いて５ｎＯ１ＩＴＯまたは金などの導電
性配線パターン３８を交差させて形成し、第３図（ａ）
〜（Ｃ）に示すような神経ネットワーク回路Ａを作製し
た。但し、入力層３１の増幅器３０の総数に対する、中
間層３２の１つの増幅器３０が結合している入力層３１
の増幅器３０の数の割合の平均値は８５％であり、中間
層３２の増幅器３０の総数に対する、出力層３３の１つ
の増幅器３０が結合している中間層３２の増幅器３０の
数の割合の平均値は７０％となるように設計した。

また、この神経ネットワーク回・路Ａとは別に、中間層
３２の数を５５０個、出力層８３の数を３２０個とし、
他の条件は上記と同一の神経ネットワーク回路Ｂも作製
した。

これらの神経ネットワーク回路Ａ、　　Ｂを神経系と類
似な入出力動作の一例としてパターン認識に応用した。

認識のための学習方法としては、結合部分の光導電層３
７に照射する光３９の強度を変化させて結合強度に相当
する抵抗値を制御する方法を用いた。回路Ａの場合、学
習の際の収束の度合は優れており、学習回数はパターン
形状で変化するが平均して４〜５回であった。また、認
識率は９５％以上であった。一方、回路Ｂの場合、学習
の際回路の収束はあまり良くなく、学習回数は平均して
２０回以上を要した。また認識率も８５％程度であった
。

実施例２第４図に示すようように入力１４０．第１中間層４１、
第２中間層４２、出力層４３の４層からなる神経ネット
ワーク回路を計算機によるシュミレーションで動作確認
した。但し、入力層４０の単位神経素子４４の数ｙは１
００〜１００００個変化させ、第１中間層４１の単位神
経素子４４の数Ｘ１は３０〜２００００個変化させ、第
２中間層４２の単位神経素子４４の数Ｘ２は２０〜１５
０００個変化させ１．出力層４３の単位神経素子４４の
数２は５０〜５０００個変化させた。また、単位神経素
子４４の入出力特性は次式で表わした。

ｖ＝　（ｔ　ａｎｈ　（ｋｕ）＋１）／２但し、　Ｕ：
　入力、　■＝　出力、　ｋ：　定数。

第１中間層４１、第２中間層４２および出力層４３のそ
れぞれに含まれる単位神経素子４４の１個と結合してい
る前段の層に含まれる単位神経素子の平均の数は前段の
層に含まれる単位神経素子の総数に対して、３０〜８５
％ととした。

この回路を使って学習させてみたところ、ｙ　ｌ　、　
６≦Ｘｎ≦２Ｙ（ｎ＝１．２）および２≦ｙを満足する
とき、収束しやすく、特にＸ２≦Ｘ、を同時に満足させ
ることによりさらに向上することが確認できた。

発明の効果以上のように本発明による神経ネットワーク回路は、効
率よく学習でき、しかも認識率が高い。

【図面の簡単な説明】

第１図は本発明における神経ネットワーク回路の一実施
例を示す図、第２図（ａ）、（ｂ）、（ｃ）および（ｄ
）は各々単位神経素子の入出力特性の一例を示す図、第
３図（ａ）、（ｂ）および（ｃ）は各々本発明における
神経ネットワーク回路の一実施例の全体の構造を示す回
路図、神経素子間の結合部分の平面図およびその断面図
、第４図は本発明の他の実施例における神経ネットワー
ク回路の図、第５図は従来例の神経ネットワーク回路を
示す図である。１１・・・入力層、１２・・・中間層、１３・・・出力
層、１４・・・単位神経素子、１５・・・結合、３０・
・・増幅器、３１・・・入力層、３２・・・中間層、３
３・・・出力層、４０・・・入力層、４１・・・第１中
間層、４２・・・第２中間層、４３・・・出力層、４４
・・・単位神経素子。代理人の氏名　弁理士　中尾敏男　ほか１名第１図Ｉ　　−一７２　−ｍ− ５−−一ガ鳩 ’２７層１立　神　斯覧合累第２図（五ｎ／）（ａ）第図（ぞの２）（Ｃ）図（乞ｎ／）刀−壇　１　魯３１−７カ１３２−　　中ｌｖＩ層刀　−出　力　場４０−ス４３−・・出力層 μｍ・−絨位神経卑子刀−壇　１　己五、３８−・導電ｖ５配罐パターツ５〇−人力層５１−　出力増５２−　中唱１

Claims

【特許請求の範囲】

（１）複数の入力を受け取り、かつ前記入力の値の総和
に対し出力値が非線形の関係にある単位神経素子からな
る集団を複数個作成して入力層と少なくとも１つ以上の
中間層と出力層とし、前記入力層に含まれる単位神経素
子の数が１００個以上であり、前記入力層に含まれる単
位神経素子の出力を前記中間層のうちの１つに属する単
位神経素子の入力に接続し、前記出力層の入力に前記中
間層のうちの１つに属する単位神経素子の出力を接続し
た階層状のネットワークを構成し、かつ各々の前記中間
層に属する単位神経素子の数（これをｘ＿ｋとする、た
だしｋ＝１、２、３、・・・、ｎ、ｎは中間層の数）と
前記入力、層に属する単位神経素子の数（これをｙとす
る）と前記出力層に属する単位神経素子の数（これをｚ
とする）との関係が、ｙ＾３＾．＾５≦ｘ＿ｋ≦２ｙ（
ｋ＝１、２、３、・・・、ｎ）およびｚ≦ｙを満足する
ことを特徴とする神経ネットワーク回路。
（２）複数の中間層を有し、入力層と結合している中間
層に属する単位神経素子の数に対し、他の中間層に属す
る単位神経素子の数が多くならないことを特徴とする請
求項１に記載の神経ネットワーク回路。
（３）中間層または出力層に属する単位神経素子が受け
取る入力の数（これをｐとする）の、前記入力を出力し
ている単位神経素子を含む層に属する単位神経素子の総
数（これをｑとする）に対する割合（ｐ／ｑ）の平均値
を３０％以上８５％以下としたことを特徴とする請求項
１に記載の神経ネットワーク回路。