JPH04118741A

JPH04118741A - ニューラルネットワーク装置

Info

Publication number: JPH04118741A
Application number: JP2237224A
Authority: JP
Inventors: Takeshi Shima; 健島
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 1990-09-10
Filing date: 1990-09-10
Publication date: 1992-04-20

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】［発明の目的コ（産業上の利用分野）本発明は、音声認識等の識別問題、ロボット等の運動制
御問題、一般のプロセス制御問題。

ニューロコンピュータ等に広く利用されるニューラルネ
ットワーク装置に関する。

（従来の技術）ニューラルネットワークの一般的論文としては、以下の
文献（著者７ｅｕｖｏ　Ｋｏｈｏｎｅｎ、題名Ｒｅｐｒ
ｅｓｅｎｔａｔｉｏｎ　ｏｆ　５ｅｎｓｏｒｙ　１ｎｆ
ｏｒ＠ａＨｏｎ　ｉｎＳｅｌｒ−ＯｒｇａｎｉＺｉｎｇ
ｆｅａｔｕｒｅｌａｐＳ、ａｎｄｒｅｌａｔｊＯｎｏｆ
　ｔｈｅｓｅ　ｍａｐｓ　ｔｏ　ｄｉｓｔｒｉｂｕｔｅ
ｄ　ｍｅｍｏｒｙｎｅｔｗｏｒｋｓ、出典５ＰＩＥ　Ｖ
ｏｌ、６３４０ｐｔｉｃａｌ　ａｎｄＨｙｂｒｉｄ　Ｃ
ｏＩｅｐｕｔｉｎｇ、　１９８Ｂ）があり、それに基づ
いて従来の技術を説明する。

この文献によれば、ニューラルネットワークと呼ばれる
系を有するものは、次の３つの常微分方程式によって律
則されている。

ｄｙ／ｄｔ−ｆ　（ｘ、ｙ、Ｍ、Ｎ）・・・（１）ｄＭ
／ｄ　ｔ−ｇ　（ｘ、Ｙ、Ｍ）　　　−（２）ｄＮ／ｄ
　　ｔ−ｈ　　（ｙ、　　Ｎ）　　　　　　　　・・・
（３）ここで、Ｘは入力を表わすベクトル、ｙは出力を
表わすベクトル、Ｍ及びＮは系のパラメータ行列であり
、ｆ、ｇ、ｈは非線形関数である。

従来、いわゆる信号処理に用いる電子回路においては、
抵抗、容量等によって表わされる系のパラメータ行列は
定数である場合がほとんどであり、式（２）及び式（３
）の右辺は零となる。

ニューラルネットワークと呼ばれる系においては、前記
Ｍ及びＮなる系のパラメータ行列を律則する、式（２）
及び式（３）が存在し、通常記憶とかそれに基づく学習
の働きを記述している。

さらに、記憶、学習は長時間かけて達成されるのに対し
、入力に対して出力は極めて短時間に応答する。即ち、
上記３つの式において、Ｘ。

ｙに比較して、Ｍ、Ｎは極めて緩やかに変化する。

また、別のニューラルネットワークにおいては、次の２
つの常微分方程式によって律則されている。

ｄ　ｙ／　ｄ　ｔ　−ｆ　（ｘ、　　ｙ、　Ｍ）　　−
（４）ｄＭ／ｄｔ−ｇ　（３／、ｔ、Ｍ）　　・・・　
（５）ここで、Ｘは入力を表わすベクトル、ｙは出力を
表わすベクトル、ｔは教師信号を表わすベクトル、Ｍは
系のパラメータ行列であり、ｆ、ｇは非線形関数である
。この系においては、入力に対して所望の出力を得るた
めの、教師信号が新たに付加されている。

このように、ニューラルネットワークには様々な変形が
考えられるが、記憶とかそれに基づく学習という機能を
有することが大きな特徴となっている。

次に、前記後者の系について、より具体的な構成法の従
来例について考える。

この系は、パーセプトロンと呼ばれており、１９４０年
代にローゼンブラットらにより提案された層構造を持つ
ニューラルネットワークである。

一般に、この層を多数持つパーセプトロンを多層バーセ
プトロンと呼び、第４図に示すような構成になっている
。このような構成は、小脳とか大脳皮質にある神経細胞
の結線によく似ていることや、その情報処理能力に関す
る数学的解析が広く行われていることなどは良く知られ
ている。例えば、コルモゴルフのｒｎ　（２ｎ＋１）ニ
ューロンを持つパーセプトロンは任意のｎ変数の連続関
数を表わすことができる」という定理などがある。この
多層バーセプトロンのパラメータはニューロン間のサイ
ナッブス接続の結合荷重であり、このパラメータを学習
方程式と呼ばれる偏微分方程式に従って更新していくこ
とて自己組織又は適応形のネットワークを構成すること
ができる。

最近、ルンメルハートらによって誤差逆伝搬学習アルゴ
リズムが開発され、上記パラメータが最急工法により求
められることが発見された。

このような歴史的背景を持つ多層パーセプトロンを、第
４図に従って詳細に説明する。第４図は３層バーセプト
ロンの場合を示している。第１層は入力層と呼ばれＳ、
（ｉ−１，２，・・・）！なるニューロンからなる。第２層は中間層と呼ばれ、Ａ
、（ｉ−１，２，・・・）なるニューロンからなる。ま
た、第３層は出力層と呼ばれＲｉ＜ｉ−１，２，・・・
）なる二ニーロンからなる。

サイナップス接続の結合荷重はＲＳ、、、ＲＡ、。

ＪＩ　　　　　　　　Ｊｌ（ｉ、ｊ−１，２，・・・）で表わされている。

第４図において、信号は左から右に伝搬するものとする
。さらに、第４図の全てのニューロンでの、入力信号と
出力信号との関係は、単調な非線形関数による写像であ
るとする。また、入力層二ニーロンへの入力は外部より
それぞれのニューロンへ与えられるものとし、また入力
層以外のニューロンへの入力はそれぞれにューロンＡ、
への入力） −Σ　Ｒ８、、＊　（Ｓ　、の出力）　・・・（６）ｊ
、　ＩＪ　Ｉ　　　　　ＪにニーロンＲ９への入力） −Σ　ＲＡ、、＊　（Ａ　、の出力）　・・・　（７）
、ＩＪＩ　　　　　Ｊて表されるような荷重和演算が施されるものとする。

次に、上記の誤差逆伝搬学習アルゴリズムを説明する。

これは、最終層にのみ教師信号が与えられる場合の学習
アルゴリズムである。二ニーロンの入力信号ｘ、（ｔ）
から出力信号への写像をＦ（＊）としたとき、ｗ、、（ｔ＋Δｔ） −ｗ、、（ｔ）＋η＊ε、　＊　Ｆ　（ｘ　、　（ｔ）
）　　−（ｇ）ＪＩ　　　　　　　　　　　　Ｊ　　　
　　　　　　　４ここで、ηは上記更新式の緩和係数、
Ｗは結合荷重であり、ε、はニューロンが最終層にある
ときは、 ε　、　　−（ｄ　　、　　−Ｆ　　（ｘＪ　　　　　
　　　　Ｊ＊　　Ｆ’　　　（ｘここで、＊は乗算を表し、の微分形を表わす。また、にないときには１、（１）））、（１））　　　・・・　（９）Ｆ”（・）はＦ（・）ニューロンが最終層 ε　、　　−Ｆ　’（ｘ　　、（ｔ））’１’　　ΣＪ
　　　　　　　Ｊ　　　　　　ｋｋ＊Ｗｋｊ・・・（ｌＯ）で与えられるものである。

さて、ニューラルネットワークを上記多層パーセプトロ
ンを例にとって考えたが、時系列信号を入力して信号処
理を行うニューラルネットワークにおいては、従来第５
図で示すような構成が考えられていた（電子情報通信学
会、信学技報、Ｖｏｌ、９０、Ｎｏ、４８　、ＮＣ−９
０−９、川崎能）。

第５図で１は感覚層（入力層）、２は連合層（中間層）
、３は出力層、４はシフトバッファである。この構成は
、時系列信号を取り扱うため、多層パーセプトロンの入
力層ニューロン数と同数の複数個のシフトバッファによ
り１回のデータサンプリング毎にシフトさせながら転送
・保持するものである。

しかしながら、この種の構成にあっては次のような問題
があった。即ち、入力信号がアナログ信号であった時に
、第５図のシフトバッファを具体的にどのように構成す
るかという知見に欠けており、ディジタル方式では容易
に実現できるが、アナログ方式ではシフトバッファの後
段にＤ／Ａ変換器等が必要となり回路規模が大きくなる
と言う問題があった。シフトバッファの代わりにＣＣＤ
を用いることも考えられるが、ＣＣＤでは一旦データを
読出すと次の転送が難しく、この種の用途に適用するこ
とはできない。

また、多層バーセプトロンは一般に感覚層ニューロン数
をｎｓ、連合層ニューロン数をｎａ。

出力層ニューロン数をｎｏとすると、シナプスの数は、
感覚層と連合層間でｎ５Ｘｎａ個、連合層と出力層間で
ｎａＸｎｏ個必要となるが、時系列信号においてはシフ
トバッファの数が増えるに伴って感覚層ニューロン数ｎ
ｓもまた増加し、感覚層と連合層間でのシナプスの数ｎ
５ｘｎａ個が飛躍的に増加すると言う極めて実用上不都
合なこととなっていた。

（発明が解決しようとする課題）このように従来、多〜層パーセプトロンの入力層の前段
にシフトバッファを用いた場合、入力信号がアナログ信
号では回路規模が大きくなると言う問題があった。また
、時系列信号においてはシフトバッファの数が増え、こ
れに伴い入力層及び出力層と中間層との間でのシナプス
の数か飛躍的に増加するという問題があった。

本発明は、上記事情を考慮してなされたもので、その目
的とするところは、入力信号かアナログ信号であっても
時系列信号を取り扱うことができ、且つ回路規模の増大
を抑えて構成の小型化をはかり得るニューラルネットワ
ーク装置を提供することにある。

また、本発明の他の目的は、入力層及び出力層と中間層
との間でのシナプスの数を減らすことができ、構成の小
型化をはかり得るニューラルネットワーク装置を提供す
ることにある。

［発明の構成］（課題を解決するための手段）本発明の骨子は、入力信号がアナログ信号であっても時
系列信号を取り扱えるようにするため、入力層ニューロ
ン数に合わせてサンプル・ホールドする手段を設けるこ
とにあり、さらに時系列信号において入力層及び出力層
と中間層との間でのシナプスの数が増加するという問題
を解決するために、シナプス結線に偏りを持たせること
にある。

即ち本発明（請求項１）は、多層パーセプトロンの入力
層に時系列信号を入力して所定の信号処理を行うニュー
ラルネットワーク装置において、前記多層パーセプトロ
ンの入力層ニューロンにそれぞれ接続され、入力信号を
サンプル・ホールドして対応する入力層ニューロンに供
給するサンプル中ホール１手段と、これらのサンプル・
ホールド手段をデータサンプリング毎に順に駆動する手
段とを具備してなることを特徴としている。

また、本発明（請求項２）は、多層パーセプトロンの入
力層に時系列信号又は信号を系列化した時に近傍に相関
がある信号を入力して所定の信号処理を行うニューラル
ネットワーク装置において、前記多層パーセプトロンの
入力層ニューロン又は出力層ニューロンの少なくとも一
方が、これに対応する中間層ニューロン及びその近傍の
ニューロンに接続されるように、入力層又は出力層の少
なくとも一方と中間層のシナプス結線に偏りを持たせた
ことを特徴としている。

（作用）本発明（請求項１）によれば、入力層ニューロン数に合
わせてサンプル・ホールド手段を設け、データサンプリ
ング毎に順に各サンプル・ホールド手段に値を保持し、
対応する入力層ニューロンに供給することにより、入力
信号がアナログ信号であっても時系列信号を取り扱うこ
とができる。そしてこの場合、シフトバッファを用いた
場合と異なり、Ｄ／Ａ変換器等は不要であり、サンプル
・ホールド手段でホールドした値を直接入力層ニューロ
ンに供給できるので、回路規模の増大を招くことなく構
成の小型化をはかることが可能となる。

また、本発明（請求項２）によれば、入力層及び出力層
のニューロンがこれに対応する中間層ニューロン及びそ
の近傍のニューロンに接続されるように、シナプス結線
に偏りを持たせることにより、シナプス数を大幅に減ら
すことができる。さらに、上記のシナプス結線の偏りに
より、ある時刻とその近傍時刻の入力信号によってニュ
ーラルネットによる信号処理が実現され、離れた時刻の
入力信号による干渉を回避できるほか、入力信号の持つ
性質である近傍に相関がある特徴を考慮した信号処理が
可能となる。

なお、相関のある入力信号としては、例えば音声信号を
文字に変換すると言った認忠問題において音素間に調音
結合と呼ばれる返戻音素間に相関があることが知られて
おり、このような認識問題の信号処理に適用することが
できる。

（実施例）以下、本発明の詳細を図示の実施例によって説明する。

第１図は、本発明の第１の実施例に係わるニューラルネ
ットワーク装置を示す概略構成図である。図中１０は入
力層、２０は中間層、３０は出力層であり、それぞれ複
数個のニューロン（図中Ｏ印で示す）からなる。入力層
１０のニューロンと中間層２０のニューロンとは、それ
ぞれシナプスにより接続されており、同様に中間層２０
のニューロンと出力層３０のニューロンとは、シナプス
によりそれぞれ接続されている。

入力層１０の前段には、入力信号をサンプル・ホールド
して入力層１０に供給するサンプル・ホールド回路４０
が各ニューロンに対応してそれぞれ設けら・れている。

サンプル・ホールド回路４０は、スイッチ４１とキャパ
シタ４２からなり、スイッチ４１は駆動回路としてのシ
フトレジスタ５０により開閉制御される。キャパシタ４
２は入力信号を記憶するものであり、この値は入力層１
０のニューロンに伝達される。

シフトレジスタ５０は、入力層１０のニューロン数に対
応する段数であり、外部或いは内部で生成したクロック
信号により動作する。

このような構成であれば、シフトレジスタ５０にクロッ
クを入力することにより、サンプルｅホールド回路４０
が順次入力信号をサンプル・ホールドし、ホールドされ
た値が入力層１０の対応するニューロンに伝達される。

そして、中間層２０及び出力層３０と伝達されて所定の
信号処理が施されたのち、出力層３０から出力されるこ
とになる。

ここで、サンプル・ホールド回路４０はシフトレジスタ
５０の制御により、初め全てサンプル状態とし次に順に
ホールド状態とすることも、或いは各サンプル・ホール
ド回路４０の各々をサンプル状態とホールド状態に順に
繰り返すことも可能である。前者では時系列信号をある
時間区間について同時にニューラルネットに信号を入力
するため、時間区間毎の信号処理ができる。また、後者
では時々刻々変化する時系列信号をたゆみなくニューラ
ルネットに信号を入力するため、パイプライン処理の信
号処理が実現できる。

第２図はサンプル・ホールド回路４０の別の構成例であ
る。第２図（ａ）では、スイッチＳ１、。

Ｓ１２及びキャパシタＣ１からなる第１のサンプル・ホ
ールド回路と、スイッチＳ２１．Ｓ２□及びキャパシタ
Ｃ２からなる第２のサンプル・ホールド回路とを並列接
続している。スイッチＳｌｌと８２゜、スイッチＳ＋２
と５２１はそれぞれ同時に開き、スイッチＳｌｌとＳ２
＋は同時に開くことはない。スイッチＳ１２と８２□も
同時に開くことはない。この場合、キャパシタＣ１でホ
ールドした値を入力層１０に伝達しながら、キャパシタ
Ｃ２でデータサンプリング行うことができる。

これにより、サンプル壷ホールド回路が持つ、サンプル
時間に出力が変動する問題を回避することができ、過度
的変動を最小化することができる。

第２図（ｂ）では、スイッチＳ１及びキャパシタＣ１か
らなる第１のサンプル・ホールド回路と、スイッチＳ２
及びキャパシタＣ２（Ｃ２＜０１）からなる第２のサン
プル弗ホールド回路とを直接接続している。スイッチＳ
０と８２は同時に開くことはない。この場合、スイッチ
Ｓ１の開閉によりデータサンプリングを順次行い、これ
をキャパシタＣ１にホールドし、さらにキャパシタＣ１
の値をキャパシタＣ２に伝達しておけば、入力層１０へ
のホールド値の伝達を同時に行うことかできる。

第３図は本発明の第２の実施例を示す概略構成図である
。この実施例は、入力信号が時系列信号又は信号を系列
化した時に返戻に相関がある場合を想定し、入力層と中
間層のシナプス結線に偏りを持たせ、また中間層と出力
層のシナプス結線に偏りを持たせたものである。

即ち、入力層６０のニューロンは、該ニューロンに対応
する中間層７０のニューロン及びその近傍のニューロン
のみにシナプスを介して接続されている。同様に、出力
層８０のニューロンは、該ニューロンに対応する中間層
７０のニューロン及びその近傍のニューロンのみにシナ
プスを介して接続されている。より具体的には、入力層
６０及び出力層８０のニューロンＣは中間層７０のニュ
ーロンａ　−ｅにそれぞれ接続され、入力層６０及び出
力層８０のニューロンｄは中間層７０のニューロンｂ−
ｆにそれぞれ接続され、同様に入力層６０及び出力層８
０のニューロンｇは中間層７０のニューロンｅ〜ｌにそ
れぞれ接続されている。

なお、第３図の構成は模式的に示すものであり、実際に
は各層６０．７０．８０のニューロン数は膨大な量にな
る。これに伴って、一つのニューロンに接続するシナプ
スの数も第３図の例よりも多いものとなる。ここで、例
えば入力層６０のニューロン数をｎ個、中間層７０のニ
ューロン数をｍ個とすれば、従来例では入力層６０と中
間層７０のシナプス結線にｎＸｍ個のシナプスが必要で
ある。これに対し本実施例では、入力層６０の個々のニ
ューロンに中間層７０の対応するニューロン及びその近
傍のみのニューロンの１０個を接続するものとすれば、
シナプス数はｎＸ１０で済むことになる。ｎ　−１００
ｍ　−２０（］とすれば、従来では２万個のシナプスか
必要であったのが、本実施例では１０００個のシナプス
数で済むことになり、シナプス数をｌ／２０に低減する
ことか可能となる。

このように本実施例では、入力層６ｏと中間層７０のシ
ナプス結線に偏りを持たせ、さらに中間層７０と出力層
８０のシナプス結線に偏りを持たせることにより、ある
時刻とその返戻時刻の入力信号によってニューラルネッ
トによる信号処理が実現し、離れた時刻の入力信号によ
る干渉を回避することができる。さらに、入力信号のも
つ性質である返戻に相関がある特徴を考慮した信号処理
もてきることになる。また、入力層６０と中間層７０間
、及び中間層７ｏと出力層８０間で全てのニューロンを
シナプスで接続するのに比べ、シナプスの数を格段に少
なくすることができる。

［発明の効果］以上詳述したように本発明（請求項１）によれば、入力
層ニューロン数に合わせてサンプル・ホールドする手段
を設けることに入力信号がアナログ信号であっても時系
列信号を取り扱うことができ、且つ回路規模の増大を抑
えて構成の小型化をはかることができる。

また、本発明（請求項２）によれば、シナプス結線に偏
りを持たせることにより、入力層及び出力層と中間層と
の間でのシナプスの数を格段に減らすことができ、これ
によっても構成の小型化を゛はかることができる。

【図面の簡単な説明】

第１図は本発明の第１の実施例に係わる二二−ラルネソ
トワーク装置を示す概略構成図、第２図は上記実施例の
変形例を示す回路構成図、第３図は本発明の第２の実施
例を示す概略構成図、第４図は一般的に知られている多
層パーセプトロンを説明するための模式図である。第５
図は、従来の時系列信号を取り扱うニューラルネットワ
ークを示す概略構成図である。１０．６０・・・入力層、２０．７０・・・中間層、３
０．８０・・・出力層、５０・・・シフトレジスタ、４
０・・・サンプル・ホールド回路、４１・・・スイッチ、４２・・・キャパシタ。出願人代理人　弁理士　鈴　江　武　彦第２図第図イき　５図

Claims

【特許請求の範囲】

（１）多層パーセプトロンの入力層に時系列信号を入力
して所定の信号処理を行うニューラルネットワーク装置
において、前記多層パーセプトロンの入力層ニューロンにそれぞれ
接続され、入力信号をサンプル・ホールドして対応する
入力層ニューロンに供給するサンプル・ホールド手段と
、これらのサンプル・ホールド手段をデータサンプリン
グ毎に順に駆動する手段とを具備してなることを特徴と
するニューラルネットワーク装置。
（２）多層パーセプトロンの入力層に時系列信号又は信
号を系列化した時に近傍に相関がある信号を入力して所
定の信号処理を行うニューラルネットワーク装置におい
て、前記多層パーセプトロンの入力層ニューロン又は出力層
ニューロンの少なくとも一方が、それに対応する中間層
ニューロン及びその近傍のニューロンに接続されるよう
に、入力層又は出力層の少なくとも一方と中間層のシナ
プス結線に偏りを持たせたことを特徴とするニューラル
ネットワーク装置。
（３）多層パーセプトロンの入力層に時系列信号又は信
号を系列化した時に近傍に相関がある信号を入力して所
定の信号処理を行うニューラルネットワーク装置におい
て、前記多層パーセプトロンの入力層ニューロンにそれぞれ
接続され、入力信号をサンプル・ホールドして対応する
入力層ニューロンに供給するサンプル・ホールド手段と
、これらのサンプル・ホールド手段をデータサンプリン
グ毎に順に駆動する手段と、前記多層パーセプトロンの
入力層ニューロン又は出力層ニューロンの少なくとも一
方が、これに対応する中間層ニューロン及びその近傍の
ニューロンに接続されるように、入力層又は出力層の少
なくとも一方と中間層のシナプス結線に偏りを持たせる
手段とを具備してなることを特徴とするニューラルネツ
トワーク装置。
（４）前記駆動手段は、前記サンプル・ホールド手段を
初め全てサンプル状態とし次に順にホールド状態とする
か、又は前記サンプル・ホールド手段の各々をサンプル
状態とホールド状態に順に繰り返すことを特徴とする請
求項１又は３記載のニューラルネットワーク装置。
（５）前記サンプル・ホールド手段は、それぞれ並列又
は直列接続された２段のサンプル・ホールド回路からな
ることを特徴とする請求項４記載のニューラルネットワ
ーク装置。（６）前記多層パーセプトロンの入力層のそ
れぞれに供給する入力信号は、前記入力層のニューロン
数に対応して設けられたシフトバッファを、データサン
プリング毎にシフトすることにより得ることを特徴とす
る請求項２又は３記載のニューラルネットワーク装置。