JPH03268080A - 信号処理装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 技Ｗ分災 本発明は、信号処理装置、より詳細には、神経回路網を
模倣したニューラルコンピュータに関し、例えば、文字
や図形認識、ロボットなどの運動制御、連想記憶等に応
用して好適なものである。

ｋ米七！− 生体の情報処理の基本的な単位である神経細胞にューロ
ン）の機能を模倣し、さらに、この「神経細胞模倣素子
」　（神経細胞ユニット）をネットワークに構成するこ
とで情報の並列処理をめざしたものが、いわゆるニュー
ラルネットワークである１文字認識や、連想記憶、運動
制御等、生体ではいとも簡単に行われていても、従来の
ノイマン型コンピュータではなかなか達成できないもの
が多い。生体の神経系、特に生体特有の機能、すなわち
並列処理、自己学習等を模倣して、これらの問題を解決
しようとする試みは、計算機シミュレーションで行われ
ているものが多く、本来の機能を発揮するには、並列処
理が必要であり、そのためにはニューラルネットワーク
のハードウェア化が必要である。一部では、既にハード
ウェア化の試みも行われているが、ニューラルネットワ
ークの特徴の１つである自己学習機能が実現できず、大
きなネックになっている。また、はとんどのものはアナ
ログ囲路で実現されており、動作の点で問題がある。

第６図は、従来のニューラルネットワークのモデルにつ
いて説明するための図で、図中、Ａは、１つの神経細胞
ユニットを表し、第７図は、それをネットワークに構成
したもので、Ａ１ＨＡ２゜Ａ、は、それぞれ神経細胞ユ
ニットを表わす。１つの神経細胞ユニットは、多数の他
の神経細胞ユニットと結合しており、それらから受けた
信号を処理して出力する。第７図の場合、ネットワーク
は階層型であり、神経細胞ユニットＡ２は、１つ前の層
の神経細胞ユニットＡ□より信号を受け、１つ先の層（
図中右側）の神経細胞ユニットＡ。

へ出力する。

最初に、第６図に示した神経細胞ユニット八について説
明すると、１つの神経細胞ユニットと他の神経細胞ユニ
ットどの結合の度合を表すのが、結合係数（Ｔ）と呼ば
れているものであり、ｉ番目の神経細胞ユニットとｊ番
目の神経細胞ユニッ１〜の結合係数を、一般に、Ｔ１．
で表す。結合には、相手のニューロンからの信号が大き
いほど自分の出力が大きくなる興奮性結合と、逆に、相
手の信号が大きいほど、自分の出力が小さくなる抑制性
結合とがあり、Ｔｒｊ＞Ｏが興奮性結合、Ｔ　ｔ　Ｊ　
＜　０が抑制性結合である。ｊ番目の神経細胞ユニット
への入力は、ｉ番目の神経細胞ユニットの出力をｙｌと
すると、これにＴＬＪをかけた’ｒ、ｊｙ、とじて求め
られる。前述のように、１つの神経細胞ユニットは多数
の神経細胞ユニットと結合しているので、それらのユニ
ットに対する’ｒｔｊｙ、を足し合わせたもの、すなわ
ち、ΣＴＩＪｙＩが、ネットワーク内における１つの神
経細胞ユニットへの入力となる。これを内部電位と言い
、Ｕ、で表す。

ｕｊ：ΣＴｔｊｙｔ　　　　　　　　　　　　　　（１
）次に、この入力を非線形処理することで、その神経細
胞ユニットの出力とする。ここで用いる非線形関数を神
経細胞応答関数と呼び１次に示すような、シグモイド関
数ｆ　（ｘ）を用いる。

ｆ　　（ｘ）＝１／　（１＋ｅ−”）　　　　　　　　
　（２）第８図は、このシグモイド関数を示す図である
。

上記神経細胞ユニットを、第７図に示すような、ネット
ワークに構成し、各結合係数を与え、式（１）、（２）
を次々と計算することにより、情報の並列処理が可能と
なり、最終的な出力が得られる。

第９図は、上記ネットワークを電気回路で実現したもの
の一例を示す図で（特開昭６２−２９５１８８号公報）
、これは、ネットワークへの入力や出力の信号強度を電
圧で表し、上記神経細胞ユニット間の結合係数Ｔ１．の
値を抵抗値で実現したものである。すなわち、第９図に
おいて、複数の増幅器３３は、反転出力３３ａ及び非反
転出力３３ｂとを有し、かつ、各増幅器３３の入力には
入力電流を供給する手段３２を有しており、予め選ばれ
た第１の値又は予め選ばれた第２の値であるコンダクタ
ンス（ＴＬＪ）で前記増幅器の各々の出力を前記入力に
接続する相互接続マトリックス３１を有している。前記
のＴ１．はｊ番目の増幅器の出力とｊ番目の増幅器との
入力との間の相互コンダクタンスを表わし、前記コンダ
クタンス１゛１゜は、回路網が平衡する複数の極小値を
作るように選ばれ、複数の極小値を持ったエネルギー関
数を最小にするようにしている。結合係数ＴＩ、場合、
負の抵抗値は実現できないので、増幅器３３を用いて出
力を反転させることでこれを実現している。

また、第８図で示したシグモイド関数に相当するものと
して、増幅器３３を用いている。

しかしながらこれらの回路には以下のような問題点があ
る。

■信号の強度を電位や電流などのアナログ値で表し、内
部の演算もアナログ的に行わせる場合、温度特性や、電
源投入直後のドリフト等により、その値が変化する。

■ネットワークであるから、素子の数も多く必要である
が、それぞれの特性を揃えることは困難である。

■１つの素子の精度や安定性が問題になったとき、それ
をネットワークにしたとき、新たな問題が起きる可能性
があり、ネットワーク全体でみたときの動きが予想でき
ない。

■Ｔ　Ｌ　Ｊが固定であり、あらかじめシミュレーショ
ンなどの他の方法で学習させた値を使うしかなく、自己
学習ができない。

一方、数値４１算で用いられている学習法則としては、
バックプロパゲーションと呼ばれる次のようなものがあ
る。

ます、各結合係数は、最初ランダムに与えておく。この
状態で、人力を与えると、出力結果は、必ずしも望まし
いものではない。例えば、文字認識の場合、手書きの「
１」の字を与えた場合、出力結果として、（ｉ′この文
字は「１」である。Ｊとでるのが、望ましい結果である
が、結合係数が、ランダムであると、必ずしも望ましい
結果とはならない。そこで、このネットワークに正解（
教師信号）を与えて、再び、同じ入力があったとき正解
になるように、各結合係数を変化させる。このとき、結
合係数を変化させる量を求めるアルゴリズムが、パック
プロパゲーションと呼ばわているものである。

まず、最終層の５番目のニューロンの出力ｋｙｊとし、
そのニューロンに対する教師信号をｄ。

とすると、 Ｅ＝Σ　（ｄ＊−ｙｐ）”　　　　　　　　　　　　（
３）で表されるＥが最小となるように。

Ｅ を用いてＴ、を変化させる。さらに具体的に説明すると
、まず、出力層と、その］、つ前の層との結合係数を求
める場合には、 δａ”　（ｄｊ−ｙ、＋）　Ｘ　ｆ’（ｕ、＋）　　　
　　　　（５）を用いてδ　（誤差信号）を求め、それ
よりさらに前の層同士の結合係数を求める場合には、δ
４＝Σδ１ＴＩＪＸｆ’（ｕｔ）　　　　　　　　（６
）を用いてδ　（誤差信号）を求め、 ΔＴＬＪ＝η（δ□ｙｔ）十αΔＴＩＪ（前回の学習時
） Ｔ、、＝Ｔ、ｊ＋ΔＴｔＪ　　　　　　　　　　（７）
を求めて、ＴｉＪを変化させる。ここで、ηは学習定数
、αは安定化定数と呼ばれているものであり、それぞれ
、理論的には求めることができないもので、経験的に求
める。

この学習を何回も繰り返すうちに、やがて、与えられた
入力に対して、望ましい結果が得られるようなＴ、ｊが
決定される。

さて、この学習方法を何らかの方法でハードウェア化し
ようとした場合、学習には、多嵐の四則演算が必要であ
り、実現が困％ｔである。学習方法そのものもハードウ
ェア化に対しては不向きである。

第１０図〜第１２図は、このようなニューラルネットワ
ークをデジタル回路で実現した例を示す図で、第１０図
は、単一神経細胞の回路構成例を示す図で、４０はシナ
プス回路、４１は樹状突起回路、４２は細胞体回路を示
す。第１１図は、第１０図に示したシナプス回路４０の
構成例、第１２図は、第１０図に示した細胞体回路４２
の構成例を示す図で、第１１図中のｆは入力信号、Ｗは
重み付けの値、ａはフィードバック信号に掛ける倍率（
１または２）である。これは、神経細胞ユニットの入出
力をパルス列で表現し、そのパルス密度で信号の値を表
している。結合係数は２進数で取扱い、メモリ上に保存
している。入力信号をレートマルチプライヤ−のクロッ
クへ入力し、結合係数をレート値へ入力することによっ
て、入力信号のパルス密度をレート値に応じて減らして
いる。これは、パックプロパゲーションモデルの式のＴ
Ｌｊｙ、の部分に相当する。また、ΣＴ、、ｙ。

のΣの部分は、樹状突起回路４１によって示されるＯＲ
回路で実現している。結合には興奮性、抑制性があるの
で、あらかじめグループ分けしておき、それぞれのグル
ープ別にＯＲをとる。第１０図において、Ｆ□は興奮性
、Ｆ２は抑制性出力を示す、この２つの出力を、第１２
図に示したカウンターのアップ側、ダウン側にそれぞれ
入力してカウントすることで、出力が得られる。この出
力は２進数であるので再びレートマルチプライヤ−を用
いて、パルス密度に変換する。この神経細胞ユニットを
ネットワークにすることによって、ニューラルネットワ
ークが実現できる。学習については、最終出力を外部の
コンピュータに入力して、コンピュータ内部で数値計算
を行い、その結果を結合係数のメモリに書き込むことに
よって実現している。従って、自己学習機能は全くない
６又、回路構成も、パルス密度の信号をカウンターを用
いて一旦数値に直し、その後再びパルス密度に直してお
り、複雑なものになっている。

以上をまとめると、上記従来技術では、■アナログ回路
は動作に確実性がない。

■数値計算による学習方法も計算が複雑であり、ハード
ウェア化に適さない。

■デジタル方式の回路では、回路構成が複雑である。

■ハードウェア上で自己学習ができない。

等の欠点がある。

■−−五 本発明は、上述のごとき実情に鑑みてなされたもので、
特に、動作が確実なデジタル回路を採用し、かつ、ハー
ドウェア化が容易なシンプルな信号処理、学習方法を提
供し、かつ、実際にハードウェア上で自己学習を含めて
実現することを目的としてなされたものである。

構−−ヨ又 本発明は、上記目的を達成するために、結合係数可変手
段と、この結合係数可変手段の可変結合係数値を教師信
号に対する誤差信号に基づいて生成する結合係数生成手
段とにより自己学習手段を構成し、該自己学習手段をデ
ジタル論理回路を用いて神経細胞模倣素子に付設して複
数の神経細胞模倣回路を網状に接続した信号処理回路網
を有する信号処理装置において、（１）−・部の演算を
終えた信号を順次蓄え、同時に読みだす機能を有するこ
と、或いは、（２）個々の神経細胞模倣回路を異なった
速度で動作可能なこと、或いは、（３）同時に入力され
た信号を蓄え、順次読みだす機能を有することを特徴と
したものである。以下、本発明の実施例に基づいて説明
する。

最初に、本発明の基本的な考え方について説明すると、
本発明の基本的な考え方は、 ■入出力信号、中間信号、結合係数、教師信号などは、
すべて、Ｏ５１の２値で表されたパルス列で表現する。

■信号の量は、パルス密度で表す（ある一定時間内のｒ
ｌＪの数）。

■神経細胞ユニット内での計算はパルス列同士の論理演
算で行う。

■結合係数のパルス列は、メモリに格納する。

■学習は、このパルス列を書き換えることで実現する。

■学習については、与えられた教師信号パルス列を元に
誤差を計算し、これに基づいて、結合係数パルス列を変
化させる。

このとき、誤差の計算、結合係数の変化分の計算もすべ
て、０．１のパルス列の論理演算で行う。

というものであり、以下、これを具体化した実施例に基
づいて詳細に説明する。

ｋ号遣臭皿分 第１図は、１つの神経細胞に相当する部分で、それをネ
ットワークにしたものは、第８図に示したような、従来
と同じ階層型を用いる。人出力はすべて１．０に２値化
され、さらに同期化されたものを用いる。入力’ｉｔの
信号の強度は、パルス密度で表現し、例えば、ある一定
時間内にある、１の状態数で表す。

入力信号ｙｔ　　　　　　　　＝４／６　　（８）同期
信号　　　Ｌ」−Ｌ」」」− これは４／６を表す信号を示したもので、同期パルス６
個中に入力信号ｙＩは１が４個、０が２個であることを
表わしている。このとき、１とＯの並び方は後述するよ
うにランダムであることが望ましい。

一方、結合係数Ｔｉｊも同様にパルス密度で表現し、０
と１パルス列としてあらしめメモリ」二に用意しておく
。

結合係数’ｒ、　　　　　　　＝３／６　　（９）同期
信号　　　、ＬＬＬＪ−土」− これは、ｒｌｏｌｏｌｏＪ　＝３／６を表し、このとき
も０と１の並び方はランダムである方が望ましい。具体
的にどうやって決めるかは後述する。

そして、このビット列を同期クロックに応じてメモリ上
より順次読みだし、第１図のＡＮＤ回路により入力パル
ス列とのＡＮＤをとる（ｙｔｎＴｔＪ）。

これを神経細胞Ｊへの入力とする。今までの例を用いて
説明すると、入力信号がｒｌｏｌｌｏｌＪと入力された
とき、これと同期してメモリ上よりピッ１〜列を呼び出
し、順次ＡＮＤをとることによって・ 入力信号ｙＬ　１−Ｊ−Ｌ−」−−４／６結合係数Ｔ・
、　　　　　　　　　　＝　３／Ｇ（１０） に示すようなｒｌｏｌ、ｏｏＯＪが得られ、これは入力
ｙ、がＴｌｊにより変換されパルス密度が２／６となる
ことを示している。ＡＮＤ回路の出力パルス密度は、近
似的には入力信号のパルス密度と結合係数のパルス密度
の積となり、アナログ方式の結合係数と同様の機能を有
する。これは、信号の列が長いほど、また、１とＯの並
び方がランダムであるほど、積に近い機能になる。尚、
入力パルス列に較べて、結合係数のパルス列が短く、読
み出すべきデータがなくなってしまったら、再びデータ
の先頭に戻って、読み出しを繰り返せばよい。

１つの神経細胞ユニットは多入力であるので、先に説明
した［入力信号と結合係数とのＡＮＤＪも多数あり、次
に、これらのＯＲをとる９人力は同期化されているので
、１番目のデータが［１０１０００Ｊ、２番目のデータ
がｒｏ　１００００Ｊの場合、両者のＯＲはｒｌｌｌｏ
ｏｏＪとなる。

これを多入力同時に計算し出力とする。入力数をＱ個と
すると、 ｙｌｎＴ、Ｊ　［−［−ｍ−− ッ＊　ｎ　Ｔ　＃　Ｊ　　−［−一−−−Ｕ（ｙ　ｔｎ
ＴｌＪ）　　　　　　　　　　　　（１１）となる。こ
の部分はアナログ計算における和の計算及び非線形関数
（シグモイド関数）の部分に対応している。パルス密度
が低い場合、そのＯＲをとったもののパルス密度は、そ
れぞれのパルス密度の和に近似的に一致する。パルス密
度が高くなるにつれて、ＯＲの出力はだんだん飽和して
くるので、パルス密度の和とは結果が一致せず、非線形
性がでてくる。ＯＲの場合、パルス密度は１より大きく
なることがなく、Ｏより小さくなることもなく、また単
調増加関数であり、シグモイド関数と近似的に同様とな
る。

さて、結合には興奮性と抑制性があり、数値計算の場合
には、結合係数の符号で表す。アナログ回路では、ＴＬ
ｊが負となる場合（抑制性結合）、増幅器を用いて出力
を反転させ、’ｉ’、、に相当する抵抗値で他の神経細
胞へ結合させている。一方、本発明では、まず、ＴＬｊ
の正負により各結合を興奮性結合と抑制性結合の２つの
グループに分け。

ツイテ、「入力信号と結合係数のパルス列のＡＮＤ」同
士のＯＲをこのグループ別に計算する。そして、興奮性
グループの出方が１のとき出方を出し、抑制性グループ
の出刃が１のとき出方を出さないようにする。例えば、
興奮性グループの出方が１で抑制性グループの出方が０
のときのみ出方を出す。あるいは、興奮性グループの出
方が０で抑制性グループの出方が１のとき以外出方を出
す。

この機能を実現するためには、前者の場合、興奮性グル
ープの出力と「抑制性グループの出方のＮ０ＴＪとのＡ
ＮＤをとればよく（式（１２）〜（１５））、後者の場
合「抑制性グループの出力のＮ０ＴＪと興奮性グループ
の出力とのＯＲをとればよい（式（１６）〜（１９））
。これは、第１図の＆の部分に相当する。

出力 ニーニー６．２゜ となり、これを論理式で表現すると、 ｙｊ＝ａｎｂ と表される。また、後者の場合 （１５） となり、これを論理式で表現すると、 ｙ４＝ａＵｂ　　　　　　　　　　　　　　　　　（１
９）となる。

神経細胞ユニットのネットワークは、第８図に示したよ
うな階層型とする。ネットワーク全体を同期させておけ
ば、各層ともいままで述べてきた機能で計算することが
可能である。

笠翌肱 ■最終層における誤差信号 まず、最終層の各ニューロンにおける誤差信号を計算す
る０本発明では誤差信号を以下のように定義する。誤差
を数値で表すと、一般には十−の両方を取りうるが、パ
ルス密度では、正、負の両方を同時に表現できないので
、十戒分を表す信号と、−成分を表す信号の２つを使っ
て誤差信号を表現する。

つまり誤差信号゛δ゛、は、教師信号ｄ、と出力信号ｙ
、の追っている部分（ｌ、０又は０１１）の内、教師信
号ｄ、側に存在する信号であり、誤差信号−δ−４は同
様に出力ｙＪ側に存在する信号である。つまり、出力信
号ｙ、に誤差信号゛δ゛、を付は加え、誤差信号゛δ）
を取り除くと、教師信号ｄ。

になるようになっている。この誤差信号δ°１、δ、か
ら新しい結合係数Ｔ１Ｊを求める方法については後述す
る。

■中間層における誤差信号 さらに誤差信号を逆伝播させ、最終層とその１つ前の層
との結合係数だけでなく、更にその前の層の結合係数も
変化させる。そのため、中間層における各ニューロンで
の誤差信号を計算する必要がある。中間層のあるニュー
ロンから、さらに１つ先の層の各ニューロンへ信号を伝
播させたのとはちょうど逆の要領で、１つ先の層の各ニ
ューロンにおける誤差信号を朶めてきて自分の誤差信号
とする。このことは、神経細胞ユニット内での演算の式
（８）〜（１９）と同じ様な要領で行うことができる。

すなわち、まず、結合を興奮性か抑制性かによって、２
つのグループに分け、かけ算の部分はＡＮＤで、Σの部
分はＯＲで表現する。

但し、神経細胞ユニット内での式（８）〜（１９）では
、ｙＪは常に正の値であるので１つの信号であるのに対
して、δ、は正５負を表す信号として２つの信号を持ち
、その両方の信号を考慮する必要がある。したがって、
　ＴＬ、の正負、δ、の正負の４つに場合分けする必要
がある。

まず、興奮性粘合の場合を説明すると、１つ先の層のに
番目のニューロンでの誤差信号゛（δ＋ｋ）とそのニュ
ーロンと自分との結合係数（’ｒＪｈ）のＡＮＤを取っ
たもの（δ”　ｈ　ｎ　Ｔ　Ｊｋ）を各ニューロンにつ
いて求め、さらにこれら同士のＯＲをとる（ＬＪ　（δ
＋ｋｎＴＪｋ）、そしてこれを、この層の誤差信号°δ
゛ｊとする。１つ先の層のニューロンをｎ個とすると、 δ”　１ｒＩＴ、□　　　　　　　　ＨＥ”　、。

δ”　、ｎＴＪ、　　　　　　　　：Ｅ”　、。

δ−２ｎ　Ｔ　Ｊ　、ユニー上−−［＝Ｅ°５０、ｎ　
Ｔ、。−土Ｌ−」−二Ｅ・４゜ δ 又、１つ先の誤差信号　δ　、と結合係数Ｔ　ｊ　ｋの
ＡＮＤをとり、さらにこれら同士のＯＲをとることによ
って、同様に、この層の誤差信号゛δ　、とする。

δ−０ｎＴ、、−Ｌ−ミＬ　’　Ｊ　ｔ＆−、ｌ”ＩＴ
、、　　　　　　　　　＝Ｅ“、。

又、１つ先の誤差信号１δ゛、と結合係数Ｔ、にのＡＮ
Ｄを取り、さらにこれら同士のＯＲをとる。

そしてこれをこの層の誤差信号−δ　、とする。

δ”、ｎＴ、□−−−上１−　　＝Ｅ’、、δ”、ｎＴ
、。　　　　　　　　＝　Ｅ　’　Ｊ　ａ次に、抑制性
結合の場合を説明すると、１つ先の誤差信号゛δ　１と
結合係数１′、のＡＮＤをとり。

さらにこれら同士のＯＲをとり、この層の誤差信号１　
δｌＪとする。

１つのニューロンから別のニューロンへは興奮性で結合
しているものもあれば、抑制性で結合しているものもあ
るので、式（２４）で求めたδ゛。

と式（２６）で求めたδ１．のＯＲをとり、このニュー
ロンの６４．とする。同様に、式（２５）で求めたδ　
、と式（２７）で求めたδ　、のＯＲをとり、このニュ
ーロンのδ　、とする。以上をまとめると、δ’ｊ＝（
Ｕ（δ゛ｉｎ　’ｒ、＋ｈ））ｕ　（ｕ　（δ−ｋｎ　
Ｔ、ｋ））ｋＥ興奮性　　　　　ｋＥ抑制性 δ’ａ＝（ｕ（δ−，ｎＴｊｋ））ｕ（ｕ（δ”ｍｎＴ
ｊｋ））ｋＥ＠奮性　　　　　ｋＥ抑制性 （２８） あるいは、 δ’、＝ＵＥ’ｊ。

δ−ａ＝　Ｕ　Ｅ−Ｊｉ　　　　　　　　　　　　（２
８’）ただし、Ｅ’Ｊｋ＝　ｓ　”　ｈｎＴ、＋ｍ　（
ＴＪ、＝ＭＨ１−）＝δ−＊ｎ　Ｔｊｋ（Ｔ、＋ｈ”抑
制性）ＥＪｋ＝δ−ｍｎＴｊｋ（ＴＪｋ＝興奮性）＝δ
＋ｙ　ｎ　Ｔ　ｓ　ｈ　（Ｔ　ｓ　ｂ　＝抑制性）とな
る。さらに、学習のレートに相当する機能を設けてもよ
い。数値計算に於いてレートが１以下のとき、さらに学
習能力が高まる。これは、パルス列の演算では、パルス
列を間引くことで実現できる。これは、カウンター的な
考え方をし、次のようなものにした。次の（例１）は、
元の信号のパルス列が等間隔の場合、（例２）は、等間
隔でない場合の例を示すもので、共に、η＝０．５の場
合は、パルスを１つおきに間引くもの、η＝０．３３の
場合は、パルスを２つおきに残すもの、η＝Ｏ，Ｇ７の
場合は、パルスを２つおきに１回引くものである。

（例１） −Ｌ　元の信号 η＝０．５の場合 η＝０．３３の場合 η＝０．６７の場合 （例２） 元の信号 η＝０．５の場合 η＝０．３３の場合 η＝０．６７の場合 （２９） このようにして、誤差信号を間引くことによって、学習
レートの機能をもたせる。

■誤差信号より各結合係数を変化 いままで述べてきた方法により誤差信号を求め、各結合
係数を変化させるのであるが、それについて次に述べる
。

まず、変化させたい結合係数が属しているラインを流れ
る信号と誤差信号のＡＮＤをとる（δＪｌ”１ｙｐ）。

但し、本発明では誤差信号は十と−の２つの信号がある
ので、それぞれ計算する。

し、あらたなＴＬＪを求める。

興奮性の場合 元のＴｔｊに対して、ΔＴ’　、、の成分を増やし。

ΔＴ′１．の成分を減らす。

学習後のＴｔｊ 抑制性の場合 元のＴＬ、に対して、ΔＴ′、の成分を減らし、ΔＴ−
□、の成分を増やす。

この様にして得られた２つの信号をΔＴｔ、とする。本
発明に於けるＴｔｊは、絶対値成分であるので、元のＴ
、Ｊが興奮性か、抑制性かで場合分けを学習後のＴｔＪ 以上の学習側にもとづいて、ネットワークの計算をする
。

画一」酢 第２図乃至第４図は、以上のアルゴリズムをもとに、こ
れを実際の回路にしたものの例を示す図で、ネットワー
ク全体の回路は第７図と同様で、第７図の線に相当する
部分の回路を第２図に、また第６図の丸に相当する部分
を第３図に、又、最終層の出力と教師信号から最終層に
おける誤差信号を求める部分を第４図に示す。これらの
３つの図を第７図のようにネットワークにすることによ
って、自己学習が可能なデジタル方式のニューラルネッ
トワークが実現できる。

まず、第２図から説明すると、１は、二ニーロンへの入
力信号で式（８）に相当する０式（９）の結合係数は、
シフトレジスタ８に保存しておく。

８Ａが取り出し口で、８Ｂが入口である。シフトレジス
タと同様の機能を持つものであれば、そのほかのもの例
えば、ＲＡＭ＋アドレスコントローラ等でもよい、また
、シフ１−レジスタあるいはアドレスコントローラ等に
は、図示しないが式（９）の同期信号が与えられている
。第２図の９は式（１０）に相当する回路で、入力１８
号と結合係数とのＡＮＤを取っている。この出力は結合
が興奮性か抑制性かによってグループ分けしなければい
けないが、あらかじめそれぞれのグループへの出力６．
７を用意し、どちらに出すのかを切り替えるようにした
方が汎用性が高い。このため、結合が興奮性か抑制性か
を表すピッ１−をメモリ１４に保存しておき、回路１３
で切り替える。各入力を処理する式（１１）に相当する
ＯＲ回路が第３図の回路１６である。さらに式（１２）
の興奮性グループが１で、抑制性グループがＯの時のみ
出力を出す回路が第３図の回路１２である。また、式（
１６）の場合に於いても同様に論理回路で容易に実現で
きる。

次に、誤差信号について説明する。第４図は最終層での
誤差信号を作るもので、これは式（２０）〜（２３）に
相当する。最終層からの出力１及び教師信号２０より誤
差信号６．７を作る。中間層における誤差信号を計算す
る式（２８’）のうちＥ＋４、Ｅ−を求める部分を回路
にしたのが、第２図の１０である。結合が興奮性か抑制
性かで場合分けをするので、それを行うのが回路１２で
ある。

あらかじめ回路１４にセットされたビットにより切り替
える。又式２８′の残りの部分を回路にしたのが、第３
図の】８である。又、学習レートに相当する式（２９）
の部分が第３図の１９の分周回路である。これはフリッ
プフロップ等を用いることにより、容易に実現できる。

最後に誤差信号より新たな結合係数を計算する部分につ
いて説明する。式では（３０）〜（３３）で表されるが
、この部分は第２図の１１の回路である。これも同様結
合の興奮性、抑制性によって、場合分けしなければなら
ないので、第２図の１２の回路でこれを実現している。

さて、今までの説明は全て並列処理を行うものであった
。一方、文字認識などの場合、入力数が多いのでネット
ワークの配線が大変になる。そこで、一部のデータをシ
リアルに処理することにより、配線数を大幅に減らすこ
とが可能になる。また、ＣＣＤの様に、データをライン
毎にシリアルに読み出す装置もある。そこで、一部でシ
リアル処理を行った方が便利なときもあり、その機能に
ついて、説明をする。まず、式（１３）、（１４）はそ
れぞオし分割が可能なので区切って演算することも可能
である。式（１３）（１４）式をたとえば２５６人力分
計算するのに、まず、６４人力分の８１算のａとｂを求
め、順次６４人力分ずつのａとｂを求める計算を各々４
回行い、４つのａ同士。

４つのｂ同士でＯＲをとることによって最終的なａとｂ
が求まる。この原理を応用して、シリアル処理が可能と
なる。まず、最初の処理で得られたａ、！−ｂを第３図
のメモリ１５上に保存しておく。

次のクロック処理で得られたａとｂも保存しておき、次
々と保存した後、最後にパラレルにこれらのａとｂを呼
び出しこれら同士のＯＲを（第３図の回路１６）によっ
てとり、その後、式（１５）を演算すればシリアル処理
が可能となる。このとき用いるメモリはシフトレジスタ
が良いが、同様の機能を持つものであれば何でも良い、
したがって基準タロツク４個で初めて演算が終了する。

この出力信号のパルスを次の層へ入力するが、基準タロ
ツクが複数個で初めて入力信号のパルスが入力されるの
で、次の層では、遅く動作させる必要がある。これはク
ロック発生器であらかじめ基準クロックを分周したもの
を用意し、ニューロン側でスイッチ等で切り替えても良
いし、ニューロン内に分周手段を設け、基準クロックを
分周して用いても良い。いずれの場合も、どのタロツク
を用いるかは切り替えが可能としておく方がより汎用性
が高くなる。さて、誤差信号のパルスは、４回のシリア
ル処理が終わってはじめて逆伝播されてきて入力される
。ところが学習や誤差逆伝播の演算には、フォワードプ
ロセスのときに用いた入力信号のパルス、結合係数のパ
ルス、及び結合係数の符号のパルスが必要である。シリ
アル処理を行っていると、誤差信号のパルスが演算され
たときには最初の３回分のパルスは既に読み出された後
である。したがって、これらのデータを再び読みだす必
要がある。そこで、４回のシリアル処理でフォワードプ
ロセスを演算した後、再び最初の１〜６４のパルスを入
力、あるいはメモリより読みだして、誤差逆伝播、学習
の演算をする。その後、次の６５〜１２８のパルス演算
を行う。これを合計４回繰り返して、はじめて２５６人
力分の演算が終了する。このように、学習時に、フォワ
ードプロセス時に用いたデータを再び用いるので、その
ための方法について説明する。これは、フォワードプロ
セス時に用いたデータを別のメモリに保存しておいて、
学習時に再びよみだして用いても良いし、学習時にフォ
ワードプロセス時と同じデータが入力されるように、外
部からの入力信号に関しては、ホールド回路、結合係数
などのメモリに保存しであるものに関してはアドレスデ
コーダが同じアドレスを出力するようにしておいても良
い。また、シリアル処理を行う場合と行わない場合とを
スイッチ等を用いて切り替えが可能にしておくとより汎
用性が高くなる（第３図の２１）。

さらに、このようにシリアル処理を行うネットワークへ
パラレルデータを入力するためには、ネットワークの入
口にパラレル−シリアル変換回路を設ければ良い、この
機能も、シフトレジスタ等を用いることで容易に実現で
きる。

なお、上記の回路は、これに限定されるものでなく、ま
た、一部をコンピュータなどの計算装置を用いて代用さ
せてもよいことはいうまでもない。

大差１１ さきに説明したネットワークを用いた自己学習式文字認
識装置について説明する。まず、手書き文字をスキャナ
ーで読み取り、これを第５図に示すように、１６Ｘ１６
のメツシュにわけ、文字部分のあるメツシュを１、ない
メツシュを０とした。

このデータ（２５６個）をネットワークに入力し、出力
は５つあるユニットのうちで一番大きい出力のものの位
置が、認識結果となるようにした。そのため、「１」〜
「５」までの数字を入力したときその数字に対応する番
号の出力が一番大きくなるように学習させた。

欣に、ネットワークの構成は、第１層目が２５６個、第
２層目が２０個、第３層目が５個の神経細胞ユニットか
らなる構成とした。このうち、第１層目は何もしないの
で不要である。第２層目は２５６人力であるが配線数が
多くなるので３２人力×８回のシリアル処理を行わせた
。最初、各結合係数はランダムとしておくと、出力結果
は必ずしも所望のものではない。この゛回路の自己学習
機能を用いて、各結合係数を新たに求め、これを何回か
繰り返すことによって、所望の出力が得られるようにす
る。この実施例では、入力はＯか１であるので、入力パ
ルス列は常にＬＯＷレベル、又はＨＩ　Ｇ　Ｉ−Ｉレベ
ルの単純なものである。又出力はトランジスタを介して
、ＬＥＤと結び、ＬＯＷレベルのとき消灯、ＨＩ　Ｇ　
Ｈレベルのとき点灯とした。同期クロックを１０００　
ｋ　Ｉ（ｚとしたので、パルス密度に応じて、人間の目
にはＬＥＤの明るさが変わり、したがって、１番明るい
ＬＥＤの部分が答えになる。十分学習させた文字に対し
ては認識率１００％を得た。

羞−一米 以上の説明から明らかなように、請求項第１項に記載の
発明によると、一部シリアル処理が可能なニューラルネ
ットについて、入力部をシリアル処理を行うことができ
る。また、請求項第２項に記載の発明では、ネットワー
ク全体よりも遅いクロックで動作可能なので、シリアル
処理を行った次の層での動作が可能である。また、一部
シリアル処理を行うネットワークにパラレル入力を行う
ときパラ−シリ変換部をもつことで、動作が可能になる
。また、請求項第３項に記載の発明では、出力部をシリ
アル処理することができる。

いずれも一部シリアル処理を行うことにより内部の配線
数を減らすことができる。

【図面の簡単な説明】

第１図は、神経回路ユニットの１つを示す図、第２図乃
至第４図は、各部の回路構成例を示す図。 第５図は、一実施例を説明するための図、第６図乃至第
８図は、神経回路ユニットの動作原理を説明するための
図、第９図乃至第１２図は、従来の回路構成例を示す図
である。 １・・・入力信号、２．３，６．７・・・誤差信号、４
・・興奮性信号、５・・・抑制性信号、８、・・・シフ
トレジスタ、２０・・・教師信号。 第 １ 図 第 図 第 図 第 区 ＼−−−−−−− ７ 篤 図 第 図 第 ア 図 第 図 ５．０ 第 ９ 図 第 ０ 図 出力 篤 １ 第 ２ 図 図 ０

Claims (1)

1. 【特許請求の範囲】 １、結合係数可変手段と、この結合係数可変手段の可変
   結合係数値を教師信号に対する誤差信号に基づいて生成
   する結合係数生成手段とにより自己学習手段を構成し、
   該自己学習手段をデジタル論理手段を用いて神経細胞模
   倣素子に付設して複数の神経細胞模倣回路を網状に接続
   した信号処理回路網を有する信号処理装置において、一
   部の演算を終えた信号を順次蓄え、同時に読みだす機能
   を有することを特徴とする信号処理装置。 ２、結合係数可変手段と、この結合係数可変手段の可変
   結合係数値を教師信号に対する誤差信号に基づいて生成
   する結合係数生成手段とにより自己学習手段を構成し、
   該自己学習手段をデジタル論理回路を用いて神経細胞模
   倣素子に付設して複数の神経細胞模倣回路を網状に接続
   した信号処理回路網を有する信号処理装置において、個
   々の神経細胞模倣回路を異なった速度で動作可能とした
   ことを特徴とする信号処理装置。 ３、結合係数可変手段と、この結合係数可変手段の可変
   結合係数値を教師信号に対する誤差信号に基づいて生成
   する結合係数生成手段とにより自己学習手段を構成し、
   該自己学習手段をデジタル論理回路を用いて神経細胞模
   倣素子に付設して複数の神経細胞模倣回路を網状に接続
   した信号処理回路網を有する信号処理装置において、同
   時に入力された信号を蓄え、順次読みだす機能を有する
   ことを特徴とする信号処理装置。