JPH03268082A - 信号処理方法及び装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 杖術−分−野− 本発明は、信号処理装置、より詳細には、神経回路網を
模倣したニューラルコンピュータに関し、例えば、文字
や図形認識、ロボッ１−などの運動制御、連想記憶等に
応用して好適なものである。

Ｗ米用−拵 生体の情報処理の基本的な単位である神経細胞にューロ
ン）の機能を模倣し、さらに、この「神経細胞模倣素子
」をネットワークに構成することで情報の並列処理をめ
ざしたものが、いわゆるニューラルネットワークである
。文字認識や、連想記憶、運動制御等、生体ではいとも
簡単に行われていても、従来のノイマン型コンピュータ
ではなかなか達成できないものが多い。生体の神経系、
特に生体特有の機能、すなわち並列処理、自己学習等を
模倣して、これらの問題を解決しようとする試みが盛ん
に行われている。しかしながら。

この試みは、計算機シミュレーションで行われているも
のが多く１本来の機能を発揮するには、並列処理が必要
であり、そのためにはニューラルネットワークのハード
ウェア化が必要である。一部では、既にハードウェア化
の試みも行われているが、ニューラルネットワークの特
徴の１つである自己学習機能が実現できず、大きなネッ
クになっている。また、はとんどのものはアナログ回路
で実現されており、動作の点で問題がある。

第１３図は、従来のニューラルネットワークのモデルに
ついて説明するための図で、図中、Ａは、１つの神経細
胞ユニットを表し、第１４図は、それをネットワークに
構成したもので、Ａ　１　ｙ　Ａ　２１Ａ３は、それぞ
れ神経細胞ユニットを表わす。１つの神経細胞ユニット
は、多数の他の神経細胞ユニットと結合しており、それ
らから受けた信号を処理して出力する。第１４図の場合
、ネットワークは階層型であり、神経細胞ユニットＡ２
は、１つ前の１−の神経細胞ユニットＡ８より信号を受
け、１つ先の層（図中右側）の神経細胞ユニットＡａへ
出力する。

最初に、第１３図に示した神経細胞ユニットＡについて
説明すると、他の神経細胞ユニットと自分の神経細胞ユ
ニットとの結合の度合を表すのが。

結合係数（Ｔ）と呼ばれているものであり、ｉ番目の神
経細胞ユニットとｊ番目の神経細胞ユニツＩ・の結合係
数を、一般に、ＴｔＪで表す。結合には、相手のニュー
ロンからの信号が大きいほど自分の出力が大きくなる興
奮性結合と、逆に、相手の信号が大きいほど自分の出力
が小さくなる抑制性結合があり、ＴｔＪ＞Ｏが興奮性結
合、Ｔ　ｔ　Ｊ　＜　Ｏが抑制性結合である。自分がｊ
番目の神経細胞ユニットの時、ｉ番目のユニットからの
入力をｙｉとすると、これにＴｒｓをかけたＴｌｊｙｔ
が自分のユニットへの入力となる。前述のように、１つ
の神経細胞ユニットは多数の神経細胞ユニットと結合し
ているので、それらのユニットに対するＴｌｓ！ｔを足
し合わせたもの、すなわち、ΣＴ１．ｙ、が。

ユニットへの入力となる。これを内部電位と言し１、ｕ
ｊで表す。

１−ΣＴｓｐｙ＋　　　　　　　　　　　　　　（１）
次に、この入力に対して非線形な処理をして、その神経
細胞ユニットの出力とする。ここで用＆Ｎる関数を神経
細胞応答関数と呼び１次に示すような、非線形関数であ
るシグモイド関数ｆ　（ｘ）を用いる。

ｆ　（Ｘ）＝１／　（１＋ｅ−”）　　　　　　　　（
２）第１５図は、このシグモイド関数を示す図である。

　上記神経細胞ユニットを、第１４図に示すような、ネ
ットワークに構成し、各結合係数を与え、式（１）、（
２）を次々と計算することにより、最終的な出力が得ら
れる。

第１６図は、上記ネットワークを電気回路で実現したも
のの一例を示す図で（特開昭６２−２９５１８８号公報
）、これは、ネットワークへの入力や出力の信号強度を
電圧で表し、上記神経細胞ユニット間の結合係数ＴｉＪ
の値を抵抗値で実現したものである。すなわち、第１６
図において、複数の増幅器３３は、反転出力３３ａ及び
非反転出力３３ｂとを有し、かつ、各増幅器３３の入力
には入力電流を供給する手段３２を有しており、予め選
ばれた第１の値又は予め選ばれた第２の値であるコンダ
クタンス（ＴＩＪ）で前記増幅器の各々の出力を前記入
力に接続する相互接続マトリックス３１を有している。

前記の’ｐ、ｊｊＬｉ番目の増幅器の出力とｊ番目の増
幅器との入力との間の相互コンダクタンスを表わし、前
記コンダクタンスＴ１Ｊは、回路網が平衡する複数の極
小値を作るように選ばれ、複数の極小値を持ったエネル
ギー関数を最小にするようにしている。結合係数ＴｔＪ
が負の場合、負の抵抗値は実現できないので、増幅器３
３を用いて出力を反転させることでこれを実現している
。また、第１５図で示したシグモイド関数に相当するも
のとして、増幅器３３を用いている。

しかしながらこれらの回路には以下のような問照点があ
る。

■信号の強度を電位や電流などのアナログ値で表し、内
部の演算もアナログ的に行わせる場合、温度特性や、電
源投入直後のドリフト等により、その値が変化する。

■ネジ１〜ワークであるから、素子の数も多く必要であ
るが、それぞれの特性を揃えることは困難である。

■１つの素子の精度や安定性が問題になったとき、それ
をネットワークにしたとき、新たな問題が起きる可能性
があり、ネットワーク全体でみたときの動きが予想でき
ない。

■Ｔ０が固定であり、あらかじめシミュレーションなど
の他の方法で学習させた値を使うしかなく、自己学習が
できない。

一方、数値計算で用いられている学習法則としては、パ
ックプロパゲーションと呼ばれる次のようなものがある
。

まず、各結合係数は、最初ランダムに与えておく。この
状態で、入力を与えると、出力結果は、必ずしも望まし
いものではない０例えば、文字認識の場合、手書きの「
１」の字を与えた場合、出力結果として、「この文字は
「１」である、Ｊとでるのが、望ましい結果であるが、
結合係数が。

ランダムであると、必すしも望ましい結果とはならない
。そこで、このネットワークに正解（教師信号）を与え
て、再び、同じ入力があったとき正解になるように、各
結合係数を変化させる。このとき、結合係数を変化させ
る量を求めるアルゴリズムが、パックプロパゲーション
と呼ばれているものである。

まず、最終層のｊ番目のニューロンの出力をｙ、とし、
そのニューロンに対する教師信号をｄ。

とすると、 Ｅ＝Σ（ｄＪ　　７Ｊ）”　　　　　　　　　　　　（
３）で表されるＥが最小となるように、 を用いて、Ｔｉｊを変化させる。さらに具体的に説明す
ると、まず、出力層と、その１つ前の層との結合係数を
求める場合には。

δｊ＝　（ｄｊ−ｙｐ）ｘｆ’（ｔｚ）　　　　　　　
（５）を用いてδ　（誤差信号）を求め、それよりさら
番二前の層同士の結合係数を求める場合には、δ、＝Σ
δＬＴＬＪＸｆ’（ｕｐ）　　　　　　　　（６）を用
いてδ　（誤差信号）を求め、 八Ｔ１．＝η（δ、ｙ、）＋αΔＴ、。

（前回の学習時） Ｔ　Ｌ　ｊ＝　Ｔ　Ｉ　Ｊ＋ΔＴ、　　　　　　　　　
　（７）を求めて、ＴＬＪを変化させる。ここで、η（
よ学習定数、αは安定化定数と呼ばれて−るものである
。

それぞれ、理論的には求めることができなし）もので、
経験的に求める。

この学習を何回も繰り返すうちに、やがて、与えられた
入力に対して、望ましい結果か得らオしるようなＴｌｊ
が決定される。

さて、この学習方法を何らかの方法で／）−ドウエア化
しようとした場合、学習には、多量の四則演算が必要で
あり、実現が困難である。学習方法そのものもハードウ
ェア化に対しては不向きである。

第１７図乃至第１９図は、このようなニューラルネット
ワークをデジタル回路で実現した例を示す図で、第１７
図は、単一の神経細胞回路構成例を示す図で、３５はシ
ナプス回路、３６は樹状突起回路、３７は細胞体回路を
示す。第１８図は、第１７図に示したシナプス回路３５
の構成例、第１９図は、第１７図に示した細胞体回路３
７の構成例を示す図で、第１８図中のｆは入力信号、Ｗ
は重み付けの値、ｄはフィードバック信号に掛ける倍率
（１または２）である。これは、神経細胞ユニッ１〜の
入出力信号をパルス列で表現し、信号の値をパルス密度
で表している。結合係数は２進数で取扱い、メモリ上に
保存している。信号演算処理は次のように行う。まず、
入力信号をレートマルチプライヤ−のクロックへ入力し
、結合係数をレート値へ入力することによって、入力信
号のパルス密度をレート値に応じて減らしている。これ
は、前述のパックプロパゲーションモデルの弐Ｔ、’）
ｌ工の部分に相当する。また、次にΣＴ１Ｊｙ□のΣの
部分は、樹状突起回路３６によって示されるＯＲ回路で
実現している。結合には興奮性、抑制性があるので、あ
らかじめグループ分けしておき、それぞれのグループ別
にＯＲをとる。第１７図において、Ｆ、は興奮性、Ｆ２
は抑制性出力を示す、この２つの出力を、第１９図に示
したカウンターのアップ側、ダウン側にそれぞれ入力し
てカウントすることで、出力が得られる。この出力は２
進数であるので再びレートマルチプライヤ−を用いて、
パルス密度に変換する。このユニットをネットワークに
することによって、ニューラルネットワークが実現でき
る。学習については、最終出力を外部のコンピュータに
入力して、コンピュータ内部で数値計算を行い、その結
果を結合係数のメモリに書き込むことによって実現して
いる。

従って自己学習機能は全くない。又、回路構成も、パル
ス密度の信号をカウンターを用いて一旦数値に直し、そ
の後再びパルス密度に直しており、複雑なものになって
いる。

以上をまとめると、上記従来技術では、■アナログ回路
は動作に確実性がない。

■数値計算による学習方法も計算が複雑であり、ハード
ウェア化に適さない。

■デジタル方式の回路では、回路構成が複雑である。

■ハードウェア上で自己学習ができない。

等の欠点がある。

一目−ｉ 本発明は、上述のごとき実情に鑑みてなされたもので、
特に、動作が確実なデジタル回路を採用し、かつ、ハー
ドウェア化が容易なシンプルな信号処理、学習方法を提
供し、かつ、実際にハードウェア上で自己学習を含めて
表現することを目的としてなされたものである。

肯−一双 本発明は、上記目的を達成するために、結合係数可変手
段と、この結合係数可変手段の可変結合係数値を教師信
号に対する誤差信号に基づいて生成する結合係数生成手
段とにより自己学習手段を構成し、該自己学習手段をデ
ジタル論理手段を用いて神経細胞模倣素子に結合して複
数の神経細胞模倣手段を網状に形成して信号処理を行う
信号処理方法において、前記神経細胞模倣手段へ入力さ
れる信号あるいは神経細胞模倣手段より出力される信号
の少なくとも１つを複数の信号に対して切り替える手段
を有すること、或いは、上記信号処理方法をハードウェ
ア化した信号処理装置、すなわち、結合係数可変回路と
、該結合係数可変回路の可変結合係数値を教師信号に対
する誤差信号に基づいて生成する結合係数生成回路とよ
りなる自己学習回路を神経細胞模倣素子に付設し、前記
自己学習回路と神経細胞模倣素子とをデジタル論理回路
により接続して複数の神経細胞模倣回路を網状に構成し
た信号処理装置に於いて、前記神経細胞模倣回路へ入力
される信号あるいは該神経細胞模倣回路より出力される
信号の少なくとも１つを複数の信号に対して切り替える
回路を有することを特徴とするものであり、更には前記
神経細胞模倣手段又は神経細胞模倣回路へ入力される信
号あるいは該神経細胞模倣手段又は神経細胞模倣回路よ
り出力される信号の少なくとも１つを複数の信号に対し
て切り換えるようにしたことを特徴としたものである。

以下本発明の実施例に基づいて説明する。

最初に１本発明の基本的な考え方について説明すると、
本発明の基本的な考え方は、 α）入出力信号、中間信号、結合係数、教師信号などは
、すべて、Ｏｌｌの２値で表されたパルス列で表現する
。

■信号の値は、パルス密度で表す（ある一定時間内の「
１」の数）。

■神経細胞二二ッ１−内での計算はパルス列同士の論理
演算で行う。

■結合係数のパルス列は、神経細胞ユニット内のメモリ
に格納する。

■学習は、このパルス列を書き換えることで実現する。

■学習については、与えられた教師信号パルス列を元に
誤差を計算し、これに基づいて、結合係数パルス列を変
化させる。

このとき、誤差のｉ−１算、結合係数の変化分の計算も
すべて、Ｏ５１のパルス列の論理演算で行う。

というものであり、以下、これを具体化した実施に基つ
いて詳細に説明する。

イｌ−計□ンμ（≦ｌ　ｇ’ｌｌ−ニレｉ第１図は、１
つの神経細胞に相当する部分で、それを第１４図に示し
たようにネツ１へワークにして、従来と同し階層型とし
て用いる。入出力はすべて１．０に２値化され、さらに
同期化されたものを用いる。入力ｙ、の信号の強度は、
パルス密度で表現し、例えばある一定時間内にある、１
の状態数で表す。

入力信号ｙ、ユニーユーユ＝４７６　　（８）同期信号
　　　−Ｌユ」−土」」 こ才しは４／６を表す（ｉ号を示したもので、同期パル
ス６個中に入力信号ｙ、は１が４個、Ｏが２個であるこ
とを表わしている。このとき、１とＯの並び方は後述す
るようにランダムであることが望ましい。

一方、結合係数ＴＩＪも同様にパルス密度で表現し、０
と１のビット列としてあらしめメモリ上に用意しておく
。

結合係数Ｔｔｐ　　　　　　　＝３／６　　（９）同期
信号　　　−Ｌ」−Ｌ」−上」− これは、ｒ１０１０］　０」＝３／６を表し、このとき
もＯと１の並び方はランダムである方が望ましい。具体
的にどうやって決めるかは後述する。

そして、このビット列を同期クロックに応じてメモリ上
より順次読みだし、第１図のＡＮＤ回路により入力パル
ス列とのＡＮＤをとる（ｙｌｎＴｔｊ）。

これを神経細胞ｊへの入力とする。今までの例を用いて
説明すると、入力信号がｒｌｏｌｌｏｌＪと入力された
とき、これと同期してメモリ上よりビット列を呼び出し
、順次ＡＮＤをとることによって、 入力信号ｙ、　　　　　　　　　　　＝４７６結合係数
゛ｒ　ｔ　Ｊ　　　　　　　　　　＝　３　／　６（１
０） に示すようなｒｌｏｌｏｏｏＪが得られ、これは入力ｙ
ｌがＴｔｊにより変換されパルス密度が２／６となるこ
とを示している。ＡＮＤ回路の出力のパルス密度は、近
似的には入力信号のパルス密度と結合係数のパルス密度
の積となり、アナログ方式の結合係数と同様の機能を有
する。これは、信号の列が長いほど、また、１とＯの並
び方がランダムであるほど、積に近い機能になる。尚、
入力パルス列に較べて、結合係数のパルス列が短く、読
み出すべきデータがなくなってしまったら、再びデータ
の先頭に戻って、読み出しを繰り返せばよい。

１つの神経細胞ユニットは多入力であるので、先に説明
した［入力信号と結合係数とのＡＮＤＪも多数あり５次
に、これらの０１（をとる。入力は同期化されているの
で、１番目のデータが「１０１０００Ｊ、２番目のデー
タがｒｏｌｏｏｏｏＪの場合、両省のＯＲはｒｌｌｌｏ
ｏＯＪとなる。

これを多入力同時に計算し出力とする。入力数を０個と
すると、 ｙ・ｎ　Ｔ　ｚ　Ｊ　　１−１−一一 ッｔ　ｎ　Ｔ　Ｉ　Ｊ　　−ユー一−ｍ−となる。この
部分はアナログ計算における和の計算及び非線形関数（
シグモイド関数）の部分に対応している。パルス密度が
低い場合、そのＯＲをとったもののパルス密度は、それ
ぞれのパルス密度の和に近似的に一致する。パルス密度
が高くなるにつれて、ＯＲの出力はだんだん飽和してく
るので、パルス密度の和とは結果が一致せず、非線形性
がでてくる。ＯＲの場合、パルス密度は１より大きくな
ることがなく、０より小さくなることもなく、また単調
増加関数であり、シグモイド関数と近似的に同様となる
。

さて、結合には興奮性と抑制性があり、数値計算の場合
には、結合係数の符号で表す、アナログ回路では、Ｔｔ
Ｊが負となる場合（抑制性結合）、増幅器を用いて出力
を反転させ、ＴＬＪに相当する抵抗値で他の神経細胞へ
結合させている。一方、本発明では、まずＴｉｊの正負
により各結合を興菖性結合と抑制性結合の２つのグルー
プに分け、ついで、［入力信号と結合係数のパルス列の
ＡＮＤＪ同士のＯＲをこのグループ別に計算する。そし
て、興奮性グループの出力が１のとき出力を出し、抑制
性グループの出力が１のとき出力を出さないようにする
。例えば、興奮性グループの出力が１で抑制性グループ
の出力がＯのときのみ出力を出す。

あるいは、興奮性グループの出力がＯで抑制性グループ
の出力が１のとき以外出力を出す。この機能を実現する
ためには、前者の場合、興奮性グループの出力と（抑制
性グループの出力のＮ　Ｏ’ｒ　）とのＡＮＤをとれば
よく（式（１２）〜（１５））、後者の場合（抑制性グ
ループの出力のＮ０Ｔ）と興奮性グループの出力とのＯ
Ｒをとればよい（式（１６）〜（１９））。これは、第
１図のｇの部分に相当する。

出力 （１２） となり、これを論理式で表現すると、 ｙｌ＝ａｎｂ と表される。また、後者の場合 （１５） 興奮性グループの出力−Ｌ」−一一−Ｌ」−抑制性グル
ープの出力−ユニー−ニー 出力 （Ｉ　Ｇ） となり、これを論理式で表現すると、 ｙ　ａ　＝　ａ　Ｌｌ　ｂ　　　　　　　　　　　　　
　　　　（１９）となる。

神経細胞ユニットのネットワークは、第１４図に示した
ような階層型とする。ネットワーク全体を同期させてお
けば、各層とも以上に述べてきた機能で計算することが
可能である。

笠翌囚 ■最終層における誤差信号 まず、最終層の各ニューロンにおける誤差信号を計算す
る０本発明では誤差信号を以下のように定義する。誤差
を数値で表すと、一般には＋−の両方を取りうるが、パ
ルス密度では、正、負の両方を同時に表現できないので
、十戒分を表す信号と、−成分を表す信号の２つを使っ
て誤差信号を表現する。

つまり、誤差信号゛δ１．は教師信号ｄ、と出力信号ｙ
、の違っている部分（１，０又は０．１）の内、教師信
号ｄ、側に存在する信号であり、誤差信号−δ°、は同
様に出力ｙ、側に存在する信号である。つまり、出力信
号ｙ、に誤差信号“δ１．を付は加え、誤差信号δ　４
を取り除くと、教師信号ｄｊになるようになっている。

この誤差信号δ１１、δ）から新しい結合係数ＴｌＪを
求める方法については後述する。

■中間層における誤差信号 さらに誤差信号を逆伝播させ、最終層とその１つ前の層
との結合係数だけでなく、更にその前の層の結合係数も
変化させる。そのため、中間層における各ニューロンで
の誤差信号を計算する必要がある。中間層のあるニュー
ロンから、さらに１つ先の層の各ニューロンへ信号を伝
播させたのとはちょうど逆の要領で、１つ先の層の各ニ
ューロンにおける誤差信号を集めてきて自分の誤差信号
とする。このことは、神経細胞ユニット内での演算の式
（８）〜（１９）と同じ様な要領で行うことができる。

すなわち、ます、結合を興奮性か抑制性かによって、２
つのグループに分け、かけ算の部分はＡＮＤで、Σの部
分はＯＲで表現する。

但し、神経細胞二ニット内での式（８）〜（１９）では
、ｙ、は當に正の値であるので、１つの信号であるのに
対して、δ、は正、負を表す信号として２つの信号を持
ち、その両方の信号を考慮する必要がある。したがって
、Ｔ□、の正負、δ、の正負の４つに場合分けする必要
がある。

まず、興奮性結合の場合を説明すると、１つ先の層のに
番目のニューロンでの誤差信号ｌ（δ＋、）とそのニュ
ーロンと自分との結合係数（Ｔ　Ｊ　ｋ）のＡＮＤを取
ったもの（δ“ｍｎＴａ１）を各ニューロンについて求
め、さらにこれら同士のＯＲをとる（Ｕ　（δ＋、ｎＴ
Ｊｋ）。そしてこれを、この層の誤差信号°δ１．とす
る。１つ先の層のニューロンをｎ個とすると、 ８”　、ｎＴ、、　　　　　　　　　−：Ｅ”　Ｊ。

δ＋、ｎ　”ｔ’　、ゎ　−ＬＬ−」−＝Ｅ　”　５　
ａとなる。

又、１つ先の誤差信号　δ　、と結合係数１゛、のＡＮ
Ｄをとり、さらにこれら同士のＯＲをとることによって
、同様に、この層の誤差信号　さ　、とする。

８−　、ｎＴＪ、　　　　　　　　　：ＥＥ’、。

δ−，ｎ　Ｔ　Ｊ。　　　　　　　　ＥＥＪ。

次に、抑制性結合の場合を説明すると、１つ先の誤差信
号−δ　、と結合係数ＴＪｋのＡＮＤをとり、さらにこ
れら同士のＯＲをとり、この層の誤差信号１δＩＪとす
る。

δ−１ｎＴ４ｘ　　　　　　　　　ＥＥ’Ｊ。

δ−１ｎＴ、。」」−一上一　ヨ。１、。

又、１つ先の誤差信す°δ°、と結合係数ＴＪｋのＡＮ
Ｄを取り、さらにこれら同士の。Ｒをとる。

そして、これをこの層の誤差信号−δ　、とする。

δ１□ｎＴ、１ δ＋　、　（１ｈｒＪａ ＥＥＥ’、。

１−一一一［−＝Ｌ　’　Ｊ　ａ ｌつのニューロンから別のニューロンへは興奮性で結合
しているものもあれば、抑制性で結合しているものもあ
るので、式（２４）で求めたδ９゜と、式（２６）で求
めたδ３．のＯＲをとり、このニューロンのδ゛、とす
る。同様に、式（２５）で求めたδ　、と、式（２７）
で求めたδ　、のＯＲをとり、このニューロンのδ′、
とする。以上をまとめると、 δ’Ｊ＝（Ｕ（δ”　、ｎＴｊｋ））Ｕ（Ｕ（δ−１ｎ
Ｔ４ｘ））ｋＥ興菖性　　　　　ｋＥ抑制性 δ　Ｊｍ（Ｕ（δ−ｈｎ　Ｔ　Ｊｋ））　Ｕ　（Ｕ　（
δ”　ｈｎ　Ｔ　Ｊｍ））ｋＥ興菖性　　　　　ｋｃ抑
制性 （２８） あるいは。

δ’、＝ＵＥ’、。

δ’ｒ＝ＵＥ　　Ｊｍ　　　　　　　　　　　　　（２
ｇ’）ただし、Ｅ′、＝δ”　ｍｎＴ、＋ｍ（ＴＪｋ＝
興奮性）＝δ−ｈｎ　ＴＪｈ　（Ｔ”＊ｈ＝抑制性）Ｅ
Ｊｋ＝δ−ｈｎＴＪｈ　（’ｒＪｈ＝ＪＨ１ａ）＝δ”
　ｈｎＴＪｍ　（ＴＪｋ＝Ｍ＋制性）となる。

さらに、学習のレートに相当する機能を設けてもよい、
数値計算に於いてレートが１以下のとき、さらに学習能
力が高まる。これは、パルス列の演算では、パルス列を
間引くことで実現できる。これは、カウンター的な考え
方をし、次のようなものにした。例えば、学習レート（
η）＝０．５では、元の信号のパルス列を１つおきに間
引く、元の信号のパルスが等間隔でなくても、元のパル
ス列に対して、１つおきに間引くことができる。次の（
例１）は、元の信号のパルス列が等間隔の場合、（例２
）は、等間隔でない場合の例を示すもので、共に、η；
０．５の場合は、パルスを１つおきに間引くもの、η＝
０．３３の場合は、パルスを２つおきに残すもの、η＝
０．６７の場合は、パルスを２つおきに１回間引くもの
である。

（例１） （例２） 〜 元の信号 η＝０．５の場合 η＝０．３３の場合 η＝０．８７の場合 元の信号 η＝０．５の場合 η＝０．３３の場合 η＝０．６７の場合 このようにして、誤差信号を間引くことによって、学習
レー１〜の機能をもたせる。

■誤差信号より各結合係数を変化 いままで述べてきた方法により誤差信号を求め、各結合
係数を変化させるのであるが、それについて次に述べる
。

まず、変化させたい結合係数が属しているラインを流れ
る信号と誤差信号のＡＮＤをとる（δａｎｙｔ）− 但し、本発明では誤差信号は＋と−の２つの信号がある
ので、それぞれ計算する。

この様にして得られた２つの信号を八ＴＩＪとする。本
発明に於けるＴＩＪは、絶対値成分であるので、元のＴ
ｔａが興奮性か、抑制性かで場合分けをし、あらたなＴ
Ｂを求める。

興奮性の場合 元のＴＩＪに対して、八ＴｌＩＪの成分を増やし。

ΔＴ　ｔｊの成分を減らす。

八Ｔ−４゜ 抑制性の場合 元のＴｔＪに対して、ΔＴ′１の成分を減らし、ΔＴ’
　、ｊの成分を増やす。

ΔＴ 以上の、学習側にもとづいて、ネットワークの計算をす
る。

貝−遣− 第２図乃至第４図は、以上のアルゴリズムをもとに、こ
れを実際の回路にしたものの例を示す図で、ネットワー
ク全体の回路は第１４図と同様である。第１４図の線に
相当する部分の回路を第２図に、また、第１４図の丸に
相当する部分を第３図に、又、最終層の出力と教師信号
から最終層における誤差信号を求める部分を第４図に示
す。これらの３つの回路を第１４図のようにネットワー
クにすることによって、自己学習が可能なデジタル方式
のニューラルネッＩ−ワークが実現できる。

まず、第２図から説明すると、■は、ニューロンへの入
力信号で式（８）に相当する。式（９）の結合係数は、
シフトレジスタ８に保存しておく。

８Ａが取り出し口で、８Ｂが入口である。シフトレジス
タと同様の機能を持つものであれば、そのほかのもの、
例えば、ＲＡＭ＋アドレスコントローラ等でもよい。い
ずれの場合も図示しない式（９）の同期信号が与えられ
ている。９は式（１０）に相当する回路で、入力信号と
結合係数とのＡＮＤを取っている。この出力は結合が興
奮性か抑制性かによってグループ分けしなければいけな
いが、あらかじめそれぞれのクループへの出力４．５を
用意し、どちらに出すのかを切り替えるようにした方が
汎用性が高い。このため、結合が興奮性か抑制性かを表
すビットをメモリ１４に保存しておき１回路１３で切り
替える。各入力を処理する式（１１）に相当するＯＲ回
路が第３図の回路１６である。さらに式（１２）の興奮
性グループが１で、抑制性グループがＯの時のみ出力を
出す回路が第３図の回路　１７である。また、式（１６
）の場合に於いても同様に論理回路で容易に実現できる
。

次に、誤差（−Ｂ号について説明する。第４図は、最終
層での誤差信号を作るためのもので、これは式（２０）
〜（２３）に相当する。最終層からの出力１及び教師４
４号２０より誤差４１号６．７を作る。中間層における
誤差信号を計算する式（２８’）のうちＥ１４、Ｅ、を
求める部分を回路にしたのが、第２図の回路１０である
。結合が興奮性か抑制性かで場合分けをするので、それ
を行うのが第２図の回路１２で、あらかじめ回路］−４
にセラ１〜されたピッ１へにより切り替える。又、式（
２８’）の残りの部分が、第３図の回路１８である。又
、学習レートに相当する式（２９）の部分が第３図の回
路１９の分周回路である。これはフリップフロップ等を
用いることにより容易に実現できる。

最後に誤差信号より新たな結合係数数をａ４算する部分
について説明する。式では（３０）〜（３３）で表され
るが、この計算は第２図の回路１］、によって行われる
。これも結合の興奮性、抑制性によって、場合分けしな
ければならないので、第２図の回路１２でこれを実現し
ている。

さて、今までの説明は全て並列処理を行うものであった
。

一方、ネッ１−ワークの規模が大きくなると実際に回路
を作製することが困難になってくる。そこで、１つの神
経細胞模倣素子で複数の神経細胞模倣素ｆ・分の動きを
もたせれば、全体の回路の規模を小さくすることかでき
る。そこで、例えは同し層の神経細胞模倣素子２つ分の
機能を１つの神経細胞模倣素子で実現するための機能に
ついて説明する。

第６図は、神経細胞模倣素子２つを模式的に示した図で
、図中、４１．４２はそれぞれ神経細胞模倣素子である
。４４．４５はフォワードプロセスのための入力信号、
４６．４７はフォワードプロセスの出力信号、５０．５
１は１つ先のノ（グから逆伝播してきた誤差信号、４８
．４９は１つ前の層に逆伝播させる誤差信号である。こ
れらの信号・は実際には複数の信号線からなる。

第７図は、上記機能を１つの神経細胞模倣素子で実現し
た場合の図で、図中、５３は神経細胞模倣素子、５４か
ら６１は第６図の４４〜５１と同じ信号である。次に、
この動作について説明する。

第８図に示すように、まず、入力信号が５４．５５に入
力され、これをそれぞれメモリ６２゜６３に保存する。

さらに入力信号５４に対する演算を行い出力信号をメモ
リ６５に保存する。これで入力信号５４に対するフォワ
ードプロセスが終了する。次に、第９図に示すように、
メモリ６３に保存しである入力信号５５を読みだし神経
細胞模倣素子５；３で演算を行い結果を５７へ出力し。

同時にメモリ６５に保存しである入力信号５４に対する
演算結果を５６へ出力する。ここで、第９図に示すよう
に、入力信号５４．５５に対するフォラ−１〜プロセス
の結果が出力信号５６．５７に出力される。この出力信
号に基づいて１つ先の層でも演算処理が行われ、やがて
誤差信号６０．６１が逆伝播されてくる。ます、逆伝播
さＪしてきた誤差信号６０をメモリ６６に保存する。同
じく６１は神経細胞模倣素子５；３へ入力し、演算を行
う。そして得られた誤差信号（１つ前の層へ逆伝播させ
るもの）をメモリ６４へ保存する９次に、第１０図に示
すように、メモリ６６に保存しである誤差４３号を読み
だし、同時にメモリ６２に保存しである入力信号５４を
読みだし、それぞわ神経細胞模倣素子５３へ入力し演算
を行う、これを５８へ出力するとともに、メモリ６４に
保存しである誤差信号を５９へ出力し神経細胞模倣素子
２つの演算が終了する。また信号をどの線に出力するか
、あるいはどの線の入力を選ぶかは６７〜７０にスイッ
チ等を設けることによって可能となる。

次に、神経細胞模倣素子中に保存しである結合係数及び
その符号について説明する。これは、第１１図に示すよ
うに神経細胞模倣素子２つのメモリをそれぞれ用意し、
切り替えて読み書きしても良いし、第１２図に示すよう
に、あらかじめ２つの分の内容を１つのメモリに保存し
ておいても良い。メモリ６５は出力信号５６と５７を同
時に出力させるためのものであり、特に同時に出力させ
る必要がないときは省略しても良い、メモリ６４は１つ
前の層に逆伝播させる誤差信号５８．５９を同時に出力
させるためのものであり、同様に省略しても良い、メモ
リ６３は同時に入力してきた入力信号５４．５５のうち
５５を一時保存するためのものであり、第８図の時点と
第１０図の時点で入力信号５５が変化しないようなもの
であるときは省略しても良い。メモリ６２．６６も同様
である。今までの説明は神経細胞模倣素子の１つで同じ
層の２つ分の機能をもたせるときの説明であったが、３
つ以上の機能をもたせるときも同様に実現できる。また
、異なる層の神経細胞模倣素子２つ（あるいはそれ以上
）分の機能をもたせるときも同様に実現できる。またこ
れらの回路は汎用のＩＣ等で容易に実現できる。

なお、上記の回路は、これに限定されるものでなく、ま
た、一部をコンピュータなどの計算装置を用いて代用さ
せてもよいことはいうまでもない。

宍施−舛 さきに説明したネットワークを用いた自己学習式文字認
識装置について説明する。まず、手書き文字をスキャナ
ーで読み取り、これを第５図に示すように、１６Ｘ１６
のメツシュにわけ、文字部分のあるメツシュを１、ない
メツシュをＯとした。

このデータ（２５６個）をネッ１−ワークに入力し、出
力は５つあるユニットのうちで一番大きい出力のものの
位置が、認識結果となるようにした。そのため、「１」
〜「５」までの数字を入力したときその数字に対応する
番号の出力が一番大きくなるように学習させた。ネット
ワークの構成は、第１層目が２５６個、第２Ｎ目が２０
個、第３層目が５個の神経細胞ユニットからなる構成と
した。

最初各結合係数はランダムとしておくと、出力結果は必
ずしも所望のものではない。この回路の自己学習機能を
用いて、各結合係数を新たに求め、これを何回か繰り返
すことによって、所望の出力が得られるようにする。こ
の実施例では、入力は０か１であるので、入力パルス列
は常にＬＯＷレベル、又はＨＩＧＨレベルの単純なもの
である。

又出力はトランジスタを介して、ＬＥＤと結び、ＬＯＷ
レベルのとき消灯、ＩＩ　Ｉ　Ｇ　Ｈレベルのとき点灯
とした。同期クロックをｌ　ＯＯＯｋ　Ｅｌ　ｚとした
ので、パルス密度に応じて１人間の目にはＬＥＤの明る
さが変わり、したがって、１番明るいＬＥＤの部分が答
えになる。１−分学習させた文字に対しては認識率１０
０％を得た。

効−一一来 前述のように、今までのニューラルネットワークはぼと
んでコンピュータシミュレーションに頼っている。一部
でこのネットワークを回路化する試みも行われているが
、それでも尚、学習機能についてはコンピュータシミュ
レーションによるシリアル処理が行われている。而して
、本発明では。

学習機能も含めて、ニューラルネットワークの機能をハ
ードウェア上で並列的に行うことができ、従って、従来
のコンピュータシミュレーションのシリアル処理に比べ
て、処理速度が著しく向上する。また、一部でシリアル
処理を行うことで、ネットワークの配線を減少させるこ
とができる。さらには、ニューロン１つでニューロン複
数分の機能を持っているので回路の規模を小さくするこ
とができる等の利点がある。

【図面の簡単な説明】

第１図は、神経回路ユニットの１つを示す図、第２図乃
至第４図は、各部の回路構成例を示す図、第５図は、本
発明の一実施例を説明するための図、第６図乃至第１２
図は１本発明の要部を模式的に示し、その動作説明をす
るための図、第１３乃至第１５図は、神経回路ユニット
の動作原理を説明するための図、第１６図乃至第１９図
は、従来の回路構成例を示す図である。 １・・・入力信号、２．３，６．７・・・誤差信号、４
・・・興奮性信号、５・・・抑制性信号、８・・・シフ
トレジスタ、２０・・教師信号、４１．４２．５３・・
・神経細胞模倣素子、５４．５５・・入力信号、５Ｇ、
５７・・・出力信号、６２．６３．６４．６５．６Ｇ・
・メモリ。

Claims (1)

1. 【特許請求の範囲】 １、結合係数可変手段と、この結合係数可変手段の可変
   結合係数値を教師信号に対する誤差信号に基づいて生成
   する結合係数生成手段とにより自己学習手段を構成し、
   該自己学習手段をデジタル論理手段を用いて神経細胞模
   倣素子に結合して複数の神経細胞模倣手段を網状に形成
   して信号処理を行う信号処理方法において、前記神経細
   胞模倣手段へ入力される信号あるいは該神経細胞模倣手
   段より出力される信号の少なくとも１つを複数の信号に
   対して切り替える手段を有することを特徴とする信号処
   理方法。 ２、結合係数可変回路と、該結合係数可変回路の可変結
   合係数値を教師信号に対する誤差信号に基づいて生成す
   る結合係数生成回路とよりなる自己学習回路を神経細胞
   模倣素子に付設し、前記自己学習回路と神経細胞模倣素
   子とをデジタル論理回路により接続して複数の神経細胞
   模倣回路を網状に構成した信号処理装置に於いて、前記
   神経細胞模倣回路へ入力される信号あるいは該神経細胞
   模倣回路より出力される信号の少なくとも１つを複数の
   信号に対して切り替える回路を有することを特徴とする
   信号処理装置。