JP3582737B2

JP3582737B2 - 信号処理装置

Info

Publication number: JP3582737B2
Application number: JP07313594A
Authority: JP
Inventors: 俊之古田; 修二本村; 孝宏渡邊; ジイストークデビッド
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 1993-05-20
Filing date: 1994-04-12
Publication date: 2004-10-27
Anticipated expiration: 2019-10-27
Also published as: JPH07111090A; US5588090A

Description

【０００１】
【産業上の利用分野】
本発明は、文字や図形認識、或いはロボットなどの運動制御、さらには、連想記憶などに適用可能な、神経回路網を模倣したニューラルコンピュータ等の信号処理装置に関する。
【０００２】
【従来の技術】
生体の情報処理の基本的な単位である神経細胞（ニューロン）の機能を模倣し、さらに、この「神経細胞模倣素子」をネットワークにし、情報の並列処理を目指したのが、いわゆるニューラルネットワークである。文字認識や、連想記憶、運動制御等、生体ではいとも簡単に行われていても、従来のノイマン型コンピュータではなかなか達成しないものが多い。そこで、生体の神経系、特に生体特有の機能、即ち、並列処理、自己学習等を模倣して、これらの問題を解決しようとする試みが盛んに行われている。しかしながら、これらの試みは計算機シミュレーションで行われているものが多く、本来の機能を発揮させるためには、並列処理が必要であり、そのためにはニューラルネットワークのハードウエア化が必要である。一部では、既にハードウエア化の試みもなされているが、ニューラルネットワークの特徴の一つである自己学習機能が実現できず、大きなネックとなっている。また、殆どのものはアナログ回路で実現されており、動作の点で問題がある。
【０００３】
これらの点について、さらに詳細に検討する。まず、従来のニューラルネットワークのモデルについて説明する。図４４はある１つの神経細胞ユニット（神経細胞模倣素子）１を表すもので、図４５はこれをネットワークにしたものである。即ち、１つの神経細胞ユニット１は多数の他の神経細胞ユニット１と結合し信号を受け、それを処理して出力を出す。図４５の場合、ネットワークは階層型であり、１つ前（左側）の層のユニットより信号を受け、１つ先（右側）の層のユニットへ出力する。
【０００４】
ここで、図４４の神経細胞ユニット１において、他の神経細胞ユニットと自分の神経細胞ユニットとの結合の度合いを表すのが結合係数と呼ばれるもので、ｉ番目のユニットとｊ番目のユニットとの結合係数を、一般にＴ_ｉｊで表す。結合には、相手のユニットからの信号が大きいほど自分の出力が大きくなる興奮性結合と、逆に、相手のユニットの信号が大きいほど自分の出力が小さくなる抑制性結合とがあるが、Ｔ_ｉｊ＞０が興奮性結合、Ｔ_ｉｊ＜０が抑制性結合を表す。自分がｊ番目のユニットの時、ｉ番目のユニットからの入力をｙ_ｉとすると、これに結合係数Ｔ_ｉｊを掛けたＴ_ｉｊｙ_ｉが自分のユニットへの入力となる。前述したように、各ユニットは多数のユニットと結合しているので、それらのユニットに対する
Ｔ_ｉｊｙ_ｉを足し合わせた結果なるΣＴ_ｉｊｙ_ｉが、自分のユニットへの入力となる。これを内部電位といい、（１）式のようにｕ_ｊ
ｕ_ｊ＝ΣＴ_ｉｊｙ_ｉ ……………………（１）
で表す。
【０００５】
次に、この入力に対して、非線形な処理をして出力とする。この時の関数を神経細胞応答関数と呼び、非線形関数として、（２）式及び図４６に示すようなシグモイド関数を用いる。
【０００６】
【数１】

【０００７】
図４５に示すようにネットワークにした時には、各結合係数Ｔ_ｉｊを与え、（１）（２）式を次々と計算することにより、最終的な出力が得られるものである。
【０００８】
一方、このようなネットワークを電気回路で実現したものの一例として、図４７に示すようなものがある。これは、特開昭６２−２９５１８８号公報中に示されるもので、基本的には、Ｓ字形伝達関数を有する複数の増幅器２と、各増幅器２の出力を他の層の増幅器の入力に一点鎖線で示すように接続する抵抗性フィードバック回路網３とを設けたものである。各増幅器２の入力側には接地されたコンデンサと接地された抵抗とによるＣＲ時定数回路４が個別に接続されている。そして、入力電流Ｉ_１，Ｉ_２，〜，Ｉ_Ｎが各増幅器２の入力に供給され、出力はこれらの増幅器２の出力電圧の集合から得られる。
【０００９】
ここに、入力や出力の信号の強度を電圧で表し、神経細胞間の結合の強さは、各細胞間の入出力ラインを結ぶ抵抗５（抵抗性フィードバック回路網３中の格子点）の抵抗値で表され、神経細胞応答関数は各増幅器２の伝達関数で表される。また、神経細胞間の結合には、前述のように興奮性結合と抑制性結合とがあり数学的には結合係数の正負符号により表される。しかし、回路上の定数で正負を実現するのは困難であるので、ここでは、増幅器２の出力を２つに分け、一方の出力を反転させることにより、正負の２つの信号を生成し、これを適当に選択することにより実現するようにしている。また、図４６に示したシグモイド関数に相当するものとしては増幅器が用いられている。
【００１０】
しかし、これらの回路には、
▲１▼ ネットワーク内部での信号の強度を電位や電流などのアナログ値で表し、内部の演算もアナログ的に行わせるため、温度特性や電源投入直後のドリフト等により、その値が変化してしまう。
▲２▼ ネットワークであるので、素子の数も多く必要とするが、各々の特性を揃えることは困難である。
▲３▼ １つの素子の精度や安定性が問題となったとき、それをネットワークにした場合、新たな問題を生ずる可能性があり、ネットワーク全体で見たときの動きが予想できない。
▲４▼ 結合係数Ｔ_ｉｊの値が固定であり、予めシミュレーションなどの他の方法で学習させた値を使うしかなく、自己学習ができない。
といった問題点がある。
【００１１】
一方、数値計算で用いられている学習法則としては、バックプロパゲーションと呼ばれる下記のようなものがある。
【００１２】
まず、各結合係数は最初にランダムに与えておく。この状態で、入力を与えると、出力結果は必ずしも望ましいものとはならない。例えば、文字認識の場合、手書きの「１」の文字を与えたとすると、出力結果として「この文字は『１』である」と出るのが望ましい結果であるが、結合係数がランダムであると必ずしも望ましい結果とはならない。そこで、このネットワークに正解（教師信号）を与えて、再び、同じ入力があったとき正解となるように各結合係数を変化させる。このとき、結合係数を変化させる量を求めるアルゴリズムが、バックプロパゲーションと呼ばれているものである。
【００１３】
例えば、図４５に示した階層型のネットワークにおいて、最終層のｊ番目の神経細胞ユニットの出力をｙ_ｊとし、その神経細胞ユニットに対する教師信号をｄ_ｊとすると、（３）式で表されるＥ
Ｅ＝Σ（ｄ_ｊ−ｙ_ｊ）^２ ……………………（３）
が最小となるように、（４）式を用い、
ΔＴ_ｉｊ＝∂Ｅ／∂Ｔ_ｉｊ ……………………（４）
結合係数Ｔ_ｉｊを変化させる。
【００１４】
さらに具体的には、まず、出力層と、その１つ前の層との結合係数を求める場合には、（５）式を用いて誤差信号δを求め、
δ_ｊ＝（ｄ_ｊ − ｙ_ｊ）× ｆ′（ｕ_ｊ） ……（５）
それよりさらに前の層同士の結合係数を求める場合には、（６）式を用いて誤差信号δを求め、
δ_ｊ＝ Σδ_ｉＴ_ｉｊ × ｆ′（ｕ_ｊ） ………（６）
（７）式を求め、
ΔＴ_ｉｊ＝ η（δ_ｊｙ_ｉ）＋ αΔＴ_ｉｊ′
Ｔ_ｉｊ＝Ｔ_ｉｊ′＋ ΔＴ_ｉｊ ……………（７）
Ｔ_ｉｊを変化させる。
ここに、ηは学習定数、αは安定化定数と呼ばれるものである。各々論理的には求められないので、経験的に求める。また、ｆ′はシグモイド関数ｆの１階微分関数、ΔＴ_ｉｊ′，Ｔ_ｉｊ′は前回学習時の値である。
【００１５】
このようにして学習をし、その後、再び入力を与えて出力を計算し、学習をする。この操作を何回も繰返す内に、やがて、与えられた入力に対して望ましい結果が得られるような結合係数Ｔ_ｉｊが決定される。
【００１６】
ところが、このような学習方法を何らかの方法でハードウエア化しようとした場合、学習には、多量の四則演算が必要であり、実現が困難である。学習方法そのものもハードウエア化に対しては不向きである。
【００１７】
一方、デジタル回路でニューラルネットワークを実現したものの例を図４８ないし図５０を参照して説明する。図４８は単一の神経細胞の回路構成を示し、各シナプス回路６を樹状突起回路７を介して細胞体回路８に接続してなる。図４９はその内のシナプス回路６の構成例を示し、係数回路９を介して入力パルスｆに倍率ａ（フィードバック信号に掛ける倍率で、１又は２）を掛けた値が入力されるレートマルチプライヤ１０を設けてなり、レートマルチプライヤ１０には重み付けの値ｗを記憶したシナプス荷重レジスタ１１が接続されている。また、図５０は細胞体回路８の構成例を示し、制御回路１２、アップ／ダウンカウンタ１３、レートマルチプライヤ１４及びゲート１５を順に接続してなり、さらに、アップ／ダウンメモリ１６が設けられている。
【００１８】
これは、神経細胞ユニットの入出力をパルス列で表し、そのパルス密度で信号の量を表している。結合係数は２進数で表し、メモリ１６上に保存しておく。入力信号をレートマルチプライヤ１４のクロックへ入力し、結合係数をレート値へ入力することによって、入力信号のパルス密度をレート値に応じて減らしている。これは、バックプロパゲーションモデルの式のＴ_ｉｊｙ_ｉの部分に相当する。次に、ΣＴ_ｉｊｙ_ｉのΣの部分は、樹状突起回路７によって示されるＯＲ回路で実現している。結合には興奮性、抑制性があるので、予めグループ分けしておき、各々のグループ別にＯＲをとる。この２つの出力をカウンタ１３のアップ側、ダウン側に入力しカウントすることで出力が得られる。この出力は２進数であるので、再びレートマルチプライヤ１４を用いて、パルス密度に変換する。このユニットをネットワークにすることによって、ニューラルネットワークが実現できる。学習については、最終出力を外部のコンピュータに入力してコンピュータ内部で数値計算を行い、その結果を結合係数のメモリ１６に書込むことにより実現している。従って、自己学習機能は全くない。また、回路構成もパルス密度の信号をカウンタを用いて一旦数値（２進数）に変換し、その後、再びパルス密度に変換しており、複雑なものとなっている。
【００１９】
このように従来技術による場合、アナログ回路方式では動作に確実性がなく、数値計算による学習方法も計算が複雑であり、ハードウエア化に適さず、動作が確実なデジタル方式のものは回路構成が複雑である。また、ハードウエア上で自己学習ができないという欠点もある。
【００２０】
このような欠点を解消するため、パルス密度型の学習機能付きニューロンモデルが特開平４−５４９号公報（フォワードプロセスの基本）、特開平４−１１１１８５号公報（学習プロセスの基本）等として本出願人により提案されている。
【００２１】
【発明が解決しようとする課題】
ところで、このようなニューラルネットワークにおける学習時において、誤差信号の演算には、ニューロンからの出力信号を内部電位で微分した微係数が用いられるが、上述した基本的な提案例では、この微係数が一定値として扱われている。この結果、学習能力が必ずしも高いものとはなっておらず、改善の余地がある。
【００２２】
【課題を解決するための手段】
請求項１記載の発明では、結合係数可変手段と、この結合係数可変手段の可変結合係数値を教師信号に対する正の誤差信号と負の誤差信号とに基づいて生成する結合係数生成手段とを有する自己学習手段を付設した複数の神経細胞模倣ユニットを網状に接続して回路網を形成した信号処理装置において、前記正、負の誤差信号の生成のために神経細胞模倣ユニットからの出力信号に基づき２種類の神経細胞応答関数の微係数を算出する微係数算出手段を設けた。
【００２３】
この際、請求項２記載の発明では、神経細胞模倣ユニットからの出力信号をパルス列で表現するものとし、この神経細胞模倣ユニットからの出力信号を所定時間遅延させた遅延信号と前記出力信号の否定信号との論理積を一方の神経細胞応答関数の微係数とし、前記神経細胞模倣ユニットからの出力信号の否定信号を所定時間遅延させた遅延信号と前記出力信号との論理積を他方の神経細胞応答関数の微係数とする微係数算出手段を設けた。
【００２４】
加えて、請求項３記載の発明では、結合係数の値をパルス列表現で保存するメモリと、このメモリ上の結合係数のパルス列のパルス並びを一定時間毎に変更するパルス並び変更手段とを有するものとした。即ち、神経細胞模倣ユニットからの出力信号をパルス列で表現するものとし、かつ、結合係数の値をパルス列表現で保存するメモリと、このメモリ上の結合係数のパルス列のパルス並びを一定時間毎に変更するパルス並び変更手段とを有するものとした上で、前記神経細胞模倣ユニットからの出力信号を所定時間遅延させた遅延信号と前記出力信号の否定信号との論理積を一方の神経細胞応答関数の微係数とし、前記神経細胞模倣ユニットからの出力信号の否定信号を所定時間遅延させた遅延信号と前記出力信号との論理積を他方の神経細胞応答関数の微係数として算出する微係数算出手段を設けた。さらに、請求項４記載の発明では、結合係数の値をパルス列表現に変換する変換手段を有するものとした。
【００２５】
一方、請求項５記載の発明では、請求項１記載の発明に加えて、微係数算出手段により算出される２種類の微係数がともに０とならないように規制する微係数規制手段を設けた。即ち、正、負の誤差信号の生成のために神経細胞模倣ユニットからの出力信号に基づき２種類の神経細胞応答関数の微係数を算出する微係数算出手段を設けるとともに、この微係数算出手段により算出される２種類の微係数がともに０とならないように規制する微係数規制手段を設けた。
【００２６】
同様に、請求項６記載の発明では、請求項２，３又は４記載の発明に加えて、微係数算出手段により算出される２種類の微係数のパルス密度がともに０とならないように規制する微係数規制手段を設けた。
【００２７】
即ち、神経細胞模倣ユニットからの出力信号をパルス列で表現するものとし、この神経細胞模倣ユニットからの出力信号を所定時間遅延させた遅延信号と前記出力信号の否定信号との論理積を一方の神経細胞応答関数の微係数とし、前記神経細胞模倣ユニットからの出力信号の否定信号を所定時間遅延させた遅延信号と前記出力信号との論理積を他方の神経細胞応答関数の微係数として算出する微係数算出手段を設けるとともに、この微係数算出手段により算出される２種類の微係数のパルス密度がともに０とならないように規制する微係数規制手段を設けた。
【００２８】
或いは、神経細胞模倣ユニットからの出力信号をパルス列で表現するものとし、かつ、結合係数の値をパルス列表現で保存するメモリと、このメモリ上の結合係数のパルス列のパルス並びを一定時間毎に変更するパルス並び変更手段とを有するものとした上で、前記神経細胞模倣ユニットからの出力信号を所定時間遅延させた遅延信号と前記出力信号の否定信号との論理積を一方の神経細胞応答関数の微係数とし、前記神経細胞模倣ユニットからの出力信号の否定信号を所定時間遅延させた遅延信号と前記出力信号との論理積を他方の神経細胞応答関数の微係数として算出する微係数算出手段を設けるとともに、この微係数算出手段により算出される２種類の微係数のパルス密度がともに０とならないように規制する微係数規制手段を設けた。
【００２９】
また、請求項７記載の発明では、請求項６記載の発明における微係数規制手段を、予め設定されたパルス密度のパルス列を生成するパルス列生成手段と、このパルス列生成手段により生成されたパルス列と神経細胞模倣素子の出力パルス列との論理和を演算する演算手段とにより構成した。ここに、請求項８記載の発明では、この請求項７記載の発明におけるパルス列生成手段を、乱数生成装置と、この乱数生成装置から出力される乱数と所定の閾値とを比較してパルス列を出力する比較器とにより構成した。さらに、請求項９記載の発明では、請求項８記載の発明における乱数生成装置をリニアフィードバックシフトレジスタとした。
【００３０】
請求項１０記載の発明では、請求項１又は２記載の発明において、結合係数の値を２進数で保存するメモリと、リニアフィードバックシフトレジスタよりなる乱数生成装置及び前記メモリに保存された結合係数の値を前記乱数生成装置により生成された乱数と比較してパルス列表現の結合係数を出力する比較器を備えた数値・パルス列変換装置とを有するものとした。
【００３１】
即ち、結合係数可変手段と、この結合係数可変手段の可変結合係数値を教師信号に対する正の誤差信号と負の誤差信号とに基づいて生成する結合係数生成手段とを有する自己学習手段を付設した複数の神経細胞模倣ユニットを網状に接続して回路網を形成した信号処理装置において、前記正、負の誤差信号の生成のために神経細胞模倣ユニットからの出力信号に基づき２種類の神経細胞応答関数の微係数を算出する微係数算出手段を設けるとともに、結合係数の値を２進数で保存するメモリと、リニアフィードバックシフトレジスタよりなる乱数生成装置及び前記メモリに保存された結合係数の値を前記乱数生成装置により生成された乱数と比較してパルス列表現の結合係数を出力する比較器を備えた数値・パルス列変換装置とを設けた。
【００３２】
又は、結合係数可変手段と、この結合係数可変手段の可変結合係数値を教師信号に対する正の誤差信号と負の誤差信号とに基づいて生成する結合係数生成手段とを有する自己学習手段を付設した複数の神経細胞模倣ユニットを網状に接続して回路網を形成した信号処理装置において、神経細胞模倣ユニットからの出力信号をパルス列で表現するものとした上で、この神経細胞模倣ユニットからの出力信号を所定時間遅延させた遅延信号と前記出力信号の否定信号との論理積を一方の神経細胞応答関数の微係数とし、前記神経細胞模倣ユニットからの出力信号の否定信号を所定時間遅延させた遅延信号と前記出力信号との論理積を他方の神経細胞応答関数の微係数として前記正、負の誤差信号の生成のために神経細胞模倣ユニットからの出力信号に基づき２種類の神経細胞応答関数の微係数を算出する微係数算出手段を設けるとともに、結合係数の値を２進数で保存するメモリと、リニアフィードバックシフトレジスタよりなる乱数生成装置及び前記メモリに保存された結合係数の値を前記乱数生成装置により生成された乱数と比較してパルス列表現の結合係数を出力する比較器を備えた数値・パルス列変換装置とを設けた。
【００３３】
【作用】
学習時の誤差信号の演算には、神経細胞模倣ユニットからの出力信号を内部電位で微分してなる神経細胞応答関数の微係数が必要となるが、請求項１ないし４記載の発明においては、正、負の誤差信号に対応させて微係数算出手段により２種類の微係数を算出して用いるようにしたので、適正な誤差信号が得られ、より高い学習能力を持つものとなる。
【００３４】
また、数値演算における神経細胞模倣ユニットの出力関数にはシグモイド関数を用いており、その微係数は限りなく０に近づくものの、完全に０にはならない。このような点に着目し、請求項５又は６記載の発明においては、微係数規制手段により微係数算出手段による微係数又はそのパルス密度が０とはならないようにしたので、学習が途中で止まってしまうようなことがなくなり、十分に学習機能を発揮させることができる。
【００３５】
このような作用をなす微係数規制手段も、請求項７ないし９記載の発明のように構成することで容易に実現できる。
【００３６】
また、請求項１０記載の発明においては、結合係数の値を２進数の形態でメモリに保存し、数値・パルス列変換装置でパルス列に変換して出力するので、結合係数の保存が容易であるとともに、処理する段階ではパルス列で扱うので結合係数の処理も容易であり、より実際の装置に近い形の具体的なものとなる。
【００３７】
【実施例】
請求項１ないし４記載の発明の一実施例を図１ないし図３２に基づいて説明する。本発明における学習機能付きのニューロン（神経細胞模倣ユニット）の基本構成としては、前述したような既提案例による構成・作用を持つものが好適であるので、本発明の要旨を含めつつ、図１ないし図３０によりその構成・作用から説明する。既提案例による自己学習機能を持つデジタル論理回路を用いたニューロン素子構成のニューラルネットワークは、結合係数可変回路とこの結合係数可変回路の可変結合係数値を教師信号に対する正，負の誤差信号に基づいて生成する結合係数生成回路とを有する自己学習回路を付設したデジタル論理回路による複数のニューロンよりなる信号処理手段を網状に接続して構成される。
【００３８】
まず、既提案例におけるニューラルネットワークはデジタル構成によりハードウエア化したものであるが、基本的な考え方としては、
▲１▼ ニューロンに関する入・出力信号、中間信号、結合係数、教師信号などは全て、「０」「１」の２値で表されたパルス列で表す。
▲２▼ ネットワーク内部での信号の量は、パルス密度で表す（ある一定時間内の「１」の数）。
▲３▼ ニューロン内での計算は、パルス列同士の論理演算で表す。
▲４▼ 結合係数のパルス列はメモリ上に置く。
▲５▼ 学習は、このパルス列を書換えることで実現する。
▲６▼ 学習については、与えられた教師信号パルス列を基に誤差を計算し、これに基づいて、結合係数パルス列を変化させる。このとき、誤差の計算、結合係数の変化分の計算も、全て、「０」「１」のパルス列の論理演算で行う。
ようにしたものである。
【００３９】
以下、この思想について説明する。最初に、デジタル論理回路による信号処理に関し、フォワードプロセスにおける信号処理を説明する。
図２は１つのニューロン２０に相当する部分を示し、ニューラルネットワーク全体としては例えば図４５に示した場合と同様に階層型とされる。入出力は、全て、「１」「０」に２値化され、かつ、同期化されたものが用いられる。入力信号ｙ_ｉの強度はパルス密度で表現し、例えば図３に示すパルス列のようにある一定時間内にある「１」の状態数で表す。即ち、図３の例は、４／６を表し、同期パルス６個中に信号は「１」が４個、「０」が２個である。つまり、同期パルスの立上り時又は立下り時に入力信号が「０」か「１」かを判断する。このとき、「１」と「０」の並び方は、ランダムであることが望ましい。
【００４０】
一方、各ニューロン２０間の結合の度合を示す結合係数Ｔ_ｉｊも同様にパルス密度で表現し、「０」と「１」とのビット列とする。図４の例は、「１０１０１０」＝３／６を表す式である。この場合も、同期パルスの立上り時又は立下り時に入力信号が「０」か「１」かを判断するものであり、また、「１」と「０」の並び方はランダムであることが望ましい。
【００４１】
そして、このビット列を同期クロックに応じてメモリ上より順次読出し、図２に示すように各々ＡＮＤゲート２１により入力信号パルス列との論理積をとる（ｙ_ｉ ∩ Ｔ_ｉｊ）。これを、神経細胞ｊへの入力とする。上例の場合で説明すると、入力信号が「１０１１０１」として入力されたとき、これと同期してメモリ上よりパルス列を呼出し、順次ＡＮＤをとることにより、図５に示すような「１０１０００」が得られ、これは入力ｙ_ｉが結合係数Ｔ_ｉｊにより変換されパルス密度が２／６となることを示している。
【００４２】
ＡＮＤゲート２１の出力のパルス密度は、近似的には入力信号のパルス密度と結合係数のパルス密度との積となり、アナログ方式の結合係数と同様の機能を有する。これは、信号の列が長いほど、また、「１」と「０」との並び方がランダムであるほど、数値の積に近い機能を持つことになる。なお、入力パルス列に比べて結合係数のパルス列が短く、読出すべきデータがなくなったら、再びデータの先頭に戻って読出しを繰返えせばよい。
【００４３】
１つのニューロン２０は多入力であるので、前述した「入力信号と結合係数とのＡＮＤ」も多数あり、次にＯＲ回路２２によりこれらの論理和をとる。入力は同期化されているので、例えば１番目のデータが「１０１０００」、２番目のデータが「０１００００」の場合、両者のＯＲをとると、「１１１０００」となる。これをｍ個分について多入力同時に計算し出力とすると、例えば図６に示すようになる。これは、アナログ計算における和の計算及び非線形関数（シグモイド関数）の部分に対応している。
【００４４】
パルス密度が低い場合、そのＯＲをとったもののパルス密度は、各々のパルス密度の和に近似的に一致する。パルス密度が高くなるにつれ、ＯＲ回路２２の出力は段々飽和してくるので、パルス密度の和とは一致せず、非線形性が出てくる。ＯＲの場合、パルス密度は１よりも大きくなることがなく、かつ、０より小さくなることもなく、さらには、単調増加関数であり、シグモイド関数と近似的に同等となる。
【００４５】
ところで、結合には興奮性と抑制性があり、数値計算の場合には、結合係数の符号で表し、アナログ回路の場合はＴ_ｉｊが負となる場合（抑制性結合）は増幅器を用いて出力を反転させてＴ_ｉｊに相当する抵抗値で他のニューロンに結合させている。この点、デジタル方式の既提案例にあっては、まず、Ｔ_ｉｊの正負により各結合を興奮性結合と抑制性結合との２つのグループに分け、次いで、「入力信号と結合係数のパルス列のＡＮＤ」同士のＯＲをこのグループ別に計算する。このようにして得られた興奮性グループの結果をＦ_ｊとし、抑制性グループの結果をＩ_ｊとする。
【００４６】
或いは、１つの入力ｙ_ｉに対して興奮性を表す結合係数Ｔ_{ｉｊ（＋）}と抑制性を表す結合係数Ｔ_{ｉｊ（−）}との両方を用意し、各々ＡＮＤをとる（ｙ_ｉ∩Ｔ_{ｉｊ（＋）}、ｙ_ｉ∩Ｔ_{ｉｊ（−）}）。さらに、これら同士のＯＲを各々とり（∪（ｙ_ｉ∩Ｔ_{ｉｊ（＋）} ）、∪（ｙ_ｉ∩Ｔ_{ｉｊ（−）} ）、興奮性グループの結果をＦ_ｊとし、抑制性グループの結果をＩ_ｊとする。
【００４７】
これらをまとめると、
▲１▼ １つの入力に対して、結合係数を興奮性、抑制性のどちらか一方のみを持つ場合には、（８）（９）式のようになる。
【００４８】
【数２】

【００４９】
▲２▼ １つの入力に対して、結合係数を興奮性、抑制性の両方を持つ場合には、（１０）（１１）式、或いは、（１２）（１３）式に示すようになる。
【００５０】
【数３】

【００５１】
【数４】

【００５２】
ただし、（１２）（１３）式において、１つの入力に対して結合係数を興奮性、抑制性のどちらか一方のみ持つ場合には、ｙ_Ｆｉｊ，ｙ_Ｉｉｊは（１４）（１５）式で示され、

１つの入力に対して結合係数を興奮性、抑制性の両方を持つ場合には、ｙ_Ｆｉｊ，ｙ_Ｉｉｊは（１６）（１７）式
ｙ_Ｆｉｊ＝ｙ_ｉ∩ Ｔ_{ｉｊ（＋）} …………………………（１６）
ｙ_Ｉｉｊ＝ｙ_ｉ∩ Ｔ_{ｉｊ（−）} …………………………（１７）
で示される。
【００５３】
このようにして得られた興奮性グループの結果Ｆ_ｊと抑制性グループの結果Ｉ_ｊが、不一致であれば興奮性グループの結果を出力する。即ち、興奮性グループの結果Ｆ_ｊが「０」で抑制性グループの結果Ｉ_ｊが「１」であれば、「０」を出力し、興奮性グループの結果Ｆ_ｊが「１」で抑制性グループの結果Ｉ_ｊが「０」であれば、「１」を出力する。興奮性グループの結果Ｆ_ｊと抑制性グループの結果Ｉ_ｊが一致したときには、「０」を出力しても「１」を出力してもよく、或いは、別個に用意された第２の入力信号Ｅ_ｊを出力させてもよく、又は、このような第２の入力信号Ｅ_ｊとこの第２の入力信号Ｅ_ｊに対して設けたメモリの内容との論理積を演算したものを出力させるようにしてもよい。このメモリも入力信号に対する結合係数と同様、全て読出してしまったら再び先頭から読出せばよい。
【００５４】
この機能を実現するため、まず、「０」を出力させる例の場合であれば、興奮性グループの出力と抑制性グループの出力の否定とのＡＮＤをとればよい。図７はこの例を示すもので、数式で示すと、（１８）式のようになる。
【００５５】
【数５】

【００５６】
また、「１」を出力させる例の場合であれば、興奮性グループの出力と抑制性グループの出力の否定とのＯＲをとればよい。図８はこの例を示すもので、数式で示すと、（１９）式のようになる。
【００５７】
【数６】

【００５８】
第２の入力信号を出力させる例の場合であれば、図９に示すようになり、数式で示すと、（２０）式のようになる。
【００５９】
【数７】

【００６０】
さらに、第４の方式の例であれば、第２の入力信号Ｅ_ｊに対して設けられたメモリの内容（係数）をＴ′_ｊとすると、図１０に示すようになり、数式で示すと、（２１）式のようになる。
【００６１】
【数８】

【００６２】
ニューロン２０のネットワークは、バックプロパゲーションと同様な階層型（即ち、図４５）とする。そして、ネットワーク全体を同期させておけば、各層とも上述した機能により計算できる。
【００６３】
ところで、ここに前述した（１）式の内部電位に相当する内部電位ｕ_ｊとして、（２２）式
ｕ_ｊ＝Σ（ｙ_Ｆｉｊのパルス密度）−Σ（ｙ_Ｉｉｊのパルス密度） ………（２２）
を定義し、学習（バックプロパゲーション）における信号演算処理について説明する。
基本的には、以下のａにより出力信号の微係数を求めた後、以下のｂ又はｃにより誤差信号を求め、次いで、ｄの方法により結合係数の値を変化させるようにすればよい。
【００６４】
ａ．出力信号の微係数
学習時における誤差信号の演算には、出力信号を内部電位で微分した微係数（神経細胞応答関数の微係数）が一般に必要となる。即ち、一例として２入力時の出力信号（（１８）式参照）と、内部電位（（２２）式参照）との関係を示すと、図１１のような応答関数となる。この関係は一意的には定まらないが、図では平均を示している。このような応答関数を微分したものは、図１２中に示す特性Ａとなる。一方、この関数の微係数は、近似的には、出力信号のパルス密度をＯ_ｊ、その微係数をＯ_ｊ′ とすると、
Ｏ_ｊ′ ＝Ｏ_ｊ（１−Ｏ_ｊ） ……………………………（２３）
で表される。つまり、図１２中に実線で示す特性Ｂとなり、（２３）式は良好なる近似式であことが分かる。
これは、出力信号が（１８）式でなく、（１９）（２０）（２１）式で表される場合も同様である。
【００６５】
ところで、（２３）式をパルス列同士の論理演算で表すためには、以下のようにすればよい。まず、Ｏ_ｊをｙ_ｊ、（１−Ｏ_ｊ）をｙ_ｊの否定で表し、積の部分はＡＮＤなる論理演算で表すようにすればよい。即ち、微係数を表す信号をｆ_ｊ′とすると、（２４）式のようになる。
【００６６】
【数９】

【００６７】
もっとも、このままでは、（２４）式は常に“０”となってしまうので、“ｙ_ｊ”又は“ｙ_ｊの否定”の何れかに対して遅延処理を施し、常には“０”とはならないようにする必要がある。即ち、遅延された信号を“ｄｌｙ’ｄ” で表した場合、
（２５）式又は（２６）式を使い分ければよい。
【００６８】
【数１０】

【００６９】
なお、これらの２式の使い分けについては後述するものとする。また、遅延処理はレジスタを用いることにより容易に実現できる。さらに、その遅延量としても、同期クロックの１個分でも複数個分でもよい。
【００７０】
ｂ．最終層における誤差信号
最終層で各ニューロンにおける誤差信号を計算し、それを基にそのニューロンに関わる結合係数を変化させる。そのための、誤差信号の計算法について述べる。ここに、「誤差信号」を以下のように定義する。誤差を数値で表すと、一般には＋，−の両方をとり得るが、パルス密度の場合には、正、負の両方を同時に表現できないので、＋成分を表す信号と、−成分を表す信号との２種類を用いて誤差信号を表現する。即ち、ｊ番目のニューロンの誤差信号は、図１３のように示される。つまり、誤差信号の＋成分は教師信号パルスと出力信号パルスとの違っている部分（１，０）又は（０，１）の内、教師信号側に存在するパルスと微係数とのＡＮＤをとったパルスであり、−成分は同様に出力信号側に存在するパルスと微係数とのＡＮＤをとったパルスである。即ち、これらの正負の誤差信号
δ_ｊ（＋），δ_ｊ（−）を論理式で表現すると、各々（２７）（２８）式のようになる。これらの式の微係数には、各々（２５）（２６）式を用いている。
【００７１】
【数１１】

【００７２】
ここで、この組合せが仮に逆であると（即ち、（２７）式に微係数として（２６）式を適用し、（２８）式に微係数として（２５）式を適用すると）、（２７）（２８）式の結果が常に０となってしまい、機能しないので、（２５）（２６）式で示される２種類の微係数の使い分けが必要となるものである。
【００７３】
このような誤差信号パルスを基に結合係数を後述するように変化させることになる。
【００７４】
ｃ．中間層における誤差信号
まず、上記の誤差信号を逆伝播させ、最終層とその１つ前の層との結合係数だけでなく、さらにその前の層の結合係数も変化する。そのため、中間層における各ニューロンでの誤差信号を計算する必要がある。中間層のあるニューロンから、さらに１つ先の層の各ニューロンへ信号を伝播させたのとは、丁度逆の要領で１つ先の層の各ニューロンにおける誤差信号を集めてきて、自己の誤差信号とする。このことは、ニューロン内での前述した演算式（８）〜（１０）や図３〜図８に示した場合と同じような要領で行うことができる。即ち、結合係数が１入力に対して興奮性か抑制性かの何れの一方の場合は、まず、結合を興奮性か抑制性かによって、２つのグループに分け、掛け算の部分はＡＮＤで、Σの部分はＯＲで表現する。ただし、ニューロン内での前述した処理と異なるのは、ｙ_ｊが常に正なる１つの信号であるのに対して、δ_ｊは正、負を表す信号として２つの信号を持ち、その両方の信号を考慮する必要があることである。従って、結合係数Ｔ_ｉｊの正負、誤差信号δ_ｊの正負に応じて４つの場合に分ける必要がある。
【００７５】
まず、興奮性結合の場合を説明する。この場合、中間層のあるニューロンについて、１つ先の層のｋ番目のニューロンでの誤差信号δ_ｋ（＋）と、そのニューロンと自己との結合係数Ｔ_ｊｋのＡＮＤをとったもの（δ_ｋ（＋） ∩ Ｔ_ｊｋ）を各ニューロンについて求め、さらに、これら同士のＯＲをとる（∪（δ_ｋ（＋） ∩ Ｔ_ｊｋ））。これをこのニューロンの誤差信号δ_ｊ（＋）とする。即ち、１つ先の層のニューロンをｎ個とすると、図１４に示すようになる。これらを数式で示すと、（２９）式のようになる。
【００７６】
【数１２】

【００７７】
同様に、１つ先の層のニューロンでの誤差信号δ_ｋ（−）と結合係数Ｔ_ｊｋとのＡＮＤをとり、さらにこれら同士のＯＲをとることにより、このニューロンの誤差信号δ_ｊ（−）とする。即ち、図１５に示すようになり、これらを数式で示すと、（３０）式のようになる。
【００７８】
【数１３】

【００７９】
次に、抑制性結合の場合を説明する。この場合、１つ先の層のニューロンでの誤差信号δ_ｋ（−）とそのニューロンと自己との結合係数Ｔ_ｊｋのＡＮＤをとり、さらにこれら同士のＯＲをとる。これを、このニューロンの誤差信号δ_ｊ（＋）とする。即ち、図１６に示すようになり、これらを順に数式で示すと、（３１）式のようになる。
【００８０】
【数１４】

【００８１】
また、１つ先の誤差信号δ_ｋ（＋）と結合係数Ｔ_ｊｋとのＡＮＤをとり、さらにこれら同士のＯＲをとることにより、同様に、このニューロンの誤差信号δ_ｊ（−）とする。即ち、図１７に示すようになり、これらを順に数式で示すと、（３２）式のようになる。
【００８２】
【数１５】

【００８３】
１つのニューロンから別のニューロンへは興奮性で結合しているものもあれば、抑制性で結合しているものもあるので、図１４のように求めた誤差信号δ_ｊ（＋）と図１６のように求めた誤差信号δ_ｊ（＋）とのＯＲをとり、最後にこの信号と微係数とのＡＮＤをとることによって、それを自分のニューロンの誤差信号δ_ｊ（＋）とする。同様に、図１５のように求めた誤差信号δ_ｊ（−）と図１７のように求めた誤差信号δ_ｊ（−）とのＯＲをとり、最後にこの信号と微係数とのＡＮＤをとることによって、それを自分のニューロンの誤差信号δ_ｊ（−）とする。
【００８４】
以上をまとめると、（３３）式、或いは、（３４）式に示すようになる。
【００８５】
【数１６】

【００８６】
【数１７】

【００８７】
次に、１つの入力に対して興奮性と抑制性との両方の結合係数を持つ場合、数式のみを示すと、（３５）式、或いは、（３６）式に示すようになる。
【００８８】
【数１８】

【００８９】
【数１９】

【００９０】
さらに、学習のレート（学習定数）に相当する機能を設けてもよい。数値計算でレートが１以下のとき、さらに学習能力が高まる。これはパルス列の演算ではパルス列を間引くことによって実現できる。ここでは、カウンタ的な考え方をし、図１８、図１９に示すようなものとした。例えば、学習レートη＝０．５では元の信号のパルス列を１つ置きに間引くが、元の信号のパルスが等間隔でなくても、元のパルス列に対して間引くことができる。図１８，図１９中、η＝０．５の場合はパルスを１つ置きに間引き、η＝０．３３の場合はパルスを２つ置きに残し、η＝０．６７の場合はパルスを２つ置きに１回間引くことを示す。
【００９１】
ｄ．結合係数を変化させる方法
変化させたい結合係数が属しているライン（図４５参照）を流れる信号と誤差信号のＡＮＤをとる（δ_ｊ∩ｙ_ｉ）。ただし、ここでは誤差信号には＋，−の２つの信号があるので、各々演算して図２０，図２１に示すように求める。即ち、
δ_ｊ（＋）∩ｙ_ｉ、δ_ｊ（−）∩ｙ_ｉを各々正，負の結合係数変化信号としている。
【００９２】
このようにして得られた２つの信号を各々ΔＴ_{ｉｊ（＋）}，ΔＴ_{ｉｊ（−）}とする。ついで、今度はこのΔＴ_ｉｊを基に新しいＴ_ｉｊを求めるが、このＴ_ｉｊは絶対値成分であるので、元のＴ_ｉｊが興奮性か抑制性かで場合分けする。興奮性の場合、元のＴ_ｉｊに対してΔＴ_{ｉｊ（＋）}の成分を増やし、ΔＴ_{ｉｊ（−）}の成分を減らす。即ち、図２２に示すようになる。逆に、抑制性の場合は元のＴ_ｉｊに対しΔＴ_{ｉｊ（＋）} の成分を減らし、ΔＴ_{ｉｊ（−）} の成分を増やす。即ち、図２３に示すようになる。これらの図２２，図２３の内容を数式で示すと、（３７）（３８）式のようになる。
【００９３】
【数２０】

【００９４】
以上の学習則に基づいてネットワークの計算をする。
【００９５】
次に、以上のアルゴリズムに基づく既提案例方式を含む実際の回路構成を説明する。図１、図２４ないし図２８にその回路構成例を示すが、ネットワーク全体の構成は図４５と同様である。図２４ないし図２７は図４５のような階層型ネットワーク中のライン（結線＝シナプス）に相当する部分の回路を示し、図１は図４５中の丸（提案例では、各ニューロン２０）に相当する部分の回路を示す。また、図２８は最終層の出力と教師信号から最終層における誤差信号を求める部分の回路を示す。これらの図２４、図２５ないし図２８構成の３つの回路を図４５の場合のようにネットワークにすることにより、自己学習機能を持つデジタル式のニューラルネットワークが実現できる。
【００９６】
まず、図２４から説明する。図中、２５は図３に示したようなニューロンへの入力信号である。図５に示したような結合係数の値はシフトレジスタ（メモリ）２６に保存しておく。このシフトレジスタ２６は取出し口２６ａと入口２６とを有するが、通常のシフトレジスタと同様の機能を持つものであればよく、例えば、ＲＡＭとアドレスコントローラとの組合せによるもの等であってもよい。入力信号２５とシフトレジスタ２６内の結合係数とはＡＮＤゲート２７を備えて図６に示した処理を行う論理回路２８によりＡＮＤがとられる。この論理回路２８の出力は結合が興奮性か抑制性かによってグループ分けしなければならないが、予め各々のグループへの出力２９，３０を用意し、何れに出力するのかを切換えるようにした方が汎用性の高いものとなる。このため、既提案例では結合が興奮性か抑制性かを表すビットをグループ分け用メモリ３１に保存しておき、その情報を用いて切換えゲート回路３２により切換える。切換えゲート回路３２は２つのＡＮＤゲート３２ａ，３２ｂと一方の入力に介在されたインバータ３２ｃとよりなる。
【００９７】
切換える必要のない場合には、各々固定しても構わない。例えば、興奮性の場合を図２５、抑制性の場合を図２６に示す。これは、図２４においてグループ分け用メモリ３１を各々「０」「１」に固定したものと等価な回路とである。また、１つの入力に対して、興奮性を表すシフトレジスタと、抑制性を表すシフトレジスタとの両方を用意してもよい。図２７はこの例を示す。図中、２６Ａが興奮性を表す結合係数に対するシフトレジスタ、２６Ｂが抑制性を表す結合係数に対するシフトレジスタである。
【００９８】
また、図１に示すように各入力処理（図６に相当）をする複数のＯＲゲート構成のゲート回路３３ａ，３３ｂが設けられている。さらに、同図に示すように図７に示した興奮性結合グループが「１」で、抑制性結合グループが「０」のときにのみ出力「１」を出すＡＮＤゲート３４ａとインバータ３４ｂとによるゲート回路３４が設けられている。図６ないし図１０に例示したような処理結果とする場合にも同様に論理回路で容易に実現できる。
【００９９】
もっとも、ゲート回路３４としては、図６方式の場合であれば図２９（ａ）に示すようにインバータ３４ｂとＯＲゲート３４ｃとの組合せとし、図９方式の場合であれば図２９（ｂ）に示すように排他的ＯＲゲート３４ｄとインバータ３４ｅと２つのＡＮＤゲート３４ｆ，３４ｇとＯＲゲート３４ｈとにより構成してＡＮＤゲート３４ｇに第２入力Ｅ_ｊを入力させるものとし、図１０方式の場合であれば図２９（ｃ）に示すように同図（ｂ）に第２入力Ｅ_ｊに対する係数Ｔ′を数値表現形態で記憶したメモリ３４ｉと、ＡＮＤゲート３４ｊとを追加した構成とすればよい。
【０１００】
次に、誤差信号について説明する。
最終層での誤差信号を生成するのが図２８に示すＡＮＤゲート，排他的ＯＲゲートの組合せによる論理回路３５であり、（６）（７）式に相当する。即ち、最終層からの出力３６及び教師信号３７により誤差信号３８，３９を作るものである。
【０１０１】
中間層における誤差信号を計算する（３４）式の内、Ｅ_ｊ（＋），Ｅ_ｊ（−）を求める処理は、図２４中に示すＡＮＤゲート構成のゲート回路４２により行われ、＋，−に応じた出力４３，４４が得られる。ここでは、結合係数として学習後のものを用いたが、学習前のものであってもよく、学習前の場合も容易に回路化し得る。また、このように結合が興奮性か抑制性かにより場合分けする必要があるが、この場合分けはメモリ３１に記憶された興奮性か抑制性かの情報と、誤差信号の＋，−信号４５，４６とに応じて、ＡＮＤ，ＯＲゲート構成のゲート回路４７により行われる。なお、結合の興奮性、抑制性の区別を固定した図２５、図２６方式のものでは、前記メモリ３１の内容を各々「０」，「１」に固定したものと等価な回路となる。一方、１つの入力に対して興奮性結合を表すシフトレジスタ２６Ａと抑制性結合を表すシフトレジスタ２６Ｂとの両方を用いる図２７方式のものでは、（３６）式に相当する回路が、図２７においてゲート回路３５として示されている。
【０１０２】
また、誤差信号を集める計算式（８）、即ち、（３４）式の残りの部分は図１に示すＯＲゲート構成のゲート回路４８ａ，４８ｂにより行われる。さらに、学習レートに相当する図１８，１９の処理は図２６中に示す分周回路４９により行われる。これは、フリップフロップ等を用いることにより容易に実現できる。もっとも、分周回路４９は不必要であれば特に設けなくてよく、設ける場合であっても図２５中に示した例に限らず、図２４〜図２７中に符号４９を付して示すような適宜位置に設けるようにしてもよい。
【０１０３】
このような誤差信号を集める処理において、本実施例では、ゲート回路３４を通して得られる自己のニューロン２０の出力信号に基づき微係数算出手段５１により２種類の微係数ｆ_ｊ（＋）′，ｆ_ｊ（−）′を算出し、各ゲート回路４８ａ，４８ｂで集められた誤差信号Ｅ_ｊ（＋），Ｅ_ｊ（−）との論理積がＡＮＤゲート構成のゲート回路５２でとられるように構成されている。この論理積処理は、分周回路４９による分周後でも、分周前であってもよい（このため、図１中において分周回路は４９ａとして示す位置に設けてもよい）。
【０１０４】
ここに、微係数算出手段５１は微係数ｆ_ｊ（＋）′用の処理回路５３と、ｆ_ｊ（−）′用の処理回路５４とに分けて構成されている。処理回路５３は（２５）式を実行するもので、出力信号ｙ_ｊを遅延させて遅延信号ｙ_{ｄｌｙ’ｄｊ}を得るシフトレジスタ５３ａと出力信号ｙ_ｊの否定信号を得るインバータ５３ｂとこれらの論理積をとるＡＮＤゲート５３ｃとにより構成されている。一方、処理回路５４は（２６）式を実行するもので、出力信号ｙ_ｊを遅延させて遅延信号ｙ_{ｄｌｙ’ｄｊ}を得るシフトレジスタ５４ａとこの遅延信号の否定信号を得るインバータ５４ｂとこの出力と出力信号ｙ_ｊとの論理積をとるＡＮＤゲート５４ｃとにより構成されている。
なお、信号を同期クロックに同期させて遅延させるシフトレジスタ５３ａ，５４ａに関して、同期クロックを幾つ分遅延させるかは固定してもよく、或いは、外部から可変的に与えるようにしてもよい。
【０１０５】
最後に、誤差信号より新たな結合係数を計算する部分、即ち、図２１〜図２３の処理に相当する部分は、図２４中に示すＡＮＤ、インバータ、ＯＲゲート構成のゲート回路５０により行なわれ、シフトレジスタ２６の内容、即ち、結合係数Ｔ_ｉｊの値が書換えられる。このゲート回路５０も結合の興奮性、抑制性により場合分けが必要であるが、ゲート回路４７により行なわれる。図２５、図２６の場合には、興奮性、抑制性が固定であるので、ゲート回路４７に相当する回路は不要である。図２７方式の場合は、１つの入力に対して興奮性、抑制性の両方を持つので、ゲート回路５０Ａが興奮性、ゲート回路５０Ｂが抑制性の場合に相当する。
【０１０６】
ところで、結合係数の値はシフトレジスタ２６内にパルス列の形で保存されているが、このようなパルス列に関して、そのパルス密度は同じに保ちつつ（結合係数の値は変更せずに）、そのパルス並びを時々変更したほうが学習能力が上がることがある。そこで、結合係数に関して、図３０（ａ）〜（ｃ）の何れかに示すような処理を施すようにすれば、効果的である。
【０１０７】
まず、図３０（ａ）は、結合係数の値をパルス列の形で保存するシフトレジスタ２６に対して、パルス並び変更手段５５を付加したものである。このパルス並び変更手段５５はシフトレジスタ２６から読出したパルス列を計数することでパルス数を得るカウンタ５５ａと、一様乱数を発生させる乱数発生器５５ｂと、これらのパルス数と一様乱数とを比較しその大小に応じて「１」又は「０」を出力する比較器５５ｃと、比較器５５ｃの比較出力に応じてシフトレジスタ２６に書込み動作を行う切換器５５ｄとにより構成されている。ここに、前記乱数発生器５５ｂはシフトレジスタ２６から読出すビット数（即ち、同期クロック数）を最大値とし、０からこの最大値までの間で一様乱数を生成出力するものである。また、比較器５５ｃはパルス数のほうが一様乱数値よりも大きければ「１」、パルス数のほうが一様乱数値よりも小さい場合には「０」を出力するように設定されている。これにより、適宜、結合係数のパルス列のパルス並びが変更されることになる。なお、このような並び変更処理中は、切換器５５ｄが比較器５５ｃ側に切換えられているので、ニューラルネットワーク本来の動作は行えない。
【０１０８】
図３０（ｂ）は、結合係数の値を演算毎にパルス列表現に変換する変換手段５６を設けたものである。即ち、この例にあっては、結合係数を表すパルス列のパルス密度を数値（例えば、２進数や電圧値）の形でメモリ５６ａに記憶させておき、演算の度に乱数発生器５６ｂにより生成した乱数と比較器５６ｃで比較し、パルス列に変換させるものである。ここに、学習済みの結合係数を表すパルス列をカウンタ５６ｄを用いて計数して数値に変換し、ある一定時間毎にメモリ５６ａの内容を更新するように構成されている。なお、カウンタ５６ｄに代えて、積分器を用いて学習済みの結合係数を表すパルス列を電圧値に変換するようにしてもい。また、乱数発生器５６ｂは乱数発生器５５ｂの場合と同じく、生成する乱数の最大値はメモリ５６ａの内容を更新する同期クロック数に設定されている。
【０１０９】
図３０（ｃ）も、結合係数の値を演算毎にパルス列表現に変換する変換手段５７を設けたものである。即ち、この例にあっては、結合係数を表すパルス列のパルス密度を数値（例えば、２進数）の形でアップ／ダウンカウンタ５７ａに記憶させておき、演算の度に乱数発生器５７ｂにより生成した乱数と比較器５７ｃで比較し、パルス列に変換させるものである。ここに、比較器５７ｃを通して実際に出力された結合係数のパルス列はカウンタ５７ａのダウンＤ側に帰還入力され、学習済みの結合係数のパルス列はカウンタ５７ａのアップＵ側に入力され、保存される結合係数値が適宜更新されるように構成されている。
【０１１０】
図３０（ａ）〜（ｃ）に示す各例において、乱数発生器５５ｂ，５６ｂ，５７ｂ及び比較器５５ｃ，５６ｃ，５７ｃとしてデジタル構成のものを用いればよいが、カウンタ５６ｄに代えて積分器を用いた場合には、乱数発生器５６ｂ及び比較器５６ｃとしてアナログ構成のものを用いればよい。これらは、何れも公知の技術で容易に実現できる。例えば、デジタル構成の乱数発生器としてはＭ系列の疑似乱数発生器を用い、アナログ構成の乱数発生器としてはトランジスタの熱雑音を用いればよい。
【０１１１】
以上、説明したように信号をパルス密度で表現する手法は、実際の回路のみならず、計算機上でシミュレートする場合にも有用である。計算機上では、演算は直列的に行われるが、アナログ値を用いて計算させるのに比べて、「０」「１」の２値の論理演算のみであるので、計算速度が著しく向上する。一般に、実数値の四則演算は、１回の計算に多くのマシンサイクルを必要とするが、論理演算では少なくて済む。また、論理演算のみであると、高速処理向けの低水準言語が使用しやすいといった特徴も持つ。また、上述した方式を実施するに当り、その全部を回路化する必要はなく、一部又は全部をソフトウエアで行わせるようにしてもよい。また、回路構成自体も例示したものに限らず、論理が等価な別の回路で置き換えるようにしてもよく、さらには、負論理に置き換えるようにしてもよい。これらの点は、以下の実施例でも同様である。
【０１１２】
ところで、具体例を説明する。図４５のように３層構造にネットワーク構成し、第１層は２５６個、第２層は２０個、第３層は５個の回路ユニット構成とした。ここに、第１，２層間、第２，３層間は回路ユニット同士が全て結合されている。このようなネットワークに対して手書き文字を入力し、文字認識を行わせた。まず、手書き文字をスキャナで読取り、図３１に示すように１６×１６のメッシュに分け、文字部分のあるメッシュを「１」、ないメッシュを「０」とした。この２５６個のデータをネットワーク（第１層）に入力させた。出力層の５個の各ニューロン２０を「１」〜「５」までに対応させ、その数字が入力した時に対応するニューロンの出力が「１」でその他のニューロンの出力が「０」になるように学習させた。最初、各結合係数をランダムに設定しておくと、出力結果は必ずしも所望の値とはならない。そこで、本実施例の自己学習機能を用いて、各結合係数を新たに求め、これを何回か繰返すことによって所望の出力が得られるようにする。ここに、入力は、「１」か「０」であるので、入力パルス列は常にＬレベル又はＨレベルなる単調なものである。また、最終出力はトランジスタを介してＬＥＤと結び、Ｌレベルの時には消灯、Ｈレベルの時には点灯するようにした。同期クロックを１０００ｋＨｚとしたので、パルス密度に応じて、人間の目にはＬＥＤの明るさが変って見え、従って、一番明るいＬＥＤ部分が答えとなる。十分学習させた文字に対しては１００％の認識率が得られたものである。
【０１１３】
さらに、３層構造にネットワーク構成し、第１層は２個、第２層は２個、第３層は４個の回路ユニット構成とし、ＸＯＲ（排他的論理和）問題を解かせたところ、学習回数と残差との関係は図３２に示すようになったものである。図示結果からも分かるように数学的に難しい問題に対しても十分学習効果を発揮し得るものとなる。
【０１１４】
つづいて、請求項５ないし９記載の発明の一実施例を図３３ないし図３８により説明する。前記実施例で示した部分と同一部分は同一符号を用いて示す（以下の実施例でも同様とする）。本実施例は、前述した実施例をさらに改良したものであり、まず、前述した実施例について再度検討する。
【０１１５】
まず、前述した実施例のニューロン２０では学習時に用いる出力信号を内部電圧で微分した微係数に相当する信号として前述した（２５）（２６）式を用いている（下記に再度示す）。
【０１１６】
【数２１】

【０１１７】
一方、学習時にはこのような微係数信号ｆ_ｊ（＋）′，ｆ_ｊ（−）′を用いて誤差信号を算出する。出力層の場合は、前述した（２７）（２８）式で表され、中間層の場合は前述した（３３）式で表される（下記に再度示す）。
【０１１８】
【数２２】

【０１１９】
【数２３】

【０１２０】
ところが、前記実施例構成の場合、微係数信号ｆ_ｊ（＋）′，ｆ_ｊ（−）′のパルス密度が０になってしまうことがある。これらの微係数信号ｆ_ｊ（＋）′又はｆ_ｊ（−）′が０になると、誤差信号δ_ｊ（＋），δ_ｊ（−）のパルス密度も０となってしまう。よって、このような事態が学習途中でたまたま発生すると、学習はそこで止まってしまい、学習機能が充分に発揮されないものとなる。
【０１２１】
一方、数値演算におけるニューロンでは出力関数にシグモイド関数を用いており、その微係数は限りなく０に近づくものの、完全に０になることはない。このような点に着目し、本実施例では、出力関数の微係数が完全に０とはならないようにする微係数規制手段を設けることを基本として構成したものである。
【０１２２】
まず、本実施例中、請求項５ないし７記載の発明に相当する実施例を図３３及び図３４により説明する。まず、前述した実施例中の微係数算出手段５１を構成する処理回路５３（又は、５４）が設けられている。この処理回路５３の出力部分に本実施例の要旨とする微係数規制手段６１が付加されている。この微係数規制手段６１は前記処理回路５３から出力される微係数の出力パルス列に適宜加工処理を施して最終的な微係数の出力パルス列のパルス密度が０とはならないようにするもので、ここでは、パルス列生成装置（パルス列生成手段）６２と、このパルス列生成装置６２の出力と前記処理回路５３の出力とを入力とするＯＲゲート（演算手段）６３とにより構成されている。前記パルス列生成装置６２は、予め設定されたパルス密度（ただし、完全には０ではない密度）のパルス列を生成出力するもので、例えば、図３４に示すように、クロック信号を入力として計数するカウンタ６４と、このカウンタ６４の計数値が所定の周期値に達する毎に一定周期の１パルスを出力する比較器６５とにより構成される。
【０１２３】
このような構成によれば、仮に処理回路５３の微係数の出力パルス列のパルス密度が０となるようなことがあっても、パルス列生成装置６２で生成されたパルス列との論理和がＯＲゲート６３によりとられて、最終的な微係数の出力パルス列が得られるので、この微係数の出力パルス列のパルス密度が０になるようなことはない。よって、学習途中であっても、微係数のパルス列のパルス密度が０となり学習が止まってしまうようなことはない。ここに、パルス列生成装置６２で生成出力するパルス列のパルス密度は処理回路５３からの微係数の出力パルス列に極力影響を及ぼさないようになるべく０に近いほうがよい。
【０１２４】
また、本実施例中、請求項８記載の発明に相当する実施例を図３５に示す。これは、パルス列生成装置６２の構成を変えたもので、アナログ構成の乱数生成装置６６と比較器６７との組合せ構成としたものである。ここに、乱数生成装置６６には例えばトランジスタの熱雑音等による電圧値が利用され、比較器６７において予め設定された一定電圧値と比較され、一定電圧値よりも乱数生成装置６６の電圧値の方が大きい時には１を、小さい時には０を出力させることにより、所望のパルス列が得られるものとなる。この時のパルス列のパルス密度は乱数生成装置６６から得られる電圧値の分布と比較用に与える一定電圧値とにより自由に設定できる。
【０１２５】
さらに、本実施例中、請求項９記載の発明に相当する実施例を図３６及び図３７に示す。これも、パルス列生成装置６２の構成を変えたもので、デジタル構成の乱数生成装置６８とデジタル構成の比較器６９との組合せ構成としたものである。ここに、乱数生成装置６８には例えば図３７に示すような７ビットシフトレジスタ７０と、その最上位及び最下位ビットのデータを入力として最下位ビットを順次更新する排他的ＯＲゲート７１とによるリニアフィードバックシフトレジスタ（ＬＦＳＲ）７２が用いられている。これにより、乱数生成装置６８からは７ビット構成で１〜１２７の範囲で一様乱数が得られる。比較器６９ではこの乱数値と予め設定された７ビット構成の一定値（例えば、１や２といった値）とを比較し、乱数値の方が一定値よりも大きければ１を出力し、小さければ０を出力する。これにより、例えば１／１２７とか２／１２７といったパルス密度を持つパルス列が得られることになる。よって、ＯＲゲート６３からの最終的な微係数の出力パルス列としては少なくとも１／１２７や２／１２７といったパルス密度のパルス列が出力されることになる。
【０１２６】
なお、前記ＬＦＳＲ７２には予め０以外の値をセットしておく必要がある。このためには、例えば図３８に示すように、排他的ＯＲゲート７１と７ビットシフトレジスタ７０との間に切換えスイッチ７３を介在させ、外部からＬＦＳＲ７２の初期値を設定し得るようにすればよい。
【０１２７】
なお、本実施例では、例えば処理回路５３に微係数規制手段６１を付加した構成として説明したが、実際には、前記実施例で説明したように、微係数としてはｆ_ｊ（＋）′，ｆ_ｊ（−）′の２種類を必要とするので、何れの微係数も０とはならないように、処理回路５４側についても同様に微係数規制手段６１が付加して構成される。この時、処理回路５３，５４に対して乱数生成装置６６，６８を用意する場合は、各々別の乱数を発生させるものとするのがよい。さらに、ニューラルネットワーク全体で考えた場合には多数の乱数生成装置を用意することになるが、その場合には各々別の乱数を発生させるように構成するのがよい。
【０１２８】
本実施例に関する具体的構成例について説明すると、１６個分のニューロン２０を１つのチップ上に通常のＬＳＩプロセスで作製した。これらの各ニューロン２０のシナプス数は１６とした。また、図３３中のパルス列生成装置６２としては、図３６及び図３７に示したように、ＬＦＳＲ７２とデジタル構成の比較器６９との組合せ構成とし、パルス密度が１／１２７のパルス列を生成させるものとした。この結果、微係数の最終的な出力パルス列のパルス密度が最低でも１／１２７となるパルス列となり、学習が途中で止まってしまうようなことがなかったものである。
【０１２９】
また、請求項１０記載の発明の一実施例を図３９ないし図４３により説明する。前述した実施例では、ニューロン２０からの出力信号をパルス列で表現することを基本とし、結合係数の値もパルス列で保存するようにしたが、本実施例では、結合係数の値を２進数なる数値表現形態で保存するようにしたものである。即ち、図３０（ｂ）に示した構成に準じたものであり、本実施例ではその構成をより明確化したものである。
【０１３０】
まず、本実施例の構成として、図２４に対応するシナプス部分の構成を図３９に示し、図２７に対応するシナプス部分の構成を図４０に示す。また、図１に対応するニューロン２０部分の構成の一部を図４１に示す。
【０１３１】
図３９に示すシナプス部分の構成では、シフトレジスタ２６に代えて、結合係数Ｔ_ｉｊの値を２進数なる数値（絶対値）で保存するメモリ７４が設けられている。このメモリ７４の入力側（ゲート回路５０の出力側）にはパルス列→数値変換回路７５が接続され、出力側（ＡＮＤゲート２７等の入力側）には数値→パルス列変換回路（数値・パルス列変換装置）７６が接続されている。ここに、メモリ７４と数値→パルス列変換回路７６との間は、数値を表すのに必要な本数（ビット幅）ｎで結ばれている。さらに、図では省略してあるが、前記メモリ７４に対しては、アウトプットイネーブル信号やライトイネーブル信号などの読み書きに必要な信号が与えられている。パルス列→数値変換回路７５は図３０（ｂ）で説明した場合と同様に、カウンタ等を用いることにより容易に実現できる。この他は、図２４の場合と同様である。
【０１３２】
図４０は、１つの入力に対して、興奮性を表す結合係数と抑制性を表す結合係数との両方を用意した例を示し、興奮性を表す結合係数の値（＋成分）を２進数なる数値で保存するメモリ７４Ａと、抑制性を表す結合係数の値（−成分）を２進数なる数値で保存するメモリ７４Ｂとが設けられ、各々のメモリ７４Ａ，７４Ｂ毎にパルス列→数値変換回路７５Ａ，７５Ｂ、数値→パルス列変換回路７６Ａ，７６Ｂが設けられている。この他は、図２７の場合と同様である。
【０１３３】
ここに、数値→パルス列変換回路７６（７６Ａ，７６Ｂを含む）は、例えば、図４２に示すように、乱数生成装置７７と、メモリ７４からの２進数による結合係数値をこの乱数生成装置７７による乱数と比較してパルス列表現の結合係数をＡＮＤゲート２７等へ出力する比較器７８とにより構成されている。前記乱数生成装置７７は、例えば、図４３に示すように基準クロックに同期して乱数を発生する例えば７ビット構成のシフトレジスタ７９とその最上位ビット（ｂ６）のデータと残りの適宜ビットのデータとを入力として最下位ビット（ｂ０）を順次更新する排他的ＯＲゲート８０とによるリニアフィードバックシフトレジスタ（ＬＦＳＲ）８１により構成されている。これにより、０〜（２＾ｍ−１）（ｍはシフトレジスタ７９のビット数）までの一様乱数が得られるものである。このＬＦＳＲ８１の生成多項式は複数存在し、回路でも適宜切換えられるようにしておいたほうがよりランダムな乱数列が得られるので、ここでは、ｂ０，ｂ１，ｂ４，ｂ５の内、何れのビットから排他的ＯＲゲート８０に入力させるかを切換える切換器８２が設けられている。前記比較器７８は乱数生成装置７７（ＬＦＳＲ８１）により生成された乱数とメモリ７４からの結合係数値とを比較し、メモリ７４からのデータのほうが大きい時には「１」、小さい時には「０」を出力するものである。これにより、パルス密度が（メモリ７４のデータ／２＾ｍ）となるパルス列による結合係数が得られる。
【０１３４】
なお、図４１はニューロン２０中のゲート回路３３ａ，３３ｂを主体とした部分を示し、これらのゲート回路３３ａ，３３ｂの出力側に設けられるゲート回路３４は図１や図２９に示したものに対して変形したものとされている。即ち、外部に設けられたオフセット入力信号生成器８３からの信号と前記ゲート回路３３ａ，３３ｂからの信号との論理積をとるＡＮＤゲート３４ｋと、ゲート回路３３ａからの出力をインバータ３４ｌで反転させた信号とゲート回路３３ｂからの信号とオフセット入力信号生成器８３からの信号との論理積をとるＡＮＤゲート３４ｍと、ゲート３３ｂからの出力をインバータ３４ｎで反転させた信号とゲート回路３３ａからの信号とオフセット入力信号生成器８３からの信号との論理積をとるＡＮＤゲート３４ｏとにより構成されている。ここに、オフセット入力信号生成器８３は数値→パルス列変換回路７６と同様にＬＦＳＲを利用した構成のものであり、ここでは、パルス密度（数値）ｙ_Ｈｊとして「０．５」を出力するものとされている。この他の部分は、図１の場合と同様に構成されている。
【０１３５】
これにより、本実施例では、（１１）〜（２１）式に代えて、（３９）式を用いるように構成されている。つまり、ゲート回路３３ａで得られた興奮性グループの結果ｙ_Ｆｊとゲート回路３３ｂで得られた抑制性グループの結果ｙ_Ｉｊとが不一致であれば、興奮性の出力ｙ_Ｆｊをこのニューロンの出力とするものである。即ち、興奮性グループの結果ｙ_Ｆｊが「０」で抑制性グループの結果ｙ_Ｉｊが「１」であれば、「０」を出力し、興奮性グループの結果ｙ_Ｆｊが「１」で抑制性グループの結果ｙ_Ｉｊが「０」であれば、「１」を出力する。興奮性グループの結果ｙ_Ｆｊと抑制性グループの結果ｙ_Ｉｊとが一致した時には、パルス密度０．５なるオフセット入力信号生成器８３からの信号ｙ_Ｈｊがニューロンの出力とされる。
【０１３６】
【数２４】

【０１３７】
本実施例による場合も、具体例として、図４５で示したような３層構造のネットワーク構成において、自己学習式文字認識処理を行わせたところ、同じ結果、即ち、十分学習させた文字に対しては認識率１００％が得られたものである。
【０１３８】
【発明の効果】
請求項１記載の発明によれば、学習時の誤差信号の演算に必要となる神経細胞模倣ユニットからの出力信号を内部電位で微分してなる神経細胞応答関数の微係数に関して、正、負の誤差信号に対応させて微係数算出手段により２種類の微係数を算出して用いるようにしたので、適正な誤差信号を得て、より高い学習能力を持たせることができる。特に、請求項２記載の発明によれば、神経細胞模倣ユニットからの出力信号をパルス列で表現するものとし、この神経細胞模倣ユニットからの出力信号を所定時間遅延させた遅延信号と出力信号の否定信号との論理積を一方の神経細胞応答関数の微係数とし、神経細胞模倣ユニットからの出力信号の否定信号を所定時間遅延させた遅延信号と出力信号との論理積を他方の神経細胞応答関数としたので、微係数の実体が常に０となってしまうような不都合を回避できる。加えて、請求項３記載の発明によれば、結合係数の値をパルス列表現で保存するメモリと、このメモリ上の結合係数のパルス列のパルス並びを一定時間毎に変更するパルス並び変更手段とを有するものとし、請求項４記載の発明によれば、結合係数の値をパルス列表現に変換する変換手段を有するものとしたので、より学習能力を向上させることができる。
【０１３９】
一方、請求項５，６記載の発明によれば、微係数規制手段により微係数算出手段による微係数又はそのパルス密度が０とはならないように構成したので、学習が途中で止まってしまうようなことがなく、十分に学習機能を発揮させることができる。
【０１４０】
この際、請求項７記載の発明によれば、予め設定されたパルス密度のパルス列を生成するパルス列生成手段と、このパルス列生成手段により生成されたパルス列と神経細胞模倣素子の出力パルス列との論理和を演算する演算手段とよりなる微係数規制手段とし、また、請求項８記載の発明によれば、乱数生成装置と、この乱数生成装置から出力される乱数と所定の閾値とを比較してパルス列を出力する比較器とよりなるパルス列生成手段とし、さらに、請求項９記載の発明では、乱数生成装置をリニアフィードバックシフトレジスタとしたので、上記のような効果を発揮する微係数規制手段を、容易に実現できるものとなる。
【０１４１】
請求項１０記載の発明によれば、請求項１又は２記載の発明において、結合係数の値を２進数で保存するメモリと、リニアフィードバックシフトレジスタよりなる乱数生成装置及び前記メモリに保存された結合係数の値を前記乱数生成装置により生成された乱数と比較してパルス列表現の結合係数を出力する比較器を備えた数値・パルス列変換装置とを有するものとし、結合係数の値を２進数の形態でメモリに保存し、数値・パルス列変換装置でパルス列に変換して出力するようにしたので、結合係数の保存が容易であるとともに、処理する段階ではパルス列で扱うので結合係数の処理も容易であり、より実際の装置に近い形の具体的な実現容易なものとすることができる。
【図面の簡単な説明】
【図１】請求項１ないし４記載の発明の一実施例を示す論理回路図である。
【図２】既提案例における基本的な信号処理を行なうための論理回路図である。
【図３】論理演算例を示すタイミングチャートである。
【図４】論理演算例を示すタイミングチャートである。
【図５】論理演算例を示すタイミングチャートである。
【図６】論理演算例を示すタイミングチャートである。
【図７】論理演算例を示すタイミングチャートである。
【図８】論理演算例を示すタイミングチャートである。
【図９】論理演算例を示すタイミングチャートである。
【図１０】論理演算例を示すタイミングチャートである。
【図１１】応答関数を示す特性図である。
【図１２】その微分関数を示す特性図である。
【図１３】論理演算例を示すタイミングチャートである。
【図１４】論理演算例を示すタイミングチャートである。
【図１５】論理演算例を示すタイミングチャートである。
【図１６】論理演算例を示すタイミングチャートである。
【図１７】論理演算例を示すタイミングチャートである。
【図１８】論理演算例を示すタイミングチャートである。
【図１９】論理演算例を示すタイミングチャートである。
【図２０】論理演算例を示すタイミングチャートである。
【図２１】論理演算例を示すタイミングチャートである。
【図２２】論理演算例を示すタイミングチャートである。
【図２３】論理演算例を示すタイミングチャートである。
【図２４】各部の構成例を示す論理回路図である。
【図２５】図２４の別の変形例の構成例を示す論理回路図である。
【図２６】図２４のさらに別の変形例の構成例を示す論理回路図である。
【図２７】各部の構成例を示す論理回路図である。
【図２８】各部の構成例を示す論理回路図である。
【図２９】変形例を示す論理回路図である。
【図３０】パルス並び変更手段及び変換手段を示すブロック図である。
【図３１】手書き文字の読取り例を示す説明図である。
【図３２】具体例による学習回数と残差との関係を示す特性図である。
【図３３】請求項５ないし７記載の発明の一実施例を示すブロック図である。
【図３４】そのパルス列生成装置の構成を示すブロック図である。
【図３５】請求項８記載の発明の一実施例を示すブロック図である。
【図３６】請求項９記載の発明の一実施例を示すブロック図である。
【図３７】その乱数生成装置の構成を示すブロック図である。
【図３８】変形例を示すブロック図である。
【図３９】請求項１０記載の発明の一実施例を示すシナプス部分の論理回路図である。
【図４０】図３９の変形例を示す論理回路図である。
【図４１】ニューロン中の一部の構成を示す論理回路図である。
【図４２】数値→パルス列変換回路の構成を示すブロック図である。
【図４３】乱数生成装置の構成を示すブロック図である。
【図４４】従来例の１つのユニット構成を示す概念図である。
【図４５】そのニューラルネットワーク構成の概念図である。
【図４６】シグモイド関数を示すグラフである。
【図４７】１つのユニットの具体的構成を示す回路図である。
【図４８】デジタル構成例を示すブロック図である。
【図４９】その一部の回路図である。
【図５０】異なる一部の回路図である。
【符号の説明】
２０神経細胞模倣ユニット
２６メモリ
５０自己学習手段
５１微係数算出手段
５５パルス並び変更手段
５６，５７変換手段
６１微係数規制手段
６２パルス列生成手段
６３演算手段
６６乱数生成装置
６７比較器
６８乱数生成装置
６９比較器
７２リニアフィードバックシフトレジスタ＝乱数生成装置
７４メモリ
７６数値・パルス列変換回路
７７乱数生成装置
７８比較器
８１リニアフィードバックシフトレジスタ

Claims

結合係数可変手段と、この結合係数可変手段の可変結合係数値を教師信号に対する正の誤差信号と負の誤差信号とに基づいて生成する結合係数生成手段とを有する自己学習手段を付設した複数の神経細胞模倣ユニットを網状に接続して回路網を形成した信号処理装置において、前記正、負の誤差信号の生成のために神経細胞模倣ユニットからの出力信号に基づき２種類の神経細胞応答関数の微係数を算出する微係数算出手段を設けたことを特徴とする信号処理装置。
神経細胞模倣ユニットからの出力信号をパルス列で表現するものとし、この神経細胞模倣ユニットからの出力信号を所定時間遅延させた遅延信号と前記出力信号の否定信号との論理積を一方の神経細胞応答関数の微係数とし、前記神経細胞模倣ユニットからの出力信号の否定信号を所定時間遅延させた遅延信号と前記出力信号との論理積を他方の神経細胞応答関数の微係数としたことを特徴とする請求項１記載の信号処理装置。
結合係数の値をパルス列表現で保存するメモリと、このメモリ上の結合係数のパルス列のパルス並びを一定時間毎に変更するパルス並び変更手段とを有するものとしたことを特徴とする請求項２記載の信号処理装置。
結合係数の値をパルス列表現に変換する変換手段を有するものとしたことを特徴とする請求項２記載の信号処理装置。
微係数算出手段により算出される２種類の微係数がともに０とならないように規制する微係数規制手段を設けたことを特徴とする請求項１記載の信号処理装置。
微係数算出手段により算出される２種類の微係数のパルス密度がともに０とならないように規制する微係数規制手段を設けたことを特徴とする請求項２，３又は４記載の信号処理装置。
予め設定されたパルス密度のパルス列を生成するパルス列生成手段と、このパルス列生成手段により生成されたパルス列と神経細胞模倣素子の出力パルス列との論理和を演算する演算手段とよりなる微係数規制手段としたことを特徴とする請求項６記載の信号処理装置。
乱数生成装置と、この乱数生成装置から出力される乱数と所定の閾値とを比較してパルス列を出力する比較器とよりなるパルス列生成手段としたことを特徴とする請求項７記載の信号処理装置。
乱数生成装置をリニアフィードバックシフトレジスタとしたことを特徴とする請求項８記載の信号処理装置。
結合係数の値を２進数で保存するメモリと、リニアフィードバックシフトレジスタよりなる乱数生成装置及び前記メモリに保存された結合係数の値を前記乱数生成装置により生成された乱数と比較してパルス列表現の結合係数を出力する比較器を備えた数値・パルス列変換装置とを有するものとしたことを特徴とする請求項１又は２記載の信号処理装置。