JPH05298276A

JPH05298276A - 信号処理装置

Info

Publication number: JPH05298276A
Application number: JP4104375A
Authority: JP
Inventors: Takashi Kitaguchi; 貴史北口; Shinichi Suzuki; 伸一鈴木; Hiroyasu Mifune; 博庸三船
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 1992-04-23
Filing date: 1992-04-23
Publication date: 1993-11-12

Abstract

(57)【要約】【目的】動作が確実でハードウエア化が容易なパルス
密度型デジタル回路構成にして、入力信号の時間変動に
対しても、高い非線形処理能力を有するようにするこ
と。【構成】パルス密度により表現された複数の入力信号
を入力として演算処理を行い、パルス密度により表現さ
れた１つの出力信号を出力するようにしたパルス密度型
の信号処理装置において、前記各入力信号と結合係数と
を論理演算する論理演算手段２７と、この論理演算手段
２７による演算結果について時間方向で論理和を演算す
る論理和演算手段５１と、この論理和演算手段５１によ
る演算結果を計数するカウンタと、このカウンタにより
計数された計数値に応じたパルス密度表現の出力信号を
出力させる信号出力手段とを有する信号処理手段を設け
た。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、例えば画像や音声の認
識、ロボット等の位置制御、エアコンの温度制御、ロケ
ットの軌道制御等のような各種運動の制御に適用可能
な、神経細胞を模倣したニューラルコンピュータ等の信
号処理装置に関する。

【０００２】

【従来の技術】生体の情報処理の基本的な単位である神
経細胞（ニューロン）の機能を模倣し、さらに、この
「神経細胞模倣素子」（神経細胞ユニット）をネットワ
ークにし、情報の並列処理を目指したのが、いわゆるニ
ューラルネットワークである。文字認識や連想記憶、運
動制御等、生体ではいとも簡単に行われていても、従来
のノイマン型コンピュータではなかなか達成しないもの
が多い。生体の神経系、特に生体特有の機能、即ち並列
処理、自己学習等をニューラルネットワークにより模倣
して、これらの問題を解決しようとする試みが、計算機
シミュレーションを中心として、盛んに行われている。

【０００３】まず、従来のニューラルネットワークのモ
デルについて説明する。図３４はある１つの神経細胞ユ
ニットＡを表す図であり、図３５はこれをネットワーク
にしたものである。Ａ₁，Ａ₂，Ａ₃ は各々神経細胞ユニ
ットを表す。１つの神経細胞ユニットは多数の他の神経
細胞ユニットと結合しており、それらから受けた信号を
処理して出力を出す。図３５の場合、ネットワークは階
層型であり、神経細胞ユニットＡ₂ は１つ前（左側）の
層の神経細胞ユニットＡ₁ より信号を受け、１つ後（右
側）の層の神経細胞ユニットＡ₃ へ出力する。

【０００４】より詳細に説明する。まず、図３４の神経
細胞ユニットＡにおいて、他の神経細胞ユニットと自分
のユニットとの結合の度合いを表すのが結合係数と呼ば
れるもので、ｉ番目の神経細胞ユニットとｊ番目の神経
細胞ユニットの結合係数を一般にＴ_ijで表す。結合に
は、相手のユニット（自己のユニットに信号を送ってく
るユニット）からの信号が大きい程自己のユニット出力
が大きくなる興奮性結合と、相手のユニットからの信号
が大きい程自己のユニット出力が小さくなる抑制性結合
とがあり、Ｔ_ij＞０が興奮性結合、Ｔ_ij＜０が抑制性結
合を表す。今、自分の神経細胞ユニットがｊ番目のユニ
ットであるとし、ｉ番目の神経細胞ユニットの出力をｙ
_i とするとこれに結合係数Ｔ_ijを掛けたＴ_ijｙ_i が、自
分のユニットへの入力となる。前述したように、１つの
神経細胞ユニットは多数の神経細胞ユニットと結合して
いるので、それらのユニットに対するＴ_ijｙ_i を足し合
わせた結果なるΣＴ_ijｙ_i が、ネットワーク内における
自分の神経細胞ユニットへの入力となる。これを内部電
位といい、ｕ_j で表す。

【０００５】

【数１】

【０００６】次に、この入力（内部電位）に対して閾値
を加えて非線形な処理をすることで、その神経細胞ユニ
ットの出力とする。この時に用いる関数を神経細胞応答
関数と呼び、非線形関数として、(２)式及び図３６に示
すようなシグモイド関数を用いる。

【０００７】

【数２】

【０００８】このような神経細胞ユニットを図３５に示
すようにネットワークに構成した時には、各結合係数Ｔ
_ijを与え、(１)(２)式を次々と計算することにより、情
報の並列処理が可能となり、最終的な出力が得られるも
のである。

【０００９】このような階層型ニューラルネットワーク
において、ある入力に対して望ましい結果が出力される
ように、結合係数Ｔ_ijを更新していくような学習を行な
うことにより、所望のニューラルネットワークを構築す
る。このような学習方法として最も広く用いられている
のは誤差逆伝播法、いわゆるバックプロパゲーション法
である。

【００１０】このようなニューラルネットワークをハー
ドウエアにより実現した、いわゆるニューロコンピュー
タの一例として特開平２−２３６６５８号公報に示され
るものがある。これは、同一ウエハ上に複数のノードを
バスで結合したデジタルニューラルネットワークであ
る。

【００１１】

【発明が解決しようとする課題】ところが、このような
公報例を含め、現在のニューラルネットワークの試みは
計算機シミュレーションが殆どである。また、そのハー
ドウエアシステムも、シミュレーションの高速化を支援
するためのものである。しかし、ニューラルネットワー
ク本来の機能を発揮させるためには、完全並列処理で行
う必要があると考えられるので、完全並列処理に適した
ハードウエア化が必要となる。

【００１２】この点、ネットワーク内部の演算には動作
が確実なデジタル回路を採用し、かつ、ハードウエア化
が容易でシンプルなパルス密度表現のパルス列信号を扱
うようにした信号処理方法ないしは装置が、デジタル方
式の自己学習機能付きニューロンモデルとして、本出願
人により、特願平２−４１２４４８号、特願平３−２９
３４２号等として提案されている。

【００１３】しかし、このような提案例によっても、入
力される信号の時間変動に対しても、高い非線形信号処
理能力を発揮させるには、まだ改良の余地があり、汎用
性の向上が要望されている。

【００１４】

【課題を解決するための手段】パルス密度により表現さ
れた複数の入力信号を入力として演算処理を行い、パル
ス密度により表現された１つの出力信号を出力するよう
にしたパルス密度型の信号処理装置において、請求項１
記載の発明では、前記各入力信号と結合係数とを論理演
算する論理演算手段と、この論理演算手段による演算結
果について時間方向で論理和を演算する論理和演算手段
と、この論理和演算手段による演算結果を計数するカウ
ンタと、このカウンタにより計数された計数値に応じた
パルス密度表現の出力信号を出力させる信号出力手段と
を有する信号処理手段を設けた。

【００１５】請求項２記載の発明では、誤差信号と結合
係数とを論理演算する論理演算手段と、この論理演算手
段による演算結果について時間方向で論理和を演算する
論理和演算手段と、この論理和演算手段による演算結果
を計数するカウンタと、このカウンタにより計数された
計数値に応じたパルス密度表現の出力信号を出力させる
信号出力手段とを有する信号処理手段を設けた。

【００１６】請求項３記載の発明では、これらの請求項
１，２記載の発明を組合せて構成した。

【００１７】請求項４記載の発明では、複数の入力信号
に対して各々結合係数を保持する係数メモリと、前記入
力信号とパルス密度により表現された前記結合係数との
論理積を演算する論理積演算手段と、この論理積演算手
段による演算結果を時間遅延させて格納するメモリと、
前記論理積演算手段による演算結果と前記メモリに格納
された前の演算時刻における演算結果との論理和を演算
する第１の論理和演算手段と、この第１の論理和演算手
段による演算結果を興奮性結合グループと抑制性結合グ
ループとに２分するグループ分け手段と、各々のグルー
プで論理和を演算する第２の論理和演算手段と、興奮性
結合グループの演算結果と抑制性結合グループの演算結
果の否定との論理積を演算する論理演算手段と、この論
理演算手段による演算結果を計数するカウンタと、この
カウンタにより計数された計数値に応じたパルス密度表
現の出力信号を出力させる信号出力手段とを有する信号
処理手段を設けた。

【００１８】請求項５記載の発明では、パルス密度によ
り表現された複数の正の誤差信号と負の誤差信号とを入
力として各々の論理和を演算する第１の論理和演算手段
と、この第１の論理和演算手段による演算結果を分周す
る分周手段と、この分周手段により分周された結果を興
奮性結合グループと抑制性結合グループとに２分するグ
ループ分け手段と、各々のグループの演算結果を時間遅
延させて格納するメモリと、これらのグループ別の演算
結果と前記メモリに格納された前の演算時刻における演
算結果との論理和を演算する第２の論理和演算手段と、
この第２の論理和演算手段による演算結果を計数するカ
ウンタと、このカウンタにより計数された計数値に応じ
たパルス密度表現の出力信号を出力させる信号出力手段
と、この信号出力手段により出力される出力信号に基づ
き結合係数を変化させる結合係数可変手段とを有する信
号処理手段を設けた。

【００１９】請求項６記載の発明では、請求項４，５記
載の発明を組合せて構成した。

【００２０】請求項７記載の発明では、パルス密度で表
現された結合係数のパルス列を並び換え又はずらす係数
変換手段と、前記各入力信号と結合係数とを論理演算す
る論理演算手段と、この論理演算手段による演算結果に
ついて時間方向で論理和を演算する論理和演算手段とを
有する信号処理手段を設けた。

【００２１】請求項８記載の発明では、パルス密度で表
現された誤差信号のパルス列を並び換え又はずらす誤差
信号変換手段と、前記誤差信号と結合係数とを論理演算
する論理演算手段と、この論理演算手段による演算結果
について時間方向で論理和を演算する論理和演算手段と
を有する信号処理手段を設けた。

【００２２】請求項９記載の発明では、請求項７，８記
載の発明を組合せて構成した。

【００２３】請求項１０記載の発明では、複数の入力信
号に対して各々結合係数を保持する係数メモリと、パル
ス密度で表現された結合係数のパルス列を並び換え又は
ずらす係数変換手段と、前記入力信号と前記結合係数と
の論理積を演算する第１の論理積演算手段と、この第１
の論理積演算手段による演算結果を時間遅延させて格納
するメモリと、前記第１の論理積演算手段による演算結
果と前記メモリに格納された前の演算時刻における演算
結果との論理和を演算する第１の論理和演算手段と、こ
の第１の論理和演算手段による演算終了後にその出力を
許容するため出力線を閉じるスイッチと、前記第１の論
理和演算手段の演算結果を興奮性結合グループと抑制性
結合グループとに２分するグループ分け手段と、各々の
グループで論理和を演算する第２の論理和演算手段と、
興奮性結合グループの演算結果と抑制性結合グループの
演算結果の否定との論理積を演算する第２の論理積演算
手段とを有する信号処理手段を設けた。

【００２４】請求項１１記載の発明では、パルス密度に
より表現された複数の正の誤差信号と負の誤差信号とを
入力として各々の論理和を演算する第１の論理和演算手
段と、これらの正、負の誤差信号の各々のパルス列を並
び換え又はずらす誤差信号変換手段と、この誤差信号変
換手段により処理された前記第１の論理和演算手段の演
算結果を分周する分周手段と、この分周手段により分周
された結果を興奮性結合グループと抑制性結合グループ
とに２分するグループ分け手段と、各々のグループの演
算結果を時間遅延させて格納するメモリと、各々のグル
ープの演算結果と前記メモリに格納された前の演算時刻
における演算結果との論理和を演算する第２の論理和演
算手段と、この第２の論理和演算手段による演算終了後
にその出力を許容するため出力線を閉じるスイッチと、
この出力線より出力される出力信号に基づき結合係数を
変化させる結合係数可変手段とを有する信号処理手段を
設けた。

【００２５】請求項１２記載の発明では、請求項１０，
１１記載の発明を組合せて構成した。

【００２６】請求項１３記載の発明では、これらの発明
について、複数の信号処理手段を網状に接続した。

【００２７】

【作用】入力信号と結合係数との演算、誤差信号と結合
係数との演算等を時間方向に行い、或いは、結合係数や
誤差信号等のパルス列を並べ換え又はずらした演算を行
い、その結果をカウンタで計数して計数値に基づく出力
信号を出力させる等の処理を行うことで、時間加重を考
慮した演算処理ないしは学習処理を行えるので、ハード
ウエア化が容易でシンプルなパルス密度表現のパルス列
信号にして、複数入力１出力の非線形処理を適正に行う
ことができ、小型で安価な自己学習機能付きのパルス密
度型による大規模なニューラルネットワークを構築でき
るものとなる。

【００２８】

【実施例】本発明の第一の実施例を図１ないし図２０に
基づいて説明する。まず、自己学習機能を持つデジタル
論理回路を用いた神経細胞ユニット（ニューロン素子）
及びニューラルネットワークについて説明する。

【００２９】まず、本実施例のニューロン及びニューラ
ルネットワークはデジタル構成によりハードウエア化し
たものであるが、基本的な考え方としては、神経細胞ユニットに関する入出力信号、中間信号、
結合係数、教師信号などは全て、「０」「１」の２値で
表されたパルス列で表す。ネットワーク内部での信号の量は、パルス密度で表
す（ある一定時間内の「１」の数）。神経細胞ユニット内での計算は、空間的、時間的
に、パルス列同士の論理演算で表す。結合係数のパルス列は神経細胞ユニット内のメモリ
上に置く。学習は、このパルス列を書換えることで実現する。学習については、与えられた教師信号パルス列を元
に誤差を計算し、これに基づいて、結合係数パルス列を
変化させる。このとき、誤差の計算、結合係数の変化分
の計算も、全て、「０」「１」のパルス列の論理演算で
行う。ようにしたものである。

【００３０】以下、この思想について説明する。まず、
デジタル論理回路による信号処理に関し、フォワードプ
ロセスにおける信号処理を説明する。図２は１つの神経
細胞ユニット（神経細胞模倣素子）２０に相当する部分
を示し、ニューラルネットワーク全体としては例えば図
３に示すように階層型とされる。入出力は、全て、
「１」「０」に２値化され、かつ、同期化されたものが
用いられる。入力信号ｙ_ｉの値（強度）はパルス密度で
表現し、例えば図４に示すパルス列のようにある一定時
間内にある「１」の状態数で表す。即ち、図４の例は、
４／６を表し、同期パルス６個中に信号は「１」が４
個、「０」が２個である。このとき、「１」と「０」の
並び方は、ランダムであることが望ましい。

【００３１】一方、各神経細胞ユニット２０間の結合の
度合を示す結合係数Ｔ_ｉｊも同様にパルス密度で表現
し、「０」と「１」とのパルス列として予めメモリ上に
用意しておく。図５の例は、「１０１０１０」＝３／６
を表す式である。この場合も、「１」と「０」の並び方
はランダムであることが望ましい。

【００３２】そして、この結合係数パルス列を同期クロ
ックに応じてメモリ上より順次読出し、図２に示すよう
に各々ＡＮＤゲート２１により入力信号パルス列との論
理積をとる（ｙ_i ∩ Ｔ_ij)。これを、神経細胞ｊへの入
力とする。上例の場合で説明すると、入力信号が「１０
１１０１」として入力されたとき、これと同期してメモ
リ上よりパルス列を呼出し、順次ＡＮＤをとることによ
り、図６に示すような「１０１０００」が得られ、これ
は入力信号ｙ_i が結合係数Ｔ_ijにより変換されパルス密
度が２／６となることを示している。

【００３３】ＡＮＤゲート２１の出力のパルス密度は、
近似的には入力信号のパルス密度と結合係数のパルス密
度との積となり、アナログ方式の結合係数と同様の機能
を有する。これは、信号の列が長いほど、また、「１」
と「０」との並び方がランダムであるほど、数値の積に
近い機能を持つことになる。なお、入力パルス列に比べ
て結合係数のパルス列が短く、読出すべきデータがなく
なったら、再びデータの先頭に戻って読出しを繰返えせ
ばよい。

【００３４】さらに、ＡＮＤゲート２１の後に設置され
ているメモリ内のパルス密度データとこの論理積データ
との論理和ｃ_ijを求める。このメモリには、１つ前の時
刻（１パルス前）の、論理和結果が格納されている。

【００３５】１つの神経細胞ユニット２０は多入力であ
るので、前述した論理和ｃ_ijの結果も多数あり、次にＯ
Ｒ回路２２によりこれらの論理和をとる。入力は同期化
されているので、例えば１番目のデータが「１０１００
０」、２番目のデータが「０１００００」の場合、両者
のＯＲをとると、「１１１０００」となる。これを多入
力（ｍ個）同時に計算し出力とすると、例えば図７に示
すようになる。これは、アナログ計算における和の計算
及び非線形関数（シグモイド関数）の部分に対応してい
る。

【００３６】パルス密度が低い場合、そのＯＲをとった
もののパルス密度は、各々のパルス密度の和に近似的に
一致する。パルス密度が高くなるにつれ、ＯＲ回路２２
の出力は段々飽和してくるので、パルス密度の和とは一
致せず、非線形性が出てくる。ＯＲの場合、パルス密度
は１よりも大きくなることがなく、かつ、０より小さく
なることもなく、さらには、単調増加関数であり、シグ
モイド関数と近似的に同等となる。

【００３７】ところで、結合には興奮性と抑制性がある
が、本実施例でも各神経細胞ユニット２０間の結合にお
いてはその両方を持ち得るものとする。まず、結合係数
Ｔ_ijが興奮性結合係数Ｔ_ij(+)か抑制性結合係数Ｔ_ij(-)
かにより、各結合を興奮性結合グループと抑制性結合グ
ループとに２分する。そして、入力信号と各結合係数の
パルス列のＡＮＤ出力同士のＯＲを各グループで計算す
る。そして、興奮性結合グループのＯＲ結果が「１」で
抑制性結合グループのＯＲ結果が「０」の場合にのみ
「１」を出力し、それ以外の場合には「０」を出力す
る。この出力をこの神経細胞ユニット２０の出力信号と
する（図８参照）。

【００３８】論理式で表現すると、次の(３)〜(５)式で
示される。

【００３９】

【数３】

【００４０】さらに、このような出力信号をある一定時
間内カウントし、そのカウント値から、新たなパルス列
を生成して出力する。この新たな出力をこの神経細胞ユ
ニットの出力信号ｙ_jとする。

【００４１】神経細胞ユニット２０のネットワークは、
バックプロパゲーションと同様な階層型（即ち、図３）
とする。そして、ネットワーク全体を同期させておけ
ば、各層とも上述した機能により計算できる。

【００４２】次に、学習（バックプロパゲーション）に
おける信号演算処理について説明する。基本的には、誤
差逆伝播法に準じ、以下のａ又はｂにより誤差信号を求
め、次いで、ｃの方法により結合係数の値を変化させる
ようにすればよい。

【００４３】ａ．最終層における誤差信号最終層で各神経細胞ユニットにおける誤差信号を出力信
号と教師信号とにより計算する。ここに、そのときの入
力に対して望ましい出力を、教師信号としてパルス列で
与える。一般に、誤差を数値で表すと正、負の両方をと
り得るが、パルス密度ではそれを同時に表現できないの
で、＋成分を表す信号と、−成分を表す信号との２種類
を用いて誤差信号を表現する。即ち、ｊ番目の神経細胞
ユニットの誤差信号は、図９のように示される。つま
り、誤差信号の＋成分は教師信号パルスと出力パルスと
の違っている部分（１，０）又は（０，１）の内、教師
信号側に存在するパルス、他方、−成分は同様に出力側
に存在するパルスである。換言すれば、出力パルスに誤
差信号＋パルスを付け加え、誤差信号−パルスを取り除
くと、教師パルスとなることになる。即ち、これらの
正、負の誤差信号δ_j(+)，δ_j(-)を論理式で表現する
と、各々(６)(７)式のようになる。このような誤差信号
パルスを基に結合係数を後述するように変化させること
になる。

【００４４】

【数４】

【００４５】ｂ．中間層における誤差信号まず、上記の誤差信号を逆伝播させ、最終層とその１つ
前の層との結合係数だけでなく、さらにその前の層の結
合係数も変化させる。そのため、中間層における各神経
細胞ユニットでの誤差信号を計算する必要がある。中間
層のある神経細胞ユニットから、さらに１つ先の層の各
神経細胞ユニットへ信号を伝播させたのとは、丁度逆の
要領で１つ先の層の各神経細胞ユニットにおける誤差信
号を集めてきて、自己の誤差信号とする。このことは、
神経細胞ユニット内での前述した演算式(３)〜(５)や図
４〜図８に示した場合と同じような要領で行うことがで
きる。

【００４６】ただし、神経細胞ユニット内での前述した
処理と異なるのは、ｙは１つの信号であるのに対して、
δは正、負を表す信号として２つの信号を持ち、その両
方の信号を考慮する必要があることである。従って、結
合係数Ｔの正、負に応じて２つの場合に分ける必要があ
る。

【００４７】まず、興奮性結合の場合を説明する。この
場合、中間層のある神経細胞ユニットについて、１つ先
の層（図３における最終層）のｊ番目の神経細胞ユニッ
トでの誤差信号δ_j(+)と、その神経細胞ユニットと自己
（図３における中間層のある神経細胞ユニット）との結
合係数のＡＮＤをとったもの（δ_j(+) ∩ Ｔ_ij）を各神
経細胞ユニットについて求める。さらに、この後に設置
されているメモリ内のパルスデータとの論理和ｆ_ij(+)
を求める。このメモリには１つ前の時刻（１パルス前）
のこの論理和ｆ_ij(+) 結果が格納されている。さらに、
このような論理和ｆ_ij(+) 結果についてある一定時間内
カウントしていき、そのカウント値から新たなパルス列
ｆ_ij(+)を生成して出力する。さらに、パルス列ｆ_ij(+)
同士のＯＲをとる。これを自己神経細胞ユニットｉの正
の誤差信号とする。即ち、図１０に示すようになる。

【００４８】同様にして、１つ先の層の神経細胞ユニッ
トでの負の誤差信号δ_j(-)と結合係数とのＡＮＤをと
り、この後に設置されているメモリ内のパルスデータと
の論理和ｇ_ij(+) を求める。このメモリには１つ前の時
刻（１パルス前）のこの論理和ｇ_ij(+)結果が格納され
ている。さらに、このような論理和ｇ_ij(+)結果につい
てある一定時間内カウントしていき、そのカウント値か
ら新たなパルス列ｇ_ij(+)を生成して出力する。さら
に、パルス列ｇ_ij(+) 同士のＯＲをとる。これを自己神
経細胞ユニットｉの負の誤差信号とする。即ち、図１１
に示すようになる。

【００４９】次に、抑制性結合の場合を説明する。この
場合、１つ先の層のｊ番目の神経細胞ユニットでの負の
誤差信号δ_j(-)と、その神経細胞ユニットと自己との間
の結合係数のＡＮＤをとったもの（δ_j(-) ∩ Ｔ_ij）を
各神経細胞ユニットについて求める。さらに、この後に
設置されているメモリ内のパルスデータとの論理和ｆ
_ij(-) を求める。このメモリには１つ前の時刻（１パル
ス前）のこの論理和ｆ_ij(-)結果が格納されている。さ
らに、このような論理和ｆ_ij(-)結果についてある一定
時間内カウントしていき、そのカウント値から新たなパ
ルス列ｆ_ij(-)を生成して出力する。さらに、パルス列
ｆ_ij(-) 同士のＯＲをとる。これを自己神経細胞ユニッ
トｉの正の誤差信号とする。即ち、図１２に示すように
なる。

【００５０】同様にして、１つ先の層の神経細胞ユニッ
トでの正の誤差信号δ_j(+)と結合係数とのＡＮＤをと
り、この後に設置されているメモリ内のパルスデータと
の論理和ｇ_ij(-) を求める。このメモリには１つ前の時
刻（１パルス前）のこの論理和ｇ_ij(-)結果が格納され
ている。さらに、このような論理和ｇ_ij(-)結果につい
てある一定時間内カウントしていき、そのカウント値か
ら新たなパルス列ｇ_ij(-)を生成して出力する。さら
に、パルス列ｇ_ij(-) 同士のＯＲをとる。これを自己神
経細胞ユニットｉの負の誤差信号とする。即ち、図１３
に示すようになる。

【００５１】さらに、この自己神経細胞ユニットの、興
奮性結合の正の誤差信号と抑制性結合の正の誤差信号と
のＯＲをとり、これを自己ユニットの、１つ前の層の神
経細胞ユニットへ出力される正の誤差信号δ_i(+)とす
る。同様に、興奮性結合の負の誤差信号と抑制性結合の
負の誤差信号とのＯＲをとり、これを自己ユニットの、
１つ前の層の神経細胞ユニットへ出力される負の誤差信
号δ_i(-)とする。

【００５２】以上をまとめると、(８)式に示すようにな
る。

【００５３】

【数５】

【００５４】さらに、入力してくる誤差信号に対して各
々同じ又は異なる学習のレート（学習定数）を設けても
よい。これは、パルス列を間引くことにより実現でき
る。例えば、カウンタ的な考え方をし、図１４、図１５
に示すようなものとすればよい。この例では、学習レー
トη＝０．５では元の信号のパルス列を１つ置きに間引
くが、元の信号のパルスが等間隔でなくても、元のパル
ス列に対して間引くことができる。図１４、図１５中、
η＝０．５の場合はパルスを１つ置きに間引き、η＝
０．３３の場合はパルスを２つ置きに残し、η＝０．６
７の場合はパルスを２つ置きに１回間引くことを示す。
このようにして、誤差信号を間引くことにより学習レー
トの機能を持たせる。

【００５５】ｃ．結合係数の更新以上のような処理による誤差信号により各結合係数を変
化させる。変化させたい結合係数が属しているライン
（図３参照）に対応する、１つ前の神経細胞ユニットか
らの出力ｙ_iと自己の神経細胞ユニットの誤差信号δ
_j(+)又はδ_j(-)とのＡＮＤをとる（δ_j∩ｙ_i）（図１
６，図１７参照）。このようにして得られた２つの信号
を各々ΔＴ_ij(+)，ΔＴ_ij(-)とする。

【００５６】そして、今度はこのΔＴ_ijを元に新しいＴ
_ijを求めるが、このＴ_ijは絶対値成分であるので、元の
Ｔ_ijが興奮性か抑制性かで場合分けする。興奮性の場
合、元のＴ_ijに対してΔＴ_ij(+)の成分を増やし、ΔＴ
_ij(-)の成分を減らす。即ち、図１８に示すようにな
る。逆に、抑制性の場合は元のＴ_ijに対しΔＴ_ij(+) の
成分を減らし、ΔＴ_ij(-)の成分を増やす。即ち、図１
９に示すようになる。

【００５７】以上をまとめると、(９)式のようになる。

【００５８】

【数６】

【００５９】以上の学習則に基づいてネットワークの計
算をする。

【００６０】次に、以上のアルゴリズムに基づく実際の
回路構成を説明する。図１及び図２０にその回路構成例
を示すが、ネットワーク２全体の構成は学習機能を用い
る場合は図３のように階層型とする。図１は図３中のラ
イン（結線）に相当する部分の回路を示し、図２０は図
３中の丸（各神経細胞ユニット２０）に相当する部分の
回路を示す。これらの図１、図２０構成の回路を図３の
ようにネットワークにすることにより、自己学習可能な
デジタル式のニューラルネットワークが実現できる。

【００６１】まず、フォワード処理に関する部分を説明
する。図中、２５は神経細胞ユニットへの入力信号であ
り、図４に相当する。図５に示したような結合係数の値
はシフトレジスタ２６に保存しておく。このシフトレジ
スタ２６は取出し口２６ａと入口２６ｂとを有するが、
通常のシフトレジスタと同様の機能を持つものであれば
よく、例えば、ＲＡＭとアドレスコントローラとの組合
せによるもの等であってもよい。入力信号２５とシフト
レジスタ２６内の結合係数とは論理積演算手段としての
ＡＮＤゲート２７を備えて図６に示した処理を行なう論
理回路２８によりＡＮＤがとられる。また、この論理回
路２８内においてＡＮＤゲート２７の出力は、論理和演
算手段としてのＯＲゲート５１、メモリとしてのラッチ
５２により図７に示した処理が行われる。このような論
理回路２８の出力は結合が興奮性か抑制性かによってグ
ループ分けしなければならないが、予め各々のグループ
への出力２９，３０を用意し、何れに出力するのかを切
換えるようにした方が汎用性の高いものとなる。このた
め、本実施例では結合が興奮性か抑制性かを表すビット
をグループ分け用メモリ３１に保存しておき、その情報
を用いてグループ分け手段としての切換えゲート回路３
２により切換える。切換えゲート回路３２は２つのＡＮ
Ｄゲート３２ａ，３２ｂと一方の入力に介在されたイン
バータ３２ｃとよりなる。

【００６２】また、図２０に示すように各入力を処理
（図６に相当）をするための論理和演算手段としての複
数のＯＲゲート構成のゲート回路３３ａ，３３ｂが設け
られている。さらに、同図に示すように図８に示した興
奮性結合グループが「１」で、抑制性結合グループが
「０」のときにのみ出力「１」を出すＡＮＤゲート３４
ａとインバータ３４ｂとによる論理演算手段としてのゲ
ート回路３４が設けられている。このゲート回路３４の
出力はカウンタとして機能するカウンタ及びパルス列発
生器５３によって新たなパルス列が生成されて出力され
る。

【００６３】次に、誤差信号について説明する。最終層
からの出力及び教師信号により作成された誤差信号３
８，３９が図２０に示す回路に入力される。この中間層
における誤差信号を計算するため図１０〜図１３に示し
たような処理は、図１中に示す論理積演算手段としての
ＡＮＤゲート５４，５５、論理和演算手段としてのＯＲ
ゲート５６，５７、メモリとしてのラッチ５８，５９、
カウンタとして機能するカウンタ及びパルス列発生器６
０，６１により構成された論理回路４２により行われ、
＋，−に応じた出力４３，４４が得られる。このように
結合が興奮性か抑制性かにより場合分けする必要がある
が、この場合分けはメモリ３１に記憶された興奮性か抑
制性かの情報と、誤差信号の＋，−信号４５，４６とに
応じて、ＡＮＤ，ＯＲゲート構成のゲート回路４７によ
り行われる。また、誤差信号を集める計算式(６)の処理
は図２０に示すＯＲゲート構成のゲート回路４８により
行われる。さらに、学習レートに相当する図１４，図１
５の処理は図２０中に示す分周回路４９により行われ
る。最後に、誤差信号より新たな結合係数を計算する部
分、即ち、図１６〜図１９の処理に相当する部分は、図
１中に示すＡＮＤ，インバータ、ＯＲゲート構成で結合
係数可変回路となるゲート回路５０により行われ、シフ
トレジスタ２６の内容、即ち、結合係数の値が書換えら
れる。このゲート回路５０も結合の興奮性、抑制性によ
って場合分けが必要であるが、ゲート回路４７により行
われる。

【００６４】つづいて、本発明の第二の実施例を図２１
ないし図３３により説明する。前記実施例で示した部分
と同一部分は同一符号を用いて示す。ニューロン及びニ
ューラルネットワークに関する基本的な考え方は前記実
施例と同様である。まず、デジタル論理回路による信号
処理に関し、フォワードプロセスにおける信号処理を説
明する。図２１は１つの神経細胞ユニット（神経細胞模
倣素子）２０に相当する部分を示し、ニューラルネット
ワーク全体としては例えば図３に示したように階層型と
される。本実施例でも、入出力は、全て、「１」「０」
に２値化されたものが用いられる。入力信号ｙ_iの値
（強度）はパルス密度で表現し、例えば図２２に示すパ
ルス列のようにある一定時間内にある「１」の状態数で
表す。即ち、図２２の例は、３／８を表し、入力信号ｙ
_iは「１」が３個、「０」が５個である。

【００６５】一方、各神経細胞ユニット２０間の結合の
度合を示す結合係数Ｔ_ijも同様にパルス密度で表現し、
図２３に示すように、「０」と「１」とのパルス列又は
コード化したデータとして予めメモリ上に用意してお
く。図２３の例は、「１０１１００１０」＝４／８を表
す。

【００６６】この後の処理が特徴的であり、本実施例に
よる入力信号から出力信号が生成されるまでの具体的な
処理について説明する。いま、例えば１データの長さを
４とし、図２４に示すように、時間的に直列に入力され
てくるパルスｙ_ij1〜ｙ_ij4を並列に配置させ、このよう
な並列配置に対応させて並列に並び換え配置させた結合
係数Ｔ_ij1〜Ｔ_ij4との論理積をとる（図２５参照）。つ
いで、これらの論理積の演算結果であるｙ_ij1∩Ｔ_ij1〜
ｙ_ij4∩Ｔ_ij4について図２６に示すように論理和ｕ_ijを
求める。このような処理が神経細胞ユニット内の各結合
について図２４に示すように行われる。

【００６７】ところで、結合には興奮性と抑制性がある
が、本実施例でも各神経細胞ユニット間の結合において
はその両方を持ち得るものとする。まず、結合係数Ｔ_ij
が興奮性結合係数Ｔ_ij(+)か抑制性結合係数Ｔ_ij(-)かに
より、各結合を興奮性結合グループと抑制性結合グルー
プとに２分する。そして、興奮性結合グループにおける
ｕ_ij(+)同士の論理和Ｕ_ij(+)を求め、かつ、抑制性結合
グループにおけるｕ_ij(-)同士の論理和Ｕ_ij(-)を求め
る。ついで、これらの興奮性結合グループの論理和Ｕ
_ij(+)と抑制性結合グループの論理和Ｕ_ij(-)の否定との
論理積を求める。これがこの神経細胞ユニットの出力パ
ルスの一部ｙ_j1となる。このような処理を、論理式で表
現すると、次の(10)〜(12)式で示される。

【００６８】

【数７】

【００６９】このような演算終了後に、信号ｙ_iと論理
積をとる結合係数Ｔ_ijを１パルスずらす（パルス列のず
らし処理）。即ち、パルス列を図２７に示すような状態
にしてから、前述した処理と同様な処理を行い、この神
経細胞ユニットの出力パルスの別の一部ｙ_j2を生成す
る。本例では、１データ長を４としているので、このよ
うな処理が４回行われる。従って、この神経細胞ユニッ
トからは４パルスが出力される。図２８にこの様子を示
す。

【００７０】以上のような処理（フォワード処理）をネ
ットワーク内の全ての神経細胞ユニットが行うことによ
り、このニューラルネットワークはその機能を果たし、
情報処理が可能となる。なお、本例ではｙ_iとＴ_ijとは
同じデータ長としたが、必ずしも同じである必要はな
い。

【００７１】次に、学習（バックプロパゲーション）に
おける信号演算処理について説明する。本実施例にあっ
ても、基本的には、前記実施例の場合と同様に、以下の
ａ又はｂにより誤差信号を求め、次いで、ｃの方法によ
り結合係数の値を変化させるようにすればよい。

【００７２】ａ．最終層における誤差信号最終層で各神経細胞ユニットにおける誤差信号を出力信
号と教師信号とにより計算する。ここに、そのときの入
力に対して望ましい出力を、教師信号としてパルス列で
与える。この場合も、＋成分を表す信号δ_j(+)と、−成
分を表す信号δ_j(-)との２種類を用いて誤差信号を表現
する。即ち、ｊ番目の神経細胞ユニットに入力される誤
差信号は、図２９に示すように、出力信号ｙ_jと教師信
号ｄ_jとが異なっているときのみ「１」となる。この
時、教師信号ｄ_j 側が「１」の場合には正の誤差信号δ
_j(+)のみが「１」となり、出力信号ｙ_j 側が「１」の場
合には負の誤差信号δ_j(-)のみが「１」となる。このよ
うな誤差信号δ_j(+)，δ_j(-)を論理式で示すと、前述し
た(６)(７)式のようになる。これらのパルス密度表現の
誤差信号δ_j(+)，δ_j(-)を用いて、結合係数Ｔ_ijを後述
するように変化させることになる。

【００７３】ｂ．中間層における誤差信号まず、上記の誤差信号を逆伝播させ、中間層の結合係数
も変化させる。そのため、中間層における各神経細胞ユ
ニットでの誤差信号を計算する必要がある。中間層のあ
る神経細胞ユニットから、さらに１つ先の層の各神経細
胞ユニットへ信号を伝播させたのとは、丁度逆の要領で
１つ先の層の各神経細胞ユニットにおける誤差信号を集
めてきて、自己の誤差信号とする。

【００７４】このような誤差信号の計算方法について、
図３０及び図３１を参照して説明する。まず、１つ先の
層のｊ番目の神経細胞ユニットから時間的に直列に入力
してくる正の誤差信号δ_j1(+)〜δ_j4(+)を並列に配置し
（並び換え）、これに対応させて並列に配置させた結合
係数Ｔ_ij1(+)〜Ｔ_ij4(+)との論理積をとる。同様に、時
間的に直列に入力してくる負の誤差信号δ_j1(-)〜δ
_j4(-)を並列に配置し（並び換え）、これに対応させて
並列に配置させた結合係数Ｔ_ij1(-)〜Ｔ_ij4(-)との論理
積をとる。さらに、これらの演算結果δ_j1(+)∩Ｔ
_ij1(+)，〜，δ_j4(+)∩Ｔ_ij4(+)，δ_j1(-)∩Ｔ_ij1(-)，
〜，δ_j4(-)∩Ｔ_ij4(-)の論理和を求める。これを、自
己の神経細胞ユニットｉの正の誤差信号の一部δ_i1(+)
とする。図３０はこの様子を示すものである。さらに、
フォワード処理と同様に、結合係数Ｔ_ijを１パルス分シ
フトさせて、上記と同様の処理を行う。このような処理
をデータ長分（ここでは、４）、繰返して行うことによ
り、δ_i1(+)〜δ_i4(+)（＝δ_i(+)）が生成される。

【００７５】同様に、１つ先の層のｊ番目の神経細胞ユ
ニットから時間的に直列に入力してくる負の誤差信号δ
_j1(-)〜δ_j4(-)を並列に配置し（並び換え）、これに対
応させて並列に配置させた結合係数Ｔ_ij1(+)〜Ｔ_ij4(+)
との論理積をとる。同様に、時間的に直列に入力してく
る正の誤差信号δ_j1(+)〜δ_j4(+)を並列に配置し（並び
換え）、これに対応させて並列に配置させた結合係数Ｔ
_ij1(-)〜Ｔ_ij4(-)との論理積をとる。さらに、これらの
演算結果δ_j1(-)∩Ｔ_ij1(+)，〜，δ_j4(-)∩Ｔ_ij4(+)，
δ_j1(+)∩Ｔ_ij1(-)，〜，δ_j4(+)∩Ｔ_ij4(-)の論理和を
求める。これを、自己の神経細胞ユニットｉの負の誤差
信号の一部δ_i1(-) とする。図３１はこの様子を示すも
のである。さらに、フォワード処理と同様に、結合係数
Ｔ_ijを１パルス分シフトさせて、上記と同様の処理を行
う。このような処理をデータ長分（ここでは、４）、繰
返して行うことにより、δ_i1(-)〜δ_i4(-)（＝δ_i(-)）
が生成される。

【００７６】以上をまとめると、(13)式に示すようにな
る。

【００７７】

【数８】

【００７８】さらに、本実施例の場合も、入力されてく
る誤差信号に対して各々同じ又は異なる学習のレート
（学習定数）を設けてもよい。

【００７９】ｃ．結合係数の更新この処理は、前記実施例における「結合係数の更新」処
理と全く同様でよく、前述した(９)式のような処理を行
えばよい。以上の学習則に基づいてネットワークの計算
をする。なお、フォワード処理、学習処理とも、Ｔ_ijで
論理積の演算を行うときのパルス列のずらし量は、１パ
ルスに限るものではない。

【００８０】次に、以上のアルゴリズムに基づく実際の
回路構成を説明する。図３２及び図３３にその回路構成
例を示すが、基本的には前記実施例の図１及び図２０に
準じた構成とされている。本実施例では、論理回路２８
中のＯＲゲート５１の出力側にスイッチ６２が設けら
れ、かつ、論理回路４２中のカウンタ及びパルス列発生
器６０，６１に代えてスイッチ６３，６４が設けられて
いる。また、図３３では正、負の誤差信号を保持するた
めのシフトレジスタ６５，６６が設けられている。

【００８１】なお、本発明を構成する上では、上記の構
成例に限らず、同等の機能を有するものであればよく、
さらには、全てをハードウエア構成することなく、その
一部又は全部をソフトウエアで実現するようにしてもよ
い。

【００８２】

【発明の効果】本発明は、上述したように構成し、入力
信号と結合係数との演算、誤差信号と結合係数との演算
等を時間方向に行い、或いは、結合係数や誤差信号等の
パルス列を並べ換え又はずらした演算を行い、その結果
をカウンタで計数して計数値に基づく出力信号を出力さ
せる等の処理を行うことで、時間加重を考慮した演算処
理ないしは学習処理を行えるようにしたので、ハードウ
エア化が容易でシンプルなパルス密度表現のパルス列信
号にして、複数入力１出力の非線形処理を適正に行うこ
とができ、小型で安価な自己学習機能付きのパルス密度
型による大規模なニューラルネットワークを構築できる
ものとなる。

【図面の簡単な説明】

【図１】本発明の第一の実施例を示す論理回路図であ
る。

【図２】基本的な信号処理を行なうための論理回路図で
ある。

【図３】ネットワーク構成例を示す模式図である。

【図４】論理演算例を示すタイミングチャートである。

【図５】論理演算例を示すタイミングチャートである。

【図６】論理演算例を示すタイミングチャートである。

【図７】論理演算例を示すタイミングチャートである。

【図８】論理演算例を示すタイミングチャートである。

【図９】論理演算例を示すタイミングチャートである。

【図１０】論理演算例を示すタイミングチャートであ
る。

【図１１】論理演算例を示すタイミングチャートであ
る。

【図１２】論理演算例を示すタイミングチャートであ
る。

【図１３】論理演算例を示すタイミングチャートであ
る。

【図１４】論理演算例を示すタイミングチャートであ
る。

【図１５】論理演算例を示すタイミングチャートであ
る。

【図１６】論理演算例を示すタイミングチャートであ
る。

【図１７】論理演算例を示すタイミングチャートであ
る。

【図１８】論理演算例を示すタイミングチャートであ
る。

【図１９】論理演算例を示すタイミングチャートであ
る。

【図２０】各部の構成例を示す論理回路図である。

【図２１】本発明の第二の実施例を示す基本的な信号処
理を行なうための論理回路図である。

【図２２】論理演算例を示すタイミングチャートであ
る。

【図２３】論理演算例を示すタイミングチャートであ
る。

【図２４】論理演算例を示すタイミングチャートであ
る。

【図２５】論理演算例を示すタイミングチャートであ
る。

【図２６】論理演算例を示すタイミングチャートであ
る。

【図２７】論理演算例を示すタイミングチャートであ
る。

【図２８】論理演算例を示すタイミングチャートであ
る。

【図２９】論理演算例を示すタイミングチャートであ
る。

【図３０】論理演算例を示すタイミングチャートであ
る。

【図３１】論理演算例を示すタイミングチャートであ
る。

【図３２】各部の構成例を示す論理回路図である。

【図３３】各部の構成例を示す論理回路図である。

【図３４】従来例を示す１つのユニット構成を示す概念
図である。

【図３５】そのニューラルネットワーク構成の概念図で
ある。

【図３６】シグモイド関数を示すグラフである。

【符号の説明】

２０信号処理手段２６メモリ２７論理積演算手段３２グループ分け手段３３ａ，３３ｂ論理和演算手段３４論理演算手段４７グループ分け手段４８論理和演算手段４９分周手段５０結合係数可変回路５１論理和演算手段５２メモリ５３カウンタ５４，５５論理積演算手段５６，５７論理和演算手段５８，５９メモリ６０，６１カウンタ６２〜６４スイッチ

Claims

【特許請求の範囲】

【請求項１】パルス密度により表現された複数の入力
信号を入力として演算処理を行い、パルス密度により表
現された１つの出力信号を出力するようにしたパルス密
度型の信号処理装置において、前記各入力信号と結合係
数とを論理演算する論理演算手段と、この論理演算手段
による演算結果について時間方向で論理和を演算する論
理和演算手段と、この論理和演算手段による演算結果を
計数するカウンタと、このカウンタにより計数された計
数値に応じたパルス密度表現の出力信号を出力させる信
号出力手段とを有する信号処理手段を設けたことを特徴
とする信号処理装置。
【請求項２】パルス密度により表現された複数の入力
信号を入力として演算処理を行い、パルス密度により表
現された１つの出力信号を出力するようにしたパルス密
度型の信号処理装置において、誤差信号と結合係数とを
論理演算する論理演算手段と、この論理演算手段による
演算結果について時間方向で論理和を演算する論理和演
算手段と、この論理和演算手段による演算結果を計数す
るカウンタと、このカウンタにより計数された計数値に
応じたパルス密度表現の出力信号を出力させる信号出力
手段とを有する信号処理手段を設けたことを特徴とする
信号処理装置。
【請求項３】パルス密度により表現された複数の入力
信号を入力として演算処理を行い、パルス密度により表
現された１つの出力信号を出力するようにしたパルス密
度型の信号処理装置において、前記各入力信号と結合係
数とを論理演算する第１の論理演算手段と、この第１の
論理演算手段による演算結果について時間方向で論理和
を演算する第１の論理和演算手段と、この第１の論理和
演算手段による演算結果を計数する第１のカウンタと、
この第１のカウンタにより計数された計数値に応じたパ
ルス密度表現の出力信号を出力させる第１の信号出力手
段と、誤差信号と結合係数とを論理演算する第２の論理
演算手段と、この第２の論理演算手段による演算結果に
ついて時間方向で論理和を演算する第２の論理和演算手
段と、この第２の論理和演算手段による演算結果を計数
する第２のカウンタと、この第２のカウンタにより計数
された計数値に応じたパルス密度表現の出力信号を出力
させる第２の信号出力手段とを有する信号処理手段を設
けたことを特徴とする信号処理装置。
【請求項４】パルス密度により表現された複数の入力
信号を入力として演算処理を行い、パルス密度により表
現された１つの出力信号を出力するようにしたパルス密
度型の信号処理装置において、複数の入力信号に対して
各々結合係数を保持する係数メモリと、前記入力信号と
パルス密度により表現された前記結合係数との論理積を
演算する論理積演算手段と、この論理積演算手段による
演算結果を時間遅延させて格納するメモリと、前記論理
積演算手段による演算結果と前記メモリに格納された前
の演算時刻における演算結果との論理和を演算する第１
の論理和演算手段と、この第１の論理和演算手段による
演算結果を興奮性結合グループと抑制性結合グループと
に２分するグループ分け手段と、各々のグループで論理
和を演算する第２の論理和演算手段と、興奮性結合グル
ープの演算結果と抑制性結合グループの演算結果の否定
との論理積を演算する論理演算手段と、この論理演算手
段による演算結果を計数するカウンタと、このカウンタ
により計数された計数値に応じたパルス密度表現の出力
信号を出力させる信号出力手段とを有する信号処理手段
を設けたことを特徴とする信号処理装置。
【請求項５】パルス密度により表現された複数の入力
信号を入力として演算処理を行い、パルス密度により表
現された１つの出力信号を出力するようにしたパルス密
度型の信号処理装置において、パルス密度により表現さ
れた複数の正の誤差信号と負の誤差信号とを入力として
各々の論理和を演算する第１の論理和演算手段と、この
第１の論理和演算手段による演算結果を分周する分周手
段と、この分周手段により分周された結果を興奮性結合
グループと抑制性結合グループとに２分するグループ分
け手段と、各々のグループの演算結果を時間遅延させて
格納するメモリと、これらのグループ別の演算結果と前
記メモリに格納された前の演算時刻における演算結果と
の論理和を演算する第２の論理和演算手段と、この第２
の論理和演算手段による演算結果を計数するカウンタ
と、このカウンタにより計数された計数値に応じたパル
ス密度表現の出力信号を出力させる信号出力手段と、こ
の信号出力手段により出力される出力信号に基づき結合
係数を変化させる結合係数可変手段とを有する信号処理
手段を設けたことを特徴とする信号処理装置。
【請求項６】パルス密度により表現された複数の入力
信号を入力として演算処理を行い、パルス密度により表
現された１つの出力信号を出力するようにしたパルス密
度型の信号処理装置において、複数の入力信号に対して
各々結合係数を保持する係数メモリと、前記入力信号と
パルス密度により表現された前記結合係数との論理積を
演算する第１の論理積演算手段と、この第１の論理積演
算手段による演算結果を時間遅延させて格納する第１の
メモリと、前記第１の論理積演算手段による演算結果と
前記第１のメモリに格納された前の演算時刻における演
算結果との論理和を演算する第１の論理和演算手段と、
この第１の論理和演算手段による演算結果を興奮性結合
グループと抑制性結合グループとに２分する第１のグル
ープ分け手段と、各々のグループで論理和を演算する第
２の論理和演算手段と、興奮性結合グループの演算結果
と抑制性結合グループの演算結果の否定との論理積を演
算する第２の論理積演算手段と、この第２の論理積演算
手段による演算結果を計数する第１のカウンタと、この
第１のカウンタにより計数された計数値に応じたパルス
密度表現の出力信号を出力させる第１の信号出力手段
と、パルス密度により表現された複数の正の誤差信号と
負の誤差信号とを入力として各々の論理和を演算する第
３の論理和演算手段と、この第３の論理和演算手段によ
る演算結果を分周する分周手段と、この分周手段により
分周された結果を興奮性結合グループと抑制性結合グル
ープとに２分する第２のグループ分け手段と、各々のグ
ループの演算結果を時間遅延させて格納する第２のメモ
リと、これらのグループ別の演算結果と前記第２のメモ
リに格納された前の演算時刻における演算結果との論理
和を演算する第４の論理和演算手段と、この第４の論理
和演算手段による演算結果を計数する第２のカウンタ
と、この第２のカウンタにより計数された計数値に応じ
たパルス密度表現の出力信号を出力させる第２の信号出
力手段と、この第２の信号出力手段により出力される出
力信号に基づき結合係数を変化させる結合係数可変手段
とを有する信号処理手段を設けたことを特徴とする信号
処理装置。
【請求項７】パルス密度により表現された複数の入力
信号を入力として演算処理を行い、パルス密度により表
現された１つの出力信号を出力するようにしたパルス密
度型の信号処理装置において、パルス密度で表現された
結合係数のパルス列を並び換え又はずらす係数変換手段
と、前記各入力信号と結合係数とを論理演算する論理演
算手段と、この論理演算手段による演算結果について時
間方向で論理和を演算する論理和演算手段とを有する信
号処理手段を設けたことを特徴とする信号処理装置。
【請求項８】パルス密度により表現された複数の入力
信号を入力として演算処理を行い、パルス密度により表
現された１つの出力信号を出力するようにしたパルス密
度型の信号処理装置において、パルス密度で表現された
誤差信号のパルス列を並び換え又はずらす誤差信号変換
手段と、前記誤差信号と結合係数とを論理演算する論理
演算手段と、この論理演算手段による演算結果について
時間方向で論理和を演算する論理和演算手段とを有する
信号処理手段を設けたことを特徴とする信号処理装置。
【請求項９】パルス密度により表現された複数の入力
信号を入力として演算処理を行い、パルス密度により表
現された１つの出力信号を出力するようにしたパルス密
度型の信号処理装置において、パルス密度で表現された
結合係数のパルス列を並び換え又はずらす係数変換手段
と、前記各入力信号と結合係数とを論理演算する第１の
論理演算手段と、この第１の論理演算手段による演算結
果について時間方向で論理和を演算する第１の論理和演
算手段と、パルス密度で表現された誤差信号のパルス列
を並び換え又はずらす誤差信号変換手段と、前記誤差信
号と結合係数とを論理演算する第２の論理演算手段と、
この第２の論理演算手段による演算結果について時間方
向で論理和を演算する第２の論理和演算手段とを有する
信号処理手段を設けたことを特徴とする信号処理装置。
【請求項１０】パルス密度により表現された複数の入
力信号を入力として演算処理を行い、パルス密度により
表現された１つの出力信号を出力するようにしたパルス
密度型の信号処理装置において、複数の入力信号に対し
て各々結合係数を保持する係数メモリと、パルス密度で
表現された結合係数のパルス列を並び換え又はずらす係
数変換手段と、前記入力信号と前記結合係数との論理積
を演算する第１の論理積演算手段と、この第１の論理積
演算手段による演算結果を時間遅延させて格納するメモ
リと、前記第１の論理積演算手段による演算結果と前記
メモリに格納された前の演算時刻における演算結果との
論理和を演算する第１の論理和演算手段と、この第１の
論理和演算手段による演算終了後にその出力を許容する
ため出力線を閉じるスイッチと、前記第１の論理和演算
手段の演算結果を興奮性結合グループと抑制性結合グル
ープとに２分するグループ分け手段と、各々のグループ
で論理和を演算する第２の論理和演算手段と、興奮性結
合グループの演算結果と抑制性結合グループの演算結果
の否定との論理積を演算する第２の論理積演算手段とを
有する信号処理手段を設けたことを特徴とする信号処理
装置。
【請求項１１】パルス密度により表現された複数の入
力信号を入力として演算処理を行い、パルス密度により
表現された１つの出力信号を出力するようにしたパルス
密度型の信号処理装置において、パルス密度により表現
された複数の正の誤差信号と負の誤差信号とを入力とし
て各々の論理和を演算する第１の論理和演算手段と、こ
れらの正、負の誤差信号の各々のパルス列を並び換え又
はずらす誤差信号変換手段と、この誤差信号変換手段に
より処理された前記第１の論理和演算手段の演算結果を
分周する分周手段と、この分周手段により分周された結
果を興奮性結合グループと抑制性結合グループとに２分
するグループ分け手段と、各々のグループの演算結果を
時間遅延させて格納するメモリと、各々のグループの演
算結果と前記メモリに格納された前の演算時刻における
演算結果との論理和を演算する第２の論理和演算手段
と、この第２の論理和演算手段による演算終了後にその
出力を許容するため出力線を閉じるスイッチと、この出
力線より出力される出力信号に基づき結合係数を変化さ
せる結合係数可変手段とを有する信号処理手段を設けた
ことを特徴とする信号処理装置。
【請求項１２】パルス密度により表現された複数の入
力信号を入力として演算処理を行い、パルス密度により
表現された１つの出力信号を出力するようにしたパルス
密度型の信号処理装置において、複数の入力信号に対し
て各々結合係数を保持する係数メモリと、パルス密度で
表現された結合係数のパルス列を並び換え又はずらす係
数変換手段と、前記入力信号と前記結合係数との論理積
を演算する第１の論理積演算手段と、この第１の論理積
演算手段による演算結果を時間遅延させて格納する第１
のメモリと、前記第１の論理積演算手段による演算結果
と前記第１のメモリに格納された前の演算時刻における
演算結果との論理和を演算する第１の論理和演算手段
と、この第１の論理和演算手段による演算終了後にその
出力を許容するため出力線を閉じる第１のスイッチと、
前記第１の論理和演算手段の演算結果を興奮性結合グル
ープと抑制性結合グループとに２分する第１のグループ
分け手段と、各々のグループで論理和を演算する第２の
論理和演算手段と、興奮性結合グループの演算結果と抑
制性結合グループの演算結果の否定との論理積を演算す
る第２の論理積演算手段と、パルス密度により表現され
た複数の正の誤差信号と負の誤差信号とを入力として各
々の論理和を演算する第３の論理和演算手段と、これら
の正、負の誤差信号の各々のパルス列を並び換え又はず
らす誤差信号変換手段と、この誤差信号変換手段により
処理された前記第３の論理和演算手段の演算結果を分周
する分周手段と、この分周手段により分周された結果を
興奮性結合グループと抑制性結合グループとに２分する
第２のグループ分け手段と、各々のグループの演算結果
を時間遅延させて格納する第２のメモリと、各々のグル
ープの演算結果と前記第２のメモリに格納された前の演
算時刻における演算結果との論理和を演算する第２の論
理和演算手段と、この第２の論理和演算手段による演算
終了後にその出力を許容するため出力線を閉じる第２の
スイッチと、この出力線より出力される出力信号に基づ
き結合係数を変化させる結合係数可変手段とを有する信
号処理手段を設けたことを特徴とする信号処理装置。
【請求項１３】複数の信号処理手段を網状に接続した
ことを特徴とする請求項１，２，３，４，５，６，７，
８，９，１０，１１又は１２記載の信号処理装置。