JPH05298276A - 信号処理装置 - Google Patents
信号処理装置Info
- Publication number
- JPH05298276A JPH05298276A JP4104375A JP10437592A JPH05298276A JP H05298276 A JPH05298276 A JP H05298276A JP 4104375 A JP4104375 A JP 4104375A JP 10437592 A JP10437592 A JP 10437592A JP H05298276 A JPH05298276 A JP H05298276A
- Authority
- JP
- Japan
- Prior art keywords
- signal
- output
- logical
- pulse density
- result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Complex Calculations (AREA)
Abstract
(57)【要約】
【目的】 動作が確実でハードウエア化が容易なパルス
密度型デジタル回路構成にして、入力信号の時間変動に
対しても、高い非線形処理能力を有するようにするこ
と。 【構成】 パルス密度により表現された複数の入力信号
を入力として演算処理を行い、パルス密度により表現さ
れた1つの出力信号を出力するようにしたパルス密度型
の信号処理装置において、前記各入力信号と結合係数と
を論理演算する論理演算手段27と、この論理演算手段
27による演算結果について時間方向で論理和を演算す
る論理和演算手段51と、この論理和演算手段51によ
る演算結果を計数するカウンタと、このカウンタにより
計数された計数値に応じたパルス密度表現の出力信号を
出力させる信号出力手段とを有する信号処理手段を設け
た。
密度型デジタル回路構成にして、入力信号の時間変動に
対しても、高い非線形処理能力を有するようにするこ
と。 【構成】 パルス密度により表現された複数の入力信号
を入力として演算処理を行い、パルス密度により表現さ
れた1つの出力信号を出力するようにしたパルス密度型
の信号処理装置において、前記各入力信号と結合係数と
を論理演算する論理演算手段27と、この論理演算手段
27による演算結果について時間方向で論理和を演算す
る論理和演算手段51と、この論理和演算手段51によ
る演算結果を計数するカウンタと、このカウンタにより
計数された計数値に応じたパルス密度表現の出力信号を
出力させる信号出力手段とを有する信号処理手段を設け
た。
Description
【0001】
【産業上の利用分野】本発明は、例えば画像や音声の認
識、ロボット等の位置制御、エアコンの温度制御、ロケ
ットの軌道制御等のような各種運動の制御に適用可能
な、神経細胞を模倣したニューラルコンピュータ等の信
号処理装置に関する。
識、ロボット等の位置制御、エアコンの温度制御、ロケ
ットの軌道制御等のような各種運動の制御に適用可能
な、神経細胞を模倣したニューラルコンピュータ等の信
号処理装置に関する。
【0002】
【従来の技術】生体の情報処理の基本的な単位である神
経細胞(ニューロン)の機能を模倣し、さらに、この
「神経細胞模倣素子」(神経細胞ユニット)をネットワ
ークにし、情報の並列処理を目指したのが、いわゆるニ
ューラルネットワークである。文字認識や連想記憶、運
動制御等、生体ではいとも簡単に行われていても、従来
のノイマン型コンピュータではなかなか達成しないもの
が多い。生体の神経系、特に生体特有の機能、即ち並列
処理、自己学習等をニューラルネットワークにより模倣
して、これらの問題を解決しようとする試みが、計算機
シミュレーションを中心として、盛んに行われている。
経細胞(ニューロン)の機能を模倣し、さらに、この
「神経細胞模倣素子」(神経細胞ユニット)をネットワ
ークにし、情報の並列処理を目指したのが、いわゆるニ
ューラルネットワークである。文字認識や連想記憶、運
動制御等、生体ではいとも簡単に行われていても、従来
のノイマン型コンピュータではなかなか達成しないもの
が多い。生体の神経系、特に生体特有の機能、即ち並列
処理、自己学習等をニューラルネットワークにより模倣
して、これらの問題を解決しようとする試みが、計算機
シミュレーションを中心として、盛んに行われている。
【0003】まず、従来のニューラルネットワークのモ
デルについて説明する。図34はある1つの神経細胞ユ
ニットAを表す図であり、図35はこれをネットワーク
にしたものである。A1,A2,A3 は各々神経細胞ユニ
ットを表す。1つの神経細胞ユニットは多数の他の神経
細胞ユニットと結合しており、それらから受けた信号を
処理して出力を出す。図35の場合、ネットワークは階
層型であり、神経細胞ユニットA2 は1つ前(左側)の
層の神経細胞ユニットA1 より信号を受け、1つ後(右
側)の層の神経細胞ユニットA3 へ出力する。
デルについて説明する。図34はある1つの神経細胞ユ
ニットAを表す図であり、図35はこれをネットワーク
にしたものである。A1,A2,A3 は各々神経細胞ユニ
ットを表す。1つの神経細胞ユニットは多数の他の神経
細胞ユニットと結合しており、それらから受けた信号を
処理して出力を出す。図35の場合、ネットワークは階
層型であり、神経細胞ユニットA2 は1つ前(左側)の
層の神経細胞ユニットA1 より信号を受け、1つ後(右
側)の層の神経細胞ユニットA3 へ出力する。
【0004】より詳細に説明する。まず、図34の神経
細胞ユニットAにおいて、他の神経細胞ユニットと自分
のユニットとの結合の度合いを表すのが結合係数と呼ば
れるもので、i番目の神経細胞ユニットとj番目の神経
細胞ユニットの結合係数を一般にTijで表す。結合に
は、相手のユニット(自己のユニットに信号を送ってく
るユニット)からの信号が大きい程自己のユニット出力
が大きくなる興奮性結合と、相手のユニットからの信号
が大きい程自己のユニット出力が小さくなる抑制性結合
とがあり、Tij>0が興奮性結合、Tij<0が抑制性結
合を表す。今、自分の神経細胞ユニットがj番目のユニ
ットであるとし、i番目の神経細胞ユニットの出力をy
i とするとこれに結合係数Tijを掛けたTijyi が、自
分のユニットへの入力となる。前述したように、1つの
神経細胞ユニットは多数の神経細胞ユニットと結合して
いるので、それらのユニットに対するTijyi を足し合
わせた結果なるΣTijyi が、ネットワーク内における
自分の神経細胞ユニットへの入力となる。これを内部電
位といい、uj で表す。
細胞ユニットAにおいて、他の神経細胞ユニットと自分
のユニットとの結合の度合いを表すのが結合係数と呼ば
れるもので、i番目の神経細胞ユニットとj番目の神経
細胞ユニットの結合係数を一般にTijで表す。結合に
は、相手のユニット(自己のユニットに信号を送ってく
るユニット)からの信号が大きい程自己のユニット出力
が大きくなる興奮性結合と、相手のユニットからの信号
が大きい程自己のユニット出力が小さくなる抑制性結合
とがあり、Tij>0が興奮性結合、Tij<0が抑制性結
合を表す。今、自分の神経細胞ユニットがj番目のユニ
ットであるとし、i番目の神経細胞ユニットの出力をy
i とするとこれに結合係数Tijを掛けたTijyi が、自
分のユニットへの入力となる。前述したように、1つの
神経細胞ユニットは多数の神経細胞ユニットと結合して
いるので、それらのユニットに対するTijyi を足し合
わせた結果なるΣTijyi が、ネットワーク内における
自分の神経細胞ユニットへの入力となる。これを内部電
位といい、uj で表す。
【0005】
【数1】
【0006】次に、この入力(内部電位)に対して閾値
を加えて非線形な処理をすることで、その神経細胞ユニ
ットの出力とする。この時に用いる関数を神経細胞応答
関数と呼び、非線形関数として、(2)式及び図36に示
すようなシグモイド関数を用いる。
を加えて非線形な処理をすることで、その神経細胞ユニ
ットの出力とする。この時に用いる関数を神経細胞応答
関数と呼び、非線形関数として、(2)式及び図36に示
すようなシグモイド関数を用いる。
【0007】
【数2】
【0008】このような神経細胞ユニットを図35に示
すようにネットワークに構成した時には、各結合係数T
ijを与え、(1)(2)式を次々と計算することにより、情
報の並列処理が可能となり、最終的な出力が得られるも
のである。
すようにネットワークに構成した時には、各結合係数T
ijを与え、(1)(2)式を次々と計算することにより、情
報の並列処理が可能となり、最終的な出力が得られるも
のである。
【0009】このような階層型ニューラルネットワーク
において、ある入力に対して望ましい結果が出力される
ように、結合係数Tijを更新していくような学習を行な
うことにより、所望のニューラルネットワークを構築す
る。このような学習方法として最も広く用いられている
のは誤差逆伝播法、いわゆるバックプロパゲーション法
である。
において、ある入力に対して望ましい結果が出力される
ように、結合係数Tijを更新していくような学習を行な
うことにより、所望のニューラルネットワークを構築す
る。このような学習方法として最も広く用いられている
のは誤差逆伝播法、いわゆるバックプロパゲーション法
である。
【0010】このようなニューラルネットワークをハー
ドウエアにより実現した、いわゆるニューロコンピュー
タの一例として特開平2−236658号公報に示され
るものがある。これは、同一ウエハ上に複数のノードを
バスで結合したデジタルニューラルネットワークであ
る。
ドウエアにより実現した、いわゆるニューロコンピュー
タの一例として特開平2−236658号公報に示され
るものがある。これは、同一ウエハ上に複数のノードを
バスで結合したデジタルニューラルネットワークであ
る。
【0011】
【発明が解決しようとする課題】ところが、このような
公報例を含め、現在のニューラルネットワークの試みは
計算機シミュレーションが殆どである。また、そのハー
ドウエアシステムも、シミュレーションの高速化を支援
するためのものである。しかし、ニューラルネットワー
ク本来の機能を発揮させるためには、完全並列処理で行
う必要があると考えられるので、完全並列処理に適した
ハードウエア化が必要となる。
公報例を含め、現在のニューラルネットワークの試みは
計算機シミュレーションが殆どである。また、そのハー
ドウエアシステムも、シミュレーションの高速化を支援
するためのものである。しかし、ニューラルネットワー
ク本来の機能を発揮させるためには、完全並列処理で行
う必要があると考えられるので、完全並列処理に適した
ハードウエア化が必要となる。
【0012】この点、ネットワーク内部の演算には動作
が確実なデジタル回路を採用し、かつ、ハードウエア化
が容易でシンプルなパルス密度表現のパルス列信号を扱
うようにした信号処理方法ないしは装置が、デジタル方
式の自己学習機能付きニューロンモデルとして、本出願
人により、特願平2−412448号、特願平3−29
342号等として提案されている。
が確実なデジタル回路を採用し、かつ、ハードウエア化
が容易でシンプルなパルス密度表現のパルス列信号を扱
うようにした信号処理方法ないしは装置が、デジタル方
式の自己学習機能付きニューロンモデルとして、本出願
人により、特願平2−412448号、特願平3−29
342号等として提案されている。
【0013】しかし、このような提案例によっても、入
力される信号の時間変動に対しても、高い非線形信号処
理能力を発揮させるには、まだ改良の余地があり、汎用
性の向上が要望されている。
力される信号の時間変動に対しても、高い非線形信号処
理能力を発揮させるには、まだ改良の余地があり、汎用
性の向上が要望されている。
【0014】
【課題を解決するための手段】パルス密度により表現さ
れた複数の入力信号を入力として演算処理を行い、パル
ス密度により表現された1つの出力信号を出力するよう
にしたパルス密度型の信号処理装置において、請求項1
記載の発明では、前記各入力信号と結合係数とを論理演
算する論理演算手段と、この論理演算手段による演算結
果について時間方向で論理和を演算する論理和演算手段
と、この論理和演算手段による演算結果を計数するカウ
ンタと、このカウンタにより計数された計数値に応じた
パルス密度表現の出力信号を出力させる信号出力手段と
を有する信号処理手段を設けた。
れた複数の入力信号を入力として演算処理を行い、パル
ス密度により表現された1つの出力信号を出力するよう
にしたパルス密度型の信号処理装置において、請求項1
記載の発明では、前記各入力信号と結合係数とを論理演
算する論理演算手段と、この論理演算手段による演算結
果について時間方向で論理和を演算する論理和演算手段
と、この論理和演算手段による演算結果を計数するカウ
ンタと、このカウンタにより計数された計数値に応じた
パルス密度表現の出力信号を出力させる信号出力手段と
を有する信号処理手段を設けた。
【0015】請求項2記載の発明では、誤差信号と結合
係数とを論理演算する論理演算手段と、この論理演算手
段による演算結果について時間方向で論理和を演算する
論理和演算手段と、この論理和演算手段による演算結果
を計数するカウンタと、このカウンタにより計数された
計数値に応じたパルス密度表現の出力信号を出力させる
信号出力手段とを有する信号処理手段を設けた。
係数とを論理演算する論理演算手段と、この論理演算手
段による演算結果について時間方向で論理和を演算する
論理和演算手段と、この論理和演算手段による演算結果
を計数するカウンタと、このカウンタにより計数された
計数値に応じたパルス密度表現の出力信号を出力させる
信号出力手段とを有する信号処理手段を設けた。
【0016】請求項3記載の発明では、これらの請求項
1,2記載の発明を組合せて構成した。
1,2記載の発明を組合せて構成した。
【0017】請求項4記載の発明では、複数の入力信号
に対して各々結合係数を保持する係数メモリと、前記入
力信号とパルス密度により表現された前記結合係数との
論理積を演算する論理積演算手段と、この論理積演算手
段による演算結果を時間遅延させて格納するメモリと、
前記論理積演算手段による演算結果と前記メモリに格納
された前の演算時刻における演算結果との論理和を演算
する第1の論理和演算手段と、この第1の論理和演算手
段による演算結果を興奮性結合グループと抑制性結合グ
ループとに2分するグループ分け手段と、各々のグルー
プで論理和を演算する第2の論理和演算手段と、興奮性
結合グループの演算結果と抑制性結合グループの演算結
果の否定との論理積を演算する論理演算手段と、この論
理演算手段による演算結果を計数するカウンタと、この
カウンタにより計数された計数値に応じたパルス密度表
現の出力信号を出力させる信号出力手段とを有する信号
処理手段を設けた。
に対して各々結合係数を保持する係数メモリと、前記入
力信号とパルス密度により表現された前記結合係数との
論理積を演算する論理積演算手段と、この論理積演算手
段による演算結果を時間遅延させて格納するメモリと、
前記論理積演算手段による演算結果と前記メモリに格納
された前の演算時刻における演算結果との論理和を演算
する第1の論理和演算手段と、この第1の論理和演算手
段による演算結果を興奮性結合グループと抑制性結合グ
ループとに2分するグループ分け手段と、各々のグルー
プで論理和を演算する第2の論理和演算手段と、興奮性
結合グループの演算結果と抑制性結合グループの演算結
果の否定との論理積を演算する論理演算手段と、この論
理演算手段による演算結果を計数するカウンタと、この
カウンタにより計数された計数値に応じたパルス密度表
現の出力信号を出力させる信号出力手段とを有する信号
処理手段を設けた。
【0018】請求項5記載の発明では、パルス密度によ
り表現された複数の正の誤差信号と負の誤差信号とを入
力として各々の論理和を演算する第1の論理和演算手段
と、この第1の論理和演算手段による演算結果を分周す
る分周手段と、この分周手段により分周された結果を興
奮性結合グループと抑制性結合グループとに2分するグ
ループ分け手段と、各々のグループの演算結果を時間遅
延させて格納するメモリと、これらのグループ別の演算
結果と前記メモリに格納された前の演算時刻における演
算結果との論理和を演算する第2の論理和演算手段と、
この第2の論理和演算手段による演算結果を計数するカ
ウンタと、このカウンタにより計数された計数値に応じ
たパルス密度表現の出力信号を出力させる信号出力手段
と、この信号出力手段により出力される出力信号に基づ
き結合係数を変化させる結合係数可変手段とを有する信
号処理手段を設けた。
り表現された複数の正の誤差信号と負の誤差信号とを入
力として各々の論理和を演算する第1の論理和演算手段
と、この第1の論理和演算手段による演算結果を分周す
る分周手段と、この分周手段により分周された結果を興
奮性結合グループと抑制性結合グループとに2分するグ
ループ分け手段と、各々のグループの演算結果を時間遅
延させて格納するメモリと、これらのグループ別の演算
結果と前記メモリに格納された前の演算時刻における演
算結果との論理和を演算する第2の論理和演算手段と、
この第2の論理和演算手段による演算結果を計数するカ
ウンタと、このカウンタにより計数された計数値に応じ
たパルス密度表現の出力信号を出力させる信号出力手段
と、この信号出力手段により出力される出力信号に基づ
き結合係数を変化させる結合係数可変手段とを有する信
号処理手段を設けた。
【0019】請求項6記載の発明では、請求項4,5記
載の発明を組合せて構成した。
載の発明を組合せて構成した。
【0020】請求項7記載の発明では、パルス密度で表
現された結合係数のパルス列を並び換え又はずらす係数
変換手段と、前記各入力信号と結合係数とを論理演算す
る論理演算手段と、この論理演算手段による演算結果に
ついて時間方向で論理和を演算する論理和演算手段とを
有する信号処理手段を設けた。
現された結合係数のパルス列を並び換え又はずらす係数
変換手段と、前記各入力信号と結合係数とを論理演算す
る論理演算手段と、この論理演算手段による演算結果に
ついて時間方向で論理和を演算する論理和演算手段とを
有する信号処理手段を設けた。
【0021】請求項8記載の発明では、パルス密度で表
現された誤差信号のパルス列を並び換え又はずらす誤差
信号変換手段と、前記誤差信号と結合係数とを論理演算
する論理演算手段と、この論理演算手段による演算結果
について時間方向で論理和を演算する論理和演算手段と
を有する信号処理手段を設けた。
現された誤差信号のパルス列を並び換え又はずらす誤差
信号変換手段と、前記誤差信号と結合係数とを論理演算
する論理演算手段と、この論理演算手段による演算結果
について時間方向で論理和を演算する論理和演算手段と
を有する信号処理手段を設けた。
【0022】請求項9記載の発明では、請求項7,8記
載の発明を組合せて構成した。
載の発明を組合せて構成した。
【0023】請求項10記載の発明では、複数の入力信
号に対して各々結合係数を保持する係数メモリと、パル
ス密度で表現された結合係数のパルス列を並び換え又は
ずらす係数変換手段と、前記入力信号と前記結合係数と
の論理積を演算する第1の論理積演算手段と、この第1
の論理積演算手段による演算結果を時間遅延させて格納
するメモリと、前記第1の論理積演算手段による演算結
果と前記メモリに格納された前の演算時刻における演算
結果との論理和を演算する第1の論理和演算手段と、こ
の第1の論理和演算手段による演算終了後にその出力を
許容するため出力線を閉じるスイッチと、前記第1の論
理和演算手段の演算結果を興奮性結合グループと抑制性
結合グループとに2分するグループ分け手段と、各々の
グループで論理和を演算する第2の論理和演算手段と、
興奮性結合グループの演算結果と抑制性結合グループの
演算結果の否定との論理積を演算する第2の論理積演算
手段とを有する信号処理手段を設けた。
号に対して各々結合係数を保持する係数メモリと、パル
ス密度で表現された結合係数のパルス列を並び換え又は
ずらす係数変換手段と、前記入力信号と前記結合係数と
の論理積を演算する第1の論理積演算手段と、この第1
の論理積演算手段による演算結果を時間遅延させて格納
するメモリと、前記第1の論理積演算手段による演算結
果と前記メモリに格納された前の演算時刻における演算
結果との論理和を演算する第1の論理和演算手段と、こ
の第1の論理和演算手段による演算終了後にその出力を
許容するため出力線を閉じるスイッチと、前記第1の論
理和演算手段の演算結果を興奮性結合グループと抑制性
結合グループとに2分するグループ分け手段と、各々の
グループで論理和を演算する第2の論理和演算手段と、
興奮性結合グループの演算結果と抑制性結合グループの
演算結果の否定との論理積を演算する第2の論理積演算
手段とを有する信号処理手段を設けた。
【0024】請求項11記載の発明では、パルス密度に
より表現された複数の正の誤差信号と負の誤差信号とを
入力として各々の論理和を演算する第1の論理和演算手
段と、これらの正、負の誤差信号の各々のパルス列を並
び換え又はずらす誤差信号変換手段と、この誤差信号変
換手段により処理された前記第1の論理和演算手段の演
算結果を分周する分周手段と、この分周手段により分周
された結果を興奮性結合グループと抑制性結合グループ
とに2分するグループ分け手段と、各々のグループの演
算結果を時間遅延させて格納するメモリと、各々のグル
ープの演算結果と前記メモリに格納された前の演算時刻
における演算結果との論理和を演算する第2の論理和演
算手段と、この第2の論理和演算手段による演算終了後
にその出力を許容するため出力線を閉じるスイッチと、
この出力線より出力される出力信号に基づき結合係数を
変化させる結合係数可変手段とを有する信号処理手段を
設けた。
より表現された複数の正の誤差信号と負の誤差信号とを
入力として各々の論理和を演算する第1の論理和演算手
段と、これらの正、負の誤差信号の各々のパルス列を並
び換え又はずらす誤差信号変換手段と、この誤差信号変
換手段により処理された前記第1の論理和演算手段の演
算結果を分周する分周手段と、この分周手段により分周
された結果を興奮性結合グループと抑制性結合グループ
とに2分するグループ分け手段と、各々のグループの演
算結果を時間遅延させて格納するメモリと、各々のグル
ープの演算結果と前記メモリに格納された前の演算時刻
における演算結果との論理和を演算する第2の論理和演
算手段と、この第2の論理和演算手段による演算終了後
にその出力を許容するため出力線を閉じるスイッチと、
この出力線より出力される出力信号に基づき結合係数を
変化させる結合係数可変手段とを有する信号処理手段を
設けた。
【0025】請求項12記載の発明では、請求項10,
11記載の発明を組合せて構成した。
11記載の発明を組合せて構成した。
【0026】請求項13記載の発明では、これらの発明
について、複数の信号処理手段を網状に接続した。
について、複数の信号処理手段を網状に接続した。
【0027】
【作用】入力信号と結合係数との演算、誤差信号と結合
係数との演算等を時間方向に行い、或いは、結合係数や
誤差信号等のパルス列を並べ換え又はずらした演算を行
い、その結果をカウンタで計数して計数値に基づく出力
信号を出力させる等の処理を行うことで、時間加重を考
慮した演算処理ないしは学習処理を行えるので、ハード
ウエア化が容易でシンプルなパルス密度表現のパルス列
信号にして、複数入力1出力の非線形処理を適正に行う
ことができ、小型で安価な自己学習機能付きのパルス密
度型による大規模なニューラルネットワークを構築でき
るものとなる。
係数との演算等を時間方向に行い、或いは、結合係数や
誤差信号等のパルス列を並べ換え又はずらした演算を行
い、その結果をカウンタで計数して計数値に基づく出力
信号を出力させる等の処理を行うことで、時間加重を考
慮した演算処理ないしは学習処理を行えるので、ハード
ウエア化が容易でシンプルなパルス密度表現のパルス列
信号にして、複数入力1出力の非線形処理を適正に行う
ことができ、小型で安価な自己学習機能付きのパルス密
度型による大規模なニューラルネットワークを構築でき
るものとなる。
【0028】
【実施例】本発明の第一の実施例を図1ないし図20に
基づいて説明する。まず、自己学習機能を持つデジタル
論理回路を用いた神経細胞ユニット(ニューロン素子)
及びニューラルネットワークについて説明する。
基づいて説明する。まず、自己学習機能を持つデジタル
論理回路を用いた神経細胞ユニット(ニューロン素子)
及びニューラルネットワークについて説明する。
【0029】まず、本実施例のニューロン及びニューラ
ルネットワークはデジタル構成によりハードウエア化し
たものであるが、基本的な考え方としては、 神経細胞ユニットに関する入出力信号、中間信号、
結合係数、教師信号などは全て、「0」「1」の2値で
表されたパルス列で表す。 ネットワーク内部での信号の量は、パルス密度で表
す(ある一定時間内の「1」の数)。 神経細胞ユニット内での計算は、空間的、時間的
に、パルス列同士の論理演算で表す。 結合係数のパルス列は神経細胞ユニット内のメモリ
上に置く。 学習は、このパルス列を書換えることで実現する。 学習については、与えられた教師信号パルス列を元
に誤差を計算し、これに基づいて、結合係数パルス列を
変化させる。このとき、誤差の計算、結合係数の変化分
の計算も、全て、「0」「1」のパルス列の論理演算で
行う。 ようにしたものである。
ルネットワークはデジタル構成によりハードウエア化し
たものであるが、基本的な考え方としては、 神経細胞ユニットに関する入出力信号、中間信号、
結合係数、教師信号などは全て、「0」「1」の2値で
表されたパルス列で表す。 ネットワーク内部での信号の量は、パルス密度で表
す(ある一定時間内の「1」の数)。 神経細胞ユニット内での計算は、空間的、時間的
に、パルス列同士の論理演算で表す。 結合係数のパルス列は神経細胞ユニット内のメモリ
上に置く。 学習は、このパルス列を書換えることで実現する。 学習については、与えられた教師信号パルス列を元
に誤差を計算し、これに基づいて、結合係数パルス列を
変化させる。このとき、誤差の計算、結合係数の変化分
の計算も、全て、「0」「1」のパルス列の論理演算で
行う。 ようにしたものである。
【0030】以下、この思想について説明する。まず、
デジタル論理回路による信号処理に関し、フォワードプ
ロセスにおける信号処理を説明する。図2は1つの神経
細胞ユニット(神経細胞模倣素子)20に相当する部分
を示し、ニューラルネットワーク全体としては例えば図
3に示すように階層型とされる。入出力は、全て、
「1」「0」に2値化され、かつ、同期化されたものが
用いられる。入力信号yiの値(強度)はパルス密度で
表現し、例えば図4に示すパルス列のようにある一定時
間内にある「1」の状態数で表す。即ち、図4の例は、
4/6を表し、同期パルス6個中に信号は「1」が4
個、「0」が2個である。このとき、「1」と「0」の
並び方は、ランダムであることが望ましい。
デジタル論理回路による信号処理に関し、フォワードプ
ロセスにおける信号処理を説明する。図2は1つの神経
細胞ユニット(神経細胞模倣素子)20に相当する部分
を示し、ニューラルネットワーク全体としては例えば図
3に示すように階層型とされる。入出力は、全て、
「1」「0」に2値化され、かつ、同期化されたものが
用いられる。入力信号yiの値(強度)はパルス密度で
表現し、例えば図4に示すパルス列のようにある一定時
間内にある「1」の状態数で表す。即ち、図4の例は、
4/6を表し、同期パルス6個中に信号は「1」が4
個、「0」が2個である。このとき、「1」と「0」の
並び方は、ランダムであることが望ましい。
【0031】一方、各神経細胞ユニット20間の結合の
度合を示す結合係数Tijも同様にパルス密度で表現
し、「0」と「1」とのパルス列として予めメモリ上に
用意しておく。図5の例は、「101010」=3/6
を表す式である。この場合も、「1」と「0」の並び方
はランダムであることが望ましい。
度合を示す結合係数Tijも同様にパルス密度で表現
し、「0」と「1」とのパルス列として予めメモリ上に
用意しておく。図5の例は、「101010」=3/6
を表す式である。この場合も、「1」と「0」の並び方
はランダムであることが望ましい。
【0032】そして、この結合係数パルス列を同期クロ
ックに応じてメモリ上より順次読出し、図2に示すよう
に各々ANDゲート21により入力信号パルス列との論
理積をとる(yi ∩ Tij)。これを、神経細胞jへの入
力とする。上例の場合で説明すると、入力信号が「10
1101」として入力されたとき、これと同期してメモ
リ上よりパルス列を呼出し、順次ANDをとることによ
り、図6に示すような「101000」が得られ、これ
は入力信号yi が結合係数Tijにより変換されパルス密
度が2/6となることを示している。
ックに応じてメモリ上より順次読出し、図2に示すよう
に各々ANDゲート21により入力信号パルス列との論
理積をとる(yi ∩ Tij)。これを、神経細胞jへの入
力とする。上例の場合で説明すると、入力信号が「10
1101」として入力されたとき、これと同期してメモ
リ上よりパルス列を呼出し、順次ANDをとることによ
り、図6に示すような「101000」が得られ、これ
は入力信号yi が結合係数Tijにより変換されパルス密
度が2/6となることを示している。
【0033】ANDゲート21の出力のパルス密度は、
近似的には入力信号のパルス密度と結合係数のパルス密
度との積となり、アナログ方式の結合係数と同様の機能
を有する。これは、信号の列が長いほど、また、「1」
と「0」との並び方がランダムであるほど、数値の積に
近い機能を持つことになる。なお、入力パルス列に比べ
て結合係数のパルス列が短く、読出すべきデータがなく
なったら、再びデータの先頭に戻って読出しを繰返えせ
ばよい。
近似的には入力信号のパルス密度と結合係数のパルス密
度との積となり、アナログ方式の結合係数と同様の機能
を有する。これは、信号の列が長いほど、また、「1」
と「0」との並び方がランダムであるほど、数値の積に
近い機能を持つことになる。なお、入力パルス列に比べ
て結合係数のパルス列が短く、読出すべきデータがなく
なったら、再びデータの先頭に戻って読出しを繰返えせ
ばよい。
【0034】さらに、ANDゲート21の後に設置され
ているメモリ内のパルス密度データとこの論理積データ
との論理和cijを求める。このメモリには、1つ前の時
刻(1パルス前)の、論理和結果が格納されている。
ているメモリ内のパルス密度データとこの論理積データ
との論理和cijを求める。このメモリには、1つ前の時
刻(1パルス前)の、論理和結果が格納されている。
【0035】1つの神経細胞ユニット20は多入力であ
るので、前述した論理和cijの結果も多数あり、次にO
R回路22によりこれらの論理和をとる。入力は同期化
されているので、例えば1番目のデータが「10100
0」、2番目のデータが「010000」の場合、両者
のORをとると、「111000」となる。これを多入
力(m個)同時に計算し出力とすると、例えば図7に示
すようになる。これは、アナログ計算における和の計算
及び非線形関数(シグモイド関数)の部分に対応してい
る。
るので、前述した論理和cijの結果も多数あり、次にO
R回路22によりこれらの論理和をとる。入力は同期化
されているので、例えば1番目のデータが「10100
0」、2番目のデータが「010000」の場合、両者
のORをとると、「111000」となる。これを多入
力(m個)同時に計算し出力とすると、例えば図7に示
すようになる。これは、アナログ計算における和の計算
及び非線形関数(シグモイド関数)の部分に対応してい
る。
【0036】パルス密度が低い場合、そのORをとった
もののパルス密度は、各々のパルス密度の和に近似的に
一致する。パルス密度が高くなるにつれ、OR回路22
の出力は段々飽和してくるので、パルス密度の和とは一
致せず、非線形性が出てくる。ORの場合、パルス密度
は1よりも大きくなることがなく、かつ、0より小さく
なることもなく、さらには、単調増加関数であり、シグ
モイド関数と近似的に同等となる。
もののパルス密度は、各々のパルス密度の和に近似的に
一致する。パルス密度が高くなるにつれ、OR回路22
の出力は段々飽和してくるので、パルス密度の和とは一
致せず、非線形性が出てくる。ORの場合、パルス密度
は1よりも大きくなることがなく、かつ、0より小さく
なることもなく、さらには、単調増加関数であり、シグ
モイド関数と近似的に同等となる。
【0037】ところで、結合には興奮性と抑制性がある
が、本実施例でも各神経細胞ユニット20間の結合にお
いてはその両方を持ち得るものとする。まず、結合係数
Tijが興奮性結合係数Tij(+)か抑制性結合係数Tij(-)
かにより、各結合を興奮性結合グループと抑制性結合グ
ループとに2分する。そして、入力信号と各結合係数の
パルス列のAND出力同士のORを各グループで計算す
る。そして、興奮性結合グループのOR結果が「1」で
抑制性結合グループのOR結果が「0」の場合にのみ
「1」を出力し、それ以外の場合には「0」を出力す
る。この出力をこの神経細胞ユニット20の出力信号と
する(図8参照)。
が、本実施例でも各神経細胞ユニット20間の結合にお
いてはその両方を持ち得るものとする。まず、結合係数
Tijが興奮性結合係数Tij(+)か抑制性結合係数Tij(-)
かにより、各結合を興奮性結合グループと抑制性結合グ
ループとに2分する。そして、入力信号と各結合係数の
パルス列のAND出力同士のORを各グループで計算す
る。そして、興奮性結合グループのOR結果が「1」で
抑制性結合グループのOR結果が「0」の場合にのみ
「1」を出力し、それ以外の場合には「0」を出力す
る。この出力をこの神経細胞ユニット20の出力信号と
する(図8参照)。
【0038】論理式で表現すると、次の(3)〜(5)式で
示される。
示される。
【0039】
【数3】
【0040】さらに、このような出力信号をある一定時
間内カウントし、そのカウント値から、新たなパルス列
を生成して出力する。この新たな出力をこの神経細胞ユ
ニットの出力信号yj とする。
間内カウントし、そのカウント値から、新たなパルス列
を生成して出力する。この新たな出力をこの神経細胞ユ
ニットの出力信号yj とする。
【0041】神経細胞ユニット20のネットワークは、
バックプロパゲーションと同様な階層型(即ち、図3)
とする。そして、ネットワーク全体を同期させておけ
ば、各層とも上述した機能により計算できる。
バックプロパゲーションと同様な階層型(即ち、図3)
とする。そして、ネットワーク全体を同期させておけ
ば、各層とも上述した機能により計算できる。
【0042】次に、学習(バックプロパゲーション)に
おける信号演算処理について説明する。基本的には、誤
差逆伝播法に準じ、以下のa又はbにより誤差信号を求
め、次いで、cの方法により結合係数の値を変化させる
ようにすればよい。
おける信号演算処理について説明する。基本的には、誤
差逆伝播法に準じ、以下のa又はbにより誤差信号を求
め、次いで、cの方法により結合係数の値を変化させる
ようにすればよい。
【0043】a.最終層における誤差信号 最終層で各神経細胞ユニットにおける誤差信号を出力信
号と教師信号とにより計算する。ここに、そのときの入
力に対して望ましい出力を、教師信号としてパルス列で
与える。一般に、誤差を数値で表すと正、負の両方をと
り得るが、パルス密度ではそれを同時に表現できないの
で、+成分を表す信号と、−成分を表す信号との2種類
を用いて誤差信号を表現する。即ち、j番目の神経細胞
ユニットの誤差信号は、図9のように示される。つま
り、誤差信号の+成分は教師信号パルスと出力パルスと
の違っている部分(1,0)又は(0,1)の内、教師
信号側に存在するパルス、他方、−成分は同様に出力側
に存在するパルスである。換言すれば、出力パルスに誤
差信号+パルスを付け加え、誤差信号−パルスを取り除
くと、教師パルスとなることになる。即ち、これらの
正、負の誤差信号δj(+),δj(-)を論理式で表現する
と、各々(6)(7)式のようになる。このような誤差信号
パルスを基に結合係数を後述するように変化させること
になる。
号と教師信号とにより計算する。ここに、そのときの入
力に対して望ましい出力を、教師信号としてパルス列で
与える。一般に、誤差を数値で表すと正、負の両方をと
り得るが、パルス密度ではそれを同時に表現できないの
で、+成分を表す信号と、−成分を表す信号との2種類
を用いて誤差信号を表現する。即ち、j番目の神経細胞
ユニットの誤差信号は、図9のように示される。つま
り、誤差信号の+成分は教師信号パルスと出力パルスと
の違っている部分(1,0)又は(0,1)の内、教師
信号側に存在するパルス、他方、−成分は同様に出力側
に存在するパルスである。換言すれば、出力パルスに誤
差信号+パルスを付け加え、誤差信号−パルスを取り除
くと、教師パルスとなることになる。即ち、これらの
正、負の誤差信号δj(+),δj(-)を論理式で表現する
と、各々(6)(7)式のようになる。このような誤差信号
パルスを基に結合係数を後述するように変化させること
になる。
【0044】
【数4】
【0045】b.中間層における誤差信号 まず、上記の誤差信号を逆伝播させ、最終層とその1つ
前の層との結合係数だけでなく、さらにその前の層の結
合係数も変化させる。そのため、中間層における各神経
細胞ユニットでの誤差信号を計算する必要がある。中間
層のある神経細胞ユニットから、さらに1つ先の層の各
神経細胞ユニットへ信号を伝播させたのとは、丁度逆の
要領で1つ先の層の各神経細胞ユニットにおける誤差信
号を集めてきて、自己の誤差信号とする。このことは、
神経細胞ユニット内での前述した演算式(3)〜(5)や図
4〜図8に示した場合と同じような要領で行うことがで
きる。
前の層との結合係数だけでなく、さらにその前の層の結
合係数も変化させる。そのため、中間層における各神経
細胞ユニットでの誤差信号を計算する必要がある。中間
層のある神経細胞ユニットから、さらに1つ先の層の各
神経細胞ユニットへ信号を伝播させたのとは、丁度逆の
要領で1つ先の層の各神経細胞ユニットにおける誤差信
号を集めてきて、自己の誤差信号とする。このことは、
神経細胞ユニット内での前述した演算式(3)〜(5)や図
4〜図8に示した場合と同じような要領で行うことがで
きる。
【0046】ただし、神経細胞ユニット内での前述した
処理と異なるのは、yは1つの信号であるのに対して、
δは正、負を表す信号として2つの信号を持ち、その両
方の信号を考慮する必要があることである。従って、結
合係数Tの正、負に応じて2つの場合に分ける必要があ
る。
処理と異なるのは、yは1つの信号であるのに対して、
δは正、負を表す信号として2つの信号を持ち、その両
方の信号を考慮する必要があることである。従って、結
合係数Tの正、負に応じて2つの場合に分ける必要があ
る。
【0047】まず、興奮性結合の場合を説明する。この
場合、中間層のある神経細胞ユニットについて、1つ先
の層(図3における最終層)のj番目の神経細胞ユニッ
トでの誤差信号δj(+)と、その神経細胞ユニットと自己
(図3における中間層のある神経細胞ユニット)との結
合係数のANDをとったもの(δj(+) ∩ Tij)を各神
経細胞ユニットについて求める。さらに、この後に設置
されているメモリ内のパルスデータとの論理和fij(+)
を求める。このメモリには1つ前の時刻(1パルス前)
のこの論理和fij(+) 結果が格納されている。さらに、
このような論理和fij(+) 結果についてある一定時間内
カウントしていき、そのカウント値から新たなパルス列
fij(+)を生成して出力する。さらに、パルス列fij(+)
同士のORをとる。これを自己神経細胞ユニットiの正
の誤差信号とする。即ち、図10に示すようになる。
場合、中間層のある神経細胞ユニットについて、1つ先
の層(図3における最終層)のj番目の神経細胞ユニッ
トでの誤差信号δj(+)と、その神経細胞ユニットと自己
(図3における中間層のある神経細胞ユニット)との結
合係数のANDをとったもの(δj(+) ∩ Tij)を各神
経細胞ユニットについて求める。さらに、この後に設置
されているメモリ内のパルスデータとの論理和fij(+)
を求める。このメモリには1つ前の時刻(1パルス前)
のこの論理和fij(+) 結果が格納されている。さらに、
このような論理和fij(+) 結果についてある一定時間内
カウントしていき、そのカウント値から新たなパルス列
fij(+)を生成して出力する。さらに、パルス列fij(+)
同士のORをとる。これを自己神経細胞ユニットiの正
の誤差信号とする。即ち、図10に示すようになる。
【0048】同様にして、1つ先の層の神経細胞ユニッ
トでの負の誤差信号δj(-)と結合係数とのANDをと
り、この後に設置されているメモリ内のパルスデータと
の論理和gij(+) を求める。このメモリには1つ前の時
刻(1パルス前)のこの論理和gij(+)結果が格納され
ている。さらに、このような論理和gij(+)結果につい
てある一定時間内カウントしていき、そのカウント値か
ら新たなパルス列gij(+)を生成して出力する。さら
に、パルス列gij(+) 同士のORをとる。これを自己神
経細胞ユニットiの負の誤差信号とする。即ち、図11
に示すようになる。
トでの負の誤差信号δj(-)と結合係数とのANDをと
り、この後に設置されているメモリ内のパルスデータと
の論理和gij(+) を求める。このメモリには1つ前の時
刻(1パルス前)のこの論理和gij(+)結果が格納され
ている。さらに、このような論理和gij(+)結果につい
てある一定時間内カウントしていき、そのカウント値か
ら新たなパルス列gij(+)を生成して出力する。さら
に、パルス列gij(+) 同士のORをとる。これを自己神
経細胞ユニットiの負の誤差信号とする。即ち、図11
に示すようになる。
【0049】次に、抑制性結合の場合を説明する。この
場合、1つ先の層のj番目の神経細胞ユニットでの負の
誤差信号δj(-)と、その神経細胞ユニットと自己との間
の結合係数のANDをとったもの(δj(-) ∩ Tij)を
各神経細胞ユニットについて求める。さらに、この後に
設置されているメモリ内のパルスデータとの論理和f
ij(-) を求める。このメモリには1つ前の時刻(1パル
ス前)のこの論理和fij(-)結果が格納されている。さ
らに、このような論理和fij(-)結果についてある一定
時間内カウントしていき、そのカウント値から新たなパ
ルス列fij(-)を生成して出力する。さらに、パルス列
fij(-) 同士のORをとる。これを自己神経細胞ユニッ
トiの正の誤差信号とする。即ち、図12に示すように
なる。
場合、1つ先の層のj番目の神経細胞ユニットでの負の
誤差信号δj(-)と、その神経細胞ユニットと自己との間
の結合係数のANDをとったもの(δj(-) ∩ Tij)を
各神経細胞ユニットについて求める。さらに、この後に
設置されているメモリ内のパルスデータとの論理和f
ij(-) を求める。このメモリには1つ前の時刻(1パル
ス前)のこの論理和fij(-)結果が格納されている。さ
らに、このような論理和fij(-)結果についてある一定
時間内カウントしていき、そのカウント値から新たなパ
ルス列fij(-)を生成して出力する。さらに、パルス列
fij(-) 同士のORをとる。これを自己神経細胞ユニッ
トiの正の誤差信号とする。即ち、図12に示すように
なる。
【0050】同様にして、1つ先の層の神経細胞ユニッ
トでの正の誤差信号δj(+)と結合係数とのANDをと
り、この後に設置されているメモリ内のパルスデータと
の論理和gij(-) を求める。このメモリには1つ前の時
刻(1パルス前)のこの論理和gij(-)結果が格納され
ている。さらに、このような論理和gij(-)結果につい
てある一定時間内カウントしていき、そのカウント値か
ら新たなパルス列gij(-)を生成して出力する。さら
に、パルス列gij(-) 同士のORをとる。これを自己神
経細胞ユニットiの負の誤差信号とする。即ち、図13
に示すようになる。
トでの正の誤差信号δj(+)と結合係数とのANDをと
り、この後に設置されているメモリ内のパルスデータと
の論理和gij(-) を求める。このメモリには1つ前の時
刻(1パルス前)のこの論理和gij(-)結果が格納され
ている。さらに、このような論理和gij(-)結果につい
てある一定時間内カウントしていき、そのカウント値か
ら新たなパルス列gij(-)を生成して出力する。さら
に、パルス列gij(-) 同士のORをとる。これを自己神
経細胞ユニットiの負の誤差信号とする。即ち、図13
に示すようになる。
【0051】さらに、この自己神経細胞ユニットの、興
奮性結合の正の誤差信号と抑制性結合の正の誤差信号と
のORをとり、これを自己ユニットの、1つ前の層の神
経細胞ユニットへ出力される正の誤差信号δi(+)とす
る。同様に、興奮性結合の負の誤差信号と抑制性結合の
負の誤差信号とのORをとり、これを自己ユニットの、
1つ前の層の神経細胞ユニットへ出力される負の誤差信
号δi(-)とする。
奮性結合の正の誤差信号と抑制性結合の正の誤差信号と
のORをとり、これを自己ユニットの、1つ前の層の神
経細胞ユニットへ出力される正の誤差信号δi(+)とす
る。同様に、興奮性結合の負の誤差信号と抑制性結合の
負の誤差信号とのORをとり、これを自己ユニットの、
1つ前の層の神経細胞ユニットへ出力される負の誤差信
号δi(-)とする。
【0052】以上をまとめると、(8)式に示すようにな
る。
る。
【0053】
【数5】
【0054】さらに、入力してくる誤差信号に対して各
々同じ又は異なる学習のレート(学習定数)を設けても
よい。これは、パルス列を間引くことにより実現でき
る。例えば、カウンタ的な考え方をし、図14、図15
に示すようなものとすればよい。この例では、学習レー
トη=0.5では元の信号のパルス列を1つ置きに間引
くが、元の信号のパルスが等間隔でなくても、元のパル
ス列に対して間引くことができる。図14、図15中、
η=0.5の場合はパルスを1つ置きに間引き、η=
0.33の場合はパルスを2つ置きに残し、η=0.6
7の場合はパルスを2つ置きに1回間引くことを示す。
このようにして、誤差信号を間引くことにより学習レー
トの機能を持たせる。
々同じ又は異なる学習のレート(学習定数)を設けても
よい。これは、パルス列を間引くことにより実現でき
る。例えば、カウンタ的な考え方をし、図14、図15
に示すようなものとすればよい。この例では、学習レー
トη=0.5では元の信号のパルス列を1つ置きに間引
くが、元の信号のパルスが等間隔でなくても、元のパル
ス列に対して間引くことができる。図14、図15中、
η=0.5の場合はパルスを1つ置きに間引き、η=
0.33の場合はパルスを2つ置きに残し、η=0.6
7の場合はパルスを2つ置きに1回間引くことを示す。
このようにして、誤差信号を間引くことにより学習レー
トの機能を持たせる。
【0055】c.結合係数の更新 以上のような処理による誤差信号により各結合係数を変
化させる。変化させたい結合係数が属しているライン
(図3参照)に対応する、1つ前の神経細胞ユニットか
らの出力yi と自己の神経細胞ユニットの誤差信号δ
j(+)又はδj(-)とのANDをとる(δj∩yi)(図1
6,図17参照)。このようにして得られた2つの信号
を各々ΔTij(+),ΔTij(-)とする。
化させる。変化させたい結合係数が属しているライン
(図3参照)に対応する、1つ前の神経細胞ユニットか
らの出力yi と自己の神経細胞ユニットの誤差信号δ
j(+)又はδj(-)とのANDをとる(δj∩yi)(図1
6,図17参照)。このようにして得られた2つの信号
を各々ΔTij(+),ΔTij(-)とする。
【0056】そして、今度はこのΔTijを元に新しいT
ijを求めるが、このTijは絶対値成分であるので、元の
Tijが興奮性か抑制性かで場合分けする。興奮性の場
合、元のTijに対してΔTij(+)の成分を増やし、ΔT
ij(-)の成分を減らす。即ち、図18に示すようにな
る。逆に、抑制性の場合は元のTijに対しΔTij(+) の
成分を減らし、ΔTij(-)の成分を増やす。即ち、図1
9に示すようになる。
ijを求めるが、このTijは絶対値成分であるので、元の
Tijが興奮性か抑制性かで場合分けする。興奮性の場
合、元のTijに対してΔTij(+)の成分を増やし、ΔT
ij(-)の成分を減らす。即ち、図18に示すようにな
る。逆に、抑制性の場合は元のTijに対しΔTij(+) の
成分を減らし、ΔTij(-)の成分を増やす。即ち、図1
9に示すようになる。
【0057】以上をまとめると、(9)式のようになる。
【0058】
【数6】
【0059】以上の学習則に基づいてネットワークの計
算をする。
算をする。
【0060】次に、以上のアルゴリズムに基づく実際の
回路構成を説明する。図1及び図20にその回路構成例
を示すが、ネットワーク2全体の構成は学習機能を用い
る場合は図3のように階層型とする。図1は図3中のラ
イン(結線)に相当する部分の回路を示し、図20は図
3中の丸(各神経細胞ユニット20)に相当する部分の
回路を示す。これらの図1、図20構成の回路を図3の
ようにネットワークにすることにより、自己学習可能な
デジタル式のニューラルネットワークが実現できる。
回路構成を説明する。図1及び図20にその回路構成例
を示すが、ネットワーク2全体の構成は学習機能を用い
る場合は図3のように階層型とする。図1は図3中のラ
イン(結線)に相当する部分の回路を示し、図20は図
3中の丸(各神経細胞ユニット20)に相当する部分の
回路を示す。これらの図1、図20構成の回路を図3の
ようにネットワークにすることにより、自己学習可能な
デジタル式のニューラルネットワークが実現できる。
【0061】まず、フォワード処理に関する部分を説明
する。図中、25は神経細胞ユニットへの入力信号であ
り、図4に相当する。図5に示したような結合係数の値
はシフトレジスタ26に保存しておく。このシフトレジ
スタ26は取出し口26aと入口26bとを有するが、
通常のシフトレジスタと同様の機能を持つものであれば
よく、例えば、RAMとアドレスコントローラとの組合
せによるもの等であってもよい。入力信号25とシフト
レジスタ26内の結合係数とは論理積演算手段としての
ANDゲート27を備えて図6に示した処理を行なう論
理回路28によりANDがとられる。また、この論理回
路28内においてANDゲート27の出力は、論理和演
算手段としてのORゲート51、メモリとしてのラッチ
52により図7に示した処理が行われる。このような論
理回路28の出力は結合が興奮性か抑制性かによってグ
ループ分けしなければならないが、予め各々のグループ
への出力29,30を用意し、何れに出力するのかを切
換えるようにした方が汎用性の高いものとなる。このた
め、本実施例では結合が興奮性か抑制性かを表すビット
をグループ分け用メモリ31に保存しておき、その情報
を用いてグループ分け手段としての切換えゲート回路3
2により切換える。切換えゲート回路32は2つのAN
Dゲート32a,32bと一方の入力に介在されたイン
バータ32cとよりなる。
する。図中、25は神経細胞ユニットへの入力信号であ
り、図4に相当する。図5に示したような結合係数の値
はシフトレジスタ26に保存しておく。このシフトレジ
スタ26は取出し口26aと入口26bとを有するが、
通常のシフトレジスタと同様の機能を持つものであれば
よく、例えば、RAMとアドレスコントローラとの組合
せによるもの等であってもよい。入力信号25とシフト
レジスタ26内の結合係数とは論理積演算手段としての
ANDゲート27を備えて図6に示した処理を行なう論
理回路28によりANDがとられる。また、この論理回
路28内においてANDゲート27の出力は、論理和演
算手段としてのORゲート51、メモリとしてのラッチ
52により図7に示した処理が行われる。このような論
理回路28の出力は結合が興奮性か抑制性かによってグ
ループ分けしなければならないが、予め各々のグループ
への出力29,30を用意し、何れに出力するのかを切
換えるようにした方が汎用性の高いものとなる。このた
め、本実施例では結合が興奮性か抑制性かを表すビット
をグループ分け用メモリ31に保存しておき、その情報
を用いてグループ分け手段としての切換えゲート回路3
2により切換える。切換えゲート回路32は2つのAN
Dゲート32a,32bと一方の入力に介在されたイン
バータ32cとよりなる。
【0062】また、図20に示すように各入力を処理
(図6に相当)をするための論理和演算手段としての複
数のORゲート構成のゲート回路33a,33bが設け
られている。さらに、同図に示すように図8に示した興
奮性結合グループが「1」で、抑制性結合グループが
「0」のときにのみ出力「1」を出すANDゲート34
aとインバータ34bとによる論理演算手段としてのゲ
ート回路34が設けられている。このゲート回路34の
出力はカウンタとして機能するカウンタ及びパルス列発
生器53によって新たなパルス列が生成されて出力され
る。
(図6に相当)をするための論理和演算手段としての複
数のORゲート構成のゲート回路33a,33bが設け
られている。さらに、同図に示すように図8に示した興
奮性結合グループが「1」で、抑制性結合グループが
「0」のときにのみ出力「1」を出すANDゲート34
aとインバータ34bとによる論理演算手段としてのゲ
ート回路34が設けられている。このゲート回路34の
出力はカウンタとして機能するカウンタ及びパルス列発
生器53によって新たなパルス列が生成されて出力され
る。
【0063】次に、誤差信号について説明する。最終層
からの出力及び教師信号により作成された誤差信号3
8,39が図20に示す回路に入力される。この中間層
における誤差信号を計算するため図10〜図13に示し
たような処理は、図1中に示す論理積演算手段としての
ANDゲート54,55、論理和演算手段としてのOR
ゲート56,57、メモリとしてのラッチ58,59、
カウンタとして機能するカウンタ及びパルス列発生器6
0,61により構成された論理回路42により行われ、
+,−に応じた出力43,44が得られる。このように
結合が興奮性か抑制性かにより場合分けする必要がある
が、この場合分けはメモリ31に記憶された興奮性か抑
制性かの情報と、誤差信号の+,−信号45,46とに
応じて、AND,ORゲート構成のゲート回路47によ
り行われる。また、誤差信号を集める計算式(6)の処理
は図20に示すORゲート構成のゲート回路48により
行われる。さらに、学習レートに相当する図14,図1
5の処理は図20中に示す分周回路49により行われ
る。最後に、誤差信号より新たな結合係数を計算する部
分、即ち、図16〜図19の処理に相当する部分は、図
1中に示すAND,インバータ、ORゲート構成で結合
係数可変回路となるゲート回路50により行われ、シフ
トレジスタ26の内容、即ち、結合係数の値が書換えら
れる。このゲート回路50も結合の興奮性、抑制性によ
って場合分けが必要であるが、ゲート回路47により行
われる。
からの出力及び教師信号により作成された誤差信号3
8,39が図20に示す回路に入力される。この中間層
における誤差信号を計算するため図10〜図13に示し
たような処理は、図1中に示す論理積演算手段としての
ANDゲート54,55、論理和演算手段としてのOR
ゲート56,57、メモリとしてのラッチ58,59、
カウンタとして機能するカウンタ及びパルス列発生器6
0,61により構成された論理回路42により行われ、
+,−に応じた出力43,44が得られる。このように
結合が興奮性か抑制性かにより場合分けする必要がある
が、この場合分けはメモリ31に記憶された興奮性か抑
制性かの情報と、誤差信号の+,−信号45,46とに
応じて、AND,ORゲート構成のゲート回路47によ
り行われる。また、誤差信号を集める計算式(6)の処理
は図20に示すORゲート構成のゲート回路48により
行われる。さらに、学習レートに相当する図14,図1
5の処理は図20中に示す分周回路49により行われ
る。最後に、誤差信号より新たな結合係数を計算する部
分、即ち、図16〜図19の処理に相当する部分は、図
1中に示すAND,インバータ、ORゲート構成で結合
係数可変回路となるゲート回路50により行われ、シフ
トレジスタ26の内容、即ち、結合係数の値が書換えら
れる。このゲート回路50も結合の興奮性、抑制性によ
って場合分けが必要であるが、ゲート回路47により行
われる。
【0064】つづいて、本発明の第二の実施例を図21
ないし図33により説明する。前記実施例で示した部分
と同一部分は同一符号を用いて示す。ニューロン及びニ
ューラルネットワークに関する基本的な考え方は前記実
施例と同様である。まず、デジタル論理回路による信号
処理に関し、フォワードプロセスにおける信号処理を説
明する。図21は1つの神経細胞ユニット(神経細胞模
倣素子)20に相当する部分を示し、ニューラルネット
ワーク全体としては例えば図3に示したように階層型と
される。本実施例でも、入出力は、全て、「1」「0」
に2値化されたものが用いられる。入力信号yi の値
(強度)はパルス密度で表現し、例えば図22に示すパ
ルス列のようにある一定時間内にある「1」の状態数で
表す。即ち、図22の例は、3/8を表し、入力信号y
i は「1」が3個、「0」が5個である。
ないし図33により説明する。前記実施例で示した部分
と同一部分は同一符号を用いて示す。ニューロン及びニ
ューラルネットワークに関する基本的な考え方は前記実
施例と同様である。まず、デジタル論理回路による信号
処理に関し、フォワードプロセスにおける信号処理を説
明する。図21は1つの神経細胞ユニット(神経細胞模
倣素子)20に相当する部分を示し、ニューラルネット
ワーク全体としては例えば図3に示したように階層型と
される。本実施例でも、入出力は、全て、「1」「0」
に2値化されたものが用いられる。入力信号yi の値
(強度)はパルス密度で表現し、例えば図22に示すパ
ルス列のようにある一定時間内にある「1」の状態数で
表す。即ち、図22の例は、3/8を表し、入力信号y
i は「1」が3個、「0」が5個である。
【0065】一方、各神経細胞ユニット20間の結合の
度合を示す結合係数Tijも同様にパルス密度で表現し、
図23に示すように、「0」と「1」とのパルス列又は
コード化したデータとして予めメモリ上に用意してお
く。図23の例は、「10110010」=4/8を表
す。
度合を示す結合係数Tijも同様にパルス密度で表現し、
図23に示すように、「0」と「1」とのパルス列又は
コード化したデータとして予めメモリ上に用意してお
く。図23の例は、「10110010」=4/8を表
す。
【0066】この後の処理が特徴的であり、本実施例に
よる入力信号から出力信号が生成されるまでの具体的な
処理について説明する。いま、例えば1データの長さを
4とし、図24に示すように、時間的に直列に入力され
てくるパルスyij1〜yij4を並列に配置させ、このよう
な並列配置に対応させて並列に並び換え配置させた結合
係数Tij1〜Tij4との論理積をとる(図25参照)。つ
いで、これらの論理積の演算結果であるyij1∩Tij1〜
yij4∩Tij4について図26に示すように論理和uijを
求める。このような処理が神経細胞ユニット内の各結合
について図24に示すように行われる。
よる入力信号から出力信号が生成されるまでの具体的な
処理について説明する。いま、例えば1データの長さを
4とし、図24に示すように、時間的に直列に入力され
てくるパルスyij1〜yij4を並列に配置させ、このよう
な並列配置に対応させて並列に並び換え配置させた結合
係数Tij1〜Tij4との論理積をとる(図25参照)。つ
いで、これらの論理積の演算結果であるyij1∩Tij1〜
yij4∩Tij4について図26に示すように論理和uijを
求める。このような処理が神経細胞ユニット内の各結合
について図24に示すように行われる。
【0067】ところで、結合には興奮性と抑制性がある
が、本実施例でも各神経細胞ユニット間の結合において
はその両方を持ち得るものとする。まず、結合係数Tij
が興奮性結合係数Tij(+)か抑制性結合係数Tij(-)かに
より、各結合を興奮性結合グループと抑制性結合グルー
プとに2分する。そして、興奮性結合グループにおける
uij(+)同士の論理和Uij(+)を求め、かつ、抑制性結合
グループにおけるuij(-)同士の論理和Uij(-)を求め
る。ついで、これらの興奮性結合グループの論理和U
ij(+)と抑制性結合グループの論理和Uij(-)の否定との
論理積を求める。これがこの神経細胞ユニットの出力パ
ルスの一部yj1となる。このような処理を、論理式で表
現すると、次の(10)〜(12)式で示される。
が、本実施例でも各神経細胞ユニット間の結合において
はその両方を持ち得るものとする。まず、結合係数Tij
が興奮性結合係数Tij(+)か抑制性結合係数Tij(-)かに
より、各結合を興奮性結合グループと抑制性結合グルー
プとに2分する。そして、興奮性結合グループにおける
uij(+)同士の論理和Uij(+)を求め、かつ、抑制性結合
グループにおけるuij(-)同士の論理和Uij(-)を求め
る。ついで、これらの興奮性結合グループの論理和U
ij(+)と抑制性結合グループの論理和Uij(-)の否定との
論理積を求める。これがこの神経細胞ユニットの出力パ
ルスの一部yj1となる。このような処理を、論理式で表
現すると、次の(10)〜(12)式で示される。
【0068】
【数7】
【0069】このような演算終了後に、信号yi と論理
積をとる結合係数Tijを1パルスずらす(パルス列のず
らし処理)。即ち、パルス列を図27に示すような状態
にしてから、前述した処理と同様な処理を行い、この神
経細胞ユニットの出力パルスの別の一部yj2を生成す
る。本例では、1データ長を4としているので、このよ
うな処理が4回行われる。従って、この神経細胞ユニッ
トからは4パルスが出力される。図28にこの様子を示
す。
積をとる結合係数Tijを1パルスずらす(パルス列のず
らし処理)。即ち、パルス列を図27に示すような状態
にしてから、前述した処理と同様な処理を行い、この神
経細胞ユニットの出力パルスの別の一部yj2を生成す
る。本例では、1データ長を4としているので、このよ
うな処理が4回行われる。従って、この神経細胞ユニッ
トからは4パルスが出力される。図28にこの様子を示
す。
【0070】以上のような処理(フォワード処理)をネ
ットワーク内の全ての神経細胞ユニットが行うことによ
り、このニューラルネットワークはその機能を果たし、
情報処理が可能となる。なお、本例ではyi とTijとは
同じデータ長としたが、必ずしも同じである必要はな
い。
ットワーク内の全ての神経細胞ユニットが行うことによ
り、このニューラルネットワークはその機能を果たし、
情報処理が可能となる。なお、本例ではyi とTijとは
同じデータ長としたが、必ずしも同じである必要はな
い。
【0071】次に、学習(バックプロパゲーション)に
おける信号演算処理について説明する。本実施例にあっ
ても、基本的には、前記実施例の場合と同様に、以下の
a又はbにより誤差信号を求め、次いで、cの方法によ
り結合係数の値を変化させるようにすればよい。
おける信号演算処理について説明する。本実施例にあっ
ても、基本的には、前記実施例の場合と同様に、以下の
a又はbにより誤差信号を求め、次いで、cの方法によ
り結合係数の値を変化させるようにすればよい。
【0072】a.最終層における誤差信号 最終層で各神経細胞ユニットにおける誤差信号を出力信
号と教師信号とにより計算する。ここに、そのときの入
力に対して望ましい出力を、教師信号としてパルス列で
与える。この場合も、+成分を表す信号δj(+)と、−成
分を表す信号δj(-)との2種類を用いて誤差信号を表現
する。即ち、j番目の神経細胞ユニットに入力される誤
差信号は、図29に示すように、出力信号yjと教師信
号djとが異なっているときのみ「1」となる。この
時、教師信号dj 側が「1」の場合には正の誤差信号δ
j(+)のみが「1」となり、出力信号yj 側が「1」の場
合には負の誤差信号δj(-)のみが「1」となる。このよ
うな誤差信号δj(+),δj(-)を論理式で示すと、前述し
た(6)(7)式のようになる。これらのパルス密度表現の
誤差信号δj(+),δj(-)を用いて、結合係数Tijを後述
するように変化させることになる。
号と教師信号とにより計算する。ここに、そのときの入
力に対して望ましい出力を、教師信号としてパルス列で
与える。この場合も、+成分を表す信号δj(+)と、−成
分を表す信号δj(-)との2種類を用いて誤差信号を表現
する。即ち、j番目の神経細胞ユニットに入力される誤
差信号は、図29に示すように、出力信号yjと教師信
号djとが異なっているときのみ「1」となる。この
時、教師信号dj 側が「1」の場合には正の誤差信号δ
j(+)のみが「1」となり、出力信号yj 側が「1」の場
合には負の誤差信号δj(-)のみが「1」となる。このよ
うな誤差信号δj(+),δj(-)を論理式で示すと、前述し
た(6)(7)式のようになる。これらのパルス密度表現の
誤差信号δj(+),δj(-)を用いて、結合係数Tijを後述
するように変化させることになる。
【0073】b.中間層における誤差信号 まず、上記の誤差信号を逆伝播させ、中間層の結合係数
も変化させる。そのため、中間層における各神経細胞ユ
ニットでの誤差信号を計算する必要がある。中間層のあ
る神経細胞ユニットから、さらに1つ先の層の各神経細
胞ユニットへ信号を伝播させたのとは、丁度逆の要領で
1つ先の層の各神経細胞ユニットにおける誤差信号を集
めてきて、自己の誤差信号とする。
も変化させる。そのため、中間層における各神経細胞ユ
ニットでの誤差信号を計算する必要がある。中間層のあ
る神経細胞ユニットから、さらに1つ先の層の各神経細
胞ユニットへ信号を伝播させたのとは、丁度逆の要領で
1つ先の層の各神経細胞ユニットにおける誤差信号を集
めてきて、自己の誤差信号とする。
【0074】このような誤差信号の計算方法について、
図30及び図31を参照して説明する。まず、1つ先の
層のj番目の神経細胞ユニットから時間的に直列に入力
してくる正の誤差信号δj1(+)〜δj4(+)を並列に配置し
(並び換え)、これに対応させて並列に配置させた結合
係数Tij1(+)〜Tij4(+)との論理積をとる。同様に、時
間的に直列に入力してくる負の誤差信号δj1(-)〜δ
j4(-)を並列に配置し(並び換え)、これに対応させて
並列に配置させた結合係数Tij1(-)〜Tij4(-)との論理
積をとる。さらに、これらの演算結果δj1(+)∩T
ij1(+),〜,δj4(+)∩Tij4(+),δj1(-)∩Tij1(-),
〜,δj4(-)∩Tij4(-)の論理和を求める。これを、自
己の神経細胞ユニットiの正の誤差信号の一部δi1(+)
とする。図30はこの様子を示すものである。さらに、
フォワード処理と同様に、結合係数Tijを1パルス分シ
フトさせて、上記と同様の処理を行う。このような処理
をデータ長分(ここでは、4)、繰返して行うことによ
り、δi1(+)〜δi4(+)(=δi(+))が生成される。
図30及び図31を参照して説明する。まず、1つ先の
層のj番目の神経細胞ユニットから時間的に直列に入力
してくる正の誤差信号δj1(+)〜δj4(+)を並列に配置し
(並び換え)、これに対応させて並列に配置させた結合
係数Tij1(+)〜Tij4(+)との論理積をとる。同様に、時
間的に直列に入力してくる負の誤差信号δj1(-)〜δ
j4(-)を並列に配置し(並び換え)、これに対応させて
並列に配置させた結合係数Tij1(-)〜Tij4(-)との論理
積をとる。さらに、これらの演算結果δj1(+)∩T
ij1(+),〜,δj4(+)∩Tij4(+),δj1(-)∩Tij1(-),
〜,δj4(-)∩Tij4(-)の論理和を求める。これを、自
己の神経細胞ユニットiの正の誤差信号の一部δi1(+)
とする。図30はこの様子を示すものである。さらに、
フォワード処理と同様に、結合係数Tijを1パルス分シ
フトさせて、上記と同様の処理を行う。このような処理
をデータ長分(ここでは、4)、繰返して行うことによ
り、δi1(+)〜δi4(+)(=δi(+))が生成される。
【0075】同様に、1つ先の層のj番目の神経細胞ユ
ニットから時間的に直列に入力してくる負の誤差信号δ
j1(-)〜δj4(-)を並列に配置し(並び換え)、これに対
応させて並列に配置させた結合係数Tij1(+)〜Tij4(+)
との論理積をとる。同様に、時間的に直列に入力してく
る正の誤差信号δj1(+)〜δj4(+)を並列に配置し(並び
換え)、これに対応させて並列に配置させた結合係数T
ij1(-)〜Tij4(-)との論理積をとる。さらに、これらの
演算結果δj1(-)∩Tij1(+),〜,δj4(-)∩Tij4(+),
δj1(+)∩Tij1(-),〜,δj4(+)∩Tij4(-)の論理和を
求める。これを、自己の神経細胞ユニットiの負の誤差
信号の一部δi1(-) とする。図31はこの様子を示すも
のである。さらに、フォワード処理と同様に、結合係数
Tijを1パルス分シフトさせて、上記と同様の処理を行
う。このような処理をデータ長分(ここでは、4)、繰
返して行うことにより、δi1(-)〜δi4(-)(=δi(-))
が生成される。
ニットから時間的に直列に入力してくる負の誤差信号δ
j1(-)〜δj4(-)を並列に配置し(並び換え)、これに対
応させて並列に配置させた結合係数Tij1(+)〜Tij4(+)
との論理積をとる。同様に、時間的に直列に入力してく
る正の誤差信号δj1(+)〜δj4(+)を並列に配置し(並び
換え)、これに対応させて並列に配置させた結合係数T
ij1(-)〜Tij4(-)との論理積をとる。さらに、これらの
演算結果δj1(-)∩Tij1(+),〜,δj4(-)∩Tij4(+),
δj1(+)∩Tij1(-),〜,δj4(+)∩Tij4(-)の論理和を
求める。これを、自己の神経細胞ユニットiの負の誤差
信号の一部δi1(-) とする。図31はこの様子を示すも
のである。さらに、フォワード処理と同様に、結合係数
Tijを1パルス分シフトさせて、上記と同様の処理を行
う。このような処理をデータ長分(ここでは、4)、繰
返して行うことにより、δi1(-)〜δi4(-)(=δi(-))
が生成される。
【0076】以上をまとめると、(13)式に示すようにな
る。
る。
【0077】
【数8】
【0078】さらに、本実施例の場合も、入力されてく
る誤差信号に対して各々同じ又は異なる学習のレート
(学習定数)を設けてもよい。
る誤差信号に対して各々同じ又は異なる学習のレート
(学習定数)を設けてもよい。
【0079】c.結合係数の更新 この処理は、前記実施例における「結合係数の更新」処
理と全く同様でよく、前述した(9)式のような処理を行
えばよい。以上の学習則に基づいてネットワークの計算
をする。なお、フォワード処理、学習処理とも、Tijで
論理積の演算を行うときのパルス列のずらし量は、1パ
ルスに限るものではない。
理と全く同様でよく、前述した(9)式のような処理を行
えばよい。以上の学習則に基づいてネットワークの計算
をする。なお、フォワード処理、学習処理とも、Tijで
論理積の演算を行うときのパルス列のずらし量は、1パ
ルスに限るものではない。
【0080】次に、以上のアルゴリズムに基づく実際の
回路構成を説明する。図32及び図33にその回路構成
例を示すが、基本的には前記実施例の図1及び図20に
準じた構成とされている。本実施例では、論理回路28
中のORゲート51の出力側にスイッチ62が設けら
れ、かつ、論理回路42中のカウンタ及びパルス列発生
器60,61に代えてスイッチ63,64が設けられて
いる。また、図33では正、負の誤差信号を保持するた
めのシフトレジスタ65,66が設けられている。
回路構成を説明する。図32及び図33にその回路構成
例を示すが、基本的には前記実施例の図1及び図20に
準じた構成とされている。本実施例では、論理回路28
中のORゲート51の出力側にスイッチ62が設けら
れ、かつ、論理回路42中のカウンタ及びパルス列発生
器60,61に代えてスイッチ63,64が設けられて
いる。また、図33では正、負の誤差信号を保持するた
めのシフトレジスタ65,66が設けられている。
【0081】なお、本発明を構成する上では、上記の構
成例に限らず、同等の機能を有するものであればよく、
さらには、全てをハードウエア構成することなく、その
一部又は全部をソフトウエアで実現するようにしてもよ
い。
成例に限らず、同等の機能を有するものであればよく、
さらには、全てをハードウエア構成することなく、その
一部又は全部をソフトウエアで実現するようにしてもよ
い。
【0082】
【発明の効果】本発明は、上述したように構成し、入力
信号と結合係数との演算、誤差信号と結合係数との演算
等を時間方向に行い、或いは、結合係数や誤差信号等の
パルス列を並べ換え又はずらした演算を行い、その結果
をカウンタで計数して計数値に基づく出力信号を出力さ
せる等の処理を行うことで、時間加重を考慮した演算処
理ないしは学習処理を行えるようにしたので、ハードウ
エア化が容易でシンプルなパルス密度表現のパルス列信
号にして、複数入力1出力の非線形処理を適正に行うこ
とができ、小型で安価な自己学習機能付きのパルス密度
型による大規模なニューラルネットワークを構築できる
ものとなる。
信号と結合係数との演算、誤差信号と結合係数との演算
等を時間方向に行い、或いは、結合係数や誤差信号等の
パルス列を並べ換え又はずらした演算を行い、その結果
をカウンタで計数して計数値に基づく出力信号を出力さ
せる等の処理を行うことで、時間加重を考慮した演算処
理ないしは学習処理を行えるようにしたので、ハードウ
エア化が容易でシンプルなパルス密度表現のパルス列信
号にして、複数入力1出力の非線形処理を適正に行うこ
とができ、小型で安価な自己学習機能付きのパルス密度
型による大規模なニューラルネットワークを構築できる
ものとなる。
【図1】本発明の第一の実施例を示す論理回路図であ
る。
る。
【図2】基本的な信号処理を行なうための論理回路図で
ある。
ある。
【図3】ネットワーク構成例を示す模式図である。
【図4】論理演算例を示すタイミングチャートである。
【図5】論理演算例を示すタイミングチャートである。
【図6】論理演算例を示すタイミングチャートである。
【図7】論理演算例を示すタイミングチャートである。
【図8】論理演算例を示すタイミングチャートである。
【図9】論理演算例を示すタイミングチャートである。
【図10】論理演算例を示すタイミングチャートであ
る。
る。
【図11】論理演算例を示すタイミングチャートであ
る。
る。
【図12】論理演算例を示すタイミングチャートであ
る。
る。
【図13】論理演算例を示すタイミングチャートであ
る。
る。
【図14】論理演算例を示すタイミングチャートであ
る。
る。
【図15】論理演算例を示すタイミングチャートであ
る。
る。
【図16】論理演算例を示すタイミングチャートであ
る。
る。
【図17】論理演算例を示すタイミングチャートであ
る。
る。
【図18】論理演算例を示すタイミングチャートであ
る。
る。
【図19】論理演算例を示すタイミングチャートであ
る。
る。
【図20】各部の構成例を示す論理回路図である。
【図21】本発明の第二の実施例を示す基本的な信号処
理を行なうための論理回路図である。
理を行なうための論理回路図である。
【図22】論理演算例を示すタイミングチャートであ
る。
る。
【図23】論理演算例を示すタイミングチャートであ
る。
る。
【図24】論理演算例を示すタイミングチャートであ
る。
る。
【図25】論理演算例を示すタイミングチャートであ
る。
る。
【図26】論理演算例を示すタイミングチャートであ
る。
る。
【図27】論理演算例を示すタイミングチャートであ
る。
る。
【図28】論理演算例を示すタイミングチャートであ
る。
る。
【図29】論理演算例を示すタイミングチャートであ
る。
る。
【図30】論理演算例を示すタイミングチャートであ
る。
る。
【図31】論理演算例を示すタイミングチャートであ
る。
る。
【図32】各部の構成例を示す論理回路図である。
【図33】各部の構成例を示す論理回路図である。
【図34】従来例を示す1つのユニット構成を示す概念
図である。
図である。
【図35】そのニューラルネットワーク構成の概念図で
ある。
ある。
【図36】シグモイド関数を示すグラフである。
20 信号処理手段 26 メモリ 27 論理積演算手段 32 グループ分け手段 33a,33b 論理和演算手段 34 論理演算手段 47 グループ分け手段 48 論理和演算手段 49 分周手段 50 結合係数可変回路 51 論理和演算手段 52 メモリ 53 カウンタ 54,55 論理積演算手段 56,57 論理和演算手段 58,59 メモリ 60,61 カウンタ 62〜64 スイッチ
Claims (13)
- 【請求項1】 パルス密度により表現された複数の入力
信号を入力として演算処理を行い、パルス密度により表
現された1つの出力信号を出力するようにしたパルス密
度型の信号処理装置において、前記各入力信号と結合係
数とを論理演算する論理演算手段と、この論理演算手段
による演算結果について時間方向で論理和を演算する論
理和演算手段と、この論理和演算手段による演算結果を
計数するカウンタと、このカウンタにより計数された計
数値に応じたパルス密度表現の出力信号を出力させる信
号出力手段とを有する信号処理手段を設けたことを特徴
とする信号処理装置。 - 【請求項2】 パルス密度により表現された複数の入力
信号を入力として演算処理を行い、パルス密度により表
現された1つの出力信号を出力するようにしたパルス密
度型の信号処理装置において、誤差信号と結合係数とを
論理演算する論理演算手段と、この論理演算手段による
演算結果について時間方向で論理和を演算する論理和演
算手段と、この論理和演算手段による演算結果を計数す
るカウンタと、このカウンタにより計数された計数値に
応じたパルス密度表現の出力信号を出力させる信号出力
手段とを有する信号処理手段を設けたことを特徴とする
信号処理装置。 - 【請求項3】 パルス密度により表現された複数の入力
信号を入力として演算処理を行い、パルス密度により表
現された1つの出力信号を出力するようにしたパルス密
度型の信号処理装置において、前記各入力信号と結合係
数とを論理演算する第1の論理演算手段と、この第1の
論理演算手段による演算結果について時間方向で論理和
を演算する第1の論理和演算手段と、この第1の論理和
演算手段による演算結果を計数する第1のカウンタと、
この第1のカウンタにより計数された計数値に応じたパ
ルス密度表現の出力信号を出力させる第1の信号出力手
段と、誤差信号と結合係数とを論理演算する第2の論理
演算手段と、この第2の論理演算手段による演算結果に
ついて時間方向で論理和を演算する第2の論理和演算手
段と、この第2の論理和演算手段による演算結果を計数
する第2のカウンタと、この第2のカウンタにより計数
された計数値に応じたパルス密度表現の出力信号を出力
させる第2の信号出力手段とを有する信号処理手段を設
けたことを特徴とする信号処理装置。 - 【請求項4】 パルス密度により表現された複数の入力
信号を入力として演算処理を行い、パルス密度により表
現された1つの出力信号を出力するようにしたパルス密
度型の信号処理装置において、複数の入力信号に対して
各々結合係数を保持する係数メモリと、前記入力信号と
パルス密度により表現された前記結合係数との論理積を
演算する論理積演算手段と、この論理積演算手段による
演算結果を時間遅延させて格納するメモリと、前記論理
積演算手段による演算結果と前記メモリに格納された前
の演算時刻における演算結果との論理和を演算する第1
の論理和演算手段と、この第1の論理和演算手段による
演算結果を興奮性結合グループと抑制性結合グループと
に2分するグループ分け手段と、各々のグループで論理
和を演算する第2の論理和演算手段と、興奮性結合グル
ープの演算結果と抑制性結合グループの演算結果の否定
との論理積を演算する論理演算手段と、この論理演算手
段による演算結果を計数するカウンタと、このカウンタ
により計数された計数値に応じたパルス密度表現の出力
信号を出力させる信号出力手段とを有する信号処理手段
を設けたことを特徴とする信号処理装置。 - 【請求項5】 パルス密度により表現された複数の入力
信号を入力として演算処理を行い、パルス密度により表
現された1つの出力信号を出力するようにしたパルス密
度型の信号処理装置において、パルス密度により表現さ
れた複数の正の誤差信号と負の誤差信号とを入力として
各々の論理和を演算する第1の論理和演算手段と、この
第1の論理和演算手段による演算結果を分周する分周手
段と、この分周手段により分周された結果を興奮性結合
グループと抑制性結合グループとに2分するグループ分
け手段と、各々のグループの演算結果を時間遅延させて
格納するメモリと、これらのグループ別の演算結果と前
記メモリに格納された前の演算時刻における演算結果と
の論理和を演算する第2の論理和演算手段と、この第2
の論理和演算手段による演算結果を計数するカウンタ
と、このカウンタにより計数された計数値に応じたパル
ス密度表現の出力信号を出力させる信号出力手段と、こ
の信号出力手段により出力される出力信号に基づき結合
係数を変化させる結合係数可変手段とを有する信号処理
手段を設けたことを特徴とする信号処理装置。 - 【請求項6】 パルス密度により表現された複数の入力
信号を入力として演算処理を行い、パルス密度により表
現された1つの出力信号を出力するようにしたパルス密
度型の信号処理装置において、複数の入力信号に対して
各々結合係数を保持する係数メモリと、前記入力信号と
パルス密度により表現された前記結合係数との論理積を
演算する第1の論理積演算手段と、この第1の論理積演
算手段による演算結果を時間遅延させて格納する第1の
メモリと、前記第1の論理積演算手段による演算結果と
前記第1のメモリに格納された前の演算時刻における演
算結果との論理和を演算する第1の論理和演算手段と、
この第1の論理和演算手段による演算結果を興奮性結合
グループと抑制性結合グループとに2分する第1のグル
ープ分け手段と、各々のグループで論理和を演算する第
2の論理和演算手段と、興奮性結合グループの演算結果
と抑制性結合グループの演算結果の否定との論理積を演
算する第2の論理積演算手段と、この第2の論理積演算
手段による演算結果を計数する第1のカウンタと、この
第1のカウンタにより計数された計数値に応じたパルス
密度表現の出力信号を出力させる第1の信号出力手段
と、パルス密度により表現された複数の正の誤差信号と
負の誤差信号とを入力として各々の論理和を演算する第
3の論理和演算手段と、この第3の論理和演算手段によ
る演算結果を分周する分周手段と、この分周手段により
分周された結果を興奮性結合グループと抑制性結合グル
ープとに2分する第2のグループ分け手段と、各々のグ
ループの演算結果を時間遅延させて格納する第2のメモ
リと、これらのグループ別の演算結果と前記第2のメモ
リに格納された前の演算時刻における演算結果との論理
和を演算する第4の論理和演算手段と、この第4の論理
和演算手段による演算結果を計数する第2のカウンタ
と、この第2のカウンタにより計数された計数値に応じ
たパルス密度表現の出力信号を出力させる第2の信号出
力手段と、この第2の信号出力手段により出力される出
力信号に基づき結合係数を変化させる結合係数可変手段
とを有する信号処理手段を設けたことを特徴とする信号
処理装置。 - 【請求項7】 パルス密度により表現された複数の入力
信号を入力として演算処理を行い、パルス密度により表
現された1つの出力信号を出力するようにしたパルス密
度型の信号処理装置において、パルス密度で表現された
結合係数のパルス列を並び換え又はずらす係数変換手段
と、前記各入力信号と結合係数とを論理演算する論理演
算手段と、この論理演算手段による演算結果について時
間方向で論理和を演算する論理和演算手段とを有する信
号処理手段を設けたことを特徴とする信号処理装置。 - 【請求項8】 パルス密度により表現された複数の入力
信号を入力として演算処理を行い、パルス密度により表
現された1つの出力信号を出力するようにしたパルス密
度型の信号処理装置において、パルス密度で表現された
誤差信号のパルス列を並び換え又はずらす誤差信号変換
手段と、前記誤差信号と結合係数とを論理演算する論理
演算手段と、この論理演算手段による演算結果について
時間方向で論理和を演算する論理和演算手段とを有する
信号処理手段を設けたことを特徴とする信号処理装置。 - 【請求項9】 パルス密度により表現された複数の入力
信号を入力として演算処理を行い、パルス密度により表
現された1つの出力信号を出力するようにしたパルス密
度型の信号処理装置において、パルス密度で表現された
結合係数のパルス列を並び換え又はずらす係数変換手段
と、前記各入力信号と結合係数とを論理演算する第1の
論理演算手段と、この第1の論理演算手段による演算結
果について時間方向で論理和を演算する第1の論理和演
算手段と、パルス密度で表現された誤差信号のパルス列
を並び換え又はずらす誤差信号変換手段と、前記誤差信
号と結合係数とを論理演算する第2の論理演算手段と、
この第2の論理演算手段による演算結果について時間方
向で論理和を演算する第2の論理和演算手段とを有する
信号処理手段を設けたことを特徴とする信号処理装置。 - 【請求項10】 パルス密度により表現された複数の入
力信号を入力として演算処理を行い、パルス密度により
表現された1つの出力信号を出力するようにしたパルス
密度型の信号処理装置において、複数の入力信号に対し
て各々結合係数を保持する係数メモリと、パルス密度で
表現された結合係数のパルス列を並び換え又はずらす係
数変換手段と、前記入力信号と前記結合係数との論理積
を演算する第1の論理積演算手段と、この第1の論理積
演算手段による演算結果を時間遅延させて格納するメモ
リと、前記第1の論理積演算手段による演算結果と前記
メモリに格納された前の演算時刻における演算結果との
論理和を演算する第1の論理和演算手段と、この第1の
論理和演算手段による演算終了後にその出力を許容する
ため出力線を閉じるスイッチと、前記第1の論理和演算
手段の演算結果を興奮性結合グループと抑制性結合グル
ープとに2分するグループ分け手段と、各々のグループ
で論理和を演算する第2の論理和演算手段と、興奮性結
合グループの演算結果と抑制性結合グループの演算結果
の否定との論理積を演算する第2の論理積演算手段とを
有する信号処理手段を設けたことを特徴とする信号処理
装置。 - 【請求項11】 パルス密度により表現された複数の入
力信号を入力として演算処理を行い、パルス密度により
表現された1つの出力信号を出力するようにしたパルス
密度型の信号処理装置において、パルス密度により表現
された複数の正の誤差信号と負の誤差信号とを入力とし
て各々の論理和を演算する第1の論理和演算手段と、こ
れらの正、負の誤差信号の各々のパルス列を並び換え又
はずらす誤差信号変換手段と、この誤差信号変換手段に
より処理された前記第1の論理和演算手段の演算結果を
分周する分周手段と、この分周手段により分周された結
果を興奮性結合グループと抑制性結合グループとに2分
するグループ分け手段と、各々のグループの演算結果を
時間遅延させて格納するメモリと、各々のグループの演
算結果と前記メモリに格納された前の演算時刻における
演算結果との論理和を演算する第2の論理和演算手段
と、この第2の論理和演算手段による演算終了後にその
出力を許容するため出力線を閉じるスイッチと、この出
力線より出力される出力信号に基づき結合係数を変化さ
せる結合係数可変手段とを有する信号処理手段を設けた
ことを特徴とする信号処理装置。 - 【請求項12】 パルス密度により表現された複数の入
力信号を入力として演算処理を行い、パルス密度により
表現された1つの出力信号を出力するようにしたパルス
密度型の信号処理装置において、複数の入力信号に対し
て各々結合係数を保持する係数メモリと、パルス密度で
表現された結合係数のパルス列を並び換え又はずらす係
数変換手段と、前記入力信号と前記結合係数との論理積
を演算する第1の論理積演算手段と、この第1の論理積
演算手段による演算結果を時間遅延させて格納する第1
のメモリと、前記第1の論理積演算手段による演算結果
と前記第1のメモリに格納された前の演算時刻における
演算結果との論理和を演算する第1の論理和演算手段
と、この第1の論理和演算手段による演算終了後にその
出力を許容するため出力線を閉じる第1のスイッチと、
前記第1の論理和演算手段の演算結果を興奮性結合グル
ープと抑制性結合グループとに2分する第1のグループ
分け手段と、各々のグループで論理和を演算する第2の
論理和演算手段と、興奮性結合グループの演算結果と抑
制性結合グループの演算結果の否定との論理積を演算す
る第2の論理積演算手段と、パルス密度により表現され
た複数の正の誤差信号と負の誤差信号とを入力として各
々の論理和を演算する第3の論理和演算手段と、これら
の正、負の誤差信号の各々のパルス列を並び換え又はず
らす誤差信号変換手段と、この誤差信号変換手段により
処理された前記第3の論理和演算手段の演算結果を分周
する分周手段と、この分周手段により分周された結果を
興奮性結合グループと抑制性結合グループとに2分する
第2のグループ分け手段と、各々のグループの演算結果
を時間遅延させて格納する第2のメモリと、各々のグル
ープの演算結果と前記第2のメモリに格納された前の演
算時刻における演算結果との論理和を演算する第2の論
理和演算手段と、この第2の論理和演算手段による演算
終了後にその出力を許容するため出力線を閉じる第2の
スイッチと、この出力線より出力される出力信号に基づ
き結合係数を変化させる結合係数可変手段とを有する信
号処理手段を設けたことを特徴とする信号処理装置。 - 【請求項13】 複数の信号処理手段を網状に接続した
ことを特徴とする請求項1,2,3,4,5,6,7,
8,9,10,11又は12記載の信号処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP4104375A JPH05298276A (ja) | 1992-04-23 | 1992-04-23 | 信号処理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP4104375A JPH05298276A (ja) | 1992-04-23 | 1992-04-23 | 信号処理装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH05298276A true JPH05298276A (ja) | 1993-11-12 |
Family
ID=14379041
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP4104375A Pending JPH05298276A (ja) | 1992-04-23 | 1992-04-23 | 信号処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPH05298276A (ja) |
-
1992
- 1992-04-23 JP JP4104375A patent/JPH05298276A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Lee et al. | Identification and control of dynamic systems using recurrent fuzzy neural networks | |
JPH07111090A (ja) | 信号処理装置 | |
US5485548A (en) | Signal processing apparatus using a hierarchical neural network | |
Nair et al. | Direct CMOS implementation of neuromorphic temporal neural networks for sensory processing | |
JPH05298276A (ja) | 信号処理装置 | |
JPH05165987A (ja) | 信号処理装置 | |
JP3256553B2 (ja) | 信号処理装置の学習方法 | |
JPH09185596A (ja) | パルス密度型信号処理回路網における結合係数更新方法 | |
JPH05210650A (ja) | 信号処理装置 | |
JPH05298275A (ja) | 信号処理装置 | |
JPH05108594A (ja) | 信号処理装置 | |
JPH05108598A (ja) | 信号処理装置 | |
JPH05135001A (ja) | 信号処理装置 | |
JP2612640B2 (ja) | 信号処理回路、信号処理回路網、信号処理装置及び信号処理方法 | |
JP3255425B2 (ja) | 信号処理方法 | |
JP3338713B2 (ja) | 信号処理装置 | |
JPH07334478A (ja) | パルス密度型信号処理回路網における結合係数更新方法 並びに結合係数更新装置 | |
JPH05108597A (ja) | 信号処理装置 | |
JPH05307624A (ja) | 信号処理装置 | |
JPH05108599A (ja) | 信号処理装置 | |
JPH05290014A (ja) | 信号処理装置 | |
JPH05120254A (ja) | 信号処理装置 | |
JP3130913B2 (ja) | 信号処理装置 | |
JPH0573704A (ja) | 信号処理回路装置 | |
JPH03268080A (ja) | 信号処理装置 |