JPH06301667A - 信号処理装置 - Google Patents
信号処理装置Info
- Publication number
- JPH06301667A JPH06301667A JP5090339A JP9033993A JPH06301667A JP H06301667 A JPH06301667 A JP H06301667A JP 5090339 A JP5090339 A JP 5090339A JP 9033993 A JP9033993 A JP 9033993A JP H06301667 A JPH06301667 A JP H06301667A
- Authority
- JP
- Japan
- Prior art keywords
- pulse train
- pulse
- output
- signal processing
- random number
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Feedback Control In General (AREA)
Abstract
(57)【要約】
【目的】 学習プロセス時に、神経細胞模倣素子からの
出力パルス列のパルス密度が０となって、学習が途中で
止まってしまうような不都合を回避すること。 【構成】 パルス密度により表現された複数の入力パル
ス列を入力として演算処理を行い、パルス密度により表
現された１つの出力パルス列を出力するようにした自己
学習機能を有する神経細胞模倣素子１を備えたパルス密
度型の信号処理装置において、前記神経細胞模倣素子１
の出力パルス列のパルス密度を少なくとも０よりも大き
な値に規制する出力規制手段２を設け、さらに、この出
力規制手段２を選択的に動作させる選択手段７を設け
た。
出力パルス列のパルス密度が０となって、学習が途中で
止まってしまうような不都合を回避すること。 【構成】 パルス密度により表現された複数の入力パル
ス列を入力として演算処理を行い、パルス密度により表
現された１つの出力パルス列を出力するようにした自己
学習機能を有する神経細胞模倣素子１を備えたパルス密
度型の信号処理装置において、前記神経細胞模倣素子１
の出力パルス列のパルス密度を少なくとも０よりも大き
な値に規制する出力規制手段２を設け、さらに、この出
力規制手段２を選択的に動作させる選択手段７を設け
た。
Description
【０００１】
【産業上の利用分野】本発明は、例えば画像や音声の認
識、ロボット等の位置制御、エアコンの温度制御、ロケ
ットの軌道制御等のような各種運動の制御に適用可能
な、神経細胞を模倣したニューロコンピュータ等の信号
処理装置に関する。
識、ロボット等の位置制御、エアコンの温度制御、ロケ
ットの軌道制御等のような各種運動の制御に適用可能
な、神経細胞を模倣したニューロコンピュータ等の信号
処理装置に関する。
【０００２】
【従来の技術】生体の情報処理の基本的な単位である神
経細胞（ニューロン）の機能を模倣し、さらに、この
「神経細胞模倣素子」（神経細胞ユニット）をネットワ
ークにし、情報の並列処理を目指したのが、いわゆるニ
ューラルネットワークである。文字認識や連想記憶、運
動制御等、生体ではいとも簡単に行われていても、従来
のノイマン型コンピュータではなかなか達成しないもの
が多い。生体の神経系、特に生体特有の機能、即ち並列
処理、自己学習等をニューラルネットワークにより模倣
して、これらの問題を解決しようとする試みが盛んに行
われている。
経細胞（ニューロン）の機能を模倣し、さらに、この
「神経細胞模倣素子」（神経細胞ユニット）をネットワ
ークにし、情報の並列処理を目指したのが、いわゆるニ
ューラルネットワークである。文字認識や連想記憶、運
動制御等、生体ではいとも簡単に行われていても、従来
のノイマン型コンピュータではなかなか達成しないもの
が多い。生体の神経系、特に生体特有の機能、即ち並列
処理、自己学習等をニューラルネットワークにより模倣
して、これらの問題を解決しようとする試みが盛んに行
われている。
【０００３】このようなニューラルネットワークをハー
ドウエアにより作製する試みが、近年、多くなされてい
るが、このようなハードウエア化については、アナログ
型とデジタル型とに大別される。しかし、アナログ型の
ものでは動作に確実性がなく、数値計算による学習方法
も計算が複雑であり、ハードウエア化に適さず、動作が
確実なデジタル型のものは回路構成が大規模で複雑とな
る欠点がある。
ドウエアにより作製する試みが、近年、多くなされてい
るが、このようなハードウエア化については、アナログ
型とデジタル型とに大別される。しかし、アナログ型の
ものでは動作に確実性がなく、数値計算による学習方法
も計算が複雑であり、ハードウエア化に適さず、動作が
確実なデジタル型のものは回路構成が大規模で複雑とな
る欠点がある。
【０００４】このような欠点を解消するため、デジタル
型の一つとして、信号をパルス列で表現する方式とした
パルス密度型で自己学習機能付きのニューラルネットワ
ークが本出願人により多数提案されている。このような
パルス密度型ニューラルネットワークに関する多数の提
案は、例えば特開平４−５４９号公報に示される提案を
フォワードプロセスの基本とし、特開平４−１１１１８
５号公報に示される提案を学習プロセスの基本とし、種
々改良したものである。
型の一つとして、信号をパルス列で表現する方式とした
パルス密度型で自己学習機能付きのニューラルネットワ
ークが本出願人により多数提案されている。このような
パルス密度型ニューラルネットワークに関する多数の提
案は、例えば特開平４−５４９号公報に示される提案を
フォワードプロセスの基本とし、特開平４−１１１１８
５号公報に示される提案を学習プロセスの基本とし、種
々改良したものである。
【０００５】ここで、本出願人既提案によるパルス密度
型ニューラルネットワークにおける信号処理について簡
単に説明する。パルス列としては、実際にはビット列を
用いる。即ち、値として“０”又は“１”をとるビット
の列（２値化された情報単位）でパルス列を表し、値が
“１”であるビットでパルスを表し、値が“０”である
ビットでパルスがないことを表す。
型ニューラルネットワークにおける信号処理について簡
単に説明する。パルス列としては、実際にはビット列を
用いる。即ち、値として“０”又は“１”をとるビット
の列（２値化された情報単位）でパルス列を表し、値が
“１”であるビットでパルスを表し、値が“０”である
ビットでパルスがないことを表す。
【０００６】信号の値は、パルスの密度、即ち、ビット
列中の値“１”のビットの密度で表す。換言すると、信
号の値はビット列中のビットの値が“１”である確率に
等しい。例えば、ビット列の長さを１０ビットとする
と、このニューラルネットワークに値“０．６”の信号
を入力した時、このニューラルネットワークには、１０
個のビットの内、６個が値“１”であり残りの４個が値
“０”であるビット列が入力されることになる。
列中の値“１”のビットの密度で表す。換言すると、信
号の値はビット列中のビットの値が“１”である確率に
等しい。例えば、ビット列の長さを１０ビットとする
と、このニューラルネットワークに値“０．６”の信号
を入力した時、このニューラルネットワークには、１０
個のビットの内、６個が値“１”であり残りの４個が値
“０”であるビット列が入力されることになる。
【０００７】ニューラルネットワーク内の各ニューロン
へは、ニューラルネットワークの外から、又は、ニュー
ラルネットワーク内の他の幾つかのニューロンから送ら
れてきたパルス列が入力信号として入ってくる。ニュー
ロンと他のニューロンとの結合の強さを表す結合係数
も、パルス列で表す。入力パルス列の結合係数パルス列
による重み付けは、入力パルス列と結合係数パルス列と
の論理積をとることにより行う。ここに、個々のニュー
ロンを考えた場合、このような結合には、相手のニュー
ロンからの信号が大きい程自己のニューロン出力が大き
くなる興奮性結合と、相手のニューロンからの信号が大
きい程自己のニューロン出力が小さくなる抑制性結合と
があるため、結合係数パルス列により重み付けされた入
力パルス列を興奮性結合グループと抑制性結合グループ
との２つのグループに分け、各グループ毎に別々に、こ
の重み付けされた入力パルス列同士の論理和をとる。次
に、これらの２つの論理和で得られたパルス列に論理演
算を施して新たなパルス列を生成し、そのパルス列を出
力パルス列としてニューロンの外に出力する。このよう
なニューロンの出力パルス列は、ニューラルネットワー
ク内の他の幾つかのニューロンに送られてそれらのニュ
ーロンの入力パルス列となり、又は、ニューラルネット
ワークの外へ送られてニューラルネットワークの最終的
な出力パルス列となる。
へは、ニューラルネットワークの外から、又は、ニュー
ラルネットワーク内の他の幾つかのニューロンから送ら
れてきたパルス列が入力信号として入ってくる。ニュー
ロンと他のニューロンとの結合の強さを表す結合係数
も、パルス列で表す。入力パルス列の結合係数パルス列
による重み付けは、入力パルス列と結合係数パルス列と
の論理積をとることにより行う。ここに、個々のニュー
ロンを考えた場合、このような結合には、相手のニュー
ロンからの信号が大きい程自己のニューロン出力が大き
くなる興奮性結合と、相手のニューロンからの信号が大
きい程自己のニューロン出力が小さくなる抑制性結合と
があるため、結合係数パルス列により重み付けされた入
力パルス列を興奮性結合グループと抑制性結合グループ
との２つのグループに分け、各グループ毎に別々に、こ
の重み付けされた入力パルス列同士の論理和をとる。次
に、これらの２つの論理和で得られたパルス列に論理演
算を施して新たなパルス列を生成し、そのパルス列を出
力パルス列としてニューロンの外に出力する。このよう
なニューロンの出力パルス列は、ニューラルネットワー
ク内の他の幾つかのニューロンに送られてそれらのニュ
ーロンの入力パルス列となり、又は、ニューラルネット
ワークの外へ送られてニューラルネットワークの最終的
な出力パルス列となる。
【０００８】即ち、本出願人既提案例のパルス密度型に
おけるニューロンの入出力特性は、あるニューロンｉか
らの入力パルス列をｙi 、自己のニューロンｊとの結合
係数パルス列をＴij、ニューロンｊにおいて興奮性結合
グループ分の出力パルス列をｙFj、ニューロンｊにおい
て抑制性結合グループ分の出力パルス列をｙIjとする
と、(１)〜(３)式のような関係が成立する。
おけるニューロンの入出力特性は、あるニューロンｉか
らの入力パルス列をｙi 、自己のニューロンｊとの結合
係数パルス列をＴij、ニューロンｊにおいて興奮性結合
グループ分の出力パルス列をｙFj、ニューロンｊにおい
て抑制性結合グループ分の出力パルス列をｙIjとする
と、(１)〜(３)式のような関係が成立する。
【０００９】
【数１】
【００１０】一方、本出願人既提案例のパルス密度型で
階層型ニューラルネットワークの学習は、通常の階層型
のニューラルネットワークで広く用いられている誤差逆
伝播法（バックプロパゲーション法）に従って実行され
る。例えば、入力層、中間層及び出力層よりなる３層構
造において、出力層中のニューロンが出力する出力パル
ス列と教師信号パルス列とから、この出力層のニューロ
ンに与える誤差信号パルス列を生成し、この誤差信号パ
ルス列を中間層のニューロンへ送り、同様に処理する、
といったように、出力層側から入力層側へ向けて誤差信
号パルス列を各層で生成しながら順に前の層へ送ってい
くと同時に、各層のニューロンは受取った後の層の誤差
信号パルス列を基に、自己のニューロンと前の層のニュ
ーロンとの間の結合係数パルス列を更新していくことに
より学習が行われる。
階層型ニューラルネットワークの学習は、通常の階層型
のニューラルネットワークで広く用いられている誤差逆
伝播法（バックプロパゲーション法）に従って実行され
る。例えば、入力層、中間層及び出力層よりなる３層構
造において、出力層中のニューロンが出力する出力パル
ス列と教師信号パルス列とから、この出力層のニューロ
ンに与える誤差信号パルス列を生成し、この誤差信号パ
ルス列を中間層のニューロンへ送り、同様に処理する、
といったように、出力層側から入力層側へ向けて誤差信
号パルス列を各層で生成しながら順に前の層へ送ってい
くと同時に、各層のニューロンは受取った後の層の誤差
信号パルス列を基に、自己のニューロンと前の層のニュ
ーロンとの間の結合係数パルス列を更新していくことに
より学習が行われる。
【００１１】ここに、誤差信号を考えた場合、数値で表
すと、一般に正、負の両方をとり得るが、パルス密度表
現の場合、正、負の両方を同時に表現できないので、＋
成分を表す誤差信号パルス列と−成分を表す誤差信号パ
ルス列との２種類の誤差信号を用いて、バックプロパゲ
ーション型の学習を進めるようにしている。例えば、ニ
ューロンｊにおいて、教師信号パルス列と出力パルス列
とで違っている部分の内で、教師信号パルス列側に存在
するパルス分が正の誤差信号パルス列δj(+)とされ、出
力パルス列側に存在するパルス分が負の誤差信号パルス
列δj(-)とされる。このような正、負の誤差信号パルス
列δj(+)，δj(-)と前の層のニューロンからの入力パル
ス列ｙi とを用いて、結合係数パルス列の変化分ΔＴ
ij(+) ，ΔＴij(+) を(４)(５)式のように算出して、メ
モリに保存されている結合係数パルス列Ｔijを増減させ
るように更新書換えすることになる。
すと、一般に正、負の両方をとり得るが、パルス密度表
現の場合、正、負の両方を同時に表現できないので、＋
成分を表す誤差信号パルス列と−成分を表す誤差信号パ
ルス列との２種類の誤差信号を用いて、バックプロパゲ
ーション型の学習を進めるようにしている。例えば、ニ
ューロンｊにおいて、教師信号パルス列と出力パルス列
とで違っている部分の内で、教師信号パルス列側に存在
するパルス分が正の誤差信号パルス列δj(+)とされ、出
力パルス列側に存在するパルス分が負の誤差信号パルス
列δj(-)とされる。このような正、負の誤差信号パルス
列δj(+)，δj(-)と前の層のニューロンからの入力パル
ス列ｙi とを用いて、結合係数パルス列の変化分ΔＴ
ij(+) ，ΔＴij(+) を(４)(５)式のように算出して、メ
モリに保存されている結合係数パルス列Ｔijを増減させ
るように更新書換えすることになる。
【００１２】
【数２】 ΔＴij(+) ＝δj(+) ∩ ｙi ………………(４) ΔＴij(-) ＝δj(-) ∩ ｙi ………………(５)
【００１３】
【発明が解決しようとする課題】ところが、(１)〜(３)
式からも分かるように、あるニューロンからの出力パル
ス列のパルス密度が０となってしまうことがある。これ
は、後の層のニューロンにおけるこのニューロンからの
入力パルス列のパルス密度も０になることを意味する。
(４)(５)式で考えれば、パルス列ｙi のパルス密度が０
になることになり、ΔＴij(+) ，ΔＴij(-) がともに０
となり、誤差のないものと見做される。よって、学習は
行われない。特に、学習の途中過程で出力パルス列のパ
ルス密度が０になるような状態に陥ると、そこで学習が
止まってしまうこともある。よって、学習機能が十分に
発揮されないこともある。
式からも分かるように、あるニューロンからの出力パル
ス列のパルス密度が０となってしまうことがある。これ
は、後の層のニューロンにおけるこのニューロンからの
入力パルス列のパルス密度も０になることを意味する。
(４)(５)式で考えれば、パルス列ｙi のパルス密度が０
になることになり、ΔＴij(+) ，ΔＴij(-) がともに０
となり、誤差のないものと見做される。よって、学習は
行われない。特に、学習の途中過程で出力パルス列のパ
ルス密度が０になるような状態に陥ると、そこで学習が
止まってしまうこともある。よって、学習機能が十分に
発揮されないこともある。
【００１４】
【課題を解決するための手段】請求項１記載の発明で
は、パルス密度により表現された複数の入力パルス列を
入力として演算処理を行い、パルス密度により表現され
た１つの出力パルス列を出力するようにした自己学習機
能を有する神経細胞模倣素子を備えたパルス密度型の信
号処理装置において、前記神経細胞模倣素子の出力パル
ス列のパルス密度を少なくとも０よりも大きな値に規制
する出力規制手段を設け、この出力規制手段を選択的に
動作させる選択手段を設けた。
は、パルス密度により表現された複数の入力パルス列を
入力として演算処理を行い、パルス密度により表現され
た１つの出力パルス列を出力するようにした自己学習機
能を有する神経細胞模倣素子を備えたパルス密度型の信
号処理装置において、前記神経細胞模倣素子の出力パル
ス列のパルス密度を少なくとも０よりも大きな値に規制
する出力規制手段を設け、この出力規制手段を選択的に
動作させる選択手段を設けた。
【００１５】ここに、請求項２記載の発明では、神経細
胞模倣素子が学習を行うか否かの切換えに連動する選択
手段とした。
胞模倣素子が学習を行うか否かの切換えに連動する選択
手段とした。
【００１６】この際、請求項３記載の発明では、予め設
定されたパルス密度のパルス列を生成するパルス列生成
手段と、このパルス列生成手段により生成されたパルス
列と神経細胞模倣素子の出力パルス列との論理和を演算
する演算手段とよりなる出力規制手段とした。ここに、
請求項４記載の発明では、乱数生成装置と、この乱数生
成装置から出力される乱数と所定の閾値とを比較してパ
ルス列を出力する比較器とよりなるパルス列生成手段と
した。さらに、請求項５記載の発明では、乱数生成装置
をリニアフィードバックシフトレジスタとした。
定されたパルス密度のパルス列を生成するパルス列生成
手段と、このパルス列生成手段により生成されたパルス
列と神経細胞模倣素子の出力パルス列との論理和を演算
する演算手段とよりなる出力規制手段とした。ここに、
請求項４記載の発明では、乱数生成装置と、この乱数生
成装置から出力される乱数と所定の閾値とを比較してパ
ルス列を出力する比較器とよりなるパルス列生成手段と
した。さらに、請求項５記載の発明では、乱数生成装置
をリニアフィードバックシフトレジスタとした。
【００１７】
【作用】数値演算に関して神経細胞模倣素子の出力関数
にはシグモイド関数を用いており、限りなく０に近付く
ものの、完全に０にはならない。このような点に着目
し、請求項１記載の発明においては、出力規制手段によ
り神経細胞模倣素子の出力パルス列のパルス密度を少な
くとも０より大きな値とすることで、パルス密度が０と
はならないようにしたので、学習が途中で止まってしま
うようなことがなくなり、十分に学習機能を発揮させる
ことができる。ここに、フォワードプロセス時には出力
パルス列のパルス密度が０となってしまうことを規制す
る必要は必ずしもないが、その際には、選択手段により
出力規制手段を動作させなければよく、支障のないもの
となる。
にはシグモイド関数を用いており、限りなく０に近付く
ものの、完全に０にはならない。このような点に着目
し、請求項１記載の発明においては、出力規制手段によ
り神経細胞模倣素子の出力パルス列のパルス密度を少な
くとも０より大きな値とすることで、パルス密度が０と
はならないようにしたので、学習が途中で止まってしま
うようなことがなくなり、十分に学習機能を発揮させる
ことができる。ここに、フォワードプロセス時には出力
パルス列のパルス密度が０となってしまうことを規制す
る必要は必ずしもないが、その際には、選択手段により
出力規制手段を動作させなければよく、支障のないもの
となる。
【００１８】特に、請求項２記載の発明によれば、神経
細胞模倣素子が学習を行うか否かに連動する選択手段と
したので、学習プロセス、フォワードプロセスを各々適
正に行わせることができる。
細胞模倣素子が学習を行うか否かに連動する選択手段と
したので、学習プロセス、フォワードプロセスを各々適
正に行わせることができる。
【００１９】このような作用をなす出力規制手段も、請
求項３ないし５記載の発明のように構成することで容易
に実現できる。
求項３ないし５記載の発明のように構成することで容易
に実現できる。
【００２０】
【実施例】本発明の第一の実施例を図１及び図２に基づ
いて説明する。まず、前述した特開平４−１１１１８５
号公報等に示されるような本出願人既提案方式なるパル
ス密度型ニューラルネットワークを構成するニューロン
（神経細胞模倣素子）１が設けられている。このニュー
ロン１の出力部分に本実施例の要旨とする出力規制手段
２が付加されている。この出力規制手段２は前記ニュー
ロン１から出力される出力パルス列に適宜加工処理を施
して最終的な出力パルス列のパルス密度が０とはならな
いようにするもので、ここでは、パルス列生成装置（パ
ルス列生成手段）３と、このパルス列生成装置３の出力
と前記ニューロン１の出力とを入力とするＯＲゲート
（演算手段）４とにより構成されている。前記パルス列
生成装置３は、予め設定されたパルス密度（ただし、０
ではない）のパルス列を生成出力するもので、例えば、
図２に示すように、クロック信号を入力として計数する
カウンタ５と、このカウンタ５の計数値が所定の周期値
に達する毎に一定周期の１パルスを出力する比較器６と
により構成される。
いて説明する。まず、前述した特開平４−１１１１８５
号公報等に示されるような本出願人既提案方式なるパル
ス密度型ニューラルネットワークを構成するニューロン
（神経細胞模倣素子）１が設けられている。このニュー
ロン１の出力部分に本実施例の要旨とする出力規制手段
２が付加されている。この出力規制手段２は前記ニュー
ロン１から出力される出力パルス列に適宜加工処理を施
して最終的な出力パルス列のパルス密度が０とはならな
いようにするもので、ここでは、パルス列生成装置（パ
ルス列生成手段）３と、このパルス列生成装置３の出力
と前記ニューロン１の出力とを入力とするＯＲゲート
（演算手段）４とにより構成されている。前記パルス列
生成装置３は、予め設定されたパルス密度（ただし、０
ではない）のパルス列を生成出力するもので、例えば、
図２に示すように、クロック信号を入力として計数する
カウンタ５と、このカウンタ５の計数値が所定の周期値
に達する毎に一定周期の１パルスを出力する比較器６と
により構成される。
【００２１】さらに、本実施例にあっては、前記出力規
制手段２の動作を選択的なものとするための切換えスイ
ッチ（選択手段）７が付加されている。この切換えスイ
ッチ７は前記ニューロン１からの出力パルス列をそのま
ま出力させるか、加工処理を経た前記ＯＲゲート４から
の出力パルス列を出力させるかを選択切換えするもの
で、論理回路による電気的なスイッチ等で構成すればよ
い。また、この切換えスイッチ７を切換え動作させるた
めの制御線は全く独立して設けてもよいが、本実施例で
は、ニューロン１における学習プロセス／フォワードプ
ロセスの切換えに連動して切換えスイッチ７が切換えら
れるように構成されている。即ち、学習プロセス時であ
ればＯＲゲート４側が選択され、フォワードプロセス時
であればニューロン１側が選択されるように設定されて
いる。
制手段２の動作を選択的なものとするための切換えスイ
ッチ（選択手段）７が付加されている。この切換えスイ
ッチ７は前記ニューロン１からの出力パルス列をそのま
ま出力させるか、加工処理を経た前記ＯＲゲート４から
の出力パルス列を出力させるかを選択切換えするもの
で、論理回路による電気的なスイッチ等で構成すればよ
い。また、この切換えスイッチ７を切換え動作させるた
めの制御線は全く独立して設けてもよいが、本実施例で
は、ニューロン１における学習プロセス／フォワードプ
ロセスの切換えに連動して切換えスイッチ７が切換えら
れるように構成されている。即ち、学習プロセス時であ
ればＯＲゲート４側が選択され、フォワードプロセス時
であればニューロン１側が選択されるように設定されて
いる。
【００２２】このような構成によれば、学習プロセス時
において、仮にニューロン１の出力パルス列のパルス密
度が０となるようなことがあっても、パルス列生成装置
３で生成されたパルス列との論理和がＯＲゲート４によ
りとられて、最終的な出力パルス列が得られるので、こ
の出力パルス列のパルス密度が０になるようなことはな
い。よって、学習途中であっても、出力パルス列のパル
ス密度が０となり学習が止まってしまうようなことはな
い。ここに、パルス列生成装置３で生成出力するパルス
列のパルス密度はニューロン１からの出力パルス列に極
力影響を及ぼさないようになるべく０に近いほうがよ
い。
において、仮にニューロン１の出力パルス列のパルス密
度が０となるようなことがあっても、パルス列生成装置
３で生成されたパルス列との論理和がＯＲゲート４によ
りとられて、最終的な出力パルス列が得られるので、こ
の出力パルス列のパルス密度が０になるようなことはな
い。よって、学習途中であっても、出力パルス列のパル
ス密度が０となり学習が止まってしまうようなことはな
い。ここに、パルス列生成装置３で生成出力するパルス
列のパルス密度はニューロン１からの出力パルス列に極
力影響を及ぼさないようになるべく０に近いほうがよ
い。
【００２３】一方、フォワードプロセス時においては、
切換えスイッチ７が切換えられてニューロン１の出力パ
ルス列がそのまま最終出力となるので、本出願人既提案
方式通りに動作させることができる。
切換えスイッチ７が切換えられてニューロン１の出力パ
ルス列がそのまま最終出力となるので、本出願人既提案
方式通りに動作させることができる。
【００２４】つづいて、本発明の第二の実施例を図３に
より説明する。本実施例は、パルス列生成装置３の構成
を変えたもので、アナログ構成の乱数生成装置８と比較
器９との組合せ構成としたものである。ここに、乱数生
成装置８には例えばトランジスタの熱雑音等による電圧
値が利用され、比較器９において予め設定された一定電
圧値と比較され、一定電圧値よりも乱数生成装置８の電
圧値の方が大きい時には１を、小さい時には０を出力さ
せることにより、所望のパルス列が得られるものとな
る。この時のパルス列のパルス密度は乱数生成装置８か
ら得られる電圧値の分布と比較用に与える一定電圧値と
により自由に設定できる。
より説明する。本実施例は、パルス列生成装置３の構成
を変えたもので、アナログ構成の乱数生成装置８と比較
器９との組合せ構成としたものである。ここに、乱数生
成装置８には例えばトランジスタの熱雑音等による電圧
値が利用され、比較器９において予め設定された一定電
圧値と比較され、一定電圧値よりも乱数生成装置８の電
圧値の方が大きい時には１を、小さい時には０を出力さ
せることにより、所望のパルス列が得られるものとな
る。この時のパルス列のパルス密度は乱数生成装置８か
ら得られる電圧値の分布と比較用に与える一定電圧値と
により自由に設定できる。
【００２５】さらに、本発明の第三の実施例を図４及び
図５により説明する。本実施例も、パルス列生成装置３
の構成を変えたもので、デジタル構成の乱数生成装置１
０とデジタル構成の比較器１１との組合せ構成としたも
のである。ここに、乱数生成装置１０には例えば図５に
示すような７ビットシフトレジスタ１２と、その最上位
及び最下位ビットのデータを入力として最下位ビットを
順次更新する排他的ＯＲゲート１３とによるリニアフィ
ードバックシフトレジスタ（ＬＦＳＲ）１４が用いられ
ている。これにより、乱数生成装置１０からは７ビット
構成で１〜１２７の範囲で一様乱数が得られる。比較器
１１ではこの乱数値と予め設定された７ビット構成の一
定値（例えば、１や２といった値）とを比較し、乱数値
の方が一定値よりも大きければ１を出力し、小さければ
０を出力する。これにより、例えば１／１２７とか２／
１２７といったパルス密度を持つパルス列が得られるこ
とになる。よって、ＯＲゲート４からの最終的な出力パ
ルス列としては少なくとも１／１２７や２／１２７とい
ったパルス密度のパルス列が出力されることになる。
図５により説明する。本実施例も、パルス列生成装置３
の構成を変えたもので、デジタル構成の乱数生成装置１
０とデジタル構成の比較器１１との組合せ構成としたも
のである。ここに、乱数生成装置１０には例えば図５に
示すような７ビットシフトレジスタ１２と、その最上位
及び最下位ビットのデータを入力として最下位ビットを
順次更新する排他的ＯＲゲート１３とによるリニアフィ
ードバックシフトレジスタ（ＬＦＳＲ）１４が用いられ
ている。これにより、乱数生成装置１０からは７ビット
構成で１〜１２７の範囲で一様乱数が得られる。比較器
１１ではこの乱数値と予め設定された７ビット構成の一
定値（例えば、１や２といった値）とを比較し、乱数値
の方が一定値よりも大きければ１を出力し、小さければ
０を出力する。これにより、例えば１／１２７とか２／
１２７といったパルス密度を持つパルス列が得られるこ
とになる。よって、ＯＲゲート４からの最終的な出力パ
ルス列としては少なくとも１／１２７や２／１２７とい
ったパルス密度のパルス列が出力されることになる。
【００２６】なお、前記ＬＦＳＲ１４には予め０以外の
値をセットしておく必要がある。このためには、例えば
図６に示すように、排他的ＯＲゲート１３と７ビットシ
フトレジスタ１２との間に切換えスイッチ１５を介在さ
せ、外部からＬＦＳＲ１４の初期値を設定し得るように
すればよい。
値をセットしておく必要がある。このためには、例えば
図６に示すように、排他的ＯＲゲート１３と７ビットシ
フトレジスタ１２との間に切換えスイッチ１５を介在さ
せ、外部からＬＦＳＲ１４の初期値を設定し得るように
すればよい。
【００２７】具体的構成例について説明すると、１６個
分のニューロン１を１つのチップ上に通常のＬＳＩプロ
セスで作製した。これらの各ニューロン１のシナプス数
は１６とした。また、パルス列生成装置３としては、図
４及び図５に示したように、ＬＦＳＲ１４とデジタル構
成の比較器１１との組合せ構成とし、パルス密度が１／
１２７のパルス列を生成させるものとした。この結果、
最終的な出力パルス列のパルス密度が最低でも１／１２
７となるパルス列となり、学習が途中で止まってしまう
ようなことがなかったものである。
分のニューロン１を１つのチップ上に通常のＬＳＩプロ
セスで作製した。これらの各ニューロン１のシナプス数
は１６とした。また、パルス列生成装置３としては、図
４及び図５に示したように、ＬＦＳＲ１４とデジタル構
成の比較器１１との組合せ構成とし、パルス密度が１／
１２７のパルス列を生成させるものとした。この結果、
最終的な出力パルス列のパルス密度が最低でも１／１２
７となるパルス列となり、学習が途中で止まってしまう
ようなことがなかったものである。
【００２８】
【発明の効果】請求項１記載の発明によれば、パルス密
度により表現された複数の入力パルス列を入力として演
算処理を行い、パルス密度により表現された１つの出力
パルス列を出力するようにした自己学習機能を有する神
経細胞模倣素子を備えたパルス密度型の信号処理装置に
おいて、前記神経細胞模倣素子の出力パルス列のパルス
密度を少なくとも０よりも大きな値に規制する出力規制
手段を設けたので、神経細胞模倣素子からの最終的な出
力パルス列のパルス密度が０とはならないものとなり、
よって、学習が途中で止まってしまうようなことがなく
なり、十分に学習機能を発揮させることができ、さら
に、出力規制手段を選択的に動作させる選択手段を設け
たので、規制処理の必要のないフォワードプロセス時に
は選択手段の切換えにより出力規制手段を動作させなけ
ればよく、支障のないものとなる。
度により表現された複数の入力パルス列を入力として演
算処理を行い、パルス密度により表現された１つの出力
パルス列を出力するようにした自己学習機能を有する神
経細胞模倣素子を備えたパルス密度型の信号処理装置に
おいて、前記神経細胞模倣素子の出力パルス列のパルス
密度を少なくとも０よりも大きな値に規制する出力規制
手段を設けたので、神経細胞模倣素子からの最終的な出
力パルス列のパルス密度が０とはならないものとなり、
よって、学習が途中で止まってしまうようなことがなく
なり、十分に学習機能を発揮させることができ、さら
に、出力規制手段を選択的に動作させる選択手段を設け
たので、規制処理の必要のないフォワードプロセス時に
は選択手段の切換えにより出力規制手段を動作させなけ
ればよく、支障のないものとなる。
【００２９】特に、請求項２記載の発明によれば、神経
細胞模倣素子が学習を行うか否かに連動する選択手段と
したので、学習プロセス、フォワードプロセスを各々適
正に行わせることができる。
細胞模倣素子が学習を行うか否かに連動する選択手段と
したので、学習プロセス、フォワードプロセスを各々適
正に行わせることができる。
【００３０】この際、請求項３記載の発明によれば、予
め設定されたパルス密度のパルス列を生成するパルス列
生成手段と、このパルス列生成手段により生成されたパ
ルス列と神経細胞模倣素子の出力パルス列との論理和を
演算する演算手段とよりなる出力規制手段とし、また、
請求項４記載の発明によれば、乱数生成装置と、この乱
数生成装置から出力される乱数と所定の閾値とを比較し
てパルス列を出力する比較器とよりなるパルス列生成手
段とし、さらに、請求項５記載の発明では、乱数生成装
置をリニアフィードバックシフトレジスタとしたので、
上記のような効果を発揮する出力規制手段を、容易に実
現できるものとなる。
め設定されたパルス密度のパルス列を生成するパルス列
生成手段と、このパルス列生成手段により生成されたパ
ルス列と神経細胞模倣素子の出力パルス列との論理和を
演算する演算手段とよりなる出力規制手段とし、また、
請求項４記載の発明によれば、乱数生成装置と、この乱
数生成装置から出力される乱数と所定の閾値とを比較し
てパルス列を出力する比較器とよりなるパルス列生成手
段とし、さらに、請求項５記載の発明では、乱数生成装
置をリニアフィードバックシフトレジスタとしたので、
上記のような効果を発揮する出力規制手段を、容易に実
現できるものとなる。
【図１】本発明の第一の実施例を示すブロック図であ
る。
る。
【図２】そのパルス列生成装置の構成を示すブロック図
である。
である。
【図３】本発明の第二の実施例を示すブロック図であ
る。
る。
【図４】本発明の第三の実施例を示すブロック図であ
る。
る。
【図５】その乱数生成装置の構成を示すブロック図であ
る。
る。
【図６】変形例を示すブロック図である。
１ 神経細胞模倣素子 ２ 出力規制手段 ３ パルス列生成手段 ４ 演算手段 ７ 選択手段 ８ 乱数生成装置 ９ 比較器 １０ 乱数生成装置 １１ 比較器 １４ リニアフィードバックシフトレジスタ＝乱数
生成装置
生成装置
Claims (5)
- 【請求項１】 パルス密度により表現された複数の入力
パルス列を入力として演算処理を行い、パルス密度によ
り表現された１つの出力パルス列を出力するようにした
自己学習機能を有する神経細胞模倣素子を備えたパルス
密度型の信号処理装置において、前記神経細胞模倣素子
の出力パルス列のパルス密度を少なくとも０よりも大き
な値に規制する出力規制手段を設け、この出力規制手段
を選択的に動作させる選択手段を設けたことを特徴とす
る信号処理装置。 - 【請求項２】 神経細胞模倣素子が学習を行うか否かの
切換えに連動する選択手段としたことを特徴とする請求
項１記載の信号処理装置。 - 【請求項３】 予め設定されたパルス密度のパルス列を
生成するパルス列生成手段と、このパルス列生成手段に
より生成されたパルス列と神経細胞模倣素子の出力パル
ス列との論理和を演算する演算手段とよりなる出力規制
手段としたことを特徴とする請求項１又は２記載の信号
処理装置。 - 【請求項４】 乱数生成装置と、この乱数生成装置から
出力される乱数と所定の閾値とを比較してパルス列を出
力する比較器とよりなるパルス列生成手段としたことを
特徴とする請求項３記載の信号処理装置。 - 【請求項５】 乱数生成装置をリニアフィードバックシ
フトレジスタとしたことを特徴とする請求項４記載の信
号処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5090339A JPH06301667A (ja) | 1993-04-19 | 1993-04-19 | 信号処理装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5090339A JPH06301667A (ja) | 1993-04-19 | 1993-04-19 | 信号処理装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH06301667A true JPH06301667A (ja) | 1994-10-28 |
Family
ID=13995769
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP5090339A Pending JPH06301667A (ja) | 1993-04-19 | 1993-04-19 | 信号処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH06301667A (ja) |
-
1993
- 1993-04-19 JP JP5090339A patent/JPH06301667A/ja active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5588090A (en) | Signal processing apparatus | |
| Kumara et al. | Use of associative memory and self-organization in conceptual design | |
| US5485548A (en) | Signal processing apparatus using a hierarchical neural network | |
| JP7010541B2 (ja) | パターン認識装置、学習方法及び学習プログラム | |
| JPH06301667A (ja) | 信号処理装置 | |
| JPH06301666A (ja) | 信号処理装置 | |
| JPH05165987A (ja) | 信号処理装置 | |
| JPH09185596A (ja) | パルス密度型信号処理回路網における結合係数更新方法 | |
| JP2612640B2 (ja) | 信号処理回路、信号処理回路網、信号処理装置及び信号処理方法 | |
| JP3130913B2 (ja) | 信号処理装置 | |
| JP3256553B2 (ja) | 信号処理装置の学習方法 | |
| JP3276367B2 (ja) | 神経細胞回路網 | |
| JPH05307624A (ja) | 信号処理装置 | |
| JPH05181828A (ja) | 知識情報処理装置 | |
| Gallagher et al. | Analog Dopplegangers: Twinning with Deep Continuous-Time Recurrent Neural Networks | |
| JPH05217010A (ja) | 信号処理装置 | |
| JP3338713B2 (ja) | 信号処理装置 | |
| JP3255425B2 (ja) | 信号処理方法 | |
| JPH0573704A (ja) | 信号処理回路装置 | |
| JPH07129531A (ja) | パルス密度型ニューラルネットワーク | |
| JPH05135001A (ja) | 信号処理装置 | |
| Ciungradi et al. | A recurrent network for data driven human movement generation | |
| JPH05298276A (ja) | 信号処理装置 | |
| JPH06301665A (ja) | 信号処理装置 | |
| JPH06131317A (ja) | ニューロン素子 |