JPH06301666A

JPH06301666A - 信号処理装置

Info

Publication number: JPH06301666A
Application number: JP5090338A
Authority: JP
Inventors: Toshiyuki Furuta; 俊之古田; Shuji Motomura; 修二本村
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 1993-04-19
Filing date: 1993-04-19
Publication date: 1994-10-28

Abstract

(57)【要約】【目的】神経細胞模倣素子からの出力パルス列のパル
ス密度が０となって、学習が途中で止まってしまうよう
な不都合を回避すること。【構成】パルス密度により表現された複数の入力パル
ス列を入力として演算処理を行い、パルス密度により表
現された１つの出力パルス列を出力するようにした自己
学習機能を有する神経細胞模倣素子１を備えたパルス密
度型の信号処理装置において、前記神経細胞模倣素子１
の出力パルス列のパルス密度を少なくとも０よりも大き
な値に規制する出力規制手段２を設けた。この出力規制
手段２は、予め設定されたパルス密度のパルス列を生成
するパルス列生成手段３と、このパルス列生成手段３に
より生成されたパルス列と神経細胞模倣素子１の出力パ
ルス列との論理和を演算する演算手段４とより構成され
る。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、例えば画像や音声の認
識、ロボット等の位置制御、エアコンの温度制御、ロケ
ットの軌道制御等のような各種運動の制御に適用可能
な、神経細胞を模倣したニューロコンピュータ等の信号
処理装置に関する。

【０００２】

【従来の技術】生体の情報処理の基本的な単位である神
経細胞（ニューロン）の機能を模倣し、さらに、この
「神経細胞模倣素子」（神経細胞ユニット）をネットワ
ークにし、情報の並列処理を目指したのが、いわゆるニ
ューラルネットワークである。文字認識や連想記憶、運
動制御等、生体ではいとも簡単に行われていても、従来
のノイマン型コンピュータではなかなか達成しないもの
が多い。生体の神経系、特に生体特有の機能、即ち並列
処理、自己学習等をニューラルネットワークにより模倣
して、これらの問題を解決しようとする試みが盛んに行
われている。

【０００３】このようなニューラルネットワークをハー
ドウエアにより作製する試みが、近年、多くなされてい
るが、このようなハードウエア化については、アナログ
型とデジタル型とに大別される。しかし、アナログ型の
ものでは動作に確実性がなく、数値計算による学習方法
も計算が複雑であり、ハードウエア化に適さず、動作が
確実なデジタル型のものは回路構成が大規模で複雑とな
る欠点がある。

【０００４】このような欠点を解消するため、デジタル
型の一つとして、信号をパルス列で表現する方式とした
パルス密度型で自己学習機能付きのニューラルネットワ
ークが本出願人により多数提案されている。このような
パルス密度型ニューラルネットワークに関する多数の提
案は、例えば特開平４−５４９号公報に示される提案を
フォワードプロセスの基本とし、特開平４−１１１１８
５号公報に示される提案を学習プロセスの基本とし、種
々改良したものである。

【０００５】ここで、本出願人既提案によるパルス密度
型ニューラルネットワークにおける信号処理について簡
単に説明する。パルス列としては、実際にはビット列を
用いる。即ち、値として“０”又は“１”をとるビット
の列（２値化された情報単位）でパルス列を表し、値が
“１”であるビットでパルスを表し、値が“０”である
ビットでパルスがないことを表す。

【０００６】信号の値は、パルスの密度、即ち、ビット
列中の値“１”のビットの密度で表す。換言すると、信
号の値はビット列中のビットの値が“１”である確率に
等しい。例えば、ビット列の長さを１０ビットとする
と、このニューラルネットワークに値“０．６”の信号
を入力した時、このニューラルネットワークには、１０
個のビットの内、６個が値“１”であり残りの４個が値
“０”であるビット列が入力されることになる。

【０００７】ニューラルネットワーク内の各ニューロン
へは、ニューラルネットワークの外から、又は、ニュー
ラルネットワーク内の他の幾つかのニューロンから送ら
れてきたパルス列が入力信号として入ってくる。ニュー
ロンと他のニューロンとの結合の強さを表す結合係数
も、パルス列で表す。入力パルス列の結合係数パルス列
による重み付けは、入力パルス列と結合係数パルス列と
の論理積をとることにより行う。ここに、個々のニュー
ロンを考えた場合、このような結合には、相手のニュー
ロンからの信号が大きい程自己のニューロン出力が大き
くなる興奮性結合と、相手のニューロンからの信号が大
きい程自己のニューロン出力が小さくなる抑制性結合と
があるため、結合係数パルス列により重み付けされた入
力パルス列を興奮性結合グループと抑制性結合グループ
との２つのグループに分け、各グループ毎に別々に、こ
の重み付けされた入力パルス列同士の論理和をとる。次
に、これらの２つの論理和で得られたパルス列に論理演
算を施して新たなパルス列を生成し、そのパルス列を出
力パルス列としてニューロンの外に出力する。このよう
なニューロンの出力パルス列は、ニューラルネットワー
ク内の他の幾つかのニューロンに送られてそれらのニュ
ーロンの入力パルス列となり、又は、ニューラルネット
ワークの外へ送られてニューラルネットワークの最終的
な出力パルス列となる。

【０００８】即ち、本出願人既提案例のパルス密度型に
おけるニューロンの入出力特性は、あるニューロンｉか
らの入力パルス列をｙ_i 、自己のニューロンｊとの結合
係数パルス列をＴ_ij、ニューロンｊにおいて興奮性結合
グループ分の出力パルス列をｙ_Fj、ニューロンｊにおい
て抑制性結合グループ分の出力パルス列をｙ_Ijとする
と、(１)〜(３)式のような関係が成立する。

【０００９】

【数１】

【００１０】一方、本出願人既提案例のパルス密度型で
階層型ニューラルネットワークの学習は、通常の階層型
のニューラルネットワークで広く用いられている誤差逆
伝播法（バックプロパゲーション法）に従って実行され
る。例えば、入力層、中間層及び出力層よりなる３層構
造において、出力層中のニューロンが出力する出力パル
ス列と教師信号パルス列とから、この出力層のニューロ
ンに与える誤差信号パルス列を生成し、この誤差信号パ
ルス列を中間層のニューロンへ送り、同様に処理する、
といったように、出力層側から入力層側へ向けて誤差信
号パルス列を各層で生成しながら順に前の層へ送ってい
くと同時に、各層のニューロンは受取った後の層の誤差
信号パルス列を基に、自己のニューロンと前の層のニュ
ーロンとの間の結合係数パルス列を更新していくことに
より学習が行われる。

【００１１】ここに、誤差信号を考えた場合、数値で表
すと、一般に正、負の両方をとり得るが、パルス密度表
現の場合、正、負の両方を同時に表現できないので、＋
成分を表す誤差信号パルス列と−成分を表す誤差信号パ
ルス列との２種類の誤差信号を用いて、バックプロパゲ
ーション型の学習を進めるようにしている。例えば、ニ
ューロンｊにおいて、教師信号パルス列と出力パルス列
とで違っている部分の内で、教師信号パルス列側に存在
するパルス分が正の誤差信号パルス列δ_j(+)とされ、出
力パルス列側に存在するパルス分が負の誤差信号パルス
列δ_j(-)とされる。このような正、負の誤差信号パルス
列δ_j(+)，δ_j(-)と前の層のニューロンからの入力パル
ス列ｙ_i とを用いて、結合係数パルス列の変化分ΔＴ
_ij(+) ，ΔＴ_ij(+) を(４)(５)式のように算出して、メ
モリに保存されている結合係数パルス列Ｔ_ijを増減させ
るように更新書換えすることになる。

【００１２】

【数２】 ΔＴ_ij(+) ＝δ_j(+) ∩ ｙ_i ………………(４) ΔＴ_ij(-) ＝δ_j(-) ∩ ｙ_i ………………(５)

【００１３】

【発明が解決しようとする課題】ところが、(１)〜(３)
式からも分かるように、あるニューロンからの出力パル
ス列のパルス密度が０となってしまうことがある。これ
は、後の層のニューロンにおけるこのニューロンからの
入力パルス列のパルス密度も０になることを意味する。
(４)(５)式で考えれば、パルス列ｙ_iのパルス密度が０
になることになり、ΔＴ_ij(+) ，ΔＴ_ij(-) がともに０
となり、誤差のないものと見做される。よって、学習は
行われない。特に、学習の途中過程で出力パルス列のパ
ルス密度が０になるような状態に陥ると、そこで学習が
止まってしまうこともある。よって、学習機能が十分に
発揮されないこともある。

【００１４】

【課題を解決するための手段】請求項１記載の発明で
は、パルス密度により表現された複数の入力パルス列を
入力として演算処理を行い、パルス密度により表現され
た１つの出力パルス列を出力するようにした自己学習機
能を有する神経細胞模倣素子を備えたパルス密度型の信
号処理装置において、前記神経細胞模倣素子の出力パル
ス列のパルス密度を少なくとも０よりも大きな値に規制
する出力規制手段を設けた。

【００１５】この際、請求項２記載の発明では、予め設
定されたパルス密度のパルス列を生成するパルス列生成
手段と、このパルス列生成手段により生成されたパルス
列と神経細胞模倣素子の出力パルス列との論理和を演算
する演算手段とよりなる出力規制手段とした。ここに、
請求項３記載の発明では、乱数生成装置と、この乱数生
成装置から出力される乱数と所定の閾値とを比較してパ
ルス列を出力する比較器とよりなるパルス列生成手段と
した。さらに、請求項４記載の発明では、乱数生成装置
をリニアフィードバックシフトレジスタとした。

【００１６】

【作用】数値演算に関して神経細胞模倣素子の出力関数
にはシグモイド関数を用いており、限りなく０に近付く
ものの、完全に０にはならない。このような点に着目
し、請求項１記載の発明においては、出力規制手段によ
り神経細胞模倣素子の出力パルス列のパルス密度を少な
くとも０より大きな値とすることで、パルス密度が０と
はならないようにしたので、学習が途中で止まってしま
うようなことがなくなり、十分に学習機能を発揮させる
ことができる。

【００１７】このような作用をなす出力規制手段も、請
求項２ないし４記載の発明のように構成することで容易
に実現できる。

【００１８】

【実施例】本発明の第一の実施例を図１及び図２に基づ
いて説明する。まず、前述した特開平４−１１１１８５
号公報等に示されるような本出願人既提案方式なるパル
ス密度型ニューラルネットワークを構成するニューロン
（神経細胞模倣素子）１が設けられている。このニュー
ロン１の出力部分に本実施例の要旨とする出力規制手段
２が付加されている。この出力規制手段２は前記ニュー
ロン１から出力される出力パルス列に適宜加工処理を施
して最終的な出力パルス列のパルス密度が０とはならな
いようにするもので、ここでは、パルス列生成装置（パ
ルス列生成手段）３と、このパルス列生成装置３の出力
と前記ニューロン１の出力とを入力とするＯＲゲート
（演算手段）４とにより構成されている。前記パルス列
生成装置３は、予め設定されたパルス密度（ただし、０
ではない）のパルス列を生成出力するもので、例えば、
図２に示すように、クロック信号を入力として計数する
カウンタ５と、このカウンタ５の計数値が所定の周期値
に達する毎に一定周期の１パルスを出力する比較器６と
により構成される。

【００１９】このような構成によれば、仮にニューロン
１の出力パルス列のパルス密度が０となるようなことが
あっても、パルス列生成装置３で生成されたパルス列と
の論理和がＯＲゲート４によりとられて、最終的な出力
パルス列が得られるので、この出力パルス列のパルス密
度が０になるようなことはない。よって、学習途中であ
っても、出力パルス列のパルス密度が０となり学習が止
まってしまうようなことはない。ここに、パルス列生成
装置３で生成出力するパルス列のパルス密度はニューロ
ン１からの出力パルス列に極力影響を及ぼさないように
なるべく０に近いほうがよい。

【００２０】つづいて、本発明の第二の実施例を図３に
より説明する。本実施例は、パルス列生成装置３の構成
を変えたもので、アナログ構成の乱数生成装置８と比較
器９との組合せ構成としたものである。ここに、乱数生
成装置８には例えばトランジスタの熱雑音等による電圧
値が利用され、比較器９において予め設定された一定電
圧値と比較され、一定電圧値よりも乱数生成装置８の電
圧値の方が大きい時には１を、小さい時には０を出力さ
せることにより、所望のパルス列が得られるものとな
る。この時のパルス列のパルス密度は乱数生成装置８か
ら得られる電圧値の分布と比較用に与える一定電圧値と
により自由に設定できる。

【００２１】さらに、本発明の第三の実施例を図４及び
図５により説明する。本実施例も、パルス列生成装置３
の構成を変えたもので、デジタル構成の乱数生成装置１
０とデジタル構成の比較器１１との組合せ構成としたも
のである。ここに、乱数生成装置１０には例えば図５に
示すような７ビットシフトレジスタ１２と、その最上位
及び最下位ビットのデータを入力として最下位ビットを
順次更新する排他的ＯＲゲート１３とによるリニアフィ
ードバックシフトレジスタ（ＬＦＳＲ）１４が用いられ
ている。これにより、乱数生成装置１０からは７ビット
構成で１〜１２７の範囲で一様乱数が得られる。比較器
１１ではこの乱数値と予め設定された７ビット構成の一
定値（例えば、１や２といった値）とを比較し、乱数値
の方が一定値よりも大きければ１を出力し、小さければ
０を出力する。これにより、例えば１／１２７とか２／
１２７といったパルス密度を持つパルス列が得られるこ
とになる。よって、ＯＲゲート４からの最終的な出力パ
ルス列としては少なくとも１／１２７や２／１２７とい
ったパルス密度のパルス列が出力されることになる。

【００２２】なお、前記ＬＦＳＲ１４には予め０以外の
値をセットしておく必要がある。このためには、例えば
図６に示すように、排他的ＯＲゲート１３と７ビットシ
フトレジスタ１２との間に切換えスイッチ１５を介在さ
せ、外部からＬＦＳＲ１４の初期値を設定し得るように
すればよい。

【００２３】具体的構成例について説明すると、１６個
分のニューロン１を１つのチップ上に通常のＬＳＩプロ
セスで作製した。これらの各ニューロン１のシナプス数
は１６とした。また、パルス列生成装置３としては、図
４及び図５に示したように、ＬＦＳＲ１４とデジタル構
成の比較器１１との組合せ構成とし、パルス密度が１／
１２７のパルス列を生成させるものとした。この結果、
最終的な出力パルス列のパルス密度が最低でも１／１２
７となるパルス列となり、学習が途中で止まってしまう
ようなことがなかったものである。

【００２４】

【発明の効果】請求項１記載の発明によれば、パルス密
度により表現された複数の入力パルス列を入力として演
算処理を行い、パルス密度により表現された１つの出力
パルス列を出力するようにした自己学習機能を有する神
経細胞模倣素子を備えたパルス密度型の信号処理装置に
おいて、前記神経細胞模倣素子の出力パルス列のパルス
密度を少なくとも０よりも大きな値に規制する出力規制
手段を設けたので、神経細胞模倣素子からの最終的な出
力パルス列のパルス密度が０とはならないものとなり、
よって、学習が途中で止まってしまうようなことがなく
なり、十分に学習機能を発揮させることができる。

【００２５】この際、請求項２記載の発明によれば、予
め設定されたパルス密度のパルス列を生成するパルス列
生成手段と、このパルス列生成手段により生成されたパ
ルス列と神経細胞模倣素子の出力パルス列との論理和を
演算する演算手段とよりなる出力規制手段とし、また、
請求項３記載の発明によれば、乱数生成装置と、この乱
数生成装置から出力される乱数と所定の閾値とを比較し
てパルス列を出力する比較器とよりなるパルス列生成手
段とし、さらに、請求項４記載の発明では、乱数生成装
置をリニアフィードバックシフトレジスタとしたので、
上記のような効果を発揮する出力規制手段を、容易に実
現できるものとなる。

【図面の簡単な説明】

【図１】本発明の第一の実施例を示すブロック図であ
る。

【図２】そのパルス列生成装置の構成を示すブロック図
である。

【図３】本発明の第二の実施例を示すブロック図であ
る。

【図４】本発明の第三の実施例を示すブロック図であ
る。

【図５】その乱数生成装置の構成を示すブロック図であ
る。

【図６】変形例を示すブロック図である。

【符号の説明】

１神経細胞模倣素子２出力規制手段３パルス列生成手段４演算手段８乱数生成装置９比較器１０乱数生成装置１１比較器１４リニアフィードバックシフトレジスタ＝乱数
生成装置

Claims

【特許請求の範囲】

【請求項１】パルス密度により表現された複数の入力
パルス列を入力として演算処理を行い、パルス密度によ
り表現された１つの出力パルス列を出力するようにした
自己学習機能を有する神経細胞模倣素子を備えたパルス
密度型の信号処理装置において、前記神経細胞模倣素子
の出力パルス列のパルス密度を少なくとも０よりも大き
な値に規制する出力規制手段を設けたことを特徴とする
信号処理装置。
【請求項２】予め設定されたパルス密度のパルス列を
生成するパルス列生成手段と、このパルス列生成手段に
より生成されたパルス列と神経細胞模倣素子の出力パル
ス列との論理和を演算する演算手段とよりなる出力規制
手段としたことを特徴とする請求項１記載の信号処理装
置。
【請求項３】乱数生成装置と、この乱数生成装置から
出力される乱数と所定の閾値とを比較してパルス列を出
力する比較器とよりなるパルス列生成手段としたことを
特徴とする請求項２記載の信号処理装置。
【請求項４】乱数生成装置をリニアフィードバックシ
フトレジスタとしたことを特徴とする請求項３記載の信
号処理装置。