JPH04245371A

JPH04245371A - 信号処理装置

Info

Publication number: JPH04245371A
Application number: JP2934291A
Authority: JP
Inventors: Takashi Kitaguchi; 貴史北口; Hirotoshi Eguchi; 裕俊江口; Toshiyuki Furuta; 俊之古田
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 1991-01-30
Filing date: 1991-01-30
Publication date: 1992-09-01

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、例えばロボットの位置
制御、エアコンの温度制御、ロケットの軌道制御等のよ
うな各種運動の制御に適用可能な、神経細胞を模倣した
ニューラルコンピュータ等の信号処理装置に関する。

【０００２】

【従来の技術】近年、文字認識や運動制御、連想記憶と
いった分野で、生体の情報処理の基本的な単位である神
経細胞（ニューロン）の機能を模倣したシステムの研究
が盛んに行なわれている。このような「神経細胞模倣素
子」をネットワークにし、情報の並列処理を目指したの
が、いわゆるニューラルネットワークである。このよう
なニューラルネットワークを実現するために、計算機シ
ミュレーションによる研究が多数報告されているが、ニ
ューラルネットワークの計算量は非常に膨大であるため
、そのハードウエア化は必要不可欠である。このため、
現在、様々な方式によるハードウエアニューラルネット
ワークが研究開発されているが、従来型コンピュータと
ソフトウエアを利用するものが一般的である。

【０００３】この点、例えば特開平２−２０１６０７号
公報によれば、ハードウエア或いはソフトウエアにより
、未知或いは複雑な制御系を持つものに対するニューラ
ルネットワークの適用が試みられている。図３９はその
要旨を示す図であり、制御対象１に対して同定と制御を
行ない、制御対象１の出力を目標値に追従させる適用制
御システムにおいて、過去の制御入力ｕ（ｔ）と制御出
力ｙ（ｔ−ｄ）とを成分とする内部信号をニューラルネ
ットワーク２ａで演算し、演算結果と目標値とから制御
入力を発生する制御装置２と、この内部信号をニューラ
ルネットワーク３で演算し演算結果と制御出力とから同
定値を発生する同定装置３と、この制御入力を教師信号
として同定値との誤差からニューラルネットワーク２ａ
，３ａの重みを演算する学習装置４と、制御入力ｕ（ｔ
）と制御出力ｙ（ｔ−ｄ）とを格納し、内部信号を発生
するための入出力メモリ５とを備えたものである。

【０００４】

【発明が解決しようとする課題】ところが、入力が時間
的に変化する系における制御を行なう場合、このような
従来のニューラルネットワークを用いたシステムでは、
その入出力情報を予め幾つか蓄えておき、ネットワーク
を学習させるので、非常に煩雑になったり、学習用に計
算機やメモリといった大規模なシステム構成が必要とな
る。また、その系の条件が変化した場合、その都度、学
習し直さなければならず、手間がかかり、実用的ではな
い。

【０００５】

【課題を解決するための手段】結合係数可変手段とこの
結合係数可変手段の可変結合係数値を教師信号に対する
誤差信号に基づいて生成する結合係数生成手段とを有す
る自己学習手段を神経細胞模倣素子に付設したデジタル
論理回路による複数の神経細胞模倣手段を網状に接続し
た信号処理手段を設け、制御対象からの出力信号を前記
信号処理手段に供給するための入力信号に変換する入力
信号変換手段と、前記信号処理手段からの出力信号を前
記制御対象に供給するための出力信号に変換する出力信
号変換手段とシステム構成し、この出力信号変換手段で
は、信号処理手段からの出力信号を直接、又は、信号処
理手段からの出力信号を計数した値、又は、信号処理手
段からの出力信号を計数して予め設定された固定しきい
値によりしきい値処理した値、又は、号処理手段からの
出力信号を計数して外部から与えるしきい値によりしき
い値処理した値、又は、信号処理手段からの出力信号を
計数して制御入出力に応じて変化するしきい値によりし
きい値処理した値を、制御対象に供給するための出力信
号とした。

【０００６】

【作用】結合係数可変手段とこの結合係数可変手段の可
変結合係数値を教師信号に対する誤差信号に基づいて生
成する結合係数生成手段とを有する自己学習手段を神経
細胞模倣素子に付設したデジタル論理回路による複数の
神経細胞模倣手段を網状に接続した信号処理手段構成に
よれば、学習を含めて処理速度の非常に速いものとなり
、この際、信号処理手段からの出力信号を制御対象に応
じた制御入力に変換されるので汎用性の高い制御が行な
われる。

【０００７】

【実施例】本発明の一実施例を図１ないし図３８に基づ
いて説明する。まず、図１によりパルス密度型デジタル
ニューロデバイスを用いた制御システム例により本発明
の原理的構成を説明する。運動を制御しようとする制御
対象６は、時間的に変化する系よりなるが、その変化は
制御対象６自身、或いは、周囲の環境といったそれ以外
のもの、又は、その両方である。この制御対象６からの
出力信号ｘは入力信号変換手段となる入力部７に入力さ
れて入力信号ｉとして信号処理手段なるニューラルネッ
トワーク８に入力される。このニューラルネットワーク
８の出力信号ｏは出力信号変換手段なる出力部９で処理
されて制御用の出力信号ｙとして前記制御対象６に入力
される。ここに、前記ニューラルネットワーク８は後述
するように自己学習機能を持つもので、前記出力部９で
変換処理された出力信号ｊは教師信号生成手段となる外
部操作部１０からの真の制御出力又はそれに相当する教
師信号ｔとともに誤差信号生成手段なる教師部１１に入
力され、学習に供する誤差信号ｄが生成されてこのニュ
ーラルネットワーク８に入力される。よって、ニューラ
ルネットワーク８ではこの誤差信号ｄを用いて学習を行
ない、制御対象６において信号ｘに対して望ましい信号
ｙが得られるようにする。

【０００８】学習時の信号ｙとしては、教師信号ｔを出
力部９で直接的に処理したものでもよい。また、学習時
には制御を行なわせなくしたり、逆に、制御時には学習
を行なわせなくしたりしてもよい。誤差信号ｄは教師信
号ｔと出力部９からの信号ｊからではなく、信号ｊと制
御対象６からの信号ｘとを用いて生成するようにしても
よい。さらには、誤差信号ｄは必ずしも常に正しくネッ
トワーク８を学習させるものでなくてもよく、現在のネ
ットワーク８から出力される信号ｙが適切でないと判断
された時、異なった信号ｙが得られるような信号ｄでも
よい。

【０００９】ついで、このような処理を高速で行なう自
己学習機能を持つデジタル論理回路を用いたニューロン
素子構成のニューラルネットワーク８についての基本的
思想及びその各種構成例について、図２ないし図３８に
より説明する。本実施例のニューラルネットワーク８は
、結合係数可変手段とこの結合係数可変手段の可変結合
係数値を教師信号に対する誤差信号に基づいて生成する
結合係数生成手段とを有する自己学習手段を神経細胞模
倣素子に付設した複数の神経細胞模倣手段を網状に接続
して構成される。

【００１０】まず、本実施例におけるニューラルネット
ワーク８はデジタル構成によりハードウエア化したもの
であるが、基本的な考え方としては、■　　神経細胞ユ
ニットに関する入出力信号、中間信号、結合係数、教師
信号などは全て、「０」「１」の２値で表されたパルス
列で表す。■　　ネットワーク内部での信号の量は、パ
ルス密度で表す（ある一定時間内の「１」の数）。■　
　神経細胞ユニット内での計算は、パルス列同士の論理
演算で表す。■　　結合係数のパルス列はメモリ上に置
く。■　　学習は、このパルス列を書換えることで実現
する。■　　学習については、与えられた教師信号パル
ス列を元に誤差を計算し、これに基づいて、結合係数パ
ルス列を変化させる。このとき、誤差の計算、結合係数
の変化分の計算も、全て、「０」「１」のパルス列の論
理演算で行う。ようにしたものである。

【００１１】以下、この思想について説明する。最初に
、デジタル論理回路を用いた神経細胞ユニットとそのネ
ットワーク回路による信号処理について説明し、次いで
、そのネットワーク回路へのアナログ信号の入出力につ
いて説明する。

【００１２】まず、デジタル論理回路による信号処理に
関し、フォワードプロセスにおける信号処理を説明する
。図２は１つの神経細胞ユニット（神経細胞模倣素子）
２０に相当する部分を示し、ネットワーク（ニューラル
ネットワーク８）全体としては例えば図３に示すように
階層型とされる。入出力は、全て、「１」「０」に２値
化され、かつ、同期化されたものが用いられる。入力信
号ｙｉの強度はパルス密度で表現し、例えば図４に示す
パルス列のようにある一定時間内にある「１」の状態数
で表す。即ち、図４の例は、４／６を表し、同期パルス
６個中に信号は「１」が４個、「０」が２個である。こ
のとき、「１」と「０」の並び方は、後述するようにラ
ンダムであることが望ましい。

【００１３】一方、各神経細胞ユニット２０間の結合の
度合を示す結合係数Ｔｉｊも同様にパルス密度で表現し
、「０」と「１」とのパルス列として予めメモリ上に用
意しておく。図５の例は、「１０１０１０」＝３／６を
表す式である。この場合も、「１」と「０」の並び方は
ランダムであることが望ましい。具体的にどのように決
定するかは後述する。

【００１４】そして、このパルス列を同期クロックに応
じてメモリ上より順次読出し、図２に示すように各々Ａ
ＮＤゲート２１により入力信号パルス列との論理積をと
る（ｙｉ　∩　Ｔｉｊ）。これを、神経細胞ｊへの入力と
する。上例の場合で説明すると、入力信号が「１０１１０１」
として入力されたとき、これと同期してメモリ上よりパ
ルス列を呼出し、順次ＡＮＤをとることにより、図６に
示すような「１０１０００」が得られ、これは入力ｙｉ
　が結合係数Ｔｉｊにより変換されパルス密度が２／６
となることを示している。

【００１５】ＡＮＤゲート２１の出力のパルス密度は、
近似的には入力信号のパルス密度と結合係数のパルス密
度との積となり、アナログ方式の結合係数と同様の機能
を有する。これは、信号の列が長いほど、また、「１」
と「０」との並び方がランダムであるほど、数値の積に
近い機能を持つことになる。ランダムでないとは、「１
」（又は、「０」）が密集（密接）していることを意味
する。なお、入力パルス列に比べて結合係数のパルス列
が短く、読出すべきデータがなくなったら、再びデータ
の先頭に戻って読出しを繰返えせばよい。

【００１６】１つの神経細胞ユニット２０は多入力であ
るので、前述した「入力信号と結合係数とのＡＮＤ」も
多数あり、次に論理回路となるＯＲ回路２２によりこれ
らの論理和をとる。入力は同期化されているので、例え
ば１番目のデータが「１０１０００」、２番目のデータ
が「０１００００」の場合、両者のＯＲをとると、「１
１１０００」となる。これを多入力同時に計算し出力と
すると、例えば図７に示すようになる。これは、アナロ
グ計算における和の計算及び非線形関数（シグモイド関
数）の部分に対応している。

【００１７】パルス密度が低い場合、そのＯＲをとった
もののパルス密度は、各々のパルス密度の和に近似的に
一致する。パルス密度が高くなるにつれ、ＯＲ回路２２
の出力は段々飽和してくるので、パルス密度の和とは一
致せず、非線形性が出てくる。ＯＲの場合、パルス密度
は１よりも大きくなることがなく、かつ、０より小さく
なることもなく、さらには、単調増加関数であり、シグ
モイド関数と近似的に同等となる。

【００１８】ところで、結合には興奮性と抑制性があり
、数値計算の場合には、結合係数の符号で表し、アナロ
グ回路の場合はＴｉｊが負となる場合（抑制性結合）は
増幅器を用いて出力を反転させてＴｉｊに相当する抵抗
値で他の神経細胞ユニットに結合させている。この点、
デジタル方式の本実施例にあっては、まず、Ｔｉｊの正
負により各結合を興奮性結合と抑制性結合との２つのグ
ループに分け、次いで、「入力信号と結合係数のパルス
列のＡＮＤ」同士のＯＲをこのグループ別に計算する。そして、興奮性結合グループの出力のみが「１」のとき
、「１」を出力し、抑制性結合グループの出力のみが「
１」のとき、「０」を出力する。両方とも「１」のとき
、又は「０」のときは「１」「０」の何れを出力しても
よく、或いは、確率１／２程度で「１」を出力してもよ
い。本例では、興奮性結合グループの出力が「１」で抑
制性結合グループの出力が「０」のときのみ出力「１」
を出すようにする。この機能を実現するためには、（抑
制性結合グループの出力のＮＯＴ）と（興奮性結合グル
ープの出力）とのＡＮＤをとればよい。即ち、図８に示
すようになる。

【００１９】論理式で表現すると、次の（１）〜（３）
式のように

【数１】示される。

【００２０】神経細胞ユニット２０のネットワークは、
バックプロパゲーションと同様な階層型（即ち、図３）
とする。そして、ネットワーク全体を同期させておけば
、各層とも上述した機能により計算できる。

【００２１】一方、Ｔｉｊの正負により各結合を興奮性
結合と抑制性結合との２つのグループに分け、次いで、
「入力信号と結合係数のパルス列のＡＮＤ」同士のＯＲ
をこのグループ別に計算し、その後、興奮性結合グルー
プの出力が「０」で抑制性結合グループの出力が「１］
のとき以外出力を出すようにする場合であれば、（抑制
性結合グループの出力のＮＯＴ）と（興奮性結合グルー
プの出力）とのＯＲをとればよい。

【００２２】次に、学習（バックプロパゲーション）に
おける信号演算処理について説明する。基本的には、以
下のａ又はｂにより誤差信号を求め、次いで、ｃの方法
により結合係数の値を変化させるようにすればよい。

【００２３】まず、ａとして最終層における誤差信号に
ついて説明する。最終層で各神経細胞ユニットにおける
誤差信号を計算し、それを元にその神経細胞ユニットに
関わる結合係数を変化させる。そのための、誤差信号の
計算法について述べる。ここに、本実施例では、「誤差
信号」を以下のように定義する。誤差を数値で表すと、
一般には＋，−の両方をとり得るが、パルス密度の場合
には、正、負の両方を同時に表現できないので、＋成分
を表す信号と、−成分を表す信号との２種類を用いて誤
差信号を表現する。即ち、ｊ番目の神経細胞ユニットの
誤差信号は、図９のように示される。つまり、誤差信号
の＋成分は教師信号パルスと出力パルスとの違っている
部分（１，０）又は（０，１）の内、教師信号側に存在
するパルス、他方、−成分は同様に出力側に存在するパ
ルスである。換言すれば、出力パルスに誤差信号＋パル
スを付け加え、誤差信号−パルスを取り除くと、教師パ
ルスとなることになる。即ち、これらの正負の誤差信号
δｊ（＋），δｊ（−）を論理式で表現すると、各々（
４）（５）式のようになる。式中、ＥＸＯＲは排他的論
理和を表す。このような誤差信号パルスを元に結合係数を後述するよ
うに変化させることになる。

【００２４】

【数２】　　δｊ（＋）　≡　（ｙｊ　　ＥＸＯＲ　　ｄｊ　　
）ＡＮＤ　　ｄｊ　　　　…………（４）　　δｊ（−
）　≡　（ｙｊ　　ＥＸＯＲ　　ｄｊ　　）ＡＮＤ　　
ｙｊ　　　　…………（５）

【００２５】次に、ｂとして中間層における誤差信号を
求める方法を説明する。まず、上記の誤差信号を逆伝播
させ、最終層とその１つ前の層との結合係数だけでなく
、さらにその前の層の結合係数も変化する。そのため、
中間層における各神経細胞ユニットでの誤差信号を計算
する必要がある。中間層のある神経細胞ユニットから、
さらに１つ先の層の各神経細胞ユニットへ信号を伝播さ
せたのとは、丁度逆の要領で１つ先の層の各神経細胞ユ
ニットにおける誤差信号を集めてきて、自己の誤差信号
とする。このことは、神経細胞ユニット内での前述した
演算式（１）〜（５）や図４〜図８に示した場合と同じ
ような要領で行うことができる。ただし、神経細胞ユニ
ット内での前述した処理と異なるのは、ｙは１つの信号
であるのに対して、δは正、負を表す信号として２つの
信号を持ち、その両方の信号を考慮する必要があること
である。従って、結合係数Ｔの正負、誤差信号δの正負
に応じて４つの場合に分ける必要がある。

【００２６】まず、興奮性結合の場合を説明する。この
場合、中間層のある神経細胞ユニットについて、１つ先
の層（図３における最終層）のｋ番目の神経細胞ユニッ
トでの誤差信号＋と、その神経細胞ユニットと自己（図
３における中間層のある神経細胞ユニット）との結合係
数のＡＮＤをとったもの（δｋ（＋）∩　Ｔｊｋ）を各
神経細胞ユニットについて求め、さらに、これら同士の
ＯＲをとる｛∪（δｋ（＋）　∩　Ｔｊｋ）｝。これを
この層の誤差信号＋とする。即ち、図１０に示すように
なる。

【００２７】同様に、１つ先の層の神経細胞ユニットで
の誤差信号−と結合係数とのＡＮＤをとり、さらにこれ
ら同士のＯＲをとることにより、この層の誤差信号−と
する。即ち、図１１に示すようになる。

【００２８】次に、抑制性結合の場合を説明する。この
場合、１つ先の層の神経細胞ユニットでの誤差信号−と
その神経細胞ユニットと自己との結合係数のＡＮＤをと
り、さらにこれら同士のＯＲをとる。これを、この層の
誤差信号＋とする。即ち、図１２に示すようになる。

【００２９】また、１つ先の誤差信号＋と結合係数との
ＡＮＤをとり、さらにこれら同士のＯＲをとることによ
り、同様に、この層の誤差信号−とする。即ち、図１３
に示すようになる。

【００３０】１つの神経細胞ユニットから別の神経細胞
ユニットへは興奮性で結合しているものもあれば、抑制
性で結合しているものもあるので、図１０のように求め
た誤差信号δｊ（＋）と図１２のように求めた誤差信号
δｊ（＋）とのＯＲをとり、それを自分の神経細胞ユニ
ットの誤差信号δｊ（＋）とする。同様に、図１１のよ
うに求めた誤差信号δｊ（−）と図１３のように求めた
誤差信号δｊ（−）とのＯＲをとり、それを自分の神経
細胞ユニットの誤差信号δｊ（−）とする。

【００３１】以上をまとめると、（６）式に示すように
、

【数３】となる。

【００３２】さらに、学習のレート（学習定数）に相当
する機能を設けてもよい。数値計算でレートが１以下の
とき、さらに学習能力が高まる。これはパルス列の演算
ではパルス列を間引くことによって実現できる。本実施
例では、カウンタ的な考え方をし、図１４、図１５に示
すようなものとした。例えば、学習レートη＝０．５で
は元の信号のパルス列を１つ置きに間引くが、元の信号
のパルスが等間隔でなくても、元のパルス列に対して間
引くことができる。図１４，１７中、η＝０．５の場合
はパルスを１つ置きに間引き、η＝０．３３の場合はパ
ルスを２つ置きに残し、η＝０．６７の場合はパルスを
２つ置きに１回間引くことを示す。

【００３３】このようにして、誤差信号を間引くことに
より学習レートの機能を持たせる。このような誤差信号
の間引きは、通常市販されているカウンタの出力を論理
演算することやフリップフロップを用いることにより容
易に実現できる。特に、カウンタを用いた場合、学習定
数ηの値を任意、かつ、容易に設定できるので、ネット
ワークの特性を制御することも可能となる。

【００３４】ところで、誤差信号には、常に学習定数を
かけておく必要はない。例えば、次に述べる結合係数を
求める演算にのみ用いてもよい。また、誤差信号を逆向
きに伝播させるときの学習定数と、結合係数を求める演
算で用いる学習定数とは異なっていてもよい。このこと
は、ネットワーク８がおかれた神経細胞ユニットの特性
を個々に設定できることを意味し、極めて汎用性の高い
システムを構築できる。従って、ネットワークの持つ性
能を適宜調整することが可能となる。

【００３５】さらに、ｃとして、このような誤差信号に
より各結合係数を変化させる方法について説明する。変
化させたい結合係数が属しているライン（図３参照）を
流れる信号と誤差信号のＡＮＤをとる（δｊ∩ｙｉ）。ただし、本実施例では誤差信号には＋，−の２つの信号
があるので、各々演算して図１６，図１７に示すように
求める。

【００３６】このようにして得られた２つの信号を各々
ΔＴｉｊ（＋），ΔＴｉｊ（−）とする。

【００３７】ついで、今度はこのΔＴｉｊを元に新しい
Ｔｉｊを求めるが、本実施例のＴｉｊは絶対値成分であ
るので、元のＴｉｊが興奮性か抑制性かで場合分けする
。興奮性の場合、元のＴｉｊに対してΔＴｉｊ（＋）の
成分を増やし、ΔＴｉｊ（−）の成分を減らす。即ち、
図１８に示すようになる。逆に、抑制性の場合は元のＴ
ｉｊに対しΔＴｉｊ（＋）の成分を減らし、ΔＴｉｊ（
−）の成分を増やす。即ち、図１９に示すようになる。

【００３８】以上の学習則に基づいてネットワークの計
算をする。

【００３９】次に、以上のアルゴリズムに基づく実際の
回路構成を説明する。図２０ないし図２２にその回路構
成例を示すが、ネットワーク２全体の構成は図３と同様
である。図２０は図３中のライン（結線）に相当する部
分の回路を示し、図２１は図３中の丸（各神経細胞ユニ
ット２０）に相当する部分の回路を示す。また、図２２
は最終層の出力と教師信号から最終層における誤差信号
を求める部分の回路を示す。これらの図２０ないし図２
２構成の３つの回路を図３のようにネットワークにする
ことにより、自己学習可能なデジタル式のニューラルネ
ットワークが実現できる。

【００４０】まず、図２０から説明する。図中、２５は
神経細胞ユニットへの入力信号であり、図４に相当する
。図５に示したような結合係数の値はシフトレジスタ２
６に保存しておく。このシフトレジスタ２６は取出し口
２６ａと入口２６ｂとを有するが、通常のシフトレジス
タと同様の機能を持つものであればよく、例えば、ＲＡ
Ｍとアドレスコントローラとの組合せによるもの等であ
ってもよい。入力信号２５とシフトレジスタ２６内の結
合係数とはＡＮＤゲート２７を備えて図６に示した処理
を行なう論理回路２８によりＡＮＤがとられる。この論
理回路２８の出力は結合が興奮性か抑制性かによってグ
ループ分けしなければならないが、予め各々のグループ
への出力２９，３０を用意し、何れに出力するのかを切
換えるようにした方が汎用性の高いものとなる。このた
め、本実施例では結合が興奮性か抑制性かを表すビット
をグループ分け用メモリ３１に保存しておき、その情報
を用いて切換えゲート回路３２により切換える。切換え
ゲート回路３２は２つのＡＮＤゲート３２ａ，３２ｂと
一方の入力に介在されたインバータ３２ｃとよりなる。

【００４１】また、図２１に示すように各入力を処理（
図７に相当）をする複数のＯＲゲート構成のゲート回路
３３ａ，３３ｂが設けられている。さらに、同図に示す
ように図８に示した興奮性結合グループが「１」で、抑
制性結合グループが「０」のときにのみ出力「１」を出
すＡＮＤゲート３４ａとインバータ３４ｂとによるゲー
ト回路３４が設けられている。

【００４２】次に、誤差信号について説明する。最終層
での誤差信号を生成するのが図２２に示すＡＮＤ，排他
的ＯＲの組合せによる論理回路３５であり、（４）（５
）式に相当する。即ち、最終層からの出力３６及び教師
信号３７により誤差信号３８，３９を作るものである。中間層における誤差信号を計算するため図１０〜図１３
に示したような処理は、図２０中に示すＡＮＤゲート構
成のゲート回路４２により行われ、＋，−に応じた出力
４３，４４が得られる。このように結合が興奮性か抑制
性かにより場合分けする必要があるが、この場合分けは
メモリ３１に記憶された興奮性か抑制性かの情報と、誤
差信号の＋，−信号４５，４６とに応じて、ＡＮＤ，Ｏ
Ｒゲート構成のゲート回路４７により行われる。また、
誤差信号を集める計算式（６）は図２１に示すＯＲゲー
ト構成のゲート回路４８により行われる。さらに、学習
レートに相当する図１４，１５の処理は図２１中に示す
分周回路４９により行われる。最後に、誤差信号より新
たな結合係数を計算する部分、即ち、図１６〜図１９の
処理に相当する部分は、図２０中に示すＡＮＤ，インバ
ータ、ＯＲゲート構成のゲート回路５０により行われ、
シフトレジスタ２６の内容、即ち、結合係数の値が書換
えられる。このゲート回路５０も結合の興奮性、抑制性
によって場合分けが必要であるが、ゲート回路４７によ
り行われる。

【００４３】ここに、図２０及び図２１に示したグルー
プ分け方式及び出力決定方式を抽出して示すと、図２３
のようになる。即ち、入力段階ではグループ分けしてお
かず、各入力２５ｉｊに対して結合係数を記憶したメモ
リなるシフトレジスタ２６ｉｊが個別に設けられ、ＡＮ
Ｄゲート２７ｉｊによる論理結果をグループ分け用メモ
リ３１の内容に応じて切換え回路３２を経て、２つのグ
ループに分け、興奮性結合グループであればＯＲゲート
３３ａ側で論理和を求め、抑制性結合グループであれば
ＯＲゲート３３ｂ側で論理和を求める。この後、ゲート
回路３４による論理積処理により出力を決定するという
ものである。

【００４４】なお、このような興奮性結合と抑制性結合
とのグループ分け方式については、例えば図２４に示す
ように構成してもよい。即ち、入力段階で予め興奮性結
合のグループａと抑制性結合のグループｂとにグループ
分けしておき、各入力２５ｉｊに対して結合係数Ｔｉｊ
を記憶した少なくとも２ビット以上のメモリ、具体的に
はシフトレジスタ５１を設けたものである。以後は、グ
ループ毎にＯＲゲート３３ａ，３３ｂ等を通して同様に
処理すればよい。５２はＡＮＤゲートである。

【００４５】また、ゲート回路３４については、図２５
に示すように、ＡＮＤゲート３４ａに代えてＯＲゲート
３４ｃを用いた構成として論理和処理を行なうようにし
てもよい。

【００４６】また、図２６に示すように、結合係数可変
回路で用いる学習定数を外部から任意に可変設定させる
学習定数設定手段６２を設けるようにしてもよい。即ち
、前述の■〜■に示した基本的な考えに、■　　■で示
した学習時に用いる学習定数（学習レート）を可変とし
、応用面に即した性能のネットワーク回路を得る。の機
能を付加するようにしたものである。

【００４７】まず、この学習定数設定手段６２は図２１
中に示した分周回路４９に代えて設けられるもので、誤
差信号が入力されるカウンタ６３と、このカウンタ６３
の出力を論理演算して学習定数の処理を行うＯＲゲート
６４〜６７及び１つのＡＮＤゲート６８とよりなる。よ
り詳細には、カウンタ６３のバイナリ出力Ａ〜Ｄに接続
されたＯＲゲート６４〜６７の各々の入力側に設けたス
イッチＳａ〜Ｓｄを全てＨレベル側にするとη＝１．０
となり、スイッチＳａ〜Ｓｄを全てＬレベル側にすると
η＝１／１６となる。よって、Ｈレベル側になっている
スイッチの数をＮとすると、η＝（２のＮ乗）／１６と
なる。従って、スイッチ（或いは、スイッチに代えた外
部信号）を用いることにより、学習定数を任意に設定す
ることができる。なお、パルス密度をカウンタ６３のク
ロック入力として用いる場合、誤差信号の入力に対して
ＡＮＤゲート６９を適宜設けてもよい。学習定数設定手
段６２はこのような回路構成に限らない。また、このよ
うな学習定数設定手段６２を複数備えるか、又は、外部
信号により適宜制御することにより、結合係数の演算に
用いる学習定数の値と、誤差信号の逆伝播に用いる学習
定数の値とを異ならせることも可能となる。

【００４８】さらに、図２７ないし図２９に示すように
構成してもよい。即ち、前述のように■〜■に示した基
本的な考えに、■　　結合係数を、興奮性と抑制性との
２種類用意しておき、入力信号に対する演算結果を、各
々の結合係数を用いた結果の割合から多数決で決定し、
ネットワークの柔軟性を高める。の機能を付加するよう
にしたものである。

【００４９】まず、１つの神経細胞ユニットは、興奮性
と抑制性との２つの結合係数を備えているが、「入力信
号と結合係数とのＡＮＤ」による出力結果を、興奮性結
合の場合と抑制性結合の場合との割合で処理するように
したものである。ここに、割合で処理するとは、同期し
て演算される複数の入力信号について、興奮性の結合係
数を用いて得られた出力結果が「１」である場合の数と
、抑制性の結合係数を用いて得られた出力結果が「１」
である場合の数とを比較し、後者が前者より多い場合は
「０」、それ以外の場合は「１」を、その神経細胞ユニ
ットが出力することを意味する。或いは、両者が等しい
場合は「０」を出力するようにしてもよい。

【００５０】図２７及び図２８はこのための回路構成例
を示すものである。まず、各入力２５に対しては個別に
１組ずつのメモリ、具体的にはシフトレジスタ７０ａ，
７０ｂが設けられている。これらのシフトレジスタ７０
ａ，７０ｂはシフトレジスタ２６と同様にデータ取出し
口とデータ入口とを有するものであるが、一方のシフト
レジスタ７０ａは興奮性結合係数を記憶し、他方のシフ
トレジスタ７０ｂは抑制性結合係数を記憶したものであ
る。これらのシフトレジスタ７０ａ，７０ｂから読出し
手段（図示せず）により順次読出された内容は入力２５
とともに対応するＡＮＤゲート７１ａ，７１ｂに入力さ
れ論理積がとられる。このような論理結果は、結合が興
奮性のものと抑制性のものと２通りあるが、ここでは、
多数決回路７２に入力されて出力が決定される。即ち、
シフトレジスタ７０ａに基づく興奮性結合係数を用いた
演算グループはそのデジタル信号が増幅器７３ａにより
加算処理され、同様にシフトレジスタ７０ｂに基づく抑
制性結合係数を用いた演算グループはそのデジタル信号
が増幅器７３ｂにより加算処理され、両者の大小が比較
器７４により多数決決定される。なお、多数決回路７２
は図示例に限らず、一般的な多数決回路であってもよい
。

【００５１】ここに、図２７に示したグループ分け方式
を抽出して示すと、図２９のようになる。即ち、各入力
毎に興奮性結合と抑制性結合との結合係数を記憶した１
組のメモリ（シフトレジスタ）９０を用意して、メモリ
の組別に分けられたグループ別に論理積を求めるまでの
処理を行わせるものである。

【００５２】なお、図２９図示例では多数決回路７２に
代えて、図２３や図２４の場合と同じく、グループ別に
論理和をとるＯＲゲート３３ａ，３３ｂ以下が示されて
いる。この場合のゲート回路３４も図２５のようにして
もよい。

【００５３】ところで、図２９にあっては各入力２５毎
に１組のシフトレジスタ７０ａ，７０ｂを持つため、自
己学習機能による結合係数の書換えも各々のシフトレジ
スタ７０ａ，７０ｂについて行われる。このため、図２
７中に示すように＋，−の誤差信号を用いて、新たな結
合係数を計算するための図１０〜図１３及び（６）式の
処理を行う自己学習回路７５が設けられ、各シフトレジ
スタ７０ａ，７０ｂのデータ入口側に接続されている。この方式によれば、神経細胞ユニットの結合が、興奮性
か抑制性かに限定されないため、ネットワークが柔軟性
を持ち、実際の応用において汎用性を持つことになる。

【００５４】図２８の場合の分周回路４９も図２６に示
したような学習定数設定手段６２に代えてもよい。

【００５５】また、多数決回路７２による出力決定方式
は、図２７に示したように各入力毎に２つのメモリ（シ
フトレジスタ７０ａ，７０ｂ）を持つ方式のものに限ら
ず、各入力毎に１つのメモリ２６を持つものにも同様に
適用できる。即ち、図２０と図２１との組合せに代えて
、図２０と図２８との組合せとしてもよい。

【００５６】さらには、図３０ないし図３４に示すよう
に構成してもよい。即ち、図２ないし図２９に示したよ
うな回路（以下、ニューロン回路）によって構成される
神経細胞模倣素子及びそのネットワーク（回路網）につ
いて、より上位概念で考えた場合、これらの全てを回路
で構成しなくても前述した手順に従ったソフトウエアに
より信号処理するようにしてもよく、その一例を示すも
のである。

【００５７】即ち、ネットワークを構成するニューロン
の機能をソフトウエアで実現するようにしたものである
。まず、図３に示したようなネットワークの場合、この
ネットワークを構成する任意のニューロンにおいてソフ
トウエアにより信号処理を行なう。ソフトウエアを利用
するニューロンは、１つでも全てであってもよく、或い
は、ネットワークを形成する各層毎に決定してもよい。ニューロン回路による信号処理を行なわないニューロン
の構成を図３０に示す。ここで、入出力装置８１はニュ
ーロン回路を用いた他のニューロン或いはネットワーク
へ信号を入力／出力する装置に接続し、信号の授受を行
なう。メモリ８２にはＣＰＵ８３を制御するソフトウエ
アやデータが格納されており、信号はＣＰＵ８３で処理
される。信号処理の手順は前述した通りであるが、改め
て示すと図３１及び図３２のようになる。図３１はフォ
ワードプロセスにおけるアルゴリズムを示し、デジタル
回路内又はコンピュータ内でこのような信号演算処理が
行なわれる。図３１に示す処理中のニューロンの前後関
係を示すと図３３のようになる。図３２は学習演算プロ
セスにおけるアルゴリズムを示し、デジタル回路内又は
コンピュータ内でこのような信号演算処理が行なわれる
。図３２に示す処理中のニューロンの前後関係を示すと
図３４のようになる。このような図３１及び図３２に示
した手順に従ってソフトウエアを作成し、メモリ８２に
格納しておく。ここに、ソフトウエアにより図３０のニ
ユーロンの１つを複数のニューロン分として機能させる
ことも可能である。もっとも、信号を時分割して処理す
る必要がある。

【００５８】このような構成をとることにより、ハード
ウエアによる変更を行なわず、メモリ８２を書換えるだ
けで、ネットワーク構成を変更させることができ、柔軟
性及び汎用性に富んだネットワークを構築することがで
きる。

【００５９】さらに、図３５に示すように構成してもよ
い。これは、１つのニューロンにおいて機能の一部をソ
フトウエアで実行するようにしたものである。即ち、図
３０に示した構成において、図３１に示した信号処理手
順を基にしたソフトウエアをメモリ８２に格納すること
でフォワードプロセスの実行が可能なソフトウエアを利
用したニューロンを実現することができる。学習機能を
持つニューロンを実現するには、入出力装置８１に図２
０又は図２７に示したような回路を付加すればよい。何
れの場合も、図２１の右半分と図２２に示した回路部分
は必要である。図２６に示した回路は適宜設ければよい
。図３５はこのような学習機能を持たせるための回路を
学習回路８４として示したものである。この場合も、ソ
フトウエアの変更だけでネットワーク構成の変更が可能
となり、柔軟性及び汎用性に富むネットワークの構築が
可能となる。

【００６０】また、実際的に考えた場合、通常の電子機
器にはＣＰＵが予め搭載されている場合が多いので、図
３０に示すような構成要素を新規に設けなくてもよいと
いえる。さらに、学習機能が不要なシステムであれば、
ハードウエアの量を大幅に減らすこともできる。

【００６１】また、図３６に示すように、学習プロセス
機能をソフトウエアで実現するようにしてもよい。図３
０に示した構成において、図３２に示した信号処理手順
を基にしたソフトウエアをメモリ８２に格納することで
学習プロセスの実行が可能なソフトウエアを利用したニ
ューロンを実現することができる。フォワードプロセス
機能を持つニューロンを実現するには、入出力装置８１
に図２０及び図２１に示した回路、或いは、図２０及び
図２８に示したような回路を付加すればよい。図２５に
示した回路は適宜設ければよい。図３６はこのようなフ
ォワードプロセス機能を持たせるための回路をフォワー
ド回路８５として示したものである。この場合も、ソフ
トウエアの変更だけでネットワーク構成の変更が可能と
なり、柔軟性及び汎用性に富むネットワークの構築が可
能となる。特に、学習則の変更に対する対応も容易なも
のとなる。また、この場合も、通常の電子機器ではＣＰ
Ｕが予め搭載されている場合が多い点に着目すれば、図
３０に示すような構成要素を新規に設けなくてもよいと
いえる。さらに、学習機能が不要なシステムであれば、
ハードウエアの量を大幅に減らすこともできる。

【００６２】これらのソフトウエアを利用した実施例に
よれば、信号処理方式としてデジタル論理演算のみで実
行できるため、必要とするソフトウエアも低水準の言語
によるものでよく、かつ、ソフトウエアの高速実行も可
能となる。

【００６３】ところで、ニューロンのネットワーク構造
としては、図３に示したようなものの他、例えば図３７
や図３８に示すような構造のものでもよい。図３７は入
力側から順に第１の集合体９０、中間集合体９１、最終
集合体９２としたとき（図３にあってもこのように集合
体を分類できる）、ある集合体に含まれる神経細胞ユニ
ット２０（○は各々論理演算手段を示す）が他の集合体
に含まれる神経細胞ユニット２０の全てとは接続されて
いない状態を示す。図３においてはある集合体内の全て
の神経細胞ユニット２０は別の集合体内の全ての神経細
胞ユニットとの間で相互に信号の送受信を行なうもので
あるが、図３７に示すように集合体間は各々の集合体内
の神経細胞ユニット２０を全結合しなくてもよい。

【００６４】図３８は第１の集合体９０と最終集合体９
２との間に２層の中間集合体９３，９４を用いて４層構
造としてネットワーク構成したものである。一般的には
、中間集合体を適宜の数だけ設けてもよい。

【００６５】また、これらの図３７，図３８及び図３で
は、何れも各集合体に含まれる神経細胞ユニット２０の
数が４個として図示されているが、これらの数は実施例
中の具体例で説明したごとく、任意であり、各集合体毎
に神経細胞ユニット数が異なってもよい。

【００６６】何れにしても、このような構成例に示した
ような構成からなるニューラルネットワーク８を用いて
処理すれば、時間的に変化する入力に対しても実時間で
学習が可能となり、制御対象を的確に制御することがで
きる。

【００６７】以上、ニューロデバイスの各種構成例につ
いて説明したが、これらを網目状に結合させてニューラ
ルネットワーク８を構成するが、この際、あるニューロ
ンからの出力結果は他のニューロンへ入力させてもよく
、又は、自分自身に入力させてもよい。何れにしても、
このようなニューラルネットワーク８において、その出
力はパルス列となるが、これを制御入力とする場合、そ
の方法は大きく分けて２通りある。即ち、■　　ニュー
ラルネットワーク８からの出力パルス列をそのまま用い
る方法。■　　ニューラルネットワーク８からの出力パ
ルス列を計数し、その値を用いる方法。である。

【００６８】■の場合、２値の信号ｏが直接制御対象６
へ入力され、制御用の出力信号ｙとなる。

【００６９】■の場合には、さらに、次の２通りａ．計
数値を直接用いる方法。ｂ．計数値にしきい値を設けて２値化する方法。に分けられる。

【００７０】ａの場合、計数値をデジタル信号なる出力
信号ｙとしてそのまま制御対象６へ入力させてもよい。又は、Ｄ／Ａ変換したアナログ信号なる出力信号ｙとし
て入力させてもよい。ｂの場合、しきい値を設定し、計
数値がしきい値より大きい場合には「１」、小さい場合
には「０」に変換した制御入力とする。或いは、計数値
がしきい値より大きい場合を「０」、小さい場合を「１
」としてもよい。例えば、制御対象６がモータの場合、
２値化された制御入力によりモータはＰＷＭ（パルス幅
変調）駆動となる。

【００７１】ところで、前述したパルス密度型デジタル
ニューロデバイスを用いたニューラルネットワーク８の
出力信号は、信号処理に乱数を用いているため、計数処
理後も確率分布に従った出力信号が得られることになる
。従って、その出力信号はしきい値を適当に設定するこ
とにより、ＰＷＭ信号として直接得ることができ、前述
したニューラルネットワーク８の出力信号ｏの処理とし
て非常に適したものとなる。

【００７２】このようなしきい値の設定方法としては、
２通りある。第１の方法は、制御を行なう前にしきい値
を予めある値に固定しておく方法である。この固定値は
スイッチにより指定してもよく、メモリに格納しておい
てもよい。第２の方法は、しきい値を可変とする方法で
ある。例えば、ある制御出力に対するニューラルネット
ワーク８の出力計数値をしきい値とするものである。し
きい値の可変手段、方式としては、スイッチ等を用いた
外部から与える手動方式や、制御入出力やニューラルネ
ットワーク８の入出力を演算処理することにより自動的
に設定する方式がある。

【００７３】

【発明の効果】本発明は、上述したように結合係数可変
手段とこの結合係数可変手段の可変結合係数値を教師信
号に対する誤差信号に基づいて生成する結合係数生成手
段とを有する自己学習手段を神経細胞模倣素子に付設し
たデジタル論理回路による複数の神経細胞模倣手段を網
状に接続した信号処理手段構成によれば、学習を含めて
処理速度の非常に速いものとなり、さらに、出力信号変
換手段では、信号処理手段からの出力信号を直接、又は
、信号処理手段からの出力信号を計数した値、又は、信
号処理手段からの出力信号を計数して予め設定された固
定しきい値によりしきい値処理した値、又は、信号処理
手段からの出力信号を計数して外部から与えたしきい値
によりしきい値処理した値、又は、信号処理手段からの
出力信号を計数して制御入出力に応じて変化するしきい
値によりしきい値処理した値を制御対象に供給するため
の出力信号としたので、制御対象に応じた制御入力に変
換でき、汎用性の高い制御が可能となる。

【図面の簡単な説明】

【図１】本発明の一実施例を示すブロック図である。

【図２】基本的な信号処理を行なうための論理回路図で
ある。

【図３】ネットワーク構成例を示す模式図である。

【図４】論理演算例を示すタイミングチャートである。

【図５】論理演算例を示すタイミングチャートである。

【図６】論理演算例を示すタイミングチャートである。

【図７】論理演算例を示すタイミングチャートである。

【図８】論理演算例を示すタイミングチャートである。

【図９】論理演算例を示すタイミングチャートである。

【図１０】論理演算例を示すタイミングチャートである
。

【図１１】論理演算例を示すタイミングチャートである
。

【図１２】論理演算例を示すタイミングチャートである
。

【図１３】論理演算例を示すタイミングチャートである
。

【図１４】論理演算例を示すタイミングチャートである
。

【図１５】論理演算例を示すタイミングチャートである
。

【図１６】論理演算例を示すタイミングチャートである
。

【図１７】論理演算例を示すタイミングチャートである
。

【図１８】論理演算例を示すタイミングチャートである
。

【図１９】論理演算例を示すタイミングチャートである
。

【図２０】各部の構成例を示す論理回路図である。

【図２１】各部の構成例を示す論理回路図である。

【図２２】各部の構成例を示す論理回路図である。

【図２３】各部の構成例を示す論理回路図である。

【図２４】変形例を示す論理回路図である。

【図２５】変形例を示す論理回路図である。

【図２６】異なる構成例を示す回路図である。

【図２７】さらに異なる構成例を示す回路図である。

【図２８】回路図である。

【図２９】回路図である。

【図３０】別の構成例を示すブロック図である。

【図３１】フォワードプロセスにおける処理を示すフロ
ーチヤートである。

【図３２】学習プロセスにおける処理を示すフローチヤ
ートである。

【図３３】ニユーロンの前後関係を示す模式図である。

【図３４】ニユーロンの前後関係を示す模式図である。

【図３５】さらに別の構成例を示すブロック図である。

【図３６】別の構成例を示すブロック図である。

【図３７】ネットワーク構造の変形例を示す概念図であ
る。

【図３８】ネットワーク構造の異なる変形例を示す概念
図である。

【図３９】従来例を示すブロック図である。

【符号の説明】

６　　　　　　制御対象７　　　　　　入力信号変換手段８　　　　　　信号処理手段９　　　　　　出力信号変換手段

Claims

【特許請求の範囲】

【請求項１】　　結合係数可変手段とこの結合係数可変
手段の可変結合係数値を教師信号に対する誤差信号に基
づいて生成する結合係数生成手段とを有する自己学習手
段を神経細胞模倣素子に付設したデジタル論理回路によ
る複数の神経細胞模倣手段を網状に接続した信号処理手
段と、制御対象からの出力信号を前記信号処理手段に供
給するための入力信号に変換する入力信号変換手段と、
前記信号処理手段からの出力信号を直接前記制御対象に
供給するための出力信号とする出力信号変換手段とより
なることを特徴とする信号処理装置。
【請求項２】　　結合係数可変手段とこの結合係数可変
手段の可変結合係数値を教師信号に対する誤差信号に基
づいて生成する結合係数生成手段とを有する自己学習手
段を神経細胞模倣素子に付設したデジタル論理回路によ
る複数の神経細胞模倣手段を網状に接続した信号処理手
段と、制御対象からの出力信号を前記信号処理手段に供
給するための入力信号に変換する入力信号変換手段と、
前記信号処理手段からの出力信号を計数した値を前記制
御対象に供給するための出力信号とする出力信号変換手
段とよりなることを特徴とする信号処理装置。
【請求項３】　　結合係数可変手段とこの結合係数可変
手段の可変結合係数値を教師信号に対する誤差信号に基
づいて生成する結合係数生成手段とを有する自己学習手
段を神経細胞模倣素子に付設したデジタル論理回路によ
る複数の神経細胞模倣手段を網状に接続した信号処理手
段と、制御対象からの出力信号を前記信号処理手段に供
給するための入力信号に変換する入力信号変換手段と、
前記信号処理手段からの出力信号を計数して予め設定さ
れた固定しきい値によりしきい値処理した値を前記制御
対象に供給するための出力信号とする出力信号変換手段
とよりなることを特徴とする信号処理装置。
【請求項４】　　結合係数可変手段とこの結合係数可変
手段の可変結合係数値を教師信号に対する誤差信号に基
づいて生成する結合係数生成手段とを有する自己学習手
段を神経細胞模倣素子に付設したデジタル論理回路によ
る複数の神経細胞模倣手段を網状に接続した信号処理手
段と、制御対象からの出力信号を前記信号処理手段に供
給するための入力信号に変換する入力信号変換手段と、
前記信号処理手段からの出力信号を計数して外部から与
えたしきい値によりしきい値処理した値を前記制御対象
に供給するための出力信号とする出力信号変換手段とよ
りなることを特徴とする信号処理装置。
【請求項５】　　結合係数可変手段とこの結合係数可変
手段の可変結合係数値を教師信号に対する誤差信号に基
づいて生成する結合係数生成手段とを有する自己学習手
段を神経細胞模倣素子に付設したデジタル論理回路によ
る複数の神経細胞模倣手段を網状に接続した信号処理手
段と、制御対象からの出力信号を前記信号処理手段に供
給するための入力信号に変換する入力信号変換手段と、
前記信号処理手段からの出力信号を計数して制御入出力
に応じて変化するしきい値によりしきい値処理した値を
前記制御対象に供給するための出力信号とする出力信号
変換手段とよりなることを特徴とする信号処理装置。