JPH07334478A - パルス密度型信号処理回路網における結合係数更新方法 並びに結合係数更新装置 - Google Patents

Abstract

(57)【要約】 【目的】 パルス密度型ニューラルネットワークにおい
て、学習に際しての結合係数の更新時に、更新量の慣性
項すなわち安定化係数をαによる処理を実施できるパル
ス密度型信号処理回路網における結合係数更新方法を提
供する。 【構成】 該ニューロンに他ニューロンからの信号を伝
播する際の信号の増減度を表すシナプス結合係数の更新
をする際に、該ニューロンにおける誤差信号δηｊと他
ニューロンからの入力信号Ｏｉにより求められた第１の
結合係数更新信号δηｊ∩Ｏｉと、該シナプス結合の１
フレーム前の結合係数更新信号にα回路５２により安定
化係数による処理を施した第２の結合係数更新信号α∩
ΔＷ（ｔ）との論理和を施した信号ΔＷ（ｔ＋１）を、
該シナプス結合における結合係数更新信号とし、該シナ
プスの結合係数の更新を行う。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、文字や図形認識、ロボ
ット等の運動制御、或いは連想記憶等に応用されるパル
ス密度型信号処理回路網における結合係数更新方法並び
に結合係数更新装置に関する。

【０００２】

【従来の技術】生体の情報処理の基本的な単位である神
経細胞（ニューロン）の機能を模倣した神経細胞模倣素
子をネットワークに構成し、情報の並列処理を目指した
のが、いわゆる神経細胞回路ネットワーク（ニューラル
ネットワーク）である。文字認識や連想記憶、運動制御
等は、生体においてはいとも簡単に行われていても、従
来のノイマン型コンピュータではなかなか達成できない
ものが多い。

【０００３】そこで、生体の神経系、特に生体特有の機
能、すなわち並列処理や自己学習等を模倣して、これら
の問題を解決しようとする試みが、計算機シュミレーシ
ョンや専用ハードウェアの試作等によって、盛んに行わ
れている。

【０００４】図１は、一つのニューロンのモデル（神経
細胞ユニット）を表すもので、他のニューロンから入力
を受ける部分、入力を一定の規則で変換する部分、結果
を出力する部分からなる。他のニューロンとの結合部に
はそれぞれ可変の重み“Ｗｊｉ”を付け、結合の強さを
表している。この値を変えるとネットワークの構造が変
わる。ネットワークの学習とはこの値を変えることであ
る。

【０００５】図２は、これをネットワークにし、階層型
ニューラルネットワークを形成した場合である。図中、
Ａ１，Ａ２，Ａ３はそれぞれニューロンを表している。
各ニューロンＡ１，Ａ２，Ａ３は図１の模式図に示すニ
ューロンと同様に多数のニューロンと結合され、それか
ら受けた信号を処理して出力する。階層型ネットワーク
は、入力層、中間層、出力層から成り、各層内での結合
はなく、また出力層から入力層に向かう結合もない。一
つのニューロンは他の多数のニューロンと結合してい
る。

【０００６】なお、図２は、入力層、中間層、出力層の
三層ネットワークであるが、中間層を複数持つ多層ネッ
トワークも利用される。

【０００７】図１に示すニューロンを例にとり、図２の
各ニューロンＡ１，Ａ２，Ａ３の動作について説明す
る。まず、フォワードプロセスについて説明する。

【０００８】図２のニューラルネットワークにおいて、
入力層Ａ１に入力された信号は、中間層Ａ２に伝播し、
中間層Ａ２にてフォワード処理を実行する。中間層Ａ２
の処理結果は、出力層Ａ３に伝播し、出力層Ａ３にて、
フォワード処理を実行し、最終的にニューラルネットワ
ークの出力が得られる。

【０００９】ここで、ニューロン間の結合の度合いを表
すのが、結合係数と呼ばれるもので、ｊ番目のニューロ
ンとｉ番目のニューロンとの結合係数をＷｊｉで表す。
結合には、相手のニューロンからの信号が大きいほど自
分の出力が大きくなる興奮性結合と、逆に相手のニュー
ロンからの信号が大きいほど自分の出力が小さくなる抑
制性結合があり、Ｗｊｉ＞０のとき興奮性結合、Ｗｊｉ
＜０のとき抑制性結合を表す。

【００１０】今、自分のニューロンがｊ番目であると
し、ｉ番目のニューロンの出力をＯｉとすると、これに
結合係数Ｗｊｉを掛けＷｊｉ・Ｏｉが自分のニューロン
への入力となる。各ニューロンは多数のニューロンと結
合しているので、それらのニューロンに対するＷｊｉ・
Ｏｉを足し合わせた結果であるΣＷｊｉ・Ｏｉが、自分
のニューロンへの入力となる。これを内部電位と言い、
次式で示される。

【００１１】

【数１】ｎｅｔ_j ＝ΣＷｊｉ・Ｏｉ … （１）

【００１２】次に、この入力に対して非線形処理を施
し、出力をする。この時の関数を神経細胞応答関数と呼
び、例えば次の式（２）に示されるようなシグモイド関
数が用いられる。

【００１３】

【数２】 ｆ（ｎｅｔ_j ）＝１／｛１＋ｅｘｐ（−ｎｅｔ_j ）｝ … （２）

【００１４】この関数を図３に示す。値域は“０〜１”
で、入力値が大きくなるにつれ“１”に、小さくなるに
つれ“０”に近づく。以上より、ニューロンｊの出力Ｏ
ｊは次の式（３）で示される。

【００１５】

【数３】Ｏｊ＝ｆ（ｎｅｔ_j ） ＝ｆ（ΣＷｊｉ・Ｏｉ） … （３）

【００１６】次に、上記ニューラルネットワークの学習
機能について説明する。数値計算で用いられる学習プロ
セスとして、一般的なバックプロパゲーションアルゴリ
ズム（以後、略してＢＰアルゴリズムと呼ぶ。）につい
て簡単に述べる。

【００１７】学習プロセスでは、ある入力パターンｐを
与えたとき、実際の出力値と望ましい出力値の誤差を小
さくするように結合係数を変更していく。この変更量を
求めるアルゴリズムがＢＰアルゴリズムである。

【００１８】今、ある入力パターンｐを与えたとき、ユ
ニットｋの実際の出力値（Ｏｐｋ）と望ましい出力値
（ｔｐｋ）の差を次の式（４）のように定義する。

【００１９】

【数４】Ｅｐ＝（ｔｐｋ−Ｏｐｋ）²／２ … （４）

【００２０】これは出力層のユニットｋの誤差を表し、
ｔｐｋは人間が与える教師データである。学習ではこの
誤差を減らすようにすべての結合の強さを変えていく。
実際には、パターンｐを与えた時のＷｋｊの変化量を次
の式（５）で表す。

【００２１】

【数５】ΔｐＷｋｊ∝−ЭＥ／ЭＷｋｊ … （５）

【００２２】これを用いて、結合係数Ｗｋｊを変化させ
る。上記式（４）より、結果的に次の式（６）が得られ
る。

【００２３】

【数６】ΔｐＷｋｊ＝η・δｐｋ・Ｏｐｊ … （６）

【００２４】ここで、Ｏｐｊは、ユニットｊからユニッ
トｋへの入力値である。誤差δｐｋは、ユニットｋが出
力層か、中間層で異なる。まず、出力層における誤差信
号δｐｋは、次の式（７）となる。

【００２５】

【数７】 δｐｋ＝（ｔｐｋ−Ｏｐｋ）・ｆ´（ｎｅｔ_k ） … （７）

【００２６】一方、中間層における誤差信号δｐｊは次
の式（８）に示す通りである。

【００２７】

【数８】 δｐｊ＝ｆ´（ｎｅｔ_j ）・ΣδｐｋＷｋｊ … （８）

【００２８】但し、ｆ´（ｎｅｔ_j ）はｆ（ｎｅｔ_j ）
の一階微分で、詳細は後述する。以上よりΔＷｊｉを一
般的に定式化したのが次の式（９）である。

【００２９】

【数９】 ΔＷｊｉ（ｔ＋１）＝η・δｐｊ・Ｏｐｉ＋α・ΔＷｊｉ（ｔ） … （９）

【００３０】故に式（１０）に示す通りである。ここで
ｔは学習の順位、ηは学習定数、αは安定化係数と呼ば
れる。上記式（９）の右辺第１項は、上記式（６）で求
めたΔＷｊｉ、第２項はエラーの振動を減らし、収束を
早めるために加えている。

【００３１】

【数１０】 Ｗｊｉ（ｔ＋１）＝Ｗｊｉ（ｔ）＋ΔＷｊｉ（ｔ＋１） … （１０）

【００３２】このように結合係数の変化量ΔＷｊｉの計
算は、出力層のユニットから始めて中間層のユニットに
移る。学習は、入力データの処理とは逆方向、つまり後
ろ向きに進む。従って、バックプロパゲーションによる
学習は、まず、学習用のデータを入力し、結果を出力す
る（前向き）。結果のエラーを減らすようにすべての結
合の強さを変える（後ろ向き）。再び、学習用データを
入力する。これを収束するまで繰り返すことになる。

【００３３】従来の階層型ニューラルネットワークは、
図２に示すようなネットワークを形成する。このネット
ワークにおいて、フォワードプロセスのデータの流れを
示したのが図４である。これは３層階層型ネットワーク
における場合で、フォワードプロセスでは、入力層（図
４の左側の層）に入力信号Ｏｉ1 〜Ｏｉ4 を与えて、出
力層（図４の右側の層）より出力信号Ｏｋ1 〜Ｏｋ4 を
得る。

【００３４】一方、学習プロセスのデータの流れを示し
たのが図５である。学習プロセスでは、出力層（図５の
右側の層）に教師信号ｔｋ1 〜ｔｋ4 を与えて、各ニュ
ーロン間の結合強度を更新し、ニューラルネットワーク
の出力が教師信号に一致するように学習する。なお、こ
の学習プロセスによる処理は、今のところ多くの場合、
外部の汎用のコンピュータによって実行している。

【００３５】前記ネットワークを電気回路で実現したも
のの一例を図６に示す（特開昭６２−２９５１８８号公
報）。この回路は、基本的にはＳ字型の伝達関数を有す
る複数の増幅器４と、各増幅器４の出力を他の層の増幅
器の入力に一点鎖線で示すように接続する抵抗性フィー
ドバック回路網２とが設けられている。各増幅器４の入
力側には接地させたコンデンサＣと接地された抵抗Ｒと
によるＣＲ時定数回路３が個別に接続されている。そし
て、入力電流Ｉ₁ ，Ｉ₂ 〜Ｉ_N が各増幅器４の入力に供
給され、出力はこれらの増幅器４の出力電圧の集合から
得られる。

【００３６】ここに、入力や出力の信号の強度を電圧で
表し、神経細胞の結合の強さは、各細胞間の入出力ライ
ンを結ぶ抵抗１（抵抗性フィードバック回路網２中の格
子点）の抵抗値で表され、神経細胞応答関数は各増幅器
４の伝達関数で表される。また、神経細胞間の結合には
前述のように興奮性と抑制性があり、数学的には結合関
数の正負符号により表される。しかし、回路上の定数で
正負を実現するのは困難であるので、ここでは、増幅器
４の出力を２つに分け（４ａ，４ｂ）、一方の出力を反
転させることにより、正負の２つの信号を生成し、これ
を選択することにより実現するようにしている。また、
図３に示したシグモイド関数ｆ（ｎｅｔ）に相当するも
のとしては増幅器が用いられている。

【００３７】一般に、ニューラルネットワークをアナロ
グ回路により構成すると、単一神経回路素子の面積を小
さくできるため、ニューラルネットワークの集積度を大
きくできたり、或いは実行スピードが速いといった利点
を持っている。しかしながらその反面、各信号の値を電
位や電流等のアナログ量で表し、各演算も増幅器等のア
ナログ素子により実行するため、温度特性によるばらつ
きが存在し、また素子形成上のプロセスのばらつきのた
め、各素子の応答特性を同一にすることができず、出力
値が不安定になるといった問題もある。

【００３８】また、ニューラルネットワークの結合係数
の値を学習によって任意に変更するということも難し
く、外部のコンピュータで学習を行い、学習後の各結合
係数の値をハードウェア上にダウンロードするといった
こともよく行われる。このような学習方法では、学習に
コンピュータを必要としたり、学習処理が著しく遅くな
るといった問題がある。

【００３９】次に、デジタル回路によりニューラルネッ
トワークを構成した例を示す。図７〜図９は、前記ニュ
ーラルネットワークをデジタル回路で実現した例を示す
図で、図７は、単一神経細胞の回路構成例を示す。これ
らにおいて図で、１１はシナプス回路、１２は樹状突起
回路、１３は細胞体回路を示す。

【００４０】図８は、図７に示したシナプス回路１１の
構成例を示す図で、係数回路１１ａを介して入力パルス
ｆに倍率ａ（フィードバック信号に掛ける倍率で１また
は２）を掛けた値が入力されるレートマルチプライヤ１
１ｂを設けてなり、レートマルチプライヤ１１ｂには重
み付けの値ｗを記憶したシナプス荷重レジスタ１１ｃが
接続されている。また、図９は細胞体回路１３の構成例
を示す図で、制御回路１４、アップ／ダウンカウンタ１
５、レートマルチプライヤ１６及びゲート１７を順に接
続してなり、さらに、アップ／ダウンメモリ１８が設け
られている。

【００４１】これは、神経細胞ユニットの入出力をパル
ス列で表現し、そのパルス密度で信号の量を表してい
る。結合係数は２進数で取り扱い、シナプス荷重レジス
タ１１ｃに保存している。

【００４２】信号演算処理は次のように行う。まず、入
力信号をレートマルチプライヤ１１ｂへ入力し、結合係
数をレート値へ入力することによって、入力信号のパル
ス密度をレート値に応じて減らしている。これは、前述
のバックプロパゲーションモデルの式のＷｊｉ・Ｏｉの
部分に相当する。またΣＷｊｉ・ＯｉのΣの部分は、樹
状突起回路１２によって示されるＯＲ回路で実現してい
る。結合には、興奮性、抑制性があるので、あらかじめ
グループ分けしておき、それぞれのグループ別に論理和
（ＯＲ）をとる。図７において、Ｆ1 は興奮性、Ｆ2 は
抑制性出力を示す。この２つの出力を図９に示したカウ
ンタ１５のアップ側、ダウン側にそれぞれ入力してカウ
ントすることで出力が得られる。この出力は２進数であ
るので、再びレートマルチプライヤ１６を用いてパルス
密度に変換する。この神経細胞ユニットを複数個用いて
ネットワークを構成することによって、ニューラルネッ
トワークが実現できる。学習機能はネットワークの最終
出力を外部のコンピュータに入力して、コンピュータ内
部で数値計算を行い、その結果を結合係数を保存するシ
ナプス荷重レジスタ１１ｃに書き込むことによって実現
している。

【００４３】以上のように、ニューラルネットワークを
デジタル回路により構成すると、単一神経回路素子の面
積がアナログ回路に比べ大きくなるため、ニューラルネ
ットワークの集積度を上げられないといった難点がある
が、アナログ回路の欠点であった、温度特性や素子形成
上のプロセスのばらつきによる影響を受けず、回路を形
成することも比較的容易で、神経細胞素子（ニューロ
ン）の出力も安定し、信頼性が高いといった利点があ
る。

【００４４】しかし、図７〜９に示した例では、ニュー
ラルネットワークの学習は、外部のコンピュータに頼っ
ているため、学習用のコンピュータを必要とし、また学
習時間が大きいといった問題は存在する。

【００４５】本出願人は、ニューロンより構成されたニ
ューラルネットワークによる信号処理装置をすでに提案
している（例えば、特願平５−１１８０８７号に詳し
い。）。この発明では、この先願に係る信号処理装置を
一実施例の例題として取り扱うので、以下この先願に係
る信号処理装置について述べる。

【００４６】この先願に係る信号処理装置においては、
神経回路網の一例として、デジタル論理回路を用いた神
経細胞ユニットとこれを用いて構成したネットワーク回
路による信号処理について提案している。

【００４７】ここで基本的な考え方は、以下のようなも
のである。 １．神経細胞ユニットにおける入出力信号、中間信号、
教師信号は、すべて、「０」，「１」の２値で表された
パルス列で表現する。 ２．ネットワーク内部での信号の値は、パルス密度（あ
る一定時間内の「１」の数）で表す。 ３．神経細胞ユニット内での演算は、パルス列同士の論
理演算で行う。 ４．結合係数のパルス列は神経細胞ユニット内のメモリ
に格納する。 ５．学習においては、与えられた教師信号パルス列を元
に誤差を計算し、これに基づいて、結合係数を変化させ
る。この時、誤差の計算、結合係数の変化分の計算もす
べて「０」，「１」のパルス列の論理演算で行う。

【００４８】図１０は、パルス密度方式において、一つ
のニューロン素子のフォワード処理の様子を示したもの
で、ネットワークの構成は、図２に示した階層型ニュー
ラルネットワークを考える。

【００４９】まず、「０」，「１」に２値化され、パル
ス密度で表現された入力Ｏｉと結合係数Ｗｊｉとの論理
積（ＡＮＤ）をシナプスごとに求める。これは、前記式
（１）のＷｊｉ・Ｏｉに相当する。このＡＮＤ回路の出
力のパルス密度は、確率的に入力信号のパルス密度と結
合係数のパルス密度との積となる。

【００５０】前述したように、ニューロン間の結合には
興奮性結合と抑制性結合がある。数値演算の場合は、結
合係数の符号、例えば、興奮性の時プラス、抑制性の時
マイナスというようにして演算を行う。

【００５１】パルス密度方式の場合は、結合係数Ｗｊｉ
の正負により、各結合を興奮性結合と抑制性結合との２
つのグループに分け、このグループ別にＯＲ操作による
論理和をとる。これは、式３のΣの処理と非線形飽和関
数ｆ（ｎｅｔ）の処理に相当する。

【００５２】即ち、パルス密度による演算においては、
パルス密度が低い場合、ＯＲ処理を行った結果のパルス
密度は、ＯＲ入力のパルス密度の和に近似できる。

【００５３】パルス密度が高くなるにつれて、ＯＲ回路
の出力は徐々に飽和してくるので、パルス密度の和と
は、結果が一致せず、非線形性が出てくることになる。

【００５４】このＯＲ操作の場合、パルス密度の値Ｐは
０≦Ｐ≦１となり、さらに入力の大きさに対して、単調
増加関数となるので、式（２）或いは図３のシグモイド
関数による処理と同様になる。

【００５５】パルス密度方式による神経細胞素子の出力
は、上記の演算により求められた興奮性グループのＯＲ
出力ｎｅｔ_j ⁺が“１”でかつ、抑制性グループのＯＲ出
力ｎｅｔ_j ^-が“０”の時のみ“１”を出力する。即ち、
次の式（１１）〜（１３）に示すように表す。

【００５６】

【数１１】

【００５７】次に、パルス密度方式における学習プロセ
スについて述べる。学習が行われていないニューラルネ
ットワークにおいては、あるパターンを入力したときの
ネットワークの出力は必ずしも望ましい出力とはならな
い。従って、前述したＢＰアルゴリズムと同様に学習プ
ロセスによって、実際の出力値と望ましい出力値の誤差
を小さくするように結合係数を変更していく。

【００５８】（出力層における誤差信号）最初に出力層
における誤差信号について述べる。ここで、誤差を数値
で表すと正負両方の値を取り得るが、パルス密度方式で
は、そのような表現ができないため、プラス成分を表す
信号δｋ⁺ とマイナス成分を表すδｋ^- 信号の２つを使
って、出力層における誤差信号を次の式（１４），（１
５）のように定義する。

【００５９】

【数１２】

【００６０】誤差信号プラス成分δｋ⁺ は、出力結果Ｏ
ｋが“０”で、教師信号ｔｋが“１”の時、“１”とな
り、それ以外は“０”となる。

【００６１】他方、誤差信号マイナス成分δｋ^- は、出
力結果Ｏｋが“１”で、教師信号ｔｋが“０”の時、
“１”となり、それ以外は“０”となる。

【００６２】この誤差信号δｋ⁺ ，δｋ^- は、前述のＢ
Ｐアルゴリズムでは出力層の誤差信号を求める前記式
（７）の教師信号と実際の出力信号との差（ｔ_pk−
Ｏ_pk）に対応する。

【００６３】次に、式（７）に示すように、これらの誤
差信号と出力関数ｆ（ｎｅｔ）の一階微分であるｆ´
（ｎｅｔ）との積を求め、出力層における誤差信号を求
める。一般に、学習時における誤差信号の演算には、出
力信号を内部電位で微分した微係数が必要となる。前述
のＢＰアルゴリズムでは出力関数ｆ（ｎｅｔ）として、
シグモイド関数を用いた場合、その一階微分ｆ´（ｎｅ
ｔ）は式（１６）で示される。

【００６４】

【数１３】 ｆ´（ｎｅｔ）＝ｄｆ（ｎｅｔ）／ｄｎｅｔ ＝ｆ（ｎｅｔ）・｛１−ｆ（ｎｅｔ）｝ … （１６）

【００６５】パルス密度方式では、式（１６）を参考に
して、出力層ニュロンにおける一階微分ｆ´（ｎｅｔ）
ｋのプラス成分ｆ´（ｎｅｔ）ｋ⁺ 及びマイナス成分ｆ
´（ｎｅｔ）ｋ^- を式（１７），（１８）のように定義
する。

【００６６】

【数１４】

【００６７】ここで、Ｏｋ（ｔ−１）は、出力信号Ｏｋ
の１パルスディレイ値で、Ｏｋ（ｔ−２）は、出力信号
Ｏｋの２パルスディレイ値である。従って、出力層にお
ける最終的な誤差信号は、次の式（１９），（２０）で
示される。これは、前述のＢＰアルゴリズムでは、出力
層の誤差信号を求める式（７）に対応する。

【００６８】

【数１５】

【００６９】（中間層における誤差信号）パルス密度方
式による中間層における誤差信号も前述のＢＰアルゴリ
ズムによる前記式（８）を参考にして求める。即ち、出
力層における誤差信号を集めてきて中間層の誤差信号と
する。ここで、結合を興奮性か抑制性かにより２つのグ
ループに分け、積の部分は∩（ＡＮＤ），和（Σ）の部
分は∪（ＯＲ）で表現する。

【００７０】さらに、中間層における誤差信号を求める
場合、結合係数Ｗｋｊの正負，誤差信号δｋの正負の４
つに場合分けする。まず、興奮性結合の場合、出力層の
誤差信号プラス成分δｋ⁺ と、その結合係数のＡＮＤを
とったもの（δｋ⁺ ∩Ｗｋｊ⁺ ）をすべての出力層のニ
ューロンについて求め、これらのＯＲをとる。これが中
間層ニューロンの誤差信号プラス成分δｊ⁺ となる（式
（２１））。

【００７１】

【数１６】 δｊ⁺ ＝∪（δｋ⁺ ∩Ｗｋｊ⁺ ） … （２１）

【００７２】同様に、出力層の誤差信号マイナス成分δ
ｋ^- と、その結合係数のＡＮＤをとったもの（δｋ^- ∩
Ｗｋｊ⁺ ）をすべての出力層のニューロンについて求
め、これらのＯＲをとる。これが中間層ニューロンの誤
差信号マイナス成分となる（式（２２））。

【００７３】

【数１７】 δｊ^- ＝∪（δｋ^- ∩Ｗｋｊ⁺ ） … （２２）

【００７４】次に、抑制性結合の場合について述べる。
出力層の誤差信号マイナス成分δｋ^- と、その結合係数
とのＡＮＤをとったもの（δｋ^- ∩Ｗｋｊ^- ）をすべて
の出力層のニューロンについて求め、これらのＯＲをと
る。これが中間層の誤差信号プラス成分となる（式（２
３））。

【００７５】

【数１８】 δｊ⁺ ＝∪（δｋ^- ∩Ｗｋｊ^- ） … （２３）

【００７６】同様に、出力層の誤差信号プラス成分δｋ
⁺ とその結合係数とのＡＮＤをとったもの（δｋ⁺ ∩Ｗ
ｋｊ^- ）をすべての出力層のニューロンについて求め、
これらのＯＲをとる。これが中間層ニューロンの誤差信
号マイナス成分となる。

【００７７】

【数１９】 δｊ^- ＝∪（δｋ⁺ ∩Ｗｋｊ^- ） … （２４）

【００７８】ある中間層のニューロンとこれと結合され
た出力層のニューロンとの結合には、興奮性結合と抑制
性結合がある。従って、中間層の誤差信号プラス成分と
しては、式（２１）の興奮性結合のδｊ⁺ と式（２３）
の抑制性結合のδｊ⁺ の論理和をとる。同様に、中間層
の誤差信号マイナス成分としては、式（２２）の興奮性
結合δｊ^- と式（２４）の抑制性結合のδｊ^- との論理
和をとる。即ち、次の式（２５），（２６）のようにな
る。これは、ＢＰアルゴリズムによる前記式（８）のΣ
δｐｋＷｋｊに対応する。

【００７９】

【数２０】 δｊ⁺＝｛∪（δｋ⁺∩Ｗｋｊ⁺）｝∪｛∪（δｋ^-∩Ｗｋｊ^-）｝ …（２５） δｊ^-＝｛∪（δｋ^-∩Ｗｋｊ⁺）｝∪｛∪（δｋ⁺∩Ｗｋｊ^-）｝ …（２６）

【００８０】次に、式（８）のＢＰアルゴリズムと同様
に、式（２５），（２６）で求めたδｊ⁺ ，δｊ^- に式
（１７），（１８）の微係数（ｆ´（ｎｅｔ））による
処理を施す。ここで中間層ニューロンにおける一階微分
ｆ´（ｎｅｔ）ｊのプラス成分ｆ´（ｎｅｔ）ｊ⁺ 及び
マイナス成分ｆ´（ｎｅｔ）ｊ^- を（２７），（２８）
のように定義する。ここで、Ｏｊ（ｔ−１）は中間層ニ
ューロンの出力信号Ｏｊの１パルスディレイ値である。

【００８１】従って、中間層における誤差信号（δｊ
⁺ ，δｊ^- ）は次の式（２９），（３０）で求められ
る。

【００８２】

【数２１】

【００８３】

【数２２】

【００８４】（学習定数ηによる処理）ＢＰアルゴリズ
ムにおいて、結合係数の修正量ΔＷを求める前記式
（６）にある学習定数ηの処理について述べる。数値演
算においては、式（６）にあるように、単純に学習定数
ηを乗算すればよいが、パルス密度方式の場合は、学習
定数ηの値に応じて、下に示すようにパルス列を間引く
ことで実現する。

【００８５】

【数２３】

【００８６】次に、学習による結合係数の修正量ΔＷを
求める方法について述べる。まず、前述した出力層或い
は中間層の誤差信号（δ+ ，δ- ）に学習定数ηによる
処理を施し、さらにニューロンへの入力信号との論理積
をとる（δη∩Ｏ）。但し、誤差信号はδ⁺ とδ^- があ
るので、次式に示すようにそれぞれを演算してΔＷ⁺，
ΔＷ^- とする。

【００８７】

【数２４】ΔＷ⁺ ＝δη⁺ ∩Ｏ … （３４） ΔＷ^- ＝δη^- ∩Ｏ … （３５）

【００８８】これは、ＢＰアルゴリズムにおけるΔＷを
求める前記式（６）に対応する。これらを元にして新し
い結合係数Ｎｅｗ＿Ｗを求めるが、結合係数Ｗが興奮性
か抑制性かにより場合分けをする。まず、興奮性の場合
には、元のＷ⁺ に対して、ΔＷ⁺ の成分を増やし、ΔＷ
^- の成分を減らす。即ち式（３６）となる。

【００８９】

【数２５】

【００９０】次に抑制性の場合には、元のＷ^- に対し
て、ΔＷ⁺ の成分を減らし、ΔＷ^- の成分を増やす。即
ち式（３７）となる。

【００９１】

【数２６】

【００９２】以上がパルス密度方式による学習アルゴリ
ズムである。ここで、図２の階層型ネットワークにおい
て、パルス密度方式におけるフォワードプロセス及び学
習プロセスの処理の流れについて簡単に述べる。まず、
フォワードプロセスであるが、最初に入力層に信号を与
えると、この入力信号が中間層に伝播していき、中間層
の信号処理として、前述の式（１１）〜（１３）を行
い、その結果を出力層に伝播させる。

【００９３】出力層では、これらの伝播してきた信号に
対して、同様に式（１１）〜（１３）の処理を実行し、
これらの結果として出力信号が得られ、フォワードプロ
セスを終了する。

【００９４】学習プロセスでは、以上のフォワードプロ
セスを行った後、更に出力層に教師信号を与える。出力
層では、式（１９），（２０）により出力層における誤
差信号を求め中間層に送る。同時にこの誤差信号に式
（３１）〜（３３）の学習定数ηによる処理を施し、式
（３４），（３５）により中間層からの入力信号との論
理積をとった後、式（３６），（３７）により出力層と
中間層との結合強度を変更する。

【００９５】次に中間層における処理として、出力層か
ら送られた誤差信号を元に、式（２９），（３０）によ
って中間層における誤差を求め、この誤差信号に式（３
１）〜（３３）の学習定数ηによる処理を施し、式（３
４），（３５）により入力層からの入力信号との論理積
をとった後、式（３６），（３７）により中間層と入力
層との結合強度を変更し、学習プロセスを終了する。以
降、収束するまで学習プロセスを繰り返す。

【００９６】次に図１１ないし図１３を参照して、以上
のアルゴリズムに基づく実際の回路構成を説明する。ニ
ューラルネットワークの構成は図２と同様である。図１
１は、ニューロンのシナプスに相当する部分の回路を示
す図で、図１２は、出力層のニューロンの細胞体と出力
層の出力と教師信号から出力層における誤差信号を求め
る回路を示す図である。また、図１３は、中間層のニュ
ーロンの細胞体と出力層における誤差信号を集め、中間
層における誤差信号を求める部分の回路を示す図であ
る。これらの３つの回路を図２のようにネットワークに
することによって、自己学習が可能なデジタル式のニュ
ーラルネットワーク回路が実現できる。

【００９７】まず、図１１について説明する。シナプス
の結合係数はシフトレジスタ２１に保存しておく。端子
２１Ａがデータの取り出し口で、端子２１Ｂがデータの
入り口である。これはシフトレジスタと同様の機能を持
つものであれば、その他のもの、例えば、ＲＡＭとアド
レスジュネレータ等を用いてもよい。シフトレジスタ２
１を備えた回路２２は、前記の式（１１），（１２）の
（Ｏｉ∩Ｗｊｉ）を実行する回路で、入力信号と結合係
数とのＡＮＤをとっている。この出力は結合が興奮性か
抑制性かによってグループ分けしなければならないが、
あらかじめ各々のグループへの出力Ｏ⁺ ，Ｏ^- を用意
し、どちらのグループに出すのかを切り換えるようにし
た方が汎用性が高い。このため、結合が興奮性か抑制性
かを表すビットをメモリ２３に保存しておき、その情報
を用いて切り換えゲート回路２４により信号を切り換え
る。また、図１２，１３に示すように各入力を処理する
前記の式（１１），（１２）の論理和に相当する複数の
ＯＲゲート構成のゲート回路３１が設けられている。更
に同図に示すように式（１３）で示した興奮性グループ
が「１」でかつ、抑制性グループが「０」の時のみ出力
を出すＡＮＤゲートとインバータによるゲート回路３２
が設けられている。

【００９８】次に、誤差信号について説明する。図１２
における回路３５，３６は、出力層での出力関数の微分
係数を生成する回路を示す図で、ＡＮＤ（論理積），イ
ンバータの組み合わせによる論理回路であり、前記式
（１７），（１８）に相当する。そして、回路３７は、
出力層での誤差信号を生成する回路を示す図で、ＡＮＤ
（論理積），インバータの組み合わせによる論理回路で
あり、前記式（１９），（２０）に相当する。即ち、出
力層からの出力Ｏｋ、教師信号ｔｋ、及び微係数生成回
路３５，３６により生成される微係数プラス成分及びマ
イナス成分により、出力層における誤差信号δｋ⁺ ，δ
ｋ^- を生成する。また、中間層における誤差信号を求め
る前記の式（２１）〜（２４）は、図１１中に示すＡＮ
Ｄゲート構成のゲート回路２６により行われ、プラス成
分、マイナス成分に応じた出力（δ∩Ｗ）が得られる。
このように結合が興奮性か抑制性かで用いる誤差信号が
異なるので、その場合分けを行う必要があるが、この場
合分けはメモリ２３に記憶された興奮性か抑制性かの情
報と、誤差信号のδ⁺ ，δ^- 信号に応じて、ＡＮＤ，Ｏ
Ｒゲート構成のゲート回路２５により行われる。また、
誤差信号を集める前記の演算式（２５），（２６）は図
１３に示すＯＲゲート構成のゲート回路３９で行われ
る。中間層における誤差信号δｊ⁺ ，δｊ^- を求める式
（２９），（３０）を実行する回路が図１３における回
路４０で中間出力Ｏｊ、シフトレジスタ３３により中間
層出力Ｏｊをディレイさせた信号Ｏｊ（ｔ−１）及びＯ
Ｒ回路３９の出力である出力層からの誤差信号により、
誤差信号δｊ⁺ ，δｊ^- が生成される。また、学習レー
トに相当する式（３１）〜（３３）は、図１２，１３に
示す学習定数用のη回路３８により行われる。

【００９９】最後に、誤差信号より新たな結合係数を計
算する部分について説明する。これは前記の式（３４）
〜（３７）で表せられ、図１１に示すＡＮＤ，インバー
タ，ＯＲゲート構成のゲート回路２７により行われる。
このゲート回路２７も結合の興奮性・抑制性によって場
合分けしなければならないが、これは図１１に示すゲー
ト回路２５により行われる。

【０１００】

【発明が解決しようとする課題】先願のパルス密度型ニ
ューラルネットワークにおける結合係数更新方法では、
結合係数の更新量は、前記の式（３４），（３５）で表
される。これは、ＢＰアルゴリズムにおけるΔＷを求め
る前記式（６）に対応する。更に、ＢＰアルゴリズムで
は、前回の更新量ΔＷ（ｔ）に安定化係数αを掛けた量
を加えた前記の式（９）により、最終的な結合係数の更
新量ΔＷ（ｔ＋１）を求めている。このα・ΔＷ（ｔ）
は、更新量の慣性項を意味し、これを加えることによ
り、エラーの振動のを減らし、学習の収束を早めてい
る。更に、学習時に局所解（ローカルミニマム）に陥る
可能性を減らし、学習性能を向上させている。

【０１０１】数値演算によりニューラルネットワークを
実現する場合には、安定化係数αと前回の係合係数更新
量ΔＷ（ｔ）の積を求め、前記式（６）で求めた結合係
数更新量に加え、前記式（９）で表される最終的な結合
係数更新量とすればよいが、先願のパルス密度型ニュー
ラルネットワークの場合は、主な演算を、パルス同士の
論理演算で実現するため、結合係数更新時に、安定化係
数αによる処理を施すことが難しく、この処理を実施で
きるようにはなっていない。

【０１０２】このため、本発明は、パルス密度型ニュー
ラルネットワークにおいて、学習プロセス時に際しての
結合係数の更新時に、更新量の慣性項すなわち安定化係
数αによる処理を施すことのできるパルス密度型信号処
理回路網における結合係数更新方法並びに結合係数更新
装置を提供することを目的とする。

【０１０３】

【課題を解決するための手段】本発明の第１の構成は、
パルス密度方式により実現されたニューロン模倣素子を
網状に接続したパルス密度型信号処理回路網における学
習プロセスに際しての結合係数更新方法において、該ニ
ューロンに他ニューロンからの信号を伝播する際の信号
の増減度を表すシナプス結合係数の更新をする際に、該
ニューロンにおける誤差信号と他ニューロンからの入力
信号により求められた第１の結合係数更新信号と、該シ
ナプス結合の１フレーム前の結合係数更新信号に安定化
係数による処理を施した第２の結合係数更新信号との論
理和を施した信号を該シナプス結合における結合係数更
新信号とし、該シナプスの結合係数の更新を行うことを
特徴とする。

【０１０４】本発明の第２の構成は、パルス密度方式に
より実現されたニューロン模倣素子を網状に接続したパ
ルス密度型信号処理回路網であって、該ニューロンに他
ニューロンからの信号を伝播するために接続された該シ
ナプス結合の結合係数値を、該シナプスにおける結合係
数更新信号プラス成分と、該シナプスにおける結合係数
更新信号マイナス成分とにより更新するようにしたパル
ス密度型信号処理回路網における学習プロセスに際して
の結合係数更新方法において、該ニューロンにおける誤
差信号プラス成分と他ニューロンからの入力信号とによ
り求められた第１の結合係数更新信号プラス成分と、該
シナプス結合の１フレーム前の結合係数更新信号プラス
成分に安定化係数による処理を施した第２の結合係数更
新信号プラス成分との論理和を施した信号を該シナプス
結合における係合係数更新信号プラス成分とし、該ニュ
ーロンにおける誤差信号マイナス成分と他ニューロンか
らの入力信号とにより求められた第１の結合係数更新信
号マイナス成分と、該シナプス結合の１フレーム前の結
合係数更新信号マイナス成分に安定化係数による処理を
施した第２の結合係数更新信号マイナス成分との論理和
を施した信号を該シナプス結合における係合係数更新信
号マイナス成分とし、該結合係数更新信号プラス成分と
該結合係数更新信号マイナス成分とにより、該シナプス
の結合係数の更新を行うことを特徴とする。

【０１０５】本発明の第３の構成は、第１の構成のパル
ス密度型信号処理回路網における結合係数更新方法を実
施する装置であって、安定化係数を保持する記憶手段
と、１フレーム前の結合係数更新信号を保持する記憶手
段と、この記憶手段からの１フレーム前の結合係数更新
信号であるパルス信号を、前記安定化係数を保持した記
憶手段からの信号に応じて間引き、この間引いた信号を
１フレーム前の結合係数更新信号に安定化係数による処
理を施した第２の結合係数更新信号として出力する手段
とを備えていることを特徴とする。

【０１０６】本発明の第４の構成は、第２の構成のパル
ス密度型信号処理回路網における結合係数更新方法を実
施する装置であって、安定化係数を保持する記憶手段
と、１フレーム前の結合係数更新信号プラス成分を保持
する記憶手段と、この記憶手段からの１フレーム前の結
合係数更新信号プラス成分であるパルス信号を、前記安
定化係数を保持した記憶手段からの信号に応じて間引
き、この間引いた信号を１フレーム前の結合係数更新信
号プラス成分に安定化係数による処理を施した第２の結
合係数更新信号として出力する手段と、１フレーム前の
結合係数更新信号マイナス成分を保持する記憶手段と、
この記憶手段からの１フレーム前の結合係数更新信号マ
イナス成分であるパルス信号を、前記安定化係数を保持
した記憶手段からの信号に応じて間引き、この間引いた
信号を１フレーム前の結合係数更新信号マイナス成分に
安定化係数による処理を施した第２の結合係数更新信号
として出力する手段とを備えていることを特徴とする。

【０１０７】本発明の第５の構成は、第１の構成のパル
ス密度型信号処理回路網における結合係数更新方法を実
施する装置であって、安定化係数を保持する記憶手段
と、乱数を発生する乱数発生器と、１フレーム前の結合
係数更新信号を保持する記憶手段と、前記の安定化係数
を保持する記憶手段からの信号と乱数発生器からの乱数
値との比較を行うことにより安定化係数値をパルス密度
として持つ安定化係数パルス信号を生成する手段と、前
記安定化係数パルス信号と該シナプスの１フレーム前の
結合係数更新信号との論理積信号を生成してこれを該シ
ナプスにおける１フレーム前の結合係数更新信号に安定
化係数による処理を施した第２の結合係数更新信号とし
て出力する手段とを備えていることを特徴とする。

【０１０８】本発明の第６の構成は、第２の構成のパル
ス密度型信号処理回路網における結合係数更新方法を実
施する装置であって、安定化係数を保持する記憶手段
と、乱数を発生する乱数発生器と、１フレーム前の結合
係数更新信号プラス成分を保持する記憶手段と、前記の
安定化係数を保持する記憶手段からの信号と乱数発生器
からの乱数値との比較を行うことにより安定化係数値を
パルス密度として持つ安定化係数パルス信号を生成する
手段と、前記の安定化係数パルス信号と該シナプスの１
フレーム前の結合係数更新信号プラス成分との論理積信
号を生成してこれを該シナプスにおける１フレーム前の
結合係数更新信号プラス成分に安定化係数による処理を
施した第２の結合係数更新信号プラス成分として出力す
る手段と、前記の安定化係数パルス信号と該シナプスの
１フレーム前の結合係数更新信号マイナス成分との論理
積信号を生成してこれを該シナプスにおける１フレーム
前の結合係数更新信号マイナス成分に安定化係数による
処理を施した第２の結合係数更新信号マイナス成分とし
て出力する手段とを備えていることを特徴とする。

【０１０９】本発明の第７の構成は、第１の構成のパル
ス密度型信号処理回路網における結合係数更新方法を実
施する装置であって、安定化係数を保持する記憶手段
と、乱数を発生する乱数発生器と、１フレーム前の結合
係数更新パルス信号をバイナリ値に変換するカウンタ
と、このカウンタから出力される結合係数更新信号と前
記安定化係数を保持する記憶手段からの出力値との積出
力を求める手段と、上記積出力と乱数発生器から出力さ
れる乱数値との比較を行うことにより、１フレーム前の
結合係数更新信号に安定化係数を乗算した値をパルス密
度として持つパルス列信号を生成してこれを該シナプス
における１フレーム前の結合係数更新信号に安定化係数
による処理を施した第２の結合係数更新信号として出力
する手段とを備えていることを特徴とする。

【０１１０】本発明の第８の構成は、第２の構成のパル
ス密度型信号処理回路網における結合係数更新方法を実
施する装置であって、安定化係数を保持する記憶手段
と、乱数を発生する乱数発生器と、１フレーム前の結合
係数更新パルス信号プラス成分をバイナリ値に変換する
カウンタと、このカウンタから出力される結合係数更新
信号プラス成分と前記安定化係数を保持する記憶手段か
らの出力値との積出力を求める手段と、上記積出力と乱
数発生器から出力される乱数値との比較を行うことによ
り、１フレーム前の結合係数更新値プラス成分に安定化
係数を乗算した値をパルス密度として持つパルス列信号
を生成してこれを該シナプスにおける１フレーム前の結
合係数更新信号プラス成分に安定化係数による処理を施
した第２の結合係数更新信号として出力する手段と、１
フレーム前の結合係数更新パルス信号マイナス成分をバ
イナリ値に変換するカウンタと、このカウンタから出力
される結合係数更新信号マイナス成分と前記安定化係数
を保持する記憶手段からの出力値との積出力を求める手
段と、上記積出力と乱数発生器から出力される乱数値と
の比較を行うことにより、１フレーム前の結合係数更新
値マイナス成分に安定化係数を乗算した値をパルス密度
として持つパルス列信号を生成してこれを該シナプスに
おける１フレーム前の結合係数更新信号マイナス成分に
安定化係数による処理を施した第２の結合係数更新信号
として出力する手段とを備えていることを特徴とする。

【０１１１】本発明の第９の構成は、パルス密度方式に
より実現されたニューロン模倣素子を網状に接続したパ
ルス密度型信号処理回路網であって、該ニューロンに他
ニューロンからの信号を伝播するために接続された該シ
ナプス結合の結合係数値を、該シナプスにおける結合係
数更新信号プラス成分と、該シナプスにおける結合係数
更新信号マイナス成分とにより更新するようにしたパル
ス密度型信号処理回路網における学習プロセスに際して
の結合係数更新方法において、該ニューロンにおける誤
差信号プラス成分と他ニューロンからの入力信号とから
第１の結合係数更新信号プラス信号を求め、該ニューロ
ンにおける誤差信号マイナス成分と他ニューロンからの
入力信号とから第１の結合係数更新信号マイナス信号を
求め、第１の結合係数更新信号プラス信号と第１の結合
係数更新信号マイナス信号の反転信号との論理積を施し
た信号を、１フレーム前の結合係数更新信号をカウント
するカウンタのインクリメント（又はデクリメント）信
号とし、第１の結合係数更新信号プラス信号の反転信号
と第１の結合係数更新信号マイナス信号との論理積を施
した信号を、１フレーム前の結合係数更新信号をカウン
トするカウンタのデクリメント（又はインクリメント）
信号とし、１フレームの間、カウントした後に、このカ
ウンタの値と安定化係数を保持する記憶手段からの出力
値との積を求め、この積の値をパルス密度に持つパルス
列を生成し、前記カウンタの値が正（又は負）の時は、
前記パルス列と前記第１の結合係数更新プラス信号との
論理和を現結合係数更新プラス信号とするとともに第１
の結合係数更新マイナス信号を現結合係数マイナス信号
とする一方、前記カウンタの値が負（又は正）の時は、
前記パルス列と前記第１の結合係数更新マイナス信号と
の論理和を現結合係数更新マイナス信号とするとともに
第１の結合係数更新プラス信号を現結合係数プラス信号
とし、これらの結合係数更新プラス信号と結合係数更新
マイナス信号とにより、該シナプスの結合係数更新を行
うことを特徴とする。

【０１１２】本発明の第１０の構成は、パルス密度方式
により実現されたニューロン模倣素子を網状に接続した
パルス密度型信号処理回路網であって、該ニューロンに
他ニューロンからの信号を伝播するために接続された該
シナプス結合の結合係数値を、該シナプスにおける結合
係数更新信号プラス成分と、該シナプスにおける結合係
数更新信号マイナス成分とにより更新するようにしたパ
ルス密度型信号処理回路網における学習プロセスに際し
ての結合係数更新方法において、該ニューロンにおける
誤差信号プラス成分と他ニューロンからの入力信号とか
ら第１の結合係数更新信号プラス信号を求め、該ニュー
ロンにおける誤差信号マイナス成分と他ニューロンから
の入力信号とから第１の結合係数更新信号マイナス信号
を求め、第１の結合係数更新プラス信号と第１の結合係
数更新マイナス信号の反転信号との論理積を施した信号
を、１フレーム前の結合係数更新プラス信号を保持する
記憶手段に保持すると共にこの記憶手段からの結合係数
更新プラス信号に安定化係数による処理を行い、この処
理信号と前記第１の結合係数更新プラス信号との論理和
を結合係数更新プラス信号とし、第１の結合係数更新マ
イナス信号と第１の結合係数更新プラス信号の反転信号
との論理積を施した信号を、１フレーム前の結合係数更
新マイナス信号を保持する記憶手段に保持すると共にこ
の記憶手段からの結合係数更新マイナス信号に安定化係
数による処理を行い、この処理信号と前記第１の結合係
数更新マイナス信号との論理和を結合係数更新マイナス
信号とし、上記結合係数更新プラス信号と結合係数更新
マイナス信号とにより、該シナプスの結合係数更新を行
うことを特徴とする。

【０１１３】本発明の第１１の構成は、第２の構成のパ
ルス密度型信号処理回路網における結合係数更新方法を
実施する装置であって、該シナプス結合の１フレーム前
の結合係数更新信号プラス成分に安定化係数プラス成分
による処理を施すための前記安定化係数プラス成分を保
持する記憶手段と、該シナプス結合の１フレーム前の結
合係数更新信号マイナス成分に安定化係数マイナス成分
による処理を施すための前記安定化係数マイナス成分を
保持する記憶手段とを備えていることを特徴とする。

【０１１４】

【作用】第１の構成によれば、結合係数更新信号とし
て、誤差信号により求められた更新信号のみでなく、１
フレーム前の更新量を考慮した慣性項すなわち安定化係
数による処理を施した更新量を生成できるため、学習時
の収束速度を速くすることができ、また学習時に局所解
（ローカルミニマム）に陥る率が減少し、学習性能を改
善する事が可能になる。

【０１１５】第２乃至第８の構成においても上記と同様
の作用が得られる。

【０１１６】第９の構成によれば、第１の構成の作用と
同様の作用が得られるとともに、結合係数更新プラス成
分或いは結合係数更新マイナス成分のいずれか一方のみ
が有効（採用）となるため、最終的に結合係数更新パル
スプラス成分ΔＷ⁺ （ｔ＋１）、或いはマイナス成分Δ
Ｗ^- （ｔ＋１）を有効に生成でき、学習性能が改善され
る。

【０１１７】第１０の構成によれば、第９の構成におけ
るのと同様の作用が得られる。

【０１１８】第１１の構成によれば、第１の構成の作用
と同様の作用が得られるとともに、結合係数更新プラス
成分を生成する安定化係数プラス成分と、結合係数更新
マイナス成分を生成する安定化マイナス成分を持つの
で、それぞれについて任意の値を設定することができ
る。即ち、安定化係数をプラス及びマイナスについてそ
れぞれ最適な値に設定でき、学習の収束を効果的に制御
できる。

【０１１９】

【実施例】以下、この発明の実施例につき説明する。こ
の発明は、前述した先願における問題点を解決するため
に、先に示した図１１のシナプス回路の、ＡＮＤ（論理
積）、インバータ（反転）、ＯＲ（論理和）ゲート構成
のゲート回路２７からなる結合係数更新回路を改良し、
結合係数更新量の慣性項すなわち安定化係数αによる処
理を実現できるようにしたものである。

【０１２０】（実施例１）第１の実施例における結合係
数更新回路２７ａを図１４に示す。ここでは、信号説明
の簡略化のため、中間層ニューロンのシナプスにおい
て、該シナプスが興奮性結合すなわち、図１１の符号メ
モリ２３が「０」の場合について説明している。図１４
において、α回路５２は結合係数の更新パルスΔＷ（ｔ
−１）を１フレーム分保持し、次の学習フレームで安定
化係数αによる処理を施し、ＯＲ（論理和）ゲートに入
力する。このＯＲゲートのもう一つの入力は前記式（３
４），（３５）で示す従来の結合係数更新パルス（δη
∩ｏ）が入力され、新しい結合係数更新パルスのプラス
成分ΔＷ⁺ （ｔ＋１）及びΔＷ^- （ｔ＋１）が生成され
ることになる。従って、前記式（３４），（３５）は次
の式（３８），（３９）に示すように、安定化係数αの
処理を実現した結合係数更新パルスを求める式が得られ
る。

【０１２１】

【数２７】 ΔＷ⁺ （ｔ＋１）＝｛δη⁺ ∩ｏ｝∪｛α∩ΔＷ⁺ （ｔ）｝ （３８） ΔＷ^- （ｔ＋１）＝｛δη^- ∩ｏ｝∪｛α∩ΔＷ^- （ｔ）｝ （３９）

【０１２２】図１４中のα回路５２の構成例を図１５に
示す。間引き回路５６は、パルスを間引く際の間引き率
の情報を格納するα＿Ｍｅｎ５５から出力される安定化
係数αの割合により結合係数更新パルスΔＷ（ｔ＋１）
を１フレーム分保持した記憶手段ΔＷ＿Ｍｅｍ５３から
の出力パルスΔＷ（ｔ）を間引くことで、結合係数更新
パルスに安定化係数αの処理を施した信号α∩ΔＷ
（ｔ）を生成する。ここで記憶手段５３は、一般的な先
入れ先出しメモリ（ＦＩＦＯ）やシフトレジスタ等で構
成すればよい。

【０１２３】図１４中のα回路５２の他の構成例を図１
６に示す。ここで、図１５と同じ機能を有する回路には
同じ番号を付している。コンバータＣＭＰ５９は、安定
化係数を保持したα＿Ｍｅｍ５５の値αと乱数発生器Ｒ
ａｎ＿Ｇｅｎ５８から生成される乱数値と比較し、乱数
値が安定化係数α以下のときにパルスを生成する。これ
により、安定化係数αをパルス密度に持つパルス列を生
成することになる。この安定化係数パルス列と、結合係
数更新パルスΔＷ（ｔ＋１）を１フレーム分保持した記
憶手段ΔＷ＿Ｍｅｍ５３からの出力パルスとのＡＮＤ
（論理積）をＡＮＤゲート６０でとることにより、結合
係数更新パルスΔＷに安定化係数αの処理を施したパル
ス列α∩ΔＷ（ｔ）を求めることが可能になる。

【０１２４】図１４中のα回路５２の他の構成例を図１
７に示す。カウンタＣＮＴ６１は、結合係数更新パルス
ΔＷ（ｔ＋１）のパルス数を１フレームの間カウント
し、結合係数更新パルスをバイナリデータに変換する。
マルチプライヤ或いはバレルシフタ等からなる乗算回路
ＭＵＬ６３は、このバイナリデータで表された結合係数
更新量と安定化係数を保持したα＿Ｍｅｍ５５からの安
定化係数αとの乗算を行い、その積（α×ΔＷ（ｔ））
を出力する。そして、コンパレータＣＭＰ５９は、この
乗算値と乱数発生器Ｒａｎ＿Ｇｅｎ５８で生成される乱
数値との比較を行い、乱数値が乗算値以下のときパルス
を生成する。これにより、（α×ΔＷ（ｔ））の値をパ
ルス密度に持つパルス列（α∩ΔＷ（ｔ））を生成する
ことができる。

【０１２５】（実施例２）第２の実施例における結合係
数更新回路２７ｂを図１８に示す。実施例１と同様、信
号説明の簡略化のため、中間層ニューロンのシナプスに
おいて、該シナプスが興奮性結合すなわち、図１１の符
号メモリ２３が「０」の場合について説明している。図
１８において、インバータ（反転）とＡＮＤ（論理積）
により構成された論理回路６４は、結合係数更新プラス
成分（δηｊ⁺ ∩Ｏｉ）とマイナス成分（δηｊ^- ∩Ｏ
ｉ）の両方のパルスデータよりカウンタ６５のインクリ
メント信号（ＩＮＣ）とデクリメント信号（ＤＥＣ）を
生成する。この論理回路６４の真理値表を次に示す。

【０１２６】

【表１】

【０１２７】すなわち、結合係数更新プラス成分が
「１」で、結合係数更新マイナス成分が「０」のとき、
カウンタインクリメント信号ＩＮＣが「１」となり、従
ってカウンタ６５がインクリメントされる。また、結合
係数更新プラス成分が「０」で、結合係数更新マイナス
成分が「１」のとき、カウンタデクリメント信号ＤＥＣ
が「１」となり、カウンタ６５はデクリメントされる。
また、結合係数更新プラス成分と結合係数更新マイナス
成分が等しいときは、カウンタインクリメント信号ＩＮ
Ｃ及びカウンタデクリメント信号ＤＥＣは、ともに
「０」となり、カウンタの値は変わらない。

【０１２８】αパルス生成回路６６は、カウンタ６５の
値と安定化係数αを格納したメモリα＿Ｍｅｍ５５から
出力される安定化係数αの値とにより、結合係数更新パ
ルスにα係数による処理を施すもので、例えば前述の図
１７の乱数発生器Ｒａｎ＿Ｇｅｎ５８、積演算回路ＭＵ
Ｌ６３及びコンパレータＣＭＰ５９から構成されるブロ
ック６２の機能のものである。選択回路ＳＥＬ６７は、
αパルス生成回路６６から出力される安定化係数パルス
を、カウンタ６５の値が正、すなわち結合係数更新のプ
ラス成分がマイナス成分より大きいときは、プラス成分
を生成するＯＲ（論理和）ゲート７０へ、カウンタの値
が負、すなわち結合係数更新のマイナス成分がプラス成
分より大きいときは、マイナス成分を生成するＯＲ（論
理和）ゲート７１へ出力する。このように図１８では、
論理回路６４により、誤差信号δ⁺ から生成された結合
係数更新プラス成分δ⁺ ∩０と、誤差信号δ^- から生成
された結合係数更新マイナス成分δ^- ∩０の双方の値を
考慮し、例えば、プラス成分とマイナス成分が共に
「１」のときは、共に「１」とするのではなく、論理回
路６４によりプラス成分及びマイナス成分が共に「０」
となる。そしてこのプラス成分とマイナス成分の総和を
カウンタで求めることができ、これによりプラス成分α
∩△Ｗ⁺ （ｔ）、あるいはマイナス成分α∩△Ｗ
^- （ｔ）のいずれか一方のみが有効となるため、最終的
に結合係数更新パルスプラス成分△Ｗ⁺ （ｔ＋１）、あ
るいはマイナス成分△Ｗ^- （ｔ＋１）を有効に生成でき
る。

【０１２９】（実施例３）第３の実施例における結合係
数更新回路２７ｃを図１９に示す。実施例１と同様、信
号説明の簡略化のため、中間層ニューロンのシナプスに
おいて、該シナプスが興奮性結合すなわち、図１１の符
号メモリ２３が「０」の場合について説明している。図
１９において、論理回路６４は、図１８に示したものと
同じである。△Ｗ＿Ｍｅｍ５３は、論理回路６４により
生成された結合係数更新プラス成分とマイナス成分を１
フレーム分格納する。安定化係数パルス生成回路α＿Ｐ
ｕｌ６８は、△Ｗ格納メモリ△Ｗ＿Ｍｅｍ５３に格納さ
れた結合係数更新プラス成分とマイナス成分に、安定化
係数による処理を施し、結合係数更新プラス成分を生成
するＯＲ（論理和）ゲート７０及び結合係数更新マイナ
ス成分を生成するＯＲ（論理和）ゲート７１に出力する
もので、前述の図５の機能ブロック５４、あるいは図１
６の機能ブロック５７で示されるようなものである。

【０１３０】上記の構成により、結合係数更新量に安定
化係数αによる処理を施した、すなわち前記式（３
８），（３９）により求められる結合係数更新パルスプ
ラス成分△Ｗ⁺ （ｔ＋１）及びマイナス成分△Ｗ^- （ｔ
＋１）が得られることになる。

【０１３１】次に、先願（従来方式）に対する本発明の
項かを確認するため、簡単な数字認識シミュレーション
を行ったので、これを説明する。これは、数字パターン
‘１’〜‘５’の５種類を５セット、すなわち全部で２
５パターンを学習させる。なお、使用した数字パターン
を図２０に示す。

【０１３２】使用したニュートラルネットワーク構成
は、３層階層型とし、入力層は６４ニューロンで、これ
は数字パターン８×８画素に対応する。中間層は４ニュ
ーロン、出力層は５ニューロンとする。これは数字パタ
ーン‘１’〜‘５’に対応する。学習回数は、１パター
ンの学習を１回とし、学習終了の収束条件は、出力ニュ
ーロンの最大誤差が、０．０５以下になることとした。

【０１３３】シミュレーションは、従来方式の安定化係
数を考慮しない場合（α＝０）と、本実施例の一実施例
図１８の場合で、安定化係数α＝０．５としたときで行
った。

【０１３４】図２１は、シミュレーション結果を示す図
グラフであり、従来方式の場合と本発明の一実施例の場
合における学習曲線を示している。図２１に示されるよ
うに従来方式の安定化係数を考慮しない場合（α＝０）
は、最大誤差が０．０５以下になるのに８２５回の学習
回数を必要としたのに対して、本発明方式の安定化係数
を考慮する場合（α＝０．５）は、学習の進行により、
最大誤差の減少が従来方式よりも著しく、最大誤差が
０．０５以下になるのに、わずか３００回の学習回数し
か必要とせず、従来方式に比べ、本発明方式の場合は、
学習時間が約３分の１程度となり、本発明方式の効果が
確認できている。

【０１３５】また、以上の実施例において、α＿Ｍｅｍ
５５として、該シナプス結合の１フレーム前の結合係数
更新信号プラス成分に安定化係数プラス成分による処理
を施すための前記安定化係数プラス成分を保持するもの
と、該シナプス結合の１フレーム前の結合係数更新信号
マイナス成分に安定化係数マイナス成分による処理を施
すための前記安定化係数マイナス成分を保持するものと
を備えるようにしてもよく、これによれば、安定化係数
をプラス及びマイナスについてそれぞれ最適な値に設定
でき、学習の収束を効果的に制御できる。

【０１３６】

【発明の効果】以上説明したように、本発明によれば、
誤差信号により求められた更新信号のみでなく、１フレ
ーム前の更新量を考慮した慣性項すなわち安定化係数に
よる処理を施した更新量を生成できるため、学習の収束
速度が速くなり、また、学習時に局所解に陥る率が低減
されるなど、学習性能が著しく向上するという効果を奏
することができる。

【図面の簡単な説明】

【図１】神経細胞ユニットの模式図である。

【図２】ニューラルネットワークの模式図である。

【図３】シグモイド関数を示すグラフである。

【図４】フォワードプロセスを説明する模式図である。

【図５】学習プロセスを説明する模式図である。

【図６】ニューラルネットワークに相当する電気回路図
である。

【図７】単一神経細胞に相当する電気回路図である。

【図８】シナプス回路のブロック図である。

【図９】細胞体回路のブロック図である。

【図１０】パルス密度方式における１つのニューロン素
子のフォワード処理の様子を示す模式図である。

【図１１】ニューロンのシナプスに相当する部分の回路
を示すブロック図である。

【図１２】出力層での誤差信号を生成する回路の論理回
路図である。

【図１３】中間層での誤差信号を生成する回路の論理回
路図である。

【図１４】この発明の第１の実施例を示すブロック回路
図である。

【図１５】図１４のα回路の構成例を示すブロック図で
ある。

【図１６】図１４のα回路の他の構成例を示すブロック
図である。

【図１７】図１４のα回路の他の構成例を示すブロック
図である。

【図１８】この発明の第２の実施例を示すブロック図で
ある。

【図１９】この発明の第３の実施例を示すブロック図で
ある。

【図２０】数字認識シミュレーションに用いる数字パタ
ーン例を示す模式図である。

【図２１】学習曲線を示すグラフである。

【符号の説明】

２７ａ 結合係数更新回路 ２７ｂ 結合係数更新回路 ２７ｃ 結合係数更新回路 ５２ α回路 ５３ ΔＷ Ｍｅｍ ５５ α Ｍｅｍ ５６ 間引き回路 ５８ 乱数発生器 ５９ コンパレータ ６３ 積演算回路 ６５ カウンタ ６６ αパルス生成回路 ６７ 選択回路

Claims (11)

【特許請求の範囲】
1. 【請求項１】 パルス密度方式により実現されたニュー
   ロン模倣素子を網状に接続したパルス密度型信号処理回
   路網における学習プロセスに際しての結合係数更新方法
   において、 該ニューロンに他ニューロンからの信号を伝播する際の
   信号の増減度を表すシナプス結合係数の更新をする際
   に、該ニューロンにおける誤差信号と他ニューロンから
   の入力信号により求められた第１の結合係数更新信号
   と、該シナプス結合の１フレーム前の結合係数更新信号
   に安定化係数による処理を施した第２の結合係数更新信
   号との論理和を施した信号を該シナプス結合における結
   合係数更新信号とし、該シナプスの結合係数の更新を行
   うことを特徴とするパルス密度型信号処理回路網におけ
   る結合係数更新方法。
2. 【請求項２】 パルス密度方式により実現されたニュー
   ロン模倣素子を網状に接続したパルス密度型信号処理回
   路網であって、該ニューロンに他ニューロンからの信号
   を伝播するために接続された該シナプス結合の結合係数
   値を、該シナプスにおける結合係数更新信号プラス成分
   と、該シナプスにおける結合係数更新信号マイナス成分
   とにより更新するようにしたパルス密度型信号処理回路
   網における学習プロセスに際しての結合係数更新方法に
   おいて、 該ニューロンにおける誤差信号プラス成分と他ニューロ
   ンからの入力信号とにより求められた第１の結合係数更
   新信号プラス成分と、該シナプス結合の１フレーム前の
   結合係数更新信号プラス成分に安定化係数による処理を
   施した第２の結合係数更新信号プラス成分との論理和を
   施した信号を該シナプス結合における係合係数更新信号
   プラス成分とし、 該ニューロンにおける誤差信号マイナス成分と他ニュー
   ロンからの入力信号とにより求められた第１の結合係数
   更新信号マイナス成分と、該シナプス結合の１フレーム
   前の結合係数更新信号マイナス成分に安定化係数による
   処理を施した第２の結合係数更新信号マイナス成分との
   論理和を施した信号を該シナプス結合における係合係数
   更新信号マイナス成分とし、 該結合係数更新信号プラス成分と該結合係数更新信号マ
   イナス成分とにより、該シナプスの結合係数の更新を行
   うことを特徴とするパルス密度型信号処理回路網におけ
   る結合係数更新方法。
3. 【請求項３】 請求項１のパルス密度型信号処理回路網
   における結合係数更新方法を実施する装置であって、安
   定化係数を保持する記憶手段と、１フレーム前の結合係
   数更新信号を保持する記憶手段と、この記憶手段からの
   １フレーム前の結合係数更新信号であるパルス信号を、
   前記安定化係数を保持した記憶手段からの信号に応じて
   間引き、この間引いた信号を１フレーム前の結合係数更
   新信号に安定化係数による処理を施した第２の結合係数
   更新信号として出力する手段とを備えていることを特徴
   とするパルス密度型信号処理回路網における結合係数更
   新装置。
4. 【請求項４】 請求項２のパルス密度型信号処理回路網
   における結合係数更新方法を実施する装置であって、安
   定化係数を保持する記憶手段と、１フレーム前の結合係
   数更新信号プラス成分を保持する記憶手段と、この記憶
   手段からの１フレーム前の結合係数更新信号プラス成分
   であるパルス信号を、前記安定化係数を保持した記憶手
   段からの信号に応じて間引き、この間引いた信号を１フ
   レーム前の結合係数更新信号プラス成分に安定化係数に
   よる処理を施した第２の結合係数更新信号として出力す
   る手段と、１フレーム前の結合係数更新信号マイナス成
   分を保持する記憶手段と、この記憶手段からの１フレー
   ム前の結合係数更新信号マイナス成分であるパルス信号
   を、前記安定化係数を保持した記憶手段からの信号に応
   じて間引き、この間引いた信号を１フレーム前の結合係
   数更新信号マイナス成分に安定化係数による処理を施し
   た第２の結合係数更新信号として出力する手段とを備え
   ていることを特徴とするパルス密度型信号処理回路網に
   おける結合係数更新装置。
5. 【請求項５】 請求項１のパルス密度型信号処理回路網
   における結合係数更新方法を実施する装置であって、安
   定化係数を保持する記憶手段と、乱数を発生する乱数発
   生器と、１フレーム前の結合係数更新信号を保持する記
   憶手段と、前記の安定化係数を保持する記憶手段からの
   信号と乱数発生器からの乱数値との比較を行うことによ
   り安定化係数値をパルス密度として持つ安定化係数パル
   ス信号を生成する手段と、前記安定化係数パルス信号と
   該シナプスの１フレーム前の結合係数更新信号との論理
   積信号を生成してこれを該シナプスにおける１フレーム
   前の結合係数更新信号に安定化係数による処理を施した
   第２の結合係数更新信号として出力する手段とを備えて
   いることを特徴とするパルス密度型信号処理回路網にお
   ける結合係数更新装置。
6. 【請求項６】 請求項２のパルス密度型信号処理回路網
   における結合係数更新方法を実施する装置であって、安
   定化係数を保持する記憶手段と、乱数を発生する乱数発
   生器と、１フレーム前の結合係数更新信号プラス成分を
   保持する記憶手段と、前記の安定化係数を保持する記憶
   手段からの信号と乱数発生器からの乱数値との比較を行
   うことにより安定化係数値をパルス密度として持つ安定
   化係数パルス信号を生成する手段と、前記の安定化係数
   パルス信号と該シナプスの１フレーム前の結合係数更新
   信号プラス成分との論理積信号を生成してこれを該シナ
   プスにおける１フレーム前の結合係数更新信号プラス成
   分に安定化係数による処理を施した第２の結合係数更新
   信号プラス成分として出力する手段と、前記の安定化係
   数パルス信号と該シナプスの１フレーム前の結合係数更
   新信号マイナス成分との論理積信号を生成してこれを該
   シナプスにおける１フレーム前の結合係数更新信号マイ
   ナス成分に安定化係数による処理を施した第２の結合係
   数更新信号マイナス成分として出力する手段とを備えて
   いることを特徴とするパルス密度型信号処理回路網にお
   ける結合係数更新装置。
7. 【請求項７】 請求項１のパルス密度型信号処理回路網
   における結合係数更新方法を実施する装置であって、安
   定化係数を保持する記憶手段と、乱数を発生する乱数発
   生器と、１フレーム前の結合係数更新パルス信号をバイ
   ナリ値に変換するカウンタと、このカウンタから出力さ
   れる結合係数更新信号と前記安定化係数を保持する記憶
   手段からの出力値との積出力を求める手段と、上記積出
   力と乱数発生器から出力される乱数値との比較を行うこ
   とにより、１フレーム前の結合係数更新信号に安定化係
   数を乗算した値をパルス密度として持つパルス列信号を
   生成してこれを該シナプスにおける１フレーム前の結合
   係数更新信号に安定化係数による処理を施した第２の結
   合係数更新信号として出力する手段とを備えていること
   を特徴とするパルス密度型信号処理回路網における結合
   係数更新装置。
8. 【請求項８】 請求項２のパルス密度型信号処理回路網
   における結合係数更新方法を実施する装置であって、安
   定化係数を保持する記憶手段と、乱数を発生する乱数発
   生器と、１フレーム前の結合係数更新パルス信号プラス
   成分をバイナリ値に変換するカウンタと、このカウンタ
   から出力される結合係数更新信号プラス成分と前記安定
   化係数を保持する記憶手段からの出力値との積出力を求
   める手段と、上記積出力と乱数発生器から出力される乱
   数値との比較を行うことにより、１フレーム前の結合係
   数更新値プラス成分に安定化係数を乗算した値をパルス
   密度として持つパルス列信号を生成してこれを該シナプ
   スにおける１フレーム前の結合係数更新信号プラス成分
   に安定化係数による処理を施した第２の結合係数更新信
   号として出力する手段と、１フレーム前の結合係数更新
   パルス信号マイナス成分をバイナリ値に変換するカウン
   タと、このカウンタから出力される結合係数更新信号マ
   イナス成分と前記安定化係数を保持する記憶手段からの
   出力値との積出力を求める手段と、上記積出力と乱数発
   生器から出力される乱数値との比較を行うことにより、
   １フレーム前の結合係数更新値マイナス成分に安定化係
   数を乗算した値をパルス密度として持つパルス列信号を
   生成してこれを該シナプスにおける１フレーム前の結合
   係数更新信号マイナス成分に安定化係数による処理を施
   した第２の結合係数更新信号として出力する手段とを備
   えていることを特徴とするパルス密度型信号処理回路網
   における結合係数更新装置。
9. 【請求項９】 パルス密度方式により実現されたニュー
   ロン模倣素子を網状に接続したパルス密度型信号処理回
   路網であって、該ニューロンに他ニューロンからの信号
   を伝播するために接続された該シナプス結合の結合係数
   値を、該シナプスにおける結合係数更新信号プラス成分
   と、該シナプスにおける結合係数更新信号マイナス成分
   とにより更新するようにしたパルス密度型信号処理回路
   網における学習プロセスに際しての結合係数更新方法に
   おいて、 該ニューロンにおける誤差信号プラス成分と他ニューロ
   ンからの入力信号とから第１の結合係数更新信号プラス
   信号を求め、該ニューロンにおける誤差信号マイナス成
   分と他ニューロンからの入力信号とから第１の結合係数
   更新信号マイナス信号を求め、 第１の結合係数更新信号プラス信号と第１の結合係数更
   新信号マイナス信号の反転信号との論理積を施した信号
   を、１フレーム前の結合係数更新信号をカウントするカ
   ウンタのインクリメント（又はデクリメント）信号と
   し、 第１の結合係数更新信号プラス信号の反転信号と第１の
   結合係数更新信号マイナス信号との論理積を施した信号
   を、１フレーム前の結合係数更新信号をカウントするカ
   ウンタのデクリメント（又はインクリメント）信号と
   し、 １フレームの間、カウントした後に、このカウンタの値
   と安定化係数を保持する記憶手段からの出力値との積を
   求め、この積の値をパルス密度に持つパルス列を生成
   し、 前記カウンタの値が正（又は負）の時は、前記パルス列
   と前記第１の結合係数更新プラス信号との論理和を現結
   合係数更新プラス信号とするとともに第１の結合係数更
   新マイナス信号を現結合係数マイナス信号とする一方、
   前記カウンタの値が負（又は正）の時は、前記パルス列
   と前記第１の結合係数更新マイナス信号との論理和を現
   結合係数更新マイナス信号とするとともに第１の結合係
   数更新プラス信号を現結合係数プラス信号とし、 これらの結合係数更新プラス信号と結合係数更新マイナ
   ス信号とにより、該シナプスの結合係数更新を行うこと
   を特徴とするパルス密度型信号処理回路網における結合
   係数更新方法。
10. 【請求項１０】 パルス密度方式により実現されたニュ
    ーロン模倣素子を網状に接続したパルス密度型信号処理
    回路網であって、該ニューロンに他ニューロンからの信
    号を伝播するために接続された該シナプス結合の結合係
    数値を、該シナプスにおける結合係数更新信号プラス成
    分と、該シナプスにおける結合係数更新信号マイナス成
    分とにより更新するようにしたパルス密度型信号処理回
    路網における学習プロセスに際しての結合係数更新方法
    において、 該ニューロンにおける誤差信号プラス成分と他ニューロ
    ンからの入力信号とから第１の結合係数更新信号プラス
    信号を求め、該ニューロンにおける誤差信号マイナス成
    分と他ニューロンからの入力信号とから第１の結合係数
    更新信号マイナス信号を求め、 第１の結合係数更新プラス信号と第１の結合係数更新マ
    イナス信号の反転信号との論理積を施した信号を、１フ
    レーム前の結合係数更新プラス信号を保持する記憶手段
    に保持すると共にこの記憶手段からの結合係数更新プラ
    ス信号に安定化係数による処理を行い、この処理信号と
    前記第１の結合係数更新プラス信号との論理和を結合係
    数更新プラス信号とし、 第１の結合係数更新マイナス信号と第１の結合係数更新
    プラス信号の反転信号との論理積を施した信号を、１フ
    レーム前の結合係数更新マイナス信号を保持する記憶手
    段に保持すると共にこの記憶手段からの結合係数更新マ
    イナス信号に安定化係数による処理を行い、この処理信
    号と前記第１の結合係数更新マイナス信号との論理和を
    結合係数更新マイナス信号とし、 上記結合係数更新プラス信号と結合係数更新マイナス信
    号とにより、該シナプスの結合係数更新を行うことを特
    徴とするパルス密度型信号処理回路網における結合係数
    更新方法。
11. 【請求項１１】 請求項２のパルス密度型信号処理回路
    網における結合係数更新方法を実施する装置であって、
    該シナプス結合の１フレーム前の結合係数更新信号プラ
    ス成分に安定化係数プラス成分による処理を施すための
    前記安定化係数プラス成分を保持する記憶手段と、該シ
    ナプス結合の１フレーム前の結合係数更新信号マイナス
    成分に安定化係数マイナス成分による処理を施すための
    前記安定化係数マイナス成分を保持する記憶手段とを備
    えていることを特徴とするパルス密度型信号処理回路網
    における結合係数更新装置。