JPH03256184A - 信号処理回路 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 産業上の利用分野 本発明は、神経細胞回路網を模倣したニューラルコンピ
ュータ等の信号処理回路に関する。

従来の技術 生体の情報処理の基本的な単位である神経細胞にューロ
ン）の機能を模倣し、さらに、この「神経細胞模倣素子
」をネットワークにし、情報の並列処理を１指したのが
、いわゆるニューラルネットワークである。文字認識や
連想記憶、運動制御等、生体ではいとも簡単に行われて
いても、従来のノイマン型コンピュータではなかなか達
成しないものが多い。生体の神経系、特に生体特有の機
能、即ち並列処理、自己学習等を模倣して、これらの問
題を解決しようとする試みが盛んに行われている。これ
らの試みは、計算機シミュレーションで行われているも
のが多く、本来の機能を発揮するには、並列処理が必要
であり、そのためにはニューラルネットワークのハード
ウェア化が必要である。一部では、既にハードウェア化
の試みも行われているが、ニューラルネットワークの特
徴の一つである自己学習機能が実現できず、大きなネッ
クとなっている。また、殆どのものがアナログ回路で実
現されており、後述するように動作の点で問題がある。

以下、従来方式を順に検討する。まず、従来のニューラ
ルネットワークのモデルについて説明する。第６図はあ
る１つの神経細胞ユニットｌを表す図であり、第５図は
これをネットワークにしたものである。１つの神経細胞
ユニットは多数の他の神経細胞ユニットと結合し信号を
受け、それを処理して出力を出す。第５図の場合、ネッ
トワークは階層型であり、１つ前の層のユニットより信
号を受け、１つ後の層のユニットへ出力する。

より詳細に説明する。まず、第６図の神経細胞ユニット
１において、他の神経細胞ユニットと自分のユニットと
の結合の度合いを表すのが結合係数と呼ばれるもので、
１番目のユニットと５番目のユニットの結合係数を、一
般に′１゛１□で表す。結合には、相手のニューロンか
らの信号が大きいほど自分の出力が大きくなる興奮性結
合と、逆に、相手のニューロンからの信号が大きいほど
自分の出力が小さくなる抑制性結合があるが、Ｔ　、、
＞　０３ が興奮性結合、ＴＩＪくＯが抑制性結合を表す。いま、
自分のユニットがｊ番目のユニットであるとすると、ｉ
番目のユニットの出力をｙｌ　とするとこれに結合係数
ＴＩＪを掛けたＴ　Ｉ　Ｊ　ｙ＋が、自分のユニットへ
の人力となる。前述したように、各ユニットは多数のユ
ニットと結合しているので、それらのユニットに対する
Ｔ、、ｙ、　を足し合わせた結果なるΣＴ１４ｙ１が、
自分のユニットへの入力となる。これを内部電位といい
、Ｕ、で表す。

ｕ、＝ΣＴｌｉ　Ｙ　＋　　　　・・・・・・・・・・
・・・・・・・・・・・・・・（１）次に、この入力に
対して、非線形な処理をして出力とする。この時の関数
を神経細胞応答関数と呼び、非線形関数として、（２）
式及び第７図に示すようなシグモイド関数を用いる。

ｆ　（ｘ）＝　１　／　（１＋ｅ　−ｘ）　　・・・・
・・・・・・・・・・・・・・（２）第５図に示すよう
にネットワークにした時には、各結合係数ＴＩ、を与え
、（１）（２）式を次々と計算するので、最終的な出力
が得られるものである。

一方、このようなネットワークを電気回路により実現し
たものの一例として、第８図に示すようなものがある。

これは、特開昭６２−２９５１８８号公報中に示される
もので、基本的には、Ｓ字形伝達関数を有する複数の増
幅器２と、各増幅器２の出力を他の層の増幅器の入力に
一点鎖線で示すように接続する抵抗性フィードバック回
路網３とが設けられている。各増幅器２の入力側には接
地されたコンデンサと接地された抵抗とによるＣＲ時定
数回路４が個別に接続されている。そして、入力電流１
．　　Ｉ、、〜、■、が各増幅器２の入力に供給され、
出力はこれらの増幅器２の出力電圧の集合から得られる
。

ここに、入力や出力の信号の強度を電圧で表し、神経細
胞間の結合の強さは、各細胞間の入出カラインを結ぶ抵
抗５（抵抗性フィードバック回路網３中の格子点）の抵
抗値で表され、神経細胞応答関数は各増幅器２の伝達関
数で表される。また、神経細胞間の結合には、前述のよ
うに興奮性と抑制性とがあり数学的には結合係数の正負
符号により表される。しかし、回路上の定数で正負を実
現するのは困難であるので、ここでは、増幅器２の出力
を２つに分け、一方の出力を反転させることにより、正
負の２つの信号を生成し、これを適当に選択することに
より実現するようにしている。

また、第７図に示したシグモイド関数に相当するものと
しては増幅器が用いられている。

しかしながら、これらの回路には、次のような問題点が
ある。

■　結合係数Ｔ１．が固定であり、予めシミュレーショ
ンなどの他の方法で学習させた値を使うしかなく、自己
学習ができない。

■　信号の強度を電位や電流などのアナログ値で表し、
内部の演算もアナログ的に行わせる場合、温度特性や電
源投入直後のドリフト等により、その値が変化する。

■　ネットワークであるので、素子の数も多く必要とす
るが、各々の特性を揃えることは困難である。

■　１つの素子の精度や安定性が問題となったとき、そ
れをネットワークにした場合、新たな問題を生ずる可能
性があり、ネットワーク全体で見たときの動きが予想で
きない。

一方、数値計算で用いられる学習法則としては、パック
プロパゲーションと呼ばれる下記のようなものがある。

まず、各結合係数は最初にランダムに与えておく。この
状態で、入力を与えると、出ツノ結果は必ずしも望まし
いものではない。例えば、文字認識の場合、手書きの「
ｌ」の文字を与えたとすると、出力結果として［この文
字はＩｉ′１．！ｌである」と出るのが望ましい結果で
あるが、結合係数がランダムであると必すしも望ましい
結果とはならない。

そこで、このネットワークに正解（教師信号）を与えて
、再び、同じ入力があったとき正解となるように各結合
係数を変化させる。このとき、結合係数を変化させる量
を求めるアルゴリズムが、パックプロパゲーションと呼
ばれているものである。

まず、第５図に示すような階層型のネットワークにおい
て、最終層のｊ番目のニューロン出力をｙ、とし、その
ニューロンに対する教師信号をｄ。

とすると、 Ｅ＝Σ（ｄｉ　　　ｙ＋）”　　　　・・・・・・・・
・・・・・・・・・・（３）で表される。Ｅが最小とな
るように、 ΔＴｚ＝　ａ　Ｅ／　ａ　ＴＩＪ　　　　・・・・・・
・・・・・・・・・・・・（４）を用いて、結合係数Ｔ
Ｉ４を変化させる。さらに具体的には、まず、出力層と
、その１つ前の層との結合係数を求める場合は、 δｈ＝　（ｄｉ−ｙ＋）ｘｆ′（ｕｒ）　　・・・・・
・・・・・・・（５）を用いて、δ（誤差信号）を求め
、それよりさらに前の層同士の結合係数を求める場合に
は、δヨーΣδ、Ｔ、ｘｒ’　（ｕ＋）　　　・・・・
・・・・・・・・（６）を用いて、δ（誤差信号）を求
め、 八Ｔ１．＝η（δ、ｙ、）十αΔＴ１４Ｔ、、＝Ｔ、、
’　十ΔＴＩ、　　　　　　・・・・・・・・・・・・
（７）を求めて、Ｔ１．を変化させる。ここに、ΔＴ１
４Ｔ１．′　は各々前回の学習時の値、ηは学習定数、
αは安定化定数と呼ばれるものである。η、αの値は論
理的には求められないので、各々経験的に求める。

このようにして学習をし、その後、再び入力を与えて出
力を計算し、学習をする。この操作を何回も繰返すうち
に、やがて、与えられた入力に対して望ましい結果が得
られるような結合係数Ｔ１４が決定される。

さて、このような学習方法を何んらかの方法でハードウ
ェア化しようとした場合、学習には、多量の四則演算が
必要であり、実現が困難である。

学習方法そのものもハードウェア化に対しては不向きで
ある。

一方、デジタル回路でニューラルネットを実現したもの
の例を第９図ないし第１１図を参照して説明する。第９
図は単一の神経細胞の回路構成を示し、各シナプス回路
６を樹状突起回路７を介して細胞体回路８に接続してな
る。第１０図はその内のシナプス回路６の構成例を示し
、係数回路９を介して入力パルスｆに倍率ａ（フィード
バック信号に掛ける倍率で１又は２）を掛けた値が入力
されるレートマルチプライヤｌＯを設けてなり、レート
マルチプライヤ１０には重み付けの値Ｗを記憶したシナ
プス荷重レジスタ１１が接続されている。また、第１１
図は細胞体回路８の構成例を示し、制御回路１２、アッ
プ／ダウンカウンタ１３、レートマルチプライヤ１４及
びゲート１５を順に接続してなり、さらに、アップ／ダ
ウンメモリ１６が設けられている。

これは、神経細胞ユニットの入出力をパルス列で表し、
そのパルス密度で信号の量を表している。

結合係数は２進数で表し、レジスタ１１上に保存してお
く。入力信号をレートマルチプライヤ１０のクロックへ
入力し、結合係数をレート値へ入力することによって、
入力信号のパルス密度をレート値に応じて減らしている
。これは、パックプロパゲーションモデルの式のＴ　＋
　ｔ　’／　：の部分に相当する。次に、Σ′ｌ゛１４
ｙ１のΣの部分は、ＯＲ回路で実現している。結合には
興奮性、抑制性があるので、予めグループ分けしておき
、各々のグループ別にＯＲをとる。この２つの出力をカ
ウンタ１３のアップ側、ダウン側に入力しカウントする
ことで出ツノが得られる。この出力は２進数であるので
、再びレートマルチプライヤ１４を用いて、パルス密度
に変換する。このユニットをネットワークにすることに
よって、ニューラルネットワークが実現できる。学習に
ついては、最終出力を外部のコンピュータに人力して、
コンピュータ内部で数値計算を行い、その結果を結合係
数のレジスタ１− １１に書込むことにより実現している。従って、自己学
習機能は全くない。また、回路構成もパルス密度の信号
をカウンタを用いて一旦数値に直し、その後、再びパル
ス密度に直しており複雑である。

発明が解決しようとする課題 このように従来技術による場合、ハードウェア上で自己
学習ができないという欠点がある。

また、アナログ回路は動作に確実性がなく、数値計算に
よる学習方法も計算が複雑であり、ハードウェア化に適
さない。一方、動作が確実なデジタル方式のものは回路
構成が複雑である。

しかして、動作が確実なデジタル回路構成とし、かつ、
ハードウェア化が容易でシンプルな信号処理、学習が可
能で、実際にハードウェア上で自己学習を実現できるよ
うにしたものが、特願平１−３４３８９１号として本出
願人により提案されている。これは、結合係数可変回路
とこの結合係数可変回路の可変結合係数値を教師信号に
対する誤１２ 差信号に基づき生成する結合係数生成回路とよりなる自
己学習回路を神経細胞模倣素子に付設したものである。

しかし、結合係数を変更する場合と変更しない場合で切
換えできないので不便である。

課題を解決するための手段 結合係数可変回路とこの結合係数可変回路の可変結合係
数値を教師信号に対する誤差信号に基づき生成する結合
係数生成回路とよりなる自己学習回路を神経細胞模倣素
子に付設し、前記結合係数値を変化状態と固定状態とに
切換える切換え回路を設けた。

作用 自己学習機能を含めて神経細胞回路網の機能をハードウ
ェア上で並列的に行わせることができ、自己学習機能が
発揮され、従来のコンピュータシミュレーションのシリ
アル処理による計算に比べ処理速度が著しく向上する。

このとき、切換え回路により、結合係数値を変化させる
場合と固定する場合の切換えが可能なため使い易いもの
となる。

実施例 本発明の一実施例を第１図ないし第４図に基づいて説明
する。本実施例は、自己学習機能を持たせるとともに、
デジタル化を図ったもので、基本的には、 ■　入出力、中間信号、結合係数、教師信号などは、全
て、「０」　「ｌ」の２値で表されたパルス列で表す。

■　信号の量は、パルス密度で表す（ある一定時間内の
ｒｌＪＯ数）。

■　神経細胞ユニット内での計算は、パルス列同士の論
理演算で表す。

■　結合係数のパルス列はメモリ上に置く。

■　学習は、このパルス列を書換えることで実現する。

■　学習については、与えられた教師信号パルス列を元
に誤差を計算し、これに基づいて、結合係数パルス列を
変化させる。このとき、誤差の計算、結合係数の変化分
の計算も、全て、「０」「ｌ」のパルス列の論理演算で
行う。

■　結合係数値を変化させる場合と固定しておく場合と
を切換え可能とし、学習を行う場合（パックプロパゲー
ション）と学習を行わない場合（フォワードプロセス）
とに各々対応できる。

ようにしたものである。

以下、この思想を具体化した例に基づき説明する。まず
、フォワードプロセスにおける信号演算部分の構成を第
２図を参照して説明する。第２図は１つの神経細胞模倣
回路２０に相当する部分を示し、ネットワーク構成した
ものは第５図の場合のように階層型とされる。入出力は
、全て、「ｌＪ「０」に２値化され、かつ、同期化され
たものが用いられる。人力Ｊの信号の強度は、パルス密
度で表現し、例えばある一定時間内にある、ＮＪの状態
数で表す。即ち、 ５− 入力信号　ｆｆｉ　＝４／６　　　・・・・・・・・・
（８）同期信号ｌＪ」Ｌ この例は、入力信号のパルス密度が４／６であることを
表す式であり、同期パルス６個中に信号は「ｌ」が４個
、「０」が２個である。このとき、「１」と「０」の並
び方は、後述するようにランダムであることが望ましい
。

一方、結合係数Ｔ１．も同様にパルス密度で表現し、ｒ
ＯＪと「ｌ」とのビット列として予めメモリ」二に用意
しておく。

結合係数ｍ　＝　３／６　　　・・・・・・・・・（９
）同期信号　ＬＬＬ１２」− この例は、ｒｌｏｌｏｌｏＪ　＝３／６を表す式である
。この場合も、ｒｌ」と「Ｏ」の並び方はランダムであ
ることが望ましい。具体的にどのように決定するかは後
述する。

そして、このビット列を同期クロックに応じて　１６− メモリ上より順次読出し、第２図に示すように各々ＡＮ
Ｄゲート２１により入力信号パルス列との論理積をとる
（ｙ：　ｎ　Ｔｚ）。これを、神経細胞ｊへの入力とす
る。上側の場合で説明すると、入力信号がｒｌｏｌｌｏ
ｌ」として入力されたとき、これと同期してメモリ」二
よりビット列を呼出し、順次ＡＮＤをとることにより、 入力信号　ＬＬ−１＝４／６ 結合係数ＬＬユニー３／６ ｙｌ　ｎ　Ｔ、ｊ　　Ｌｌ−ｍ−＝　２／６　　　・−
・・・−・（１０）に示すようなｒｌｏｌｏｏｏＪが得
られ、これは入力ｙ１が結合係数ＴＩ、により変換され
パルス密度が２／６となることを示している。

ＡＮＤゲート２１の出力のパルス密度は、近似的には入
力信号のパルス密度と結合係数とのパルス密度との積と
なり、アナログ方式の結合係数と同様の機能を有する。

これは、信号の列（パルス列）が長いほど、また、ｒｌ
Ｊと「０」との並び方がランダムであるほど、数値の積
に近い機能を持つことになる。なお、入ツノパルス列に
比べて結合係数のパルス列が短く、読出すべきデータが
なくなったら、再びデータの先頭に戻って読出しを繰返
えせばよい。

１つの神経細胞ユニットは多入力であるので、前述した
ｒ人ツノ信号と結合係数とのＡＮＤＪも多数あり、次に
ＯＲ回路２２によりこれらの論理和をとる。入力は同期
化されているので、例えば１番目のデータがｒｌｏｌｏ
ｏｏＪ　、２番目のデータがｒｏｌｏｏｏｏ」の場合、
両者のＯＲをとると、ｒｌ　ｌ　ｌ　０ＯＯＪ　となる
。これを多入力同時に計算し出力とする。即ち、 ｙ＝　ｎ　Ｔ１．ｌ　　Ｌ」−−一 ｙｌ　ｎ　Ｔａｊｑ Ｕ　（ｙｌ　ｎＴ＋１）巳」−−−・・・・・・・・・
（１１）のようになる。これは、アナログ計算における
和の計算及び非線形関数（シグモイド関数）の部分に対
応している。

パルス密度が低い場合、そのＯＲをとったもののパルス
密度は、各々のパルス密度の和に近似的に一致する。パ
ルス密度が高くなるにつれて、ＯＲ回路２２の出力は段
々飽和してくるので、パルス密度の和とは一致せず、非
線形性が出てくる。

Ｏｒ＜の場合、パルス密度はｌよりも大きくなることが
なく、かつ、０より小さくなることもなく、さらには、
単調増加関数であり、シグモイド関数と近似的に同様と
なる。

ところで、結合には興奮性と抑制性とがあり、数値計算
の場合には、結合係数の符号で表し、アナログ回路の場
合には前述したようにＩ゛１ヨが負となる場合（抑制性
結合）には増幅器を用いて出力を反転させてＴ　＋　１
に相当する抵抗値で他の神経細胞に結合させることにな
る。この点、デジタル方９ 式の本実施例にあっては、まず、ＴＩｊの正負により各
結合を興奮性結合と抑制性結合との２つのグループに分
け、次いで、「入力信号と結合係数のパルス列のＡＮＤ
Ｊ同士のＯＲをこのグループ別に計算し、その後、興奮
性結合グループの出力が「１」で抑制性結合グループの
出力が「０」のときのみ出力を出すようにする。この機
能を実現するためには、（抑制性結合グループの出力の
Ｎ。

Ｔ）と（興奮性結合グループの出力）とのＡＮＤをとれ
ばよい。即ち、 興奮性結合 グループ出力　ＬＬＩＬ 抑制性結合 グループ出力　−ＬＬＩ 出力　　　　　し−ｍ−」− 論理式で表現すると、 ａ＝Ｕ　（５’＋　ｎＴＩＪ）　　（Ｔ＝興奮性）ｂ＝
Ｕ（ｙｌｎＴｌｌ）（Ｔ＝抑制性）・・・・・・・・・
（＋３） ・・・・・・・・・（１２） ・・・・・・・・・（１４） ０− ッ＋　−ａ　ｎ　ｂ　　　　　　　　　　　　曲・曲（
１５）で示される。神経細胞ユニットのネットワークは
、パックプロパゲーションと同様な階層型（即ち、第５
図）とする。そして、ネットワーク全体を同期させてお
けば、各層とも上述した機能により計算できる。

次に、学習（バックプロパゲーション）時の処理につい
て説明する。以下の■又は■により誤差信号を求め、■
に述べる方法により結合係数の値を変化させる。

■　最終層における誤差信号 最終層で各ニューロンにおける誤差信号の計算法につい
て述べる。ここに、本実施例では、「誤差信号」を以下
のように定義する。誤差を数値で表すと、一般には＋、
−の両方をとり得るが、パルス密度の場合は、正、負の
両方を同時に表現できないので、生成分を表す信号と、
−成分を表す信号の２種類を用いて誤差信号を表現する
。即ち、出力信号　　１−Ｌ−［ｙ　　・・・・・・・
・・（１６）教師信号　　ＬＩＬＬｄ　　　・・・・・
・・・・（１７）誤差信号十　−Ｌ」−一 δ４ミＣＩ　ＥＸＯＲｄ）ＡＮＤ　ｄ　・・・・・・・
・・（１８）誤差信号−ｍ δ−：　（ｙ　ＥＸＯＲｄ）ＡＮＤ　　ｙ　−・・−−
−−・−（＋９）で示される。つまり、誤差信号の生成
分は教師信号パルスと出力信号パルスとの違っている部
分（１，０）又は（０，１）の内、教師信号側に存在す
るパルス、他方、−成分は同様に出力信号側に存在する
パルスである。換言すれば、出力信号パルスに誤差信号
十パルスを付は加え、誤差信号−パルスを取り除くと、
教師信号パルスとなることになる。

■　中間層における誤差信号 中間層の各ニューロンにおける誤差信号は次のように求
める。即ち、１つ先の層（第５図における最終層）の各
ニューロンにおける誤差信号を集め、それを自己のｊ！
ｌ！　／１″（＋’ｉシＪとする４、このことは、神経
細胞ユニット内での演算式（８）〜（１５）と同じよう
な要領で行うことができる。即ち、まず、結合を興奮性
か抑制性かにより２つのグループに分け、乗算の部分は
ＡＮＤ、Σの部分はＯＲで表現する。たたし、神経細胞
ユニット内での（８）〜（Ｉ５）式と異なるのは、ｙは
１つの信号であるのに対して、δは正、負を表す信号と
して２つの信号を持ち、その両方の信号を考慮する必要
がある。

従って、Ｔの正負、δの正負に応じて４つの場合に分け
る必要がある。

まず、興奮性結合の場合を説明する。この場合、中間層
のあるニューロンについて、１つ先の層（第５図におけ
る最終層）のニューロンでの誤差信号十とそのニューロ
ンと自己（前記中間層のあるニューロン）との結合係数
のＡ　Ｎ　Ｄをとったも３ の（δ”＋　ｎＴｚ）を１つ先の各ニューロンについて
求め、さらにこれら同士のＯＲをとる（Ｕ（δ”１．　
ｎ　Ｔｚ）　）。この結果を、この層のＸ目１′モ信号
十とする。即ち、 ８”、（’＋Ｔ、４　　ｕ−Ｌ−［ 赫ｎ’ｒ、、　　Ｊ上−１− δ＋Ｊ　　　　ＬＬ上ＬＬＬ　　　　　　・・・・・・
・・・（２０）となる。

また、１つ先の層のニューロンでの誤差信号を用いるこ
とで、この層の誤差信号−を求めるこことができる。即
ち、 δ−２ｎＴＩＪ　　Ｊ土− δ−２ｎＴＩＪ　Ｌ−一−−Ｌ δ−＋　　　　　し−−１ロー　　　　　・・・・・曲
（２１）となる。

２４ 次に、抑制性結合の場合を説明する。この場合、１つ先
の層のニューロンでの誤差信号−とそのニューロンと自
己との結合係数のＡＮＤをとり、さらにこれら同士のＯ
Ｒをとる。これを、この層の誤差信号十とする。即ち、 ８−、（”ＩＴ、Ｉ　　ＬＬＬＩ δ−２ｎＴＩＪ　　１１−１− δ＋、　　　　　ＬＬ上り土Ｌ　　　　　・・・・・・
・・・（２２）となる。

また、１つ先の誤差信シｊ・十と結合係数とのＡＮＤを
とり、さらにこれら同士のＯＲをとることにより、同様
に、この層の誤差信号−とする。即ち、δ”、　ｎ　Ｔ
、、　　−ロー δ”、ｎＴ、　　Ｌ−一土一 δ−４Ｌ−巳土一　　　　　・・・・・・・・・（２３
）となる。

１つのニューロンから別のニューロンへは興奮性で結合
しているものもあれば、抑制性で結合しているものもあ
るので、（２０）式により求めた誤差信号δ４と（２２
）式により求めた誤差信号δ１とのＯＲをとり、それを
自分のニューロンの誤差信号δ４とする。同様に、（２
１）式で求めた誤差信号δ−と（２３）式で求めた誤差
信号δ−とのＯＲをとり、それを自分のニューロンの誤
差信号δ−とする。

以上をまとめると、 δ”　＝　（Ｕ　（δ”ｌ　ｎ　Ｔｌ））　Ｕ　（Ｕ　
（８−、ｎ　Ｔ、））ｉＥ興奮性　　　　ｉＥ抑制性 δ−＝（Ｕ（δ−１ｎ　Ｔ、））　Ｕ　（Ｕ　（δ”ｌ
　ｎ　Ｔ、））ｉＥ興奮性　　　　ｉｅ抑制性 ・・・・・・・・・・・・・・・（２４）となる。

さらに、学習のレートに相当する機能を設けてもよい。

数値計算でレートが１以下のとき、さらに学習能力が高
まる。これはパルス列の演算ではパルス列を間引くこと
で実現できる。本実施例ではカウンタ的な考え方をし、
次の例１）２例２）のようなものとした。例えば、η＝
０．５では元の信号のパルス列を１つ置きに間引く。元
の信号のパルスが等間隔でなくても、元のパルス列に対
して１つ置きに間引く方式（く例２）〉の方式）とした
。

例１） Ｕ土１−元の信号 り土」−［」−η＝０．５の場合 （パルスを１つ置きに間引く） Ｌ−−１−一−１−一」−η−０，３３の場合（パルス
を２つ置きに残す） ｍ−１１−」−η＝　０．６７の場合 （パルスを２つ置きに間引く） ７ 例２） Ｌｌ−」−一−１−」」−元の信号 り一−１−一一一」−η＝０．５の場合（パルスを１つ
置きに間引く） Ｌ−一一一一」−η＝　０．３３の場合（パルスを２つ
置きに残す） ＬＬ−一一一」−」−η＝　０．６７の場合（パルスを
２つ置きに間引く） ・・・・・・・・・・・・・・・・・・・・・・・・（
２５）このようにして、誤差信号を間引くことにより学
習レートの機能を持たせる。

■　誤差信号による各結合係数の変化 上述した■又は■の方法により誤差信号を求め、各結合
係数を変化させるが、その変化のさせ方について説明す
る。変化させたい結合係数が属しているライン（第５図
参照）を流れる信号と誤差信号のＡＮＤをとる（δｎｙ
）。ただし、本実施例では誤差信号には＋、−の２つの
信号があるので、８ 各々計算する。

δ”ｎｙ４−　→ΔＴ４　　　・・・・・・・・・・・
・（２６）δ−ｎｙｍ−→ΔＴ−・・・・・・・・・・
・・（２７）このようにして得られた２つの信号を、各
々ΔＴ４．ΔＴ″′とする。

ついで、今度はこれらのΔＴ４．Δ１゛−を元に新しい
結合係数Ｔを求めるが、本実施例におけるＴは、絶対値
成分であるので、元のＴが興奮性か抑制性かにより場合
分けする。

まず、興奮性の場合、元のＴに対してΔＴ４の成分を増
やし、八Ｔ−の成分を減らす。即ち、元のＴＬに」−」
−一 ΔＴ＋　　　　　　　　　　　、−ｍ−ΔＴ−−一一一
一」−一 学習後のＴＬＬＬＬＩ−・・・・・・・・・・・・（２
８）となる。抑制性の場合には、元のＴに対しΔＴ４の
成分を減らし、ΔＴ−の成分を増やす。即ち、元のＴ　
　　　　　Ｌ−Ｌ」−」−一 Δ−ｒ＋　　　　　　Ｌ−一」− ΔＴ−−一一一」−」− 学習後のＴｎ−・・・・・・・・・・・・（２９）とな
る。

以上の学習側に基づいてネットワークの計算をする。

次に、結合係数の変更・固定の切換えについて説明する
。ニューロンを複数個用いて構成した第５図のようなニ
ューラルネットワークにおいて、フォワードプロセスと
パックプロパゲーションの信号処理について各々説明し
た。ここに、この２つの処理は常に同時に行われるとは
限らず、ある特定の用途には何れか一方でよい場合もあ
る。例えば、既に学習済みの結合係数を用いて認識など
を行う場合には、フォワードプロセスのみで十分である
。従って、前述した２種類の演算過程を各々切換えるこ
とで、何れの場合にも使用できる神経細胞ユニットを構
築できる。これは、元の結合係数値を（２８）式又は（
２９）式により求めた新たな結合係数値に変更する／変
更しないを制御することで実現できる。

次に、以」二のアルゴリズムに基づく実際の回路構成を
説明する。第１図、第３図及び第４図にその回路例を示
す。ネットワーク全体は第５図の場合と同様である。第
１図は第５図中の線（結線）に相当する部分の回路を示
し、第３図は第５図中の丸（神経細胞ユニットｌ）に相
当する部分の回路を示す。また、第４図は、最終層の出
力と教師１− 信号から最終層における誤差信号を求める部分の回路を
示す。これらの第１図、第３図及び第４図構成を第５図
のようにネットワークにすることにより、自己学習可能
なデジタル式のニューラルネットワークが実現できる。

まず、第１図から説明する。図中、２５はニューロンへ
の入力信号であり、（８）式に相当する。

（９）式の結合係数値はシフトレジスタ２６に保存して
おく。このシフトレジスタ２６は取出し口２６ａと入口
２６ｂとを有するが、通常のシフトレジスタと同様の機
能を持つものであればよく、例えば、ＲＡＭとアドレス
コントローラとの組合せによるもの等であってもよい。

入力信号２５とシフトレジスタ２６内の結合係数とはＡ
ＮＤゲート２７を備えて（１０）式に相当する論理回路
２８によりＡＮＤがとられる。この論理回路２８の出力
は結合が興奮性か抑制性かによってグループ分けしなけ
ればならないが、予め各々のグループへの出３２− 力２９．３０を用意し、何れに出力するのかを切換える
ようにした方が汎用性の高いものとなる。

このため、本実施例では結合が興奮性か抑制性かを表す
ビットをメモリ３１に保存しておき、その情報を用いて
切換えゲート回路３２により切換える。

また、第３図に示すように各入力を処理する（１１）式
に相当する複数のＯＲゲート構成のゲート回路３３が設
けられている。さらに、同図に示すように（１２）式の
、興奮性結合グループが「ｌ」で、抑制性結合グループ
がｒｏｌのときにのみ出力を出すＡＮＤゲートとインバ
ータとによるゲート回路３４が設けられている。

次に、誤差信号について説明する。最終層での誤差信号
を生成するのが第４図に示すＡＮＤ、排他的ＯＲの組合
せによる論理回路３５であり、（１６）〜（１９）式に
相当する。即ち、最終層からの出力３６及び教師信号３
７により誤差信号３８，３９を作るものである。また、
中間層における誤差信号を計算する（２０）〜（２３）
式は、第１図中に示すＡＮＤゲート構成のゲート回路４
２により行われ、＋、−に応じた出力４３．４４が得ら
れる。このように結合が興奮性か抑制性かにより場合分
けする必要があるが、この場合分けはメモリ３１に記憶
された興奮性か抑制性かのビット情報と、誤差信号の＋
、−信号４５．４６とに応じて、ＡＮＤ。

ＯＲゲート構成のゲート回路４７により行われる。

また、誤差信号を集める計算式（２４）は第３図に示す
ＯＲゲート構成のゲート回路４８により行われる。さら
に、学習レートに相当する（２５）式は同図中に示す分
周回路４９により行われる。最後に、誤差信号より新た
な結合係数を計算する部分、即ち、（２６）〜（２９）
式に相当する部分は、第１図中に示すＡＮＤ、インバー
タ、ＯＲゲート構成のゲート回路５０により行われる。

このゲート回路５０も結合の興奮性、抑制性によって場
合分けが必要であるが、ゲート回路４７により行われる
。

さらに、結合係数を変化させる状態と固定しておく状態
との切換えは、第１図中に示す切換え回路５１により行
う。即ち、端子５］ａに外部から切換え信号Ｓａを乃え
ることで、結合係数を記憶しておくシフトレジスタ２６
への入力を、元の結合係数値（シフトレジスタ２６出力
値）か、新たに求めた値（ゲート回路５０出力値）かを
切換え選択させるゲート回路である。この切換えをネッ
トワークの外部からのコントロール信号Ｓａにより行う
ことにより、ネットワーク全体の制御も可能となる。

発明の効果 本発明は、上述したように自己学習回路を神経細胞模倣
素子に付設したので、自己学習機能を含めて神経細胞網
の機能をハードウェア上で並列的に行わせることができ
、よって、自己学習機能を発揮させ、従来のコンピュー
タシミュレーションのシリアル処理による計算に比べ処
理速度を著しく向上させることができ、この際、切換え
回路により結合係数値を変化させる場合と変化が不要で
固定する場合との切換えが可能なため、用途に応じて使
いやすいものとなる。

【図面の簡単な説明】

第１図ないし第４図は本発明の一実施例を示すもので、
第１図は論理回路図、第２図は信号演算部分の構成例を
示す論理回路図、第３図及び第４図は各部の構成例を示
す論理回路図、第５図は従来例を示すニューラルネット
ワークの概念図、第６図はその１つのユニット構成を示
す概念図、第７図はシグモイド関数を示すグラフ、第８
図は１つのユニットの具体的回路図、第９図はデジタル
構成例を示すブロック図、第１０図及び第１１図その一
部の回路図である。 ５１・・・切換え回路 只叉 ； ）＼

Claims (1)

【特許請求の範囲】
1. 結合係数可変回路とこの結合係数可変回路の可変結合係
   数値を教師信号に対する誤差信号に基づき生成する結合
   係数生成回路とよりなる自己学習回路を神経細胞模倣素
   子に付設し、前記結合係数値を変化状態と固定状態とに
   切換える切換え回路を設けたことを特徴とする信号処理
   回路。