JPH0573704A - 信号処理回路装置 - Google Patents

Abstract

(57)【要約】 【目的】 この発明は、「忘却」を模倣できるニューラ
ルネットワークにおける信号処理回路を提供することを
目的とする。 【構成】 この発明の信号処理回路装置は、可変結合
係数を記憶する係数記憶メモリ回路１に、少なくとも１
ビットのタグセル１０を設ける。係数記憶メモリ回路１
が選択されるとタグセル１０は第１の値を記憶し、非選
択の場合は、制御信号に第１の値とは異なる第２の値を
記憶することにより、忘却を模倣する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、文字や図形認識、ロ
ボットなどの運動制御、連想記憶などに応用される神経
細胞回路網を模倣したニューラルコンピュータ等の信号
処理回路装置に関する。

【０００２】

【従来の技術】生体の情報処理の基本的な単位である神
経細胞（ニューロン）の機能を模倣し、さらに、この
「神経細胞模倣素子」（神経細胞ユニット）をネットワ
ークに構成することで情報の並列処理を目指したのが、
いわゆるニューラルネットワークである。文字認識や連
想記憶、運動制御等、生体ではいとも簡単に行われてい
ても、従来のノイマン型コンピュータではなかなか達成
できないものが多い。

【０００３】生体の神経系、特に生体特有の機能、すな
わち並列処理や自己学習等を模倣して、これらの問題を
解決しよとする試みが、計算機シミュレーションを中心
として、盛んに行われている。

【０００４】図６は、ニューラルネットワークのモデル
について説明するための図であり、図中、Ａは、１つの
神経細胞ユニットを表している。図７は、図６の神経細
胞ユニットをネットワークに構成したもので、Ａ₁ 、Ａ
₂、Ａ₃ は、それぞれ神経細胞ユニットを表している。

【０００５】１つの神経細胞ユニットは、多数の他の神
経細胞ユニットと結合しており、それらから受けた信号
を処理して出力する。図７の場合、ネットワークは階層
型であり、神経細胞ユニットＡ₂ は、１つ前の層の神経
細胞ユニットＡ₁ より信号を受け、１つ先の層の神経細
胞ユニットＡ₃へ信号を出力する。

【０００６】最初に、図６に示した神経細胞ユニットＡ
について説明すると、他の神経細胞ユニットと自分の神
経細胞ユニットとの結合の度合いを表すのが、結合係数
Ｔと呼ばれているものであり、ｉ番目の神経細胞ユニッ
トとｊ番目の神経細胞ユニットとの結合係数を、一般
に、Ｔ_ijで表す。結合には、相手のニューロン（自分に
信号を送ってくるニューロン）からの信号が大きいほど
自分の出力が大きくなる興奮性結合と、逆に相手のニュ
ーロンからの信号が大きいほど自分の出力が小さくなる
抑制性結合とがあり、Ｔ_ij＞０が興奮性結合、Ｔ_ij＜０
が抑制性結合である。いま、自分のユニットがｊ番目の
神経細胞ユニットであるとし、ｉ番目の神経細胞ユニッ
トの出力をｙ_i とすると、これに結合係数Ｔ_ijを掛けた
Ｔ_ijｙ_iが自分のユニットへの入力となる。

【０００７】前述のように、各神経細胞ユニットは多数
の神経細胞ユニットと結合しているので、それらのユニ
ットに対するＴ_ijｙ_i を足し合わせたもの、すなわち、
ΣＴ_ijｙ_i が、自分のユニットへの入力となる。これを
内部電位ｕ_j といい、次の数式１で表される。

【０００８】

【数１】ｕ_j ＝ΣＴ_ijｙ_i

【０００９】次に、この入力に対して非線形処理をし
て、その神経細胞ユニットの出力とする。ここで用いる
非線形関数を神経細胞応答関数と呼び、例えば次の数式
２に示すようなシグモイド関数ｆ（ｘ）を用いる。

【００１０】

【数２】ｆ（ｘ）＝１／（１＋ｅ^-x）

【００１１】図６は、このシグモンド関数を示す図であ
る。

【００１２】上記神経細胞ユニットを、図７に示すよう
なネットワークに構成し、各結合係数Ｔ_ijを与え、上記
数式１、２を次々と計算することにより、最終的な出力
が得られる。

【００１３】図１３は、上記ネットワークを電気回路で
実現したものの一例を示す図で（特開昭６２−２９５１
８８号公報参照）、基本的には、Ｓ字形の伝達関数を有
する複数の増幅器５３と、各増幅器５３の出力を他の層
の増幅器の入力に接続する抵抗性フィードバック回路網
５１とが設けられている。各増幅器５３の入力側には接
地されたコンデンサＣと接地された抵抗ＲとによるＣＲ
時定数回路５２が個別に接続されている。そして、入力
電流Ｉ₁ 、Ｉ₂ 〜Ｉ_N が各増幅器５３の入力に供給さ
れ、出力はこれらの増幅器５３の出力電圧の集合から得
られる。

【００１４】ここに、入力や出力の信号の強度を電圧で
表し、神経細胞の結合の強さは、各細胞間の入出力ライ
ンを結ぶ抵抗５０（抵抗性フィードバック回路網５１中
の格子点）の抵抗値で表され、神経細胞応答係数は各増
幅器５３の伝達関数で表される。また、神経細胞間の結
合には前述のように興奮性と抑制性とがあり、数学的に
は結合係数の正負符号により表される。しかし、回路上
の定数で正負を実現するのは困難であるので、ここで
は、増幅器５３の出力を２つに分け、一方の出力を反転
させることにより、正負の２つの信号５３ａ、５３ｂを
生成し、これを適当に選択することにより実現するよう
にしている。また、図８に示したシグモイド関数に相当
するものとしては増幅器が用いられている。

【００１５】次に、ネットワーク学習機能について説明
する。数値計算で用いられている学習法則としては、バ
ックプロパゲーションと呼ばれる次のようなものがあ
る。まず、各神経細胞ユニット間の結合係数は最初にラ
ンダムな値に設定しておき、この状態でネットワークに
入力を与えると、その出力結果は必ずしも望ましいもの
ではない。例えば、文字認識の場合、手書きの「１」の
文字を与えたとすると、出力結果として「この文字は
『１』である」と出るのが望ましい結果であるが、結合
係数がランダムであると必ずしも望ましい結果とはなら
ない。

【００１６】そこで、このネットワークに正解（教師信
号）を与えて、再び同じ入力があった時出力結果が正解
となる（望ましい出力結果が得られる）ように、各結合
係数を変化させる。この時、結合係数を変化させる量を
求めるアルゴリズムが、バックプロパゲーションと呼ば
れているものである。例えば、図７に示したような階層
型のネットワークにおいて、最終層（図の右の層Ａ３）
のｊ番目の神経細胞ユニットの出力をｙ_j とし、その神
経細胞ユニットに対する教師信号をｄ_j とすると、次の
数式３で表されるＥが最小となるように、次の数式４を
用いて結合係数Ｔ_ijを変化させる。

【００１７】

【数３】Ｅ＝Σ（ｄ_j −ｙ_j ）²

【００１８】

【数４】ΔＴ_ij＝∂Ｅ／∂Ｔ_ij

【００１９】具体的には、まず、出力層と、その１つ前
の層における誤差信号δ_j を、次の数式５により求め
る。

【００２０】

【数５】δ_j ＝（ｄ_j −ｙ_j ）×ｆ’（ｕ_j ）

【００２１】それよりさらに前の層（中間層）における
誤差信号δ_j を、数式６によりもとめる。

【００２２】

【数６】δ_j ＝Σδ_j Ｔ_ij×ｆ’（ｕ_j ）

【００２３】但し、ｆ’はｆの一階微分である。

【００２４】これを用いて、δ（誤差信号）を求め、次
の数式７により、Ｔ_ijを求めて、Ｔ_ijを変化させる。

【００２５】

【数７】ΔＴ_ij＝η（δ_j ｙ_j ）＋αΔＴ_ij’ Ｔ_ij＝Ｔ_ij’＋ΔＴ_ij

【００２６】但し、ΔＴ_ij’、Ｔ_ij’はそれぞれ前回の
学習時での値である。また、ηは学習定数、αは安定化
定数と呼ばれているものであり、各々、理論的には求め
られないので経験的に求める。一般的には、これらの数
値が小さいほど収束が遅く、また、大きいと振動してし
まう傾向にある。オーダ的には１程度のものである。

【００２７】このようにして学習をし、その後、再び入
力を与えて出力を計算し、学習をする。この操作を何回
も繰り返すうちに、やがて、与えられた入力に対して望
ましい結果が得られるような結合係数Ｔ_ijが決定され
る。

【００２８】さて、このような学習方法を何らかの方法
でハードウエア化しようとした場合、学習には、多量の
四則演算が必要であり、実現が困難である。学習方法そ
のものもハードウェア化に対しては不向きである。

【００２９】図１４〜図１６は、このようなニューラル
ネットワークをデジタル回路で実現した例を示す図であ
る。図１４は単一神経細胞の回路構成例を示す図であ
り、６０はシナプス回路、６１は樹状突起回路、６２は
細胞体回路を示す。図１５は、図１４に示したシナプス
回路６０の構成例を示す図であり、係数回路６０ａを介
して入力パルスｆに倍率ａ（フィードバック信号に掛け
る倍率で１または２）を掛けた値が入力されるレートマ
ルチプライヤ６０ｂを設けてなり、レートマルチプライ
ヤ６０ｂには重み付けの値ｗを記憶したシナプス荷重レ
ジスタ６０ｃが接続されている。また、図１６は細胞体
回路６２の構成例を示す図であり、制御回路６３、アッ
プ／ダウンカウンタ６４、レートマルチプライヤ６５及
びゲート６６を順に接続してなり、さらに、アップ／ダ
ウンメモリ６７が設けられている。

【００３０】ここでは、神経細胞ユニットの入出力をパ
ルス列で表現し、そのパルス密度で信号の量を表してい
る。結合係数は２進数で取り扱い、シナプス荷重レジス
タ６０ｃに保存している。信号演算処理は次のように行
われる。

【００３１】まず、入力信号をレートマルチプライヤ６
０ｂへ入力し、結合係数をレート値へ入力することによ
って、入力信号のパルス密度をレート値に応じて減らし
ている。これは、前述のバックプロパゲーションモデル
の数式１のＴ_ijｙ_i の部分に相当する。またΣＴ_ijｙ_i
のΣの部分は、樹状突起回路６１によって示されるＯＲ
回路で実現している。結合には興奮性、抑制性があるの
で、あらかじめグループ分けしておき、それぞれのグル
ープ別に論理和をとる。図１４において、Ｆ₁ は興奮
性、Ｆ₂ は抑制性出力を示す。

【００３２】この２つの出力を、図１６に示したカウン
タ６４のアップ側、ダウン側にそれぞれ入力してカウン
トすることで出力が得られる。この出力は２進数である
ので、再びレートマルチプライヤ６５を用いて、パルス
密度に変換する。この神経細胞ユニットを複数個用いて
ネットワークを構成することによって、ニューラルネッ
トワークが実現できる。

【００３３】学習機能は、ネットワークの最終出力を外
部のコンピュータに入力して、コンピュータ内部で数値
計算を行い、その結果を結合係数を保存するシナプス荷
重レジスタ６０ｃに書き込むことによって実現してい
る。

【００３４】本出願人は、神経細胞模倣素子より構成さ
れた神経細胞回路網による信号処理回路装置を既に開発
し、特許出願している（特願平１−３４３８９１号）。
この発明では、その信号処理回路装置を一実施例の例題
として取り扱っている。以下、本出願人が既に開発した
信号処理回路装置について述べる。

【００３５】この信号処理回路装置においては、神経回
路網の一例として、ディジタル論理回路を用いた神経細
胞ユニットとこれを用いて構成したネットワーク回路に
よる信号処理について提案している。

【００３６】ここで基本的な考え方は、 神経細胞ユニットに関する入出力信号、中間信号、結
合係数、教師信号などは、すべて、「０」、「１」の２
値で表されたパルス列で表現する。 ネットワーク内部での信号の値は、パルス密度で表す
（ある一定時間内の「１」の数）。 神経細胞ユニット内での計算は、パルス列同士の論理
演算で行う。 結合係数のパルス列は、神経細胞ユニット内のメモリ
に格納する。 学習は、このパルス列を書き換えることで実現する。 学習については、与えられた教師信号パルス列を元に
誤差を計算し、これに基づいて、結合係数を変化され
る。この時、誤差の計算、結合係数の変化分の計算もす
べて、「０」、「１」のパルス列の論理演算で行う。と
いうものであり、以下詳細に説明する。

【００３７】図９は、信号演算部分、すなわち、１つの
神経細胞模倣回路（ユニット）に相当する部分を示す図
で、ネットワークの構成は、図７に示したような従来と
同じ階層型を用いる。神経細胞ユニットの入出力は、す
べて、「０」、「１」に２値化され、さらに、同期化さ
れたものを用いる。

【００３８】入力ｙ_i の信号の値（＝強度）は、パルス
密度で表現し、例えば次の数式８に示すパルス列のよう
に、ある一定時間内にある、「１」の状態の数で表す。

【００３９】

【数８】

【００４０】数式８は、４／６を表す信号を示してお
り、同期パルス６個中に入力信号は「１」が４個、
「０」が２個であることを表している。この時、「１」
と「０」の並び方は、後述するようにランダムであるこ
とが望ましい。

【００４１】一方、結合係数Ｔ_ijも、次の数式９で示す
ように、同様にパルス密度で表現し、「０」と「１」と
のパルス列としてあらかじめメモリに用意しておく。

【００４２】

【数９】

【００４３】数式９は、結合係数の値が「１０１０１
０」＝３／６であることを表し、この時も、前記と同
様、「０」と「１」の並び方はランダムであることが望
ましい。そして、この結合係数のビット列を同期クロッ
クに応じてメモリより順次読み出し、図９に示すように
各々ＡＮＤ回路１８により入力パルス列との論理積をと
る（ｙ_i ∩Ｔ_ij）。これを、神経細胞ユニットへの入力
とする。上記の例を用いて説明すると、信号「１０１１
０１」が入力された場合、これと同期してメモリ上より
結合係数のビット列を呼び出し、順次ＡＮＤをとること
によって、次の数式１０で示すようなパルス列（ビット
列）「１０１０００」が得られる。

【００４４】

【数１０】

【００４５】数式１０は、入力信号のパルス列ｙ_i が、
結合係数のパルス列Ｔ_ijにより変換され、その結果、神
経細胞ユニットへの入力パルス密度が２／６となること
を示している。

【００４６】このＡＮＤ回路１８の出力のパルス密度
は、近似的には「入力信号のパルス密度」と「結合係数
のパルス密度」の積となり、アナログ方式における場合
の結合係数と同様の機能を有する。これは、信号の列
（パルス列）が長いほど、また、「１」と「０」との並
び方がランダムであるほど、数値の積に近い機能を持つ
ことになる。ランダムでないとは、１（または０）が密
集（密接）していたり、１と０の並びに規則性があるこ
とを意味する。

【００４７】なお、入力パルス列と比較して結合係数の
パルス列の長さが短く、読み出すべきデータがなくなっ
てしまった場合には、再びデータの先頭に戻って、読み
出しを繰り返すことで対処できる。

【００４８】１つの神経細胞ユニットは多くの入力をも
つので、先に説明した「入力信号と結合係数との論理
積」も多数ある。次に、これらのＯＲ操作によりこれら
の論理和をとる。入力は同期化されているので、１番目
のデータが「１０１０００」、２番目のデータが「０１
００００」の場合、両者の論理和は、「１１１０００」
となる。これを多入力同時に計算し出力とすると次の数
式１１のようになる。

【００４９】

【数１１】

【００５０】この部分はアナログ計算における場合の、
信号の和を求める計算及び非線形関数（例えばシグモイ
ド関数）の部分に対応している。

【００５１】一般的なパルス演算において、パルス密度
が低い場合、その論理和をとったもののパルス密度は、
各々のパルス密度の和に近似的に一致する。パルス密度
が高くなるにつれて、ＯＲ回路の出力は徐々に飽和して
くるので、パルス密度の和とは結果が一致せず、非線形
性が出てくる。論理和の場合、パルス密度は１よりも大
きくなることはなく、かつ、０より小さくなることもな
く、さらには、単調増加関数であるので、シグモイド関
数と近似的に同様となる。

【００５２】さて、結合には興奮性と抑制性があり、数
値計算の場合には、結合係数の符号で表し、アナログ回
路の場合には、前述したように結合係数Ｔ_ijが負となる
場合（抑制性結合）には増幅器を用いて出力を反転さ
せ、Ｔ_ijに相当する抵抗値で他の神経細胞ユニットへ結
合させている。この点、ディジタル方式の場合において
は、まず、Ｔ_ijの正負により各結合を興奮性結合と抑制
性結合との２つのグループに分け、次いで、「入力信号
と結合係数のパルス列の論理積」同士の論理和をこのグ
ループ別に演算する。その結果、興奮性グループの出力
が「１」で、かつ、抑制性グループの出力が「０」の時
のみ「１」を出力する。この機能を実現するためには、
次の数式１２で示すように、抑制性グループの出力の反
転信号と興奮性グループの出力との論の積をとればよ
い。

【００５３】

【数１２】

【００５４】論理式で表現すると、次の数式１３〜１５
で表される。

【００５５】

【数１３】ａ＝∪（ｙ_i ∩Ｔ_ij）（Ｔ＝興奮性）

【００５６】

【数１４】ｂ＝∪（ｙ_i ∩Ｔ_ij）（Ｔ＝抑制性）

【００５７】

【数１５】ｙ_i ＝ａ∩＊ｂ

【００５８】この神経細胞ユニットを用いたネットワー
クの構成は、図７に示したような、階層型とする。ネッ
トワーク全体を同期させておけば、各層とも上述の通り
の機能で並列的に演算することが可能である。

【００５９】次に、学習時の処理について説明する。

【００６０】以下のまたはにより誤差信号を求め、
ついでで述べる方法により結合係数の値を変化させる
ことにより、学習を行う。

【００６１】出力層における誤差信号 最初に、出力層（図７の右側の層Ａ３）で各ニューロン
における誤差信号を計算し、それを元にそのニューロン
に関わる結合係数を変化させる。そのための誤差信号の
計算法について、次の数式１６〜１９を用いて説明す
る。ここで、「誤差信号」を以下のように定義する。す
なわち、誤差を数値で表すと、一般には正負両方の値を
とり得るが、パルス密度ではそのような表現はできない
ので、＋成分を表す信号と−成分を表す信号の２つを使
って誤差信号を表現する。

【００６２】

【数１６】

【００６３】

【数１７】

【００６４】

【数１８】

【００６５】

【数１９】

【００６６】つまり、誤差信号の＋成分は、出力結果
が”０”で、教師信号が”１”の時”１”となり、それ
以外は”０”となる。

【００６７】他方、誤差信号の−成分は、出力結果が”
１”で、教師信号が”０”のとき”１”となり、それ以
外は”０”となる。このような誤差信号パルスを元に、
結合係数を後述するように変化させることになる。

【００６８】中間層における誤差信号 前述ので求めた出力層における誤差信号を逆伝播さ
せ、出力層とその１つ前の層との結合係数だけでなく、
さらにその前の層の結合係数も変化する。そのため、中
間層（図７の中央層Ａ２）における各ニューロンでの誤
差信号を計算する必要がある。中間層にあるニューロン
から、さらに１つの先の層の各ニューロンへ信号を伝播
させたのとは、丁度逆の要領で１つの先の層の各ニュー
ロンにおける誤差信号を集めてきて、自己の誤差信号と
する。このことは、神経細胞ユニット内での上記数式８
〜１１と同じような要領で行うことができる。すなわ
ち、まず、結合を興奮性か抑制性かにより２つのグルー
プに分け、乗算の部分は論理積、Σの部分は論理和で表
現する。

【００６９】但し、神経細胞ユニット内での上記数式８
〜１１と異なるのは、ｙは１つの信号であるのに対し
て、δは正、負を表す信号として２つの信号を持ち、そ
の両方の信号を考慮する必要がある。従って、Ｔ（結合
係数）の正負、δ（誤差信号）の正負の４つの場合に場
合分けする必要がある。

【００７０】まず、興奮性結合の場合を説明する。中間
層のある神経細胞ユニットについて、１つの先の層（図
７における出力層Ａ３）の神経細胞ユニットでの誤差信
号+と、その神経細胞ユニットと自分（図７における中
間層のある神経細胞ユニット）との結合係数の論理積を
とったもの（δ+ _i ∩Ｔ_ij）を１つ先の層の各神経細胞
ユニットについて求め、さらにこれらの同士の論理和を
とる｛＝∪（δ+ _i ∩Ｔ_ij）｝。その結果をこの層の誤
差信号+ とする。すなわち次の数式２０のように表され
る。

【００７１】

【数２０】

【００７２】同様に、次の数式２１で示すように、１つ
先の層の神経細胞ユニットでの誤差信号^- と結合係数と
のＡＮＤをとり、さらにこれら同士のＯＲをとることに
より、この層の誤差信号^- を求めることができる。

【００７３】

【数２１】

【００７４】次に、抑制性結合の場合を説明する。次の
数式２２で示すように、１つ先の層の神経細胞ユニット
での誤差信号^- と、その神経細胞ユニットと自分との結
合係数のＡＮＤをとり、さらにこれらの同士のＯＲをと
った結果を、この層の誤差信号+ とする。

【００７５】

【数２２】

【００７６】同様に、次の数式２３で示すように、１つ
先の層の神経細胞ユニットでの誤差信号+ と結合係数と
のＡＮＤをとり、さらにこれらの同士のＯＲをとること
により、この層の誤差信号^- を求めることができる。

【００７７】

【数２３】

【００７８】１つの神経細胞ユニット（ニューロン）か
ら別の神経細胞ユニット（ニューロン）への結合は、興
奮性の場合と抑制性の場合の２つがあるので、上記数式
２０で求めた誤差信号δ+ と上記数式２２で求めた誤差
信号δ+ の論理和をとり、それを自分の神経細胞ユニッ
ト（ニューロン）の誤差信号δ+ とする。同様に、上記
数式２１で求めた誤差信号δ^- と上記数式２３で求めた
誤差信号δ^- の論理和をとり、それを自分の神経細胞ユ
ニット（ニューロン）の誤差信号δ^- とする。

【００７９】以上をまとめると、次の数式２４のように
なる。

【００８０】

【数２４】

【００８１】誤差信号より各結合係数を変化 学習のレートに相当する機能の実現方法について説明す
る。数値計算においてレートは１以下の時、さらに学習
能力が高まる。これは、パルス列の演算ではパルス列を
間引くことで実現できる。これはカウンタ的な考え方を
し、次の数式２５で示すような例１、例２のようなもの
とした。例えば、η＝０．５では元の信号のパルス列を
１つ置きに間引く。元の信号のパルスが等間隔でなくて
も、もとのパルス列に対して１つ置きに間引く方式（＜
例２＞の方式）とした。

【００８２】

【数２５】（例１） （例２）

【００８３】このように誤差信号を間引くことにより学
習レートの機能を持たせる。さて、上記またはより
求めた誤差信号を用いて、各結合係数を変化させる方法
について説明する。

【００８４】次の数式２６、２７で示すように、変化さ
せたい結合係数が属している線（図２参照）を伝播する
信号（＝神経細胞ユニットに対する入力信号）と誤差信
号の論理積をとる（δ∩ｙ）。但し、ここでは誤差信号
は＋と−の２つの信号があるので、それぞれを演算して
求める。

【００８５】

【数２６】

【００８６】

【数２７】

【００８７】このようにして得られた２つの信号をΔＴ
+ 、ΔＴ^- とする。

【００８８】これらを元にして新しい結合係数Ｔを求め
るのであるが、ここでＴの値は、絶対値成分なので、元
のＴが興奮性か抑制性かにより場合分けをする。

【００８９】まず、興奮性の場合には、次の数式２８で
示すように、元のＴに対してΔＴ+の成分を増やし、Δ
Ｔ^- の成分を減らす。

【００９０】

【数２８】

【００９１】次に抑制性の場合には、次の数式２９で示
すように、元のＴに対して、ΔＴ+の成分を減らし、Δ
Ｔ^- の成分を増やす。

【００９２】

【数２９】

【００９３】以上の学習則に基づいてネットワーク全体
の計算を行う。

【００９４】次に図１０〜図１２を参照して、以上のア
ルゴリズムに基づく実際の回路構成を説明する。ニュー
ラルネットワークの構成は図７と同様である。図１０
は、図７の線（結線）に相当する部分の回路を示す図
で、図１１は、図７の丸（神経細胞ユニットＡ）に相当
する部分の回路を示す図である。また、図１２は、出力
層の出力と教師信号から出力層における誤差信号を求め
る部分の回路を示す図である。これらの３つの回路を図
７のようにネットワークにすることによって、自己学習
が可能なディジタル式のニューラルネットワーク回路が
実現できる。

【００９５】まず、図１０について説明する。２０は神
経細胞ユニットへの入力信号で上記数式８に相当する。
上記数式９の結合係数はシフトレジスタ２７に保存して
おく。端子２７Ａがデータの取り出し口で、端子２７Ｂ
がデータの入り口である。これはシフトレジスタと同様
の機能をもつものであれば、その他のもの、例えば、Ｒ
ＡＭとアドレスコントローラとからなるもの等を用いて
もよい。

【００９６】回路２８は上記数式１０の演算を行うため
の回路で、入力信号と結合係数との論理積をとってい
る。この出力は結合が興奮性か抑制性かによってグルー
プ分けしなければならないが、あらかじめ各々のグルー
プへの出力２３、２４を用意し、どちらのグループに出
すのかを切り換えるようにした方が汎用性が高い。この
ため、結合が興奮性か抑制性かを表すビットをメモリ３
３に保存しておき、その情報を用いて切り換えゲート回
路３２により信号を切り換える。

【００９７】また、図１１に示したように各入力を処理
する上記数式１１の演算を行うための複数のＯＲゲート
構成のゲート回路３４が設けられている。さらに同図に
示すように上記数式１２で示した、興奮性グループが
「１」で、かつ、抑制性グループが「０」の時のみ出力
を出すＡＮＤゲートとインバータとによるゲート回路３
５が設けられている。

【００９８】次に、誤差信号について説明する。図１２
は、出力層での誤差信号を生成する回路を示す図で、Ａ
ＮＤゲート、インバータの組み合わせによる論理回路で
あり、上記数式１６〜１９の演算を行う。すなわち、最
終層からの出力３８及び教師信号３９より誤差信号４
０、４１を生成する。また、中間層における誤差信号を
求める上記数式２０〜２３の演算は、図１０中に示すＡ
ＮＤゲート構成のゲート回路２９より行われ、＋、−に
応じた出力２１、２２が得られる。

【００９９】このように結合が興奮性か抑制性かで用い
る誤差信号が異なるので、その場合分けを行う必要があ
るが、この場合分けはメモリ３３に記憶された興奮性か
抑制性かの情報と、誤差信号+ 、^- 信号２５、２６とに
応じて、ＡＮＤ、ＯＲゲート構成のゲート回路３１によ
り行われる。また、誤差信号を集める上記数式２４の演
算は、図１１に示すＯＲゲート構成のゲート回路３６で
行われる。また学習レートに相当する上記数式２５の演
算は、図１１に示す１／２分周回路３７により行われ
る。

【０１００】最後に、誤差信号より新たな結合係数を計
算する部分について説明する。これは上記数式２６〜２
９で表され、これらの演算は図１０に示すＡＮＤゲー
ト、インバータ、ＯＲゲート構成のゲート回路３０によ
り行われる。このゲート回路３０も結合の興奮性・抑制
性によって場合分けしなければならないが、これは図１
０に示すゲート回路３１により行われる。

【０１０１】前述の階層型神経回路網は、図７に示すよ
うなネットワークを形成する。ここで、入力層に入力信
号を与えて、出力層より、出力信号を得るフォワードプ
ロセス、及び入力層に入力信号を与えた状態で、出力層
に教師信号を与え、出力層と中間層との結合係数を変更
し、さらに中間層と入力層との結合係数を変更する学習
プロセスを考える。

【０１０２】まず、フォーワードプロセスであるが、最
初に入力層に入力信号を与えると、この入力信号が中間
層に伝播していき、中間層の信号処理として、上記数式
１、２の演算を行い、その結果を出力層に伝播させる。
出力層では、これらの伝播してきた信号に対して、同様
に上記数式１、２の演算を実行し、これらの結果とし
て、出力信号を得ることになる。

【０１０３】学習プロセスでは、以上のフォワードプロ
セスを行った後、さらに出力層に教師信号を与える。出
力層では、上記数式５によって、出力層における誤差を
求め、この誤差を中間層に伝播させるとともに、出力層
の神経細胞ユニットと中間層の神経細胞ユニットとの間
の結線の強度、すなわち結合係数を上記数式７により変
更する。

【０１０４】次に、中間層における処理として、上記数
式６によって、中間層における誤差を求め、この誤差に
より、中間層の神経細胞ユニットと入力層の神経細胞ユ
ニットとの間の結線の強度（結合係数）を上記数式７に
より変更し、学習プロセスを完了する。

【０１０５】

【発明が解決しようとする課題】上述したように、上記
学習機能を有したニューラルネットワークにおける信号
処理回路装置においては、「覚える」という要素を模倣
することは可能である。

【０１０６】しかしながら、他の要素である「忘却」の
ことは模倣することができないという問題があった。

【０１０７】この発明は上述した従来の問題点を解消し
「忘却」を模倣できるニューラルネットワークにおける
信号回路を提供することを目的とする。

【０１０８】

【課題を解決するための手段】この発明の信号処理回路
装置は、可変結合係数を記憶する係数記憶メモリ回路を
備えた結合係数可変回路と、この結合係数可変回路の可
変結合係数値を教師信号に対する誤差信号に基づき生成
する結合係数生成回路とよりなる自己学習回路を神経細
胞模倣素子に付設した複数の神経細胞模倣回路を網状に
接続してなる信号処理回路装置において、上記可変結合
係数を記憶する係数記憶メモリ回路に、少なくとも１ビ
ットのタグセルを設け、上記タグの状態によって忘却を
模倣することを特徴とする。

【０１０９】上記タグセルは、係数記憶メモリ回路が選
択されると第１の値を記憶し、非選択の場合は、制御信
号に第１の値とは異なる第２の値を記憶するように構成
される。

【０１１０】また、上記タグセルにおいて、記憶情報を
ワイヤードＯＲ接続する機能を付加すると良い。

【０１１１】更に、上記タグセルの個数又は、制御信号
の周波数で忘却までの時間を模倣できるように構成する
と良い。

【０１１２】また、上記忘却までの時間を、プログラム
可能に構成すれば良い。

【０１１３】

【作用】この発明によれば、結合係数を記憶するメモリ
に少なくとも１ビットのタグセルを設けることにより、
メモリがアクセスされたか否かでこのタグセルの値を変
更させる。

【０１１４】タグセルの状態により、アクセスがされな
いメモリ領域は「忘却」するように制御することで、
「忘却」を模倣することができる。

【０１１５】また、「忘却」の時間をタグセルの個数ま
たは、周波数を制御することで、容易に設定できる。

【０１１６】

【実施例】以下、前述のディジタル回路でニューラルネ
ットワークを実現したものに対して、この発明を適用し
た実施例について説明する。

【０１１７】前述の図１０に示すディジタル回路の構成
において、可変結合係数はレジスタ２７に記憶されてい
るが、この発明においては、可変結合係数はＳＲＡＭ，
ＤＲＡＭなどの半導体メモリにて構成される係数記憶メ
モリ１に記憶される。

【０１１８】そして、この係数記憶メモリ１の各ワード
ライン毎に少なくとも１ビットのタグセルを付加する。
このタグセルの状態によって忘却を模倣するものであ
る。

【０１１９】図１は、この発明の一実施例を示すブロッ
ク図である。

【０１２０】この実施例においては、係数記憶メモリ１
の４つのワードラインＷＬ０〜ＷＬ３に夫々４ビットの
タグセル１０−３〜１０−０が付加されている。そし
て、このタグセル１０−３〜１０−０のデータラインＴ
Ｌ０〜ＴＬ３には、制御回路２からの信号がインバータ
１７−０〜１７−３を介して与えられる。

【０１２１】また、タグセル１０内の忘却制御ライン＊
ＲＭＢにはクロックＣＫがＭＯＳＦＥＴを介して与えら
れ、そして、各＊ＲＭＢ出力は、ナンド回路３を介して
信号ＦＧＴとして係数記憶メモリ１のＹゲートセンスア
ンプ書込回路５に与えられる。

【０１２２】図２は、この実施例におけるタグセル１０
と係数記憶メモリ１との要部を示す回路用である。この
図２に従いこの発明つき更に説明する。

【０１２３】この発明においては、係数記憶メモリ１の
ワードラインＷＬｍにタグセル１０が接続される。係数
記憶メモリ１のワードラインＷＬｍに、タグセル１０の
フリップフロップを構成するインバータ１１、１２がＭ
ＯＳＦＥＴ１３、１４を介して接続されることにより、
タグセル１０が係数記憶メモリ１に付加される。このイ
ンバータ１２の出力側は、ＭＯＳＦＥＴ１５のゲート出
力に、またＭＯＳＦＥＴ１５のソース側は忘却データラ
イン＊ＲＭＢｎに夫々接続されている。尚、ＭＯＳＦＥ
Ｔ１５のドレイン側は接地される。

【０１２４】一方、ＭＯＳＦＥＴ１３には制御回路２よ
りの記憶情報に基づく出力がインバータ１７を介して与
えられる。また、忘却データライン＊ＲＭＢｎにはＭＯ
ＳＦＥＴ１６を介してクロック信号ＣＫが与えられる。

【０１２５】図４はタグセルの具体的回路例を示す。こ
の実施例では、インバータをＣＭＯＳで構成している。

【０１２６】図２に示したタグセルを構成するメモリセ
ルの動作を図４を用いて説明する。

【０１２７】ここで、Ｒ１〜Ｒ８は各ＭＯＳＦＥＴのオ
ン抵抗とする。即ち、インバータ１１のｐチャネルＭＯ
ＳＦＥＴのオン抵抗をＲ１、インバータ１１のｎチャネ
ルＭＯＳＦＥＴのオン抵抗をＲ２、インバータ１２のｐ
チャネルＭＯＳＦＥＴのオン抵抗をＲ３、インバータ１
２のｎチャネルＭＯＳＦＥＴのオン抵抗をＲ４、ＭＯＳ
ＦＥＴ１４のオン抵抗をＲ５、ＭＯＳＦＥＴ１３のオン
抵抗をＲ６、インバータ１７のｐチャネルＭＯＳＦＥＴ
のオン抵抗をＲ７、インバータ１７のｎチャネルＭＯＳ
ＦＥＴのオン抵抗をＲ８とする。

【０１２８】また、記憶データ”１”とはノードＮ１
が”Ｌ”、ノードＮ２が”Ｈ”、記憶データ”０”とは
ノードＮ１が”Ｈ”、ノードＮ２が”Ｌ”と定義する。

【０１２９】このメモリセルは、係数記憶メモリ１のワ
ード線を選択時”０”、非選択時”１”を記憶する様
に、例えば、次の様に設計すればよい。

【０１３０】上記各ＭＯＳＦＥＴのオン抵抗を、Ｒ１＝
Ｒ２＝Ｒ３＝Ｒ４＝４Ｒ、Ｒ５＝Ｒ６＝Ｒ８＝Ｒ、Ｒ７
＝Ｒ５とする。ここで、Ｒは任意の値である。

【０１３１】説明を簡単にするために、インバータ１
１、１２共にスレッシュホールド電圧を２．５Ｖとし、
電源電圧を５Ｖとすると、選択時並びに非選択時は次に
示すようになる。

【０１３２】（１）選択時（選択前：１）の時 Ｒ１−Ｒ５より、ノードＮ２は１Ｖとなり、インバータ
１２のスレッシュホールド電圧以下なので、フリップフ
ロップが反転し、”０”を記憶する。

【０１３３】（２）非選択時（選択前：”１”、インバ
ータ１７へのＡ入力：”Ｌ”）の時 Ｒ７−Ｒ６−Ｒ４より、ノードＮ１は２Ｖとなり、イン
バータ１１のスレッシュホールド電圧以下なので、フリ
ップフロップは反転せず”１”を保持する。

【０１３４】（３）非選択時（選択前：”０”、インバ
ータ１７へのＡ入力：”Ｈ”）の時 Ｒ３−Ｒ６−Ｒ８より、ノードＮ１は１．７Ｖとなり、
インバータ１１のスレッシュホールド電圧以下なので、
フリップフロップは反転し”１”を記憶する。

【０１３５】インバータのスレッシュホールド電圧、各
ＭＯＳＦＥＴのオン抵抗等、上記（１）〜（３）の条件
を満たす範囲内で自由に設定できる。

【０１３６】図３はタグセル１０と係数記憶メモリ１と
の他の実施例における要部を示す回路用である。図３に
示す実施例においては、制御回路２より与えられる記憶
情報がワーヤードＯＲにより、タグセル１０のフリップ
フロップ与えられるように構成される。即ち、制御回路
２より与えられる記憶情報に基づく出力がインバータ１
７をＭＯＳＦＥＴ１８、１９からフリップフロップに与
えられる。

【０１３７】この図３に示す回路であれば、上記（２）
の条件がなくなり自由度あるいは回路の安定度が増す。

【０１３８】次に、図３を参照して忘却タグセルとして
の動作を説明する。

【０１３９】選択線（ワードライン：ＷＬｍ）は係数記
憶メモリ１のワードラインＷＬｍと共通にしている。係
数記憶メモリ１内にある番地をアクセスする度に、上述
（１）の通りタグの内容がリセットされ”０”となる。
この時クロック信号ＣＫによりプリチャージされていた
忘却線＊ＲＭＢはＭＯＳＦＥＴ１５の動きにより”Ｌ”
となる。忘却線＊ＲＭＢが”Ｌ”の時は、覚えているこ
とを示す。逆に非選択のワードラインＷＬｍに継るタグ
セルは上述（３）の通りタグの内容がセットされ”１”
となる。このとき忘却線＊ＲＭＢは”Ｈ”を維持してい
る。忘却線＊ＲＭＢが”Ｈ”の時は、忘却とする。

【０１４０】上記の例では、係数記憶メモリ１をアクセ
スする度に選択番地はリセットその他のもの全てはセッ
トされ、「忘却」が瞬時に行われることになる。「忘
却」までの時間を模倣するには以下の様にする。

【０１４１】前述のタグセルを各ワードライン毎に複数
個並置する。図１の例では、４ワードの係数記憶メモリ
１に４ビットのタグセル１０を付加したとする。

【０１４２】例えば、アドレスは”００”→”０１”
→”１０”→”００”→”１１”と変化し、データライ
ンＴＬは各サイクル毎に０→１→２→３→０とシフトを
繰返すとする。

【０１４３】簡単な為、サイクル０の前全タグセルの各
ビットの内容が”１”だったと仮定すれば、タグセルの
ビットの情報は、次の表１に示すようになる。図５はこ
の動作を示すタイムチャートである。

【０１４３】

【表１】

【０１４４】上記表１に示すように、タグセルのビット
の情報は変化する。従ってサイクル３にて忘却線＊ＲＭ
Ｂ３が”Ｌ”となり、信号ＦＧＴは”Ｈ”となり忘却す
る。

【０１４５】この実施例では、４回中１回もアクセスさ
れなければ忘却ということになる。

【０１４６】この考えを拡張すれば、忘却までの時間設
定は種々の手法がある。例えば、タグメモリの数を増減
するまたはデータラインＴＬの信号発生頻度を調整する
等可能である。

【０１４７】又、実施例ではメモリをアクセスする信号
と同期して、タグのセット／リセットを行っているが、
システムロックと同期しても良い。この場合、忘却まで
の時間を絶対時間で設定できる。

【０１４８】又、忘却時間を制御回路２よりのデータラ
インＴＬの信号発生頻度をプログラムすることにより、
忘却時間をプログラムすることも制御回路で論理的に設
定できるので容易である。

【０１４９】

【発明の効果】この発明によれば、結合係数を記憶する
メモリに少なくとも１ビットのタグセルを設けることに
より、メモリがアクセスされたか否かでこのタグセルの
値を変更させ、タグセルの状態により、アクセスがされ
ないメモリ領域は「忘却」するように制御することで、
「忘却」を模倣することができる。また、「忘却」の時
間をタグセルの個数または、周波数を制御することで、
容易に設定できる。

【図面の簡単な説明】

【図１】この発明の実施例である信号処理回路装置を示
すブロック図である。

【図２】この発明の実施例における係数記憶メモリとタ
グセルとの要部を示す回路図である。

【図３】この発明の他の実施例における係数記憶メモリ
とタグセルとの要部を示す回路図である。

【図４】この発明に適用されるタグセルの一例を示す回
路図である。

【図５】図１の信号処理回路装置による各処理のタイミ
ングを示すタイミングチャートである。

【図６】ニュートラルネットワークのモデルについて説
明するための模式図である。

【図７】図７の神経細胞ユニットをネットワークに構成
した模式図である。

【図８】シグモンド関数を示すグラフである。

【図９】神経細胞模倣回路を示す回路図である。

【図１０】図７の線（結線）に相当する回路を示す回路
図である。

【図１１】図７の丸（神経細胞ユニット）に相当する回
路を示す回路図である。

【図１２】出力層の出力と教師信号から出力層における
誤差信号を求める回路を示す回路図である。

【図１３】ニュートラルネットワークを電気回路で実現
した例を示す回路図である。

【図１４】単一神経細胞の回路構成を示すブロック図で
ある。

【図１５】シナプス回路を示すブロック図でである。

【図１６】細胞体回路を示すブロック図である。

【符号の説明】

１ 係数記憶メモリ ２ 制御回路 １０ タグセル

Claims (5)

【特許請求の範囲】
1. 【請求項１】 可変結合係数を記憶する係数記憶メモリ
   回路を備えた結合係数可変回路と、この結合係数可変回
   路の可変結合係数値を教師信号に対する誤差信号に基づ
   き生成する結合係数生成回路とよりなる自己学習回路を
   神経細胞模倣素子に付設した複数の神経細胞模倣回路を
   網状に接続してなる信号処理回路装置において、上記可
   変結合係数を記憶する係数記憶メモリ回路に、少なくと
   も１ビットのタグセルを設け、上記タグセルの状態によ
   って忘却を模倣することを特徴とする信号処理回路装
   置。
2. 【請求項２】 上記タグセルは、係数記憶メモリ回路が
   選択されると第１の値を記憶し、非選択の場合は、制御
   信号に第１の値とは異なる第２の値を記憶することを特
   徴とする請求項１に記載の信号処理回路装置。
3. 【請求項３】 上記タグセルにおいて、記憶情報をワイ
   ヤードＯＲ接続する機能を付加したことを特徴とする請
   求項２に記載の信号処理回路装置。
4. 【請求項４】 上記タグセルの個数又は制御信号の周波
   数で忘却までの時間を設定することを特徴とする請求項
   ３に記載の信号処理回路装置。
5. 【請求項５】 上記忘却までの時間をプログラム可能に
   構成したことを特徴とする請求項４に記載の信号処理回
   路装置。