JPH05165989A - 信号処理装置 - Google Patents

Abstract

(57)【要約】 【目的】 信号処理装置に係り、容易に大ネットワーク
化を図ることができ、更に、大ネットワーク化に伴う学
習効率の低下を防ぐようにした信号処理装置を提供する
ことを目的とする。 【構成】 神経細胞模倣素子により構成された神経細胞
回路網による信号処理装置において、前記神経細胞回路
網を構成する各神経細胞模倣素子に該神経細胞模倣素子
の結合係数及びその符号、該神経細胞模倣素子が属する
神経細胞回路網のモジュール化の情報を取り込むための
識別番号を付与する手段を設ける一方、各神経細胞模倣
素子にこの識別番号を保持する手段６２を設け、神経細
胞回路網のモジュール化と、ネットワーク構成の可変設
定を図るようにした構成とする。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は文字や図形認識、ロボッ
トなどの運動制御、連想記憶などに応用される神経細胞
回路網を模倣したニューラルコンピュータ等の信号処理
装置に係り、特に、神経細胞模倣素子と誤差発生回路間
の配線を省略して神経細胞回路ネットワーク全体の結線
規模を減少させるようにした信号処理回路に関する。

【０００２】

【従来の技術】生体の情報処理の基本的な単位である神
経細胞（ニューロン）の機能を模倣した神経細胞模倣素
子をネットワークに構成し、情報の並列処理を目指した
のが、いわゆる神経細胞回路ネットワーク（ニューラル
ネットワーク）である。文字認識や連想記憶、運動制御
等は生体おいてはいとも簡単に行われていても、従来の
ノイマン型コンピュータではなかなか達成できないもの
が多い。そこで、生体の神経系、特に生体特有の機能、
すなわち並列処理や自己学習等を模倣して、これらの問
題を解決しよとする試みが、計算機シミュレーションを
中心として、盛んに行われている。

【０００３】図１は、ニューラルネットワークの模式図
であり、図中のＡ1 、Ａ2 、Ａ3 は、それぞれ神経細胞
模倣素子（神経細胞ユニット）を表している。各神経細
胞ユニットＡ1 、Ａ2 、Ａ3 は、図２の模式図に示す神
経細胞ユニットＡと同様に多数の神経細胞ユニットと結
合され、それらから受けた信号を処理して出力する。図
１に示されたニューラルネットワークは階層型であり、
神経細胞ユニットＡ2は１つ前の層（入力層）の各神経
細胞ユニットＡ1 より信号を受け、１つ後の層（出力
層）の各神経細胞ユニットＡ3 へ信号を出力する。

【０００４】図２に示す神経細胞ユニットＡを例にとっ
て各神経細胞ユニットＡ1 、Ａ2 、Ａ3 の動作について
より詳しく説明すると、以下の通りである。すなわち、
他の神経細胞ユニットと当該神経細胞ユニットＡとの結
合の度合いは結合係数Ｔと呼ばれる係数で表され、一般
に、ｉ番目の神経細胞ユニットとｊ番目の神経細胞ユニ
ットとの結合係数はＴijで表される。結合には、相手の
神経細胞ユニット（自分に信号を送ってくるニューロ
ン）からの信号が大きいほど自分の出力が大きくなる興
奮性結合と、逆に相手のニューロンからの信号が大きい
ほど自分の出力が小さくなる抑制性結合とがあり、Ｔij
＞０が興奮性結合、Ｔij＜０が抑制性結合である。

【０００５】いま、ｊ番目の神経細胞ユニットＡj を例
にとれば、相手の神経細胞ユニットであるｉ番目の神経
細胞ユニットＡi の出力をｙi とすると、これにｉ番目
の神経細胞ユニットＡi のうちの１つとｊ番目の神経細
胞ユニットＡj のうちの１つとの結合係数Ｔijを掛けた
Ｔijｙi がｉ番目の神経細胞ユニットＡi のうちの１つ
からｊ番目の神経細胞ユニットＡj のうちの１つへの入
力となる。

【０００６】各神経細胞ユニットＡj は多数のｉ番目の
神経細胞ユニットＡi と結合しているので、ｊ番目の当
該神経細胞ユニットＡj への入力は、ｊ番目の当該神経
細胞ユニットＡj のｉ番目のすべての神経細胞ユニット
Ａi に対するＴijｙi を足し合わせたもの、すなわち、
ΣＴijｙi がｊ番目の当該神経細胞ユニットＡj への入
力となる。これを内部電位といい、次の数式１のｕj で
表される。

【０００７】

【数１】ｕ_j ＝ΣＴ_ijｙ_i

【０００８】次に、この入力に対して非線形処理をし
て、その神経細胞ユニットＡj の出力とする。ここで用
いる非線形関数を神経細胞応答関数と呼び、例えば次の
数式２に示すようなシグモイド関数(x) を用いる。

【０００９】

【数２】ｆ(x) ＝１／（１＋ｅ^-x ）

【００１０】図３は、このシグモイド関数を示すグラフ
である。

【００１１】前記神経細胞ユニットＡ1 、Ａ2 、Ａ3 を
図１に示すようなニューラルネットワークに構成し、各
結合係数Ｔijを与え、前記数式１、２を次々と計算する
ことにより、最終的な出力ｂ1 〜ｂ4 が得られる。

【００１２】上記ニューラルネットワークは例えば図４
の回路図に示す電気回路で実現され（特開昭６２−２９
５１８８号公報参照）、基本的には、Ｓ字形の伝達関数
を有する複数の増幅器５３と、各増幅器５３の出力を他
の層の増幅器の入力に接続する抵抗性フィードバック回
路網５１とが設けられる。各増幅器５３の入力側には接
地されたコンデンサＣと接地された抵抗ＲとからなるＣ
Ｒ時定数回路５２が個別に接続される。そして、入力電
流Ｉ1 〜ＩN が各増幅器５３の入力に供給され、出力は
これらの増幅器５３の出力電圧の集合から得られる。

【００１３】この回路において、入力や出力の信号の強
度を電圧で表せば、神経細胞の結合の強さは、各細胞間
の入出力ラインを結ぶ抵抗５０（抵抗性フィードバック
回路網５１中の格子点）の抵抗値で表され、神経細胞応
答係数は各増幅器５３の伝達関数で表される。また、神
経細胞間の結合には前述のように興奮性と抑制性とがあ
り、数学的には結合係数の正負符号により表される。し
かし、回路上の定数で正負を実現するのは困難であるの
で、ここでは、増幅器５３の出力を２つに分け、一方の
出力を反転させることにより、正負の２つの信号５３
ａ、５３ｂを生成し、これを適当に選択することにより
実現するようにしている。また、図３に示したシグモイ
ド関数に相当するものとしては増幅器５３の伝達関数が
用いられている。

【００１４】次に、上記ニューラルネットワークの学習
機能について説明する。数値計算で用いられている学習
法則としては、バックプロパゲーションと呼ばれる次の
ようなものがある。

【００１５】まず、各神経細胞ユニット間の結合係数は
最初はランダムな値に設定される。この状態でニューラ
ルネットワークに入力を与えると、その出力結果は必ず
しも望ましいものではない。例えば、文字認識の場合、
手書きの「１」の文字を与えると、出力結果として「こ
の文字は『１』である」と出るのが望ましい結果である
が、結合係数がランダムであると必ずしも望ましい結果
とはならない。

【００１６】そこで、このニューラルネットワークに正
解（教師信号）を与えて、再び同じ入力があった時出力
結果が正解となる（望ましい出力結果が得られる）よう
に、各結合係数を変化させる。この時、結合係数を変化
させる量を求めるアルゴリズムが、バックプロパゲーシ
ョンと呼ばれているものである。例えば、図１に示した
ような階層型のネットワークにおいて、最終層（図の右
の層Ａ3 ）のｊ番目の神経細胞ユニットＡj の出力をｙ
j とし、その神経細胞ユニットＡj に対する教師信号を
ｄj とすると、次の数式３で表されるＥが最小となるよ
うに、次の数式４を用いて結合係数Ｔijを変化させる。

【００１７】

【数３】Ｅ＝Σ（ｄj −ｙj ）²

【００１８】

【数４】ΔＴ_ij＝∂Ｅ／∂Ｔ_ij

【００１９】具体的には、まず、出力層と、その１つ前
の層における誤差信号δj を、次の数式５により求め
る。

【００２０】

【数５】δ_j ＝（ｄ_j −ｙ_j ）×ｆ’（ｕ_j ）

【００２１】次に、それよりさらに前の層（中間層）に
おける誤差信号δj を数式６により求める。

【００２２】

【数６】δ_j ＝Σδ_j Ｔ_ij×ｆ’（ｕ_j ）

【００２３】但し、ｆ’はｆの一階微分である。これを
用いて、δ（誤差信号）を求め、次の数式７により、Ｔ
ijを求めて、Ｔijを変化させる。

【００２４】

【数７】ΔＴ_ij＝η（δ_j ｙ_j ）＋αΔＴ_ij’ Ｔ_ij＝Ｔ_ij’＋ΔＴ_ij

【００２５】但し、ΔＴij’、Ｔij’はそれぞれ前回の
学習時でのΔＴij、Ｔijの値である。また、ηは学習定
数、αは安定化定数と呼ばれているものであり、各々、
理論的には求められないので経験的に求める。一般的に
は、これらの数値が小さいほど収束が遅く、また、大き
いと振動してしまう傾向にある。オーダ的には１程度の
ものである。

【００２６】このようにして学習をし、その後、再び入
力を与えて出力を計算し、学習をする。この操作を何回
も繰り返すうちに、やがて、与えられた入力に対して望
ましい結果が得られるような結合係数Ｔijが決定され
る。

【００２７】さて、このような学習方法を何らかの方法
でハードウエア化しようとした場合、学習には、多量の
四則演算が必要であり、実現が困難である。また学習方
法そのものもハードウェア化に対しては不向きである。

【００２８】このようなニューラルネットワークを実現
するデジタル回路は例えば図５ないし図７の各ブロック
図に示すように構成され、その単一神経細胞の回路は、
例えば図５に示すように、シナプス回路６０、樹状突起
回路６１及び細胞体回路６２を備える。

【００２９】上記シナプス回路６０は、例えば図６に示
すように、係数回路６０ａを介して入力パルスｆに倍率
ａ（フィードバック信号に掛ける倍率で１または２）を
掛けた値が入力されるレートマルチプライヤ６０ｂを備
え、また、このレートマルチプライヤ６０ｂ接続される
重み付けの値ｗを記憶したシナプス荷重レジスタ６０ｃ
を備え、レートマルチプライヤ６０ｂより入力パルスｆ
に倍率ａと重み付けの値ｗとを掛けた値の出力パルスを
出力するようにしてある。

【００３０】また、上記細胞体回路６２は例えば図７に
示すように、順に接続される制御回路６３、アップ／ダ
ウンカウンタ６４、レートマルチプライヤ６５及びゲー
ト６６と、アップ／ダウンメモリ６７とを備える。

【００３１】このデジタル回路で実現されるニューラル
ネットワークでは、神経細胞ユニットの入出力をパルス
列で表現され、そのパルス密度で信号の量が表される。
結合係数は２進数で取り扱い、シナプス荷重レジスタ６
０ｃに保存している。また、このニューラルネットワー
クでの信号演算処理は次のように行われる。

【００３２】まず、入力信号をレートマルチプライヤ６
０ｂへ入力し、結合係数をレート値へ入力することによ
って、入力信号のパルス密度をレート値に応じて減らし
ている。これは、前述のバックプロパゲーションモデル
の数式１のＴijｙi の部分に相当する。またΣＴijｙi
のΣの部分は、樹状突起回路６１によって示されるＯＲ
回路で実現している。結合には興奮性、抑制性があるの
で、あらかじめグループ分けしておき、それぞれのグル
ープ別に論理和をとる。図５において、Ｆ1 は興奮性、
Ｆ2 は抑制性出力を示す。

【００３３】この２つの出力Ｆ1 、Ｆ2 を、図７に示し
たアップ／ダウンカウンタ６４のアップ側、ダウン側に
それぞれ入力してカウントすることで出力が得られる。
この出力は２進数であるので、再びレートマルチプライ
ヤ６５を用いてパルス密度に変換する。この神経細胞ユ
ニットを複数個用いてネットワークを構成することによ
って、ニューラルネットワークが実現できる。

【００３４】学習機能は、ネットワークの最終出力を外
部のコンピュータに入力して、コンピュータ内部で数値
計算を行い、その結果を結合係数を保存するシナプス荷
重レジスタ６０ｃに書き込むことによって実現してい
る。

【００３５】本出願人は、神経細胞模倣素子より構成さ
れた神経細胞回路網による信号処理装置をすでに特許出
願している（特願平１−３４８９１号）。本発明では、
この先願に係る信号処理装置を一実施例の例題として取
り扱うので、以下、この先願に係る信号処理装置につい
て述べる。

【００３６】この先願に係る信号処理装置においては、
神経回路網の一例として、ディジタル論理回路を用いた
神経細胞ユニットとこれを用いて構成したネットワーク
回路による信号処理について提案している。

【００３７】この先願発明における基本的な考え方は、 1 神経細胞ユニットに関する入出力信号、中間信号、
結合係数、教師信号などは、すべて、「０」、「１」の
２値で表されたパルス列で表現する。 2 ネットワーク内部での信号の値は、パルス密度で表
す（ある一定時間内の「１」の数）。 3 神経細胞ユニット内での計算は、パルス列同士の論
理演算で行う。 4 結合係数のパルス列は、神経細胞ユニット内のメモ
リに格納する。 5 学習は、このパルス列を書き換えることで実現す
る。 6 学習については、与えられた教師信号パルス列を元
に誤差を計算し、これに基づいて、結合係数を変化され
る。この時、誤差の計算、結合係数の変化分の計算もす
べて、「０」、「１」のパルス列の論理演算で行う。 というものであり、以下詳細に説明する。

【００３８】上記先願発明の信号演算部分、すなわち、
１つの神経細胞ユニットに相当する部分は図８の回路図
に示すように構成され、ニューラルネットワークは図１
に示すような従来と同じ階層型に用構成される。神経細
胞ユニットの入出力は、すべて、「０」、「１」に２値
化され、さらに、同期化されたものを用いる。

【００３９】入力ｙi の信号の値（＝強度）は、パルス
密度で表現し、例えば次の数式８に示すパルス列のよう
に、ある一定時間内にある、「１」の状態の数で表す。

【００４０】

【数８】

【００４１】この数式８の場合は４／６を表す信号を示
しており、同期パルス６個中に入力信号は「１」が４
個、「０」が２個であることを表している。この時、
「１」と「０」の並び方は、後に理由を示すようにラン
ダムであることが望ましい。

【００４２】一方、結合係数Ｔijも、次の数式９で示す
ように、同様にパルス密度で表現し、「０」と「１」と
のパルス列としてあらかじめメモリに用意しておく。

【００４３】

【数９】

【００４４】数式９は、結合係数の値が「１０１０１
０」＝３／６であることを表し、この時も、前記と同
様、「０」と「１」の並び方はランダムであることが望
ましい。そして、この結合係数のビット列を同期クロッ
クに応じてメモリより順次読み出し、図８の論理回路図
に示すように各々ＡＮＤ回路１８により入力パルス列と
の論理積をとる（ｙi ∩Ｔij）。これを、神経細胞ユニ
ットへの入力とする。上記の例を用いて説明すると、信
号「１０１１０１」が入力された場合、これと同期して
メモリ上より結合係数のビット列を呼び出し、順次論理
積（ＡＮＤ）をとることにより、次の数式１０で示すよ
うなパルス列（ビット列）「１０１０００」が得られ
る。

【００４５】

【数１０】

【００４６】数式１０は、入力信号のパルス列ｙi が、
結合係数のパルス列Ｔijにより変換され、その結果、神
経細胞ユニットへの入力パルス密度が２／６となること
を示している。

【００４７】上記ＡＮＤ回路１８の出力のパルス密度
は、近似的には「入力信号のパルス密度」と「結合係数
のパルス密度」の積となり、アナログ方式における場合
の結合係数と同様の機能を有し、信号の列（パルス列）
が長いほど、また、「１」と「０」との並び方がランダ
ムであるほど、数値の積に近い機能を持つことになる。
それ故に上述したように、神経細胞ユニットの入力ｙi
の「１」と「０」との並び方がランダムであるほど好ま
しいのである。なお、ランダムでないとは、１（または
０）が密集（密接）していたり、１と０の並びに規則性
があったりすることを意味する。

【００４８】なお、入力パルス列と比較して結合係数の
パルス列の長さが短く、読み出すべきデータがなくなっ
てしまった場合には、再びデータの先頭に戻って、読み
出しを繰り返すことで対処できる。

【００４９】１つの神経細胞ユニットは多くの入力をも
つので、先に説明した「入力信号と結合係数との論理
積」も多数ある。次に、これらのＯＲ操作によりこれら
の論理和をとる。入力は同期化されているので、１番目
のデータが「１０１０００」、２番目のデータが「０１
００００」の場合、両者の論理和は、「１１１０００」
となる。これを多入力同時に計算し出力とすると次の数
式１１のようになる。

【００５０】

【数１１】

【００５１】この部分はアナログ計算における場合の、
信号の和を求める計算及び非線形関数（例えばシグモイ
ド関数）の部分に対応している。

【００５２】一般的なパルス演算において、その論理和
（ＯＲ）のパルス密度は、パルス密度が低い場合には各
々のパルス密度の和に近似的に一致する。パルス密度が
高くなるにつれて、ＯＲ回路の出力は徐々に飽和してく
るので、パルス密度の和とは結果が一致せず、非線形性
が出てくる。論理和の場合、パルス密度は１よりも大き
くなることはなく、かつ、０より小さくなることもな
く、さらには、単調増加関数であるので、シグモイド関
数と近似的に同様となる。

【００５３】さて、結合には興奮性と抑制性があり、数
値計算の場合には、結合係数の符号で表し、アナログ回
路の場合には、前述したように結合係数Ｔijが負となる
場合（抑制性結合）には増幅器を用いて出力を反転さ
せ、Ｔijに相当する抵抗値で他の神経細胞ユニットへ結
合させている。この点、ディジタル方式の場合において
は、まず、Ｔijの正負により各結合を興奮性結合と抑制
性結合との２つのグループに分け、次いで、「入力信号
と結合係数のパルス列の論理積」同士の論理和をこのグ
ループ別に演算する。その結果、興奮性グループの出力
が「１」で、かつ、抑制性グループの出力が「０」の時
のみ「１」を出力する。この機能を実現するためには、
次の数式１２で示すように、抑制性グループの出力の反
転信号と興奮性グループの出力との論の積をとればよ
い。

【００５４】

【数１２】

【００５５】論理式で表現すると、次の数式１３ないし
数式１５で表される。

【００５６】

【数１３】ａ＝∪（ｙ_i ∩Ｔ_ij）（Ｔ＝興奮性）

【００５７】

【数１４】ｂ＝∪（ｙ_i ∩Ｔ_ij）（Ｔ＝抑制性）

【００５８】

【数１５】ｙ_i ＝ａ∩＊ｂ

【００５９】この神経細胞ユニットを用いたネットワー
クの構成は、図２に示したような、階層型とする。ネッ
トワーク全体を同期させておけば、各層とも上述の通り
の機能で並列的に演算することが可能である。

【００６０】次に、学習時の処理について説明する。以
下の（１）または（２）により誤差信号を求め、ついで
（３）で述べる方法により結合係数の値を変化させるこ
とにより、学習を行う。

【００６１】（１）出力層における誤差信号 最初に、出力層（図２の右側の層Ａ3 ）で各神経細胞ユ
ニットにおける誤差信号を計算し、それを元にその神経
細胞ユニットに関わる結合係数を変化させる。そのため
の誤差信号の計算法について、次の数式１６ないし数式
１９を用いて説明する。ここで、「誤差信号」を以下の
ように定義する。すなわち、誤差を数値で表すと、一般
には正負両方の値をとり得るが、パルス密度ではそのよ
うな表現はできないので、＋成分を表す信号と−成分を
表す信号の２つを使って誤差信号を表現する。

【００６２】

【数１６】

【００６３】

【数１７】

【００６４】

【数１８】 δ⁺ ≡＊ｙ ＡＮＤ ｄ

【００６５】

【数１９】 δ^- ≡ ｙ ＡＮＤ ＊ｄ

【００６６】つまり、誤差信号の＋成分は、出力結果
が”０”で、教師信号が”１”の時”１”となり、それ
以外は”０”となる。

【００６７】他方、誤差信号の−成分は、出力結果が”
１”で、教師信号が”０”のとき”１”となり、それ以
外は”０”となる。このような誤差信号パルスを元に、
結合係数を後述するように変化させることになる。

【００６８】（２）中間層における誤差信号 前述の（１）で求めた出力層における誤差信号を逆伝播
させ、出力層とその１つ前の層との結合係数だけでな
く、さらにその前の層の結合係数も変化する。そのた
め、中間層（図２の中央層Ａ２）における各神経細胞ユ
ニットでの誤差信号を計算する必要がある。中間層にあ
る神経細胞ユニットから、さらに１つの先の層の各神経
細胞ユニットへ信号を伝播させたのとは、丁度逆の要領
で１つの先の層の各神経細胞ユニットにおける誤差信号
を集めてきて、自己の誤差信号とする。このことは、神
経細胞ユニット内での上記数式８〜１１と同じような要
領で行うことができる。すなわち、まず、結合を興奮性
か抑制性かにより２つのグループに分け、乗算の部分は
論理積、Σの部分は論理和で表現する。

【００６９】但し、神経細胞ユニット内での上記数式８
ないし数式１１と異なるのは、ｙは１つの信号であるの
に対し、δは正、負を表す信号として２つの信号δ⁺ ・
δ^-を持ち、その両方の信号δ⁺ ・δ^- を考慮する必要
がある。従って、Ｔ（結合係数）の正負、δ（誤差信
号）の正負の４つの場合に場合分けする必要がある。

【００７０】まず、興奮性結合の場合には、中間層のあ
る神経細胞ユニットＡ2 について、１つ後の層（図１の
出力層）の神経細胞ユニットＡ3 のうちの１つの誤差信
号δ+ j と、その神経細胞ユニットＡ3 と自分（図２に
おける中間層のある神経細胞ユニットＡ2 ）との結合係
数Ｔijの論理積をとったもの（δ+ i ∩Ｔij）を１つ後
の層の各神経細胞ユニットＡ3 について求め、さらにこ
れらの同士の論理和をとる｛＝∪（δ+ i ∩Ｔij）｝。
その結果をこの層の誤差信号+ とする。すなわち次の数
式２０のように表される。

【００７１】

【数２０】

【００７２】同様に、次の数式２１で示すように、１つ
先の層の神経細胞ユニットでの誤差信号δ- と結合係数
とのＡＮＤをとり、さらにこれら同士のＯＲをとること
により、この層の誤差信号δ-を求めることができる。

【００７３】

【数２１】

【００７４】次に、抑制性結合の場合を説明する。次の
数式２２で示すように、１つ先の層の神経細胞ユニット
での誤差信号−と、その神経細胞ユニットと自分との結
合係数のＡＮＤをとり、さらにこれらの同士のＯＲをと
った結果を、この層の誤差信号＋とする。

【００７５】

【数２２】

【００７６】同様に、次の数式２３で示すように、１つ
後の層の神経細胞ユニットでの誤差信号＋と結合係数と
の論理積（ＡＮＤ）をとり、さらにこれらの同士の論理
和（ＯＲ）をとることにより、この層の誤差信号−を求
めることができる。

【００７７】

【数２３】

【００７８】１つの神経細胞ユニットから別の神経細胞
ユニットへの結合は、興奮性の場合と抑制性の場合の２
つがあるので、上記数式２０で求めた誤差信号δ+ i と
上記数式２２で求めた誤差信号δ+ i との論理和をと
り、それを自分の神経細胞ユニット（ニューロン）の誤
差信号δ+ i とする。同様に、上記数式２１で求めた誤
差信号δ- i と上記数式２３で求めた誤差信号δ- i の
論理和をとり、それを自分の神経細胞ユニットの誤差信
号δ- i とする。

【００７９】以上をまとめると、次の数式２４のように
なる。

【００８０】

【数２４】 δ⁺ _j ＝｛∪（δ⁺ _i ∩Ｔ_ij）｝∪｛∪（δ￣ _i ∩Ｔ_ij）｝ ｉ∈興奮性 ｉ∈抑制性 δ^- _j ＝｛∪（δ￣ _i ∩Ｔ_ij）｝∪｛∪（δ⁺ _i ∩Ｔ_ij）｝ ｉ∈興奮性 ｉ∈抑制性

【００８１】（３）誤差信号より各結合係数を変化 学習のレートに相当する機能の実現方法について説明す
る。数値計算においてレートは１以下の時、さらに学習
能力が高まる。これは、パルス列の演算ではパルス列を
間引くことで実現できる。これはカウンタ的な考え方を
し、次の数式２５で示すような例１、例２のようなもの
とした。例えば、η＝０．５では元の信号のパルス列を
１つ置きに間引く。元の信号のパルスが等間隔でなくて
も、もとのパルス列に対して１つ置きに間引く方式（＜
例２＞の方式）とした。

【００８２】

【数２５】（例１）

【００８３】（例２）

【００８４】このように誤差信号を間引くことにより学
習レートの機能を持たせる。

【００８５】さて、上記（１）または（２）より求めた
誤差信号を用いて、各結合係数を変化させる方法につい
て説明する。

【００８６】次の数式２６、２７で示すように、変化さ
せたい結合係数が属している線（図１参照）を伝播する
信号（＝神経細胞ユニットに対する入力信号）と誤差信
号の論理積をとる（δ∩ｙ）。但し、ここでは誤差信号
は＋と−の２つの信号があるので、それぞれを演算して
求める。

【００８７】

【数２６】

【００８８】

【数２７】 このようにして得られた２つの信号をΔＴ（ΔＴ⁺ 、Δ
Ｔ^- ）とする。

【００８９】これらを元にして新しい結合係数Ｔを求め
るのであるが、ここでＴの値は、絶対値成分なので、元
のＴが興奮性か抑制性かにより場合分けをする。

【００９０】まず、興奮性の場合には、次の数式２８で
示すように、元のＴに対してΔＴ⁺の成分を増やし、Δ
Ｔ^- の成分を減らす。

【００９１】

【数２８】

【００９２】次に抑制性の場合には、次の数式２９で示
すように、元のＴに対して、ΔＴ⁺の成分を減らし、Δ
Ｔ^- の成分を増やす。

【００９３】

【数２９】

【００９４】以上の学習則に基づいてネットワーク全体
の計算を行う。

【００９５】次に、図９ないし図１１を参照して、以上
のアルゴリズムに基づく実際の回路構成を説明する。ニ
ューラルネットワークの構成は図１と同様である。図９
は図１の線（結線）に相当する部分の論理回路図であ
り、図１０は図１の丸（神経細胞ユニットＡ）に相当す
る部分の論理回路図である。また、図１１は出力層の出
力と教師信号から出力層における誤差信号を求める部分
の論理回路図である。これらの３つの論理回路を図２の
ようにネットワークにすることによって、自己学習が可
能なディジタル式のニューラルネットワーク回路が実現
できる。

【００９６】まず、図９について説明する。２０は神経
細胞ユニットへの入力信号で上記数式８に相当する。上
記数式９の結合係数はシフトレジスタ２７に保存してお
く。端子２７Ａがデータの取り出し口で、端子２７Ｂが
データの入り口である。このシフトレジスタ２７は同様
の機能をもつものであれば、その他のもの、例えば、Ｒ
ＡＭとアドレスコントローラとで構成してもよい。

【００９７】回路２８は上記数式１０の演算を行うため
の回路で、入力信号と結合係数との論理積をとってい
る。この出力は結合が興奮性か抑制性かによってグルー
プ分けしなければならないが、あらかじめ各々のグルー
プへの出力２３、２４を用意し、どちらのグループに出
すのかを切り換えるようにした方が汎用性が高い。この
ため、結合が興奮性か抑制性かを表すビットをメモリ３
３に保存しておき、その情報を用いて切り換えゲート回
路３２により信号を切り換える。

【００９８】また、上記神経細胞ユニットには、図１０
に示すように、各入力を処理する上記数式１１の演算を
行うための複数のＯＲゲート構成のゲート回路３４と、
上記数式１２で示した、興奮性グループが「１」で、か
つ、抑制性グループが「０」の時のみ出力を出すＡＮＤ
ゲートとインバータとによるゲート回路３５とが設けら
れている。

【００９９】次に、誤差信号について説明する。図１１
は、出力層での誤差信号を生成する回路を示す図で、Ａ
ＮＤゲート、インバータの組み合わせによる論理回路で
あり、上記数式１６ないし数式１９の演算を行う。すな
わち、最終層からの出力３８及び教師信号３９より誤差
信号４０、４１を生成する。また、中間層における誤差
信号を求める上記数式２０〜２３の演算は、図８中に示
すＡＮＤゲート構成のゲート回路２９より行われ、＋、
−に応じた出力２１、２２が得られる。

【０１００】このように結合が興奮性か抑制性かで用い
る誤差信号が異なるので、その場合分けを行う必要があ
るが、この場合分けはメモリ３３に記憶された興奮性か
抑制性かの情報と、誤差信号＋、−信号２５、２６とに
応じて、ＡＮＤ、ＯＲゲート構成のゲート回路３１によ
り行われる。また、誤差信号を集める上記数式２４の演
算は図１０に示すＯＲゲート構成のゲート回路３６で行
われ、学習レートに相当する上記数式２５の演算は、図
９に示す分周回路３７により行われる。

【０１０１】最後に、誤差信号より新たな結合係数を計
算する部分について説明する。これは上記数式２６ない
し数式２９で表され、これらの演算は図９に示すＡＮＤ
ゲート、インバータ、ＯＲゲート構成のゲート回路３０
により行われる。このゲート回路３０も結合の興奮性・
抑制性によって場合分けしなければならないが、これは
図９に示すゲート回路３１により行われる。

【０１０２】以上が、先願（特願平１−３４３８９１
号）で提案されている実施例である。

【０１０３】

【発明が解決しようとする課題】ところで、従来の細胞
模倣素子より構成された神経細胞回路網による信号処理
装置では、認識対象を増加させるため、複数のネットワ
ークを接続して大ネットワーク化されることがある。し
かしながら、従来のこの種の信号処理装置では、ネット
ワーク間の接続形態が固定されるため、一旦形成された
ネットワーク構成を変更することができず、更に新たな
認識対象を増加させたり、変更したりすることができな
い。

【０１０４】また、認識対象を増加させるためにネット
ワークの規模を増大させると、学習量が増加して学習効
率が低下するという欠点があった。

【０１０５】本発明は前記のごとき実情に鑑みてなされ
たもので、ネットワークをモジュール化することによ
り、容易に大ネットワーク化を図ることができ、更に、
大ネットワーク化に伴う学習効率の低下を防ぐようにし
た信号処理装置を提供することを目的とするものであ
る。

【０１０６】

【課題を解決するための手段】本発明の第１の信号処理
装置は、神経細胞模倣素子により構成された神経細胞回
路網による信号処理装置において、前記神経細胞回路網
を構成する各神経細胞模倣素子に該神経細胞模倣素子が
属する神経細胞回路網のモジュール化の情報を取り込む
ための識別番号を付与する手段を設ける一方、各神経細
胞模倣素子に上記識別番号を保持する手段を設けること
を特徴とする。

【０１０７】本発明の第２の信号処理装置は、神経細胞
模倣素子により構成された神経細胞回路網による信号処
理装置において、前記神経細胞回路網を構成する各神経
細胞模倣素子に結合係数及びその符号の情報を取り込む
ための識別番号を付与する手段を設ける一方、各神経細
胞模倣素子にこの識別番号を保持する手段を設け、神経
細胞模倣素子が持つ識別番号を適宜指定することによ
り、神経細胞回路網内のネットワーク構成を可変設定可
能にすることを特徴とする。

【０１０８】本発明の第３の信号処理装置は、上記第２
の信号処理装置において、前記神経細胞回路網を構成す
る出力層の各神経細胞模倣素子が持つ識別番号を適宜指
定することにより、神経細胞回路網のネットワーク構成
の出力層が可変設定されることを特徴とする。

【０１０９】

【作用】本発明の第１の信号処理装置においては、神経
細胞回路網を構成する神経細胞模倣素子に神経細胞回路
網のモジュール化の情報を取り込むための識別番号が付
与され、保持される。この後、この識別信号を与えられ
た神経細胞模倣素子に神経細胞回路網のモジュール化の
情報が与えられ、識別信号を与えられた神経細胞模倣素
子により構成されるモジュール化された神経細胞回路網
が形成される。

【０１１０】本発明の第２の信号処理回路においては、
神経細胞回路網を構成する各神経細胞模倣素子に結合係
数及びその符号の情報を取り込むための識別番号が付与
され、各神経細胞模倣素子にこの識別番号が保持され
る。この後、この識別番号を与えられた神経細胞模倣素
子に結合係数及びその符号の情報が与えられ、このデー
タに対応して識別信号を与えられた神経細胞模倣素子の
中から選択された神経細胞模倣素子により構成される神
経細胞回路網が形成される。更に、この後、神経細胞模
倣素子に与えられる結合係数及びその符号の情報を変更
することにより、選択される神経細胞模倣素子が変更さ
れ、これらにより構成されるネットワーク構成が可変設
定される。

【０１１１】本発明の第３の信号処理回路においては、
中間層と出力層との間の結合係数の持たせ方により神経
細胞回路網全体をモジュール化させるので、全体の結合
係数の結合数を少なくして学習量が増大することを防止
できる。

【０１１２】

【実施例】本発明の一実施例に係る信号処理装置を図面
に基づき具体的に説明すれば、以下の通りである。

【０１１３】図１２は本発明の一実施例に係る信号処理
装置の要部のブロック回路図であり、１つの神経細胞ユ
ニットに入力される結線の処理を行う回路を示してい
る。

【０１１４】この回路は、図１の線に対応する回路６０
と、制御回路６１と、レジスタ６２と、コンパレータ６
３とを備える。

【０１１５】この回路においては、例えば次のようにし
て神経回路網のモジュール化情報を取り込むための識別
番号が付与される。

【０１１６】上記制御回路６１は、前後２段のフリップ
フロップ６１ａを備え、各段のフリップフロップ６１ａ
は、信号ＣＫの立ち上がりで入力Ｄの信号を内部に取り
込み、Ｑより出力するように構成されている。

【０１１７】図１３に示すロードパルスＬＤＰは上記前
段（図上、左側）のフリップフロップ６１ａに信号ＣＫ
として入力される。この前段のフリップフロップ６１ａ
に入力されるロード信号ＬＤＩは、例えば図１３に示す
ように、ロードパルスＬＤＰの立ち上がりｔ１では
「０」にしておく。

【０１１８】したがって、ロードパルスＬＤＰの立ち上
がりｔ１では、前段のフリップフロップ６１ａの入力信
号ＬＤＩは「０」であり、Ｑからレジスタ６２に入力さ
れる取り込み信号ＬＤＣＫはｔ１より「０」となる。

【０１１９】ロード信号ＬＤＩはこの後「１」となり、
更にその後のロードパルスＬＤＰの立ち上がりｔ２から
レジスタ６２に入力される取り込み信号ＬＤＣＫは
「１」となる。レジスタ６２は、取り込み信号ＬＤＣＫ
の立ち上がりで入力データＤＩを取り込むため、ＬＤＣ
Ｋの立ち上がりｔ２でアドレスバスに格納したい識別番
号を出力しておくと、この識別番号がレジスタ６２内部
に取り込まれ、所望の識別番号が神経細胞ユニットに格
納される。

【０１２０】レジスタ６２内に格納された識別番号はこ
の後、コンパレータ６３に出力され、アドレスバスを介
して入力される識別番号（アドレス）と比較され、同じ
番号であればコンパレータ６３のＰＥＱから選択信号を
回路６０のＣＳに出力する。この状態で回路６０のクロ
ック信号ピンＣＫにパルスＣＫが送られると選択された
神経細胞ユニットのみが駆動されてデータバスより、連
結係数及びその符号、神経細胞回路網のモジュール化の
情報等が選択された神経細胞ユニットの回路６０内のレ
ジスタに格納される。

【０１２１】この後、アドレスバス上に所要の神経細胞
ユニットのアドレスが与えられると、選択された神経細
胞ユニットにおいては、レジスタ６２内に格納された識
別番号とアドレスバスに与えられたアドレスとがコンパ
レータ６３で比較され、コンパレータ６３の選択信号が
出力イネーブル信号として回路６０に入力される。これ
により、アドレスバス上のアドレスにより選択された回
路６０のみが該回路６０に格納された連結係数及びその
符号、神経細胞回路網のモジュール化の情報をデータバ
スに出力する。

【０１２２】選択されない神経細胞ユニットにおいて
は、コンパレータ６３から選択信号が出力されず、回路
６０はハイインピーダンス状態になるため、データバス
上の値は選択された回路６０内の連結係数及びその符
号、神経細胞回路網のモジュール化の情報等の値に確定
する。

【０１２３】このようにして、神経細胞回路網内の各神
経細胞ユニットに対して、神経回路網のモジュール化情
報を与えることで、ネットワーク全体をモジュール化で
き、種々の知識処理、パターン認識に対応したネットワ
ークを構築することが可能となる。

【０１２４】上記回路６０は、例えば図１５に示すよう
に構成され、出力信号演算部３８のＡＮＤに例えば中間
層・出力層間の結合係数の接続情報を意味する信号（選
択信号）２９が入力される点を除けば図９に示す論理回
路と同様に構成される。

【０１２５】例えば図１２に示すように、８ビットの識
別番号（アドレス）が用いられる場合には、２⁸ ＝２５
６個の神経細胞ユニットまで識別することが可能であ
り、１つの出力層の各神経細胞ユニットに対して最大２
５６ビットの接続情報（選択信号）を順に与えることが
できる。そして、この信号２９のビットの値によって各
出力層の神経細胞ユニットがどの中間層の神経細胞ユニ
ットと結合しているのかが分かる。

【０１２６】すなわち、信号２９が「１」であれば、こ
のビットに対応する中間層のある神経細胞ユニットと出
力層のある神経細胞ユニットとが結合しており、信号２
９が「０」であればＡＮＤ出力は「０」となり、そのビ
ットに対応する中間層のある神経細胞ユニットの出力が
出力層のある神経細胞ユニットへの入力されなくなるの
で、このビットに対応する中間層のある神経細胞ユニッ
トと出力層のある神経細胞ユニットとは結合していない
ことになる。

【０１２７】このようにして、神経細胞回路網内の所要
の神経細胞ユニットをアドレスで選択し、中間層・出力
層間の結合係数の接続情報を意味する情報を与えること
により、神経細胞回路網内に所望のネットワーク構成を
形成することができる。

【０１２８】図１２に示された回路は図１４のブロック
回路図中の回路６４に相当し、図１４に示すように、あ
る回路６４の制御回路６１の出力ＬＤＯが次の回路６４
の制御回路６１の入力ＬＤＩに接続される。また、レジ
スタ６３へのロード信号ＬＰＤはネットワーク内の各神
経細胞ユニットにカスケードに接続される。

【０１２９】図１６はこのようにして構成された神経細
胞回路網のネットワークの構成例を示し、この神経細胞
回路網では、中間層の各神経細胞回路ネットワークは全
入力層からの出力を受け取るが、中間層と出力層との結
合については２５６ビットの結線情報により出力層の各
神経細胞ユニットと結合する中間層の神経細胞ユニット
を指定できる。この結線情報は、図１４において、まず
各神経細胞ユニットが各々の識別番号を受け取った後
に、８ビットのデータバスに３２回に分割して与えるこ
とで次の神経細胞ユニットに取り込むことができる。

【０１３０】この神経細胞回路網においては、中間層と
出力層との間の結合係数の持たせ方によって出力層にお
いてネットワーク構成が可変設定されるので、全体の結
合係数の結合数を少なくすることができ、学習効率を高
めることができる。

【０１３１】また、この神経細胞回路網を上記のように
してモジュール化して大ネットワークに組み込んだ場合
には、この神経細胞回路網の学習効率の向上によって大
ネットワーク全体の学習効率が高められる。

【０１３２】

【発明の効果】以上のように、本発明の第１の信号処理
回路によれば、神経細胞模倣素子にネットワークのモジ
ュール化の情報を取り込むための識別番号を与えて保持
させるので、神経細胞回路網をモジュール化してネット
ワークの大規模化を図ることができる。

【０１３３】本発明の第２の信号処理回路によれば、神
経細胞回路網を構成する各神経細胞模倣素子に結合係数
及びその符号の情報を取り込むための識別番号を付与し
て保持させるので、神経細胞回路網内のネットワークの
構成を識別番号を適宜選択することによりフレキシブル
に変えることができ、これにより種々の知識処理、パタ
ーン認識に対応させることができる。

【０１３４】本発明の第３の信号処理回路によれば、中
間層と出力層間の結合係数の持たせ方により、出力層に
おいてネットワーク構成が可変設定されるので、全体の
結合係数の結合数を少なくすることができ、学習効率の
向上が計れる。

【０１３５】また、この神経細胞回路網を上記のように
してモジュール化して大ネットワークに組み込んだ場合
には、この神経細胞回路網の学習効率の向上によって大
ネットワーク全体の学習効率が高められる。

【図面の簡単な説明】

【図１】階層型神経細胞回路網の模式図である。

【図２】従来の神経細胞模倣素子の模式図である。

【図３】シグモント関数を示すグラフである。

【図４】ニューラルネットワークに相当する電気回路図
である。

【図５】単一神経細胞に対応する回路のブロック回路図
である。

【図６】シナプス回路のブロック図である。

【図７】細胞体回路のブロック回路図である。

【図８】神経細胞ユニットの要部のブロック回路図であ
る。

【図９】図１の線（結線）に相当する部分のブロック回
路図である。

【図１０】図１の丸（神経細胞ユニット）に相当する部
分の論理回路図である。

【図１１】出力層での誤差信号を生成する回路の論理回
路図である。

【図１２】本発明の神経細胞ユニットの要部のブロック
回路図である。

【図１３】本発明の神経細胞ユニットの要部の動作のタ
イミングチャートである。

【図１４】本発明の神経細胞ユニットの要部のブロック
回路図である。

【図１５】本発明の図９に対応する部分のブロック回路
図である。

【図１６】本発明の図１に対応する模式図である。

【符号の説明】

６２ 識別番号を保持する手段（レジスタ）

───────────────────────────────────────────────────── フロントページの続き (72)発明者 樗木 杉高 東京都大田区中馬込１丁目３番６号 株式 会社リコー内 (72)発明者 大槻 聡 東京都大田区中馬込１丁目３番６号 株式 会社リコー内

Claims (3)

【特許請求の範囲】
1. 【請求項１】 神経細胞模倣素子により構成された神経
   細胞回路網による信号処理装置において、前記神経細胞
   回路網を構成する各神経細胞模倣素子に該神経細胞模倣
   素子が属する神経細胞回路網のモジュール化の情報を取
   り込むための識別番号を付与する手段を設ける一方、各
   神経細胞模倣素子にこの識別番号を保持する手段を設け
   ることを特徴とする信号処理装置。
2. 【請求項２】 神経細胞模倣素子により構成された神経
   細胞回路網による信号処理装置において、前記神経細胞
   回路網を構成する各神経細胞模倣素子に結合係数及びそ
   の符号の情報を取り込むための識別番号を付与する手段
   を設ける一方、各神経細胞模倣素子にこの識別番号を保
   持する手段を設け、神経細胞模倣素子が持つ識別番号を
   適宜指定することにより、神経細胞回路網内のネットワ
   ーク構成を可変設定可能にすることを特徴とする信号処
   理装置。
3. 【請求項３】 請求項２に記載の信号処理装置におい
   て、神経細胞回路網のネットワーク構成の出力層が可変
   設定されることを特徴とする信号処理装置。