JPH05165987A

JPH05165987A - 信号処理装置

Info

Publication number: JPH05165987A
Application number: JP3351410A
Authority: JP
Inventors: Tokuo Hashimoto; 篤男橋本; Sugitaka Otegi; 杉高樗木; Toshihiro Tsukagoshi; 敏弘塚越; Satoshi Otsuki; 聡大槻; Hideki Aono; 英樹青野
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 1991-12-11
Filing date: 1991-12-11
Publication date: 1993-07-02

Abstract

(57)【要約】【目的】ニューラルコンピュータ等の信号処理装置に
係り、特にハードウェアを小型で安価にでき、しかも、
高速処理が可能な信号処理装置を提供することを目的と
する。【構成】神経細胞模倣素子により構成された神経細胞
回路網を備える信号処理装置において、上記神経細胞回
路網を構成する各神経細胞模倣素子に、結合の重み値を
保持する結合係数記憶手段３０３・３０４と、前記重み
に相当するパルス密度のランダムパルス列を発生するパ
ルス生成手段３０１・３０２と、教師信号に対する誤差
信号に基づき生成される重み値の更新値、または重み値
の修正情報に応答して前記結合係数記憶手段３０３・３
０４の内容を更新、または修正する手段とが設けられて
なる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、文字や図形認識、ロ
ボットなどの運動制御、連想記憶などに応用される神経
細胞回路網を模倣したニューラルコンピュータ等の信号
処理装置に係り、特にハードウェアを小型で、安価にで
き、しかも、高速処理が可能な信号処理装置に関する。

【０００２】

【従来の技術】生体の情報処理の基本的な単位である神
経細胞（ニューロン）の機能を模倣した神経細胞模倣素
子をネットワークに構成し、情報の並列処理を目指した
のが、いわゆる神経細胞回路ネットワーク（ニューラル
ネットワーク）である。文字認識や連想記憶、運動制御
等は生体おいてはいとも簡単に行われていても、従来の
ノイマン型コンピュータではなかなか達成できないもの
が多い。そこで、生体の神経系、特に生体特有の機能、
すなわち並列処理や自己学習等を模倣して、これらの問
題を解決しよとする試みが、計算機シミュレーションを
中心として、盛んに行われている。

【０００３】図１は、ニューラルネットワークの模式図
であり、図中のＡ1 、Ａ2 、Ａ3 は、それぞれ神経細胞
模倣素子（神経細胞ユニット）を表している。各神経細
胞ユニットＡ1 、Ａ2 、Ａ3 は、図２の模式図に示す神
経細胞ユニットＡと同様に多数の神経細胞ユニットと結
合され、それらから受けた信号を処理して出力する。図
１に示されたニューラルネットワークは階層型であり、
神経細胞ユニットＡ2は１つ前の層（入力層）の各神経
細胞ユニットＡ1 より信号を受け、１つ後の層（出力
層）の各神経細胞ユニットＡ3 へ信号を出力する。

【０００４】図２に示す神経細胞ユニットＡを例にとっ
て各神経細胞ユニットＡ1 、Ａ2 、Ａ3 の動作について
より詳しく説明すると、以下の通りである。すなわち、
他の神経細胞ユニットと当該神経細胞ユニットＡとの結
合の度合いは結合係数Ｔと呼ばれる係数で表され、一般
に、ｉ番目の神経細胞ユニットとｊ番目の神経細胞ユニ
ットとの結合係数はＴijで表される。結合には、相手の
神経細胞ユニット（自分に信号を送ってくるニューロ
ン）からの信号が大きいほど自分の出力が大きくなる興
奮性結合と、逆に相手のニューロンからの信号が大きい
ほど自分の出力が小さくなる抑制性結合とがあり、Ｔij
＞０が興奮性結合、Ｔij＜０が抑制性結合である。

【０００５】いま、ｊ番目の神経細胞ユニットＡj を例
にとれば、相手の神経細胞ユニットであるｉ番目の神経
細胞ユニットＡi の出力をｙi とすると、これにｉ番目
の神経細胞ユニットＡi のうちの１つとｊ番目の神経細
胞ユニットＡj のうちの１つとの結合係数Ｔijを掛けた
Ｔijｙi がｉ番目の神経細胞ユニットＡi のうちの１つ
からｊ番目の神経細胞ユニットＡj のうちの１つへの入
力となる。

【０００６】各神経細胞ユニットＡj は多数のｉ番目の
神経細胞ユニットＡi と結合しているので、ｊ番目の当
該神経細胞ユニットＡj への入力は、ｊ番目の当該神経
細胞ユニットＡj のｉ番目のすべての神経細胞ユニット
Ａi に対するＴijｙi を足し合わせたもの、すなわち、
ΣＴijｙi がｊ番目の当該神経細胞ユニットＡj への入
力となる。これを内部電位といい、次の数式１のｕj で
表される。

【０００７】

【数１】ｕ_j ＝ΣＴ_ijｙ_i

【０００８】次に、この入力に対して非線形処理をし
て、その神経細胞ユニットＡj の出力とする。ここで用
いる非線形関数を神経細胞応答関数と呼び、例えば次の
数式２に示すようなシグモイド関数(x) を用いる。

【０００９】

【数２】ｆ(x) ＝１／（１＋ｅ^-x ）

【００１０】図３は、このシグモイド関数を示すグラフ
である。

【００１１】前記神経細胞ユニットＡ1 、Ａ2 、Ａ3 を
図１に示すようなニューラルネットワークに構成し、各
結合係数Ｔijを与え、前記数式１、２を次々と計算する
ことにより、最終的な出力ｂ1 〜ｂ4 が得られる。

【００１２】上記ニューラルネットワークは例えば図４
の回路図に示す電気回路で実現され（特開昭６２−２９
５１８８号公報参照）、基本的には、Ｓ字形の伝達関数
を有する複数の増幅器５３と、各増幅器５３の出力を他
の層の増幅器の入力に接続する抵抗性フィードバック回
路網５１とが設けられる。各増幅器５３の入力側には接
地されたコンデンサＣと接地された抵抗ＲとからなるＣ
Ｒ時定数回路５２が個別に接続される。そして、入力電
流Ｉ1 〜ＩN が各増幅器５３の入力に供給され、出力は
これらの増幅器５３の出力電圧の集合から得られる。

【００１３】この回路において、入力や出力の信号の強
度を電圧で表せば、神経細胞の結合の強さは、各細胞間
の入出力ラインを結ぶ抵抗５０（抵抗性フィードバック
回路網５１中の格子点）の抵抗値で表され、神経細胞応
答係数は各増幅器５３の伝達関数で表される。また、神
経細胞間の結合には前述のように興奮性と抑制性とがあ
り、数学的には結合係数の正負符号により表される。し
かし、回路上の定数で正負を実現するのは困難であるの
で、ここでは、増幅器５３の出力を２つに分け、一方の
出力を反転させることにより、正負の２つの信号５３
ａ、５３ｂを生成し、これを適当に選択することにより
実現するようにしている。また、図３に示したシグモイ
ド関数に相当するものとしては増幅器５３の伝達関数が
用いられている。

【００１４】次に、上記ニューラルネットワークの学習
機能について説明する。数値計算で用いられている学習
法則としては、バックプロパゲーションと呼ばれる次の
ようなものがある。

【００１５】まず、各神経細胞ユニット間の結合係数は
最初はランダムな値に設定される。この状態でニューラ
ルネットワークに入力を与えると、その出力結果は必ず
しも望ましいものではない。例えば、文字認識の場合、
手書きの「１」の文字を与えると、出力結果として「こ
の文字は『１』である」と出るのが望ましい結果である
が、結合係数がランダムであると必ずしも望ましい結果
とはならない。

【００１６】そこで、このニューラルネットワークに正
解（教師信号）を与えて、再び同じ入力があった時出力
結果が正解となる（望ましい出力結果が得られる）よう
に、各結合係数を変化させる。この時、結合係数を変化
させる量を求めるアルゴリズムが、バックプロパゲーシ
ョンと呼ばれているものである。例えば、図１に示した
ような階層型のネットワークにおいて、最終層（図の右
の層Ａ3 ）のｊ番目の神経細胞ユニットＡj の出力をｙ
j とし、その神経細胞ユニットＡj に対する教師信号を
ｄj とすると、次の数式３で表されるＥが最小となるよ
うに、次の数式４を用いて結合係数Ｔijを変化させる。

【００１７】

【数３】Ｅ＝Σ（ｄj −ｙj ）²

【００１８】

【数４】ΔＴ_ij＝∂Ｅ／∂Ｔ_ij

【００１９】具体的には、まず、出力層と、その１つ前
の層における誤差信号δj を、次の数式５により求め
る。

【００２０】

【数５】δ_j ＝（ｄ_j −ｙ_j ）×ｆ’（ｕ_j ）

【００２１】次に、それよりさらに前の層（中間層）に
おける誤差信号δj を数式６により求める。

【００２２】

【数６】δ_j ＝Σδ_j Ｔ_ij×ｆ’（ｕ_j ）

【００２３】但し、ｆ’はｆの一階微分である。これを
用いて、δ（誤差信号）を求め、次の数式７により、Ｔ
ijを求めて、Ｔijを変化させる。

【００２４】

【数７】ΔＴ_ij＝η（δ_j ｙ_j ）＋αΔＴ_ij’ Ｔ_ij＝Ｔ_ij’＋ΔＴ_ij

【００２５】但し、ΔＴij’、Ｔij’はそれぞれ前回の
学習時でのΔＴij、Ｔijの値である。また、ηは学習定
数、αは安定化定数と呼ばれているものであり、各々、
理論的には求められないので経験的に求める。一般的に
は、これらの数値が小さいほど収束が遅く、また、大き
いと振動してしまう傾向にある。オーダ的には１程度の
ものである。

【００２６】このようにして学習をし、その後、再び入
力を与えて出力を計算し、学習をする。この操作を何回
も繰り返すうちに、やがて、与えられた入力に対して望
ましい結果が得られるような結合係数Ｔijが決定され
る。

【００２７】さて、このような学習方法を何らかの方法
でハードウエア化しようとした場合、学習には、多量の
四則演算が必要であり、実現が困難である。また学習方
法そのものもハードウェア化に対しては不向きである。

【００２８】このようなニューラルネットワークを実現
するデジタル回路は例えば図５ないし図７の各ブロック
図に示すように構成され、その単一神経細胞の回路は、
例えば図５に示すように、シナプス回路６０、樹状突起
回路６１及び細胞体回路６２を備える。

【００２９】上記シナプス回路６０は、例えば図６に示
すように、係数回路６０ａを介して入力パルスｆに倍率
ａ（フィードバック信号に掛ける倍率で１または２）を
掛けた値が入力されるレートマルチプライヤ６０ｂを備
え、また、このレートマルチプライヤ６０ｂ接続される
重み付けの値ｗを記憶したシナプス荷重レジスタ６０ｃ
を備え、レートマルチプライヤ６０ｂより入力パルスｆ
に倍率ａと重み付けの値ｗとを掛けた値の出力パルスを
出力するようにしてある。

【００３０】また、上記細胞体回路６２は例えば図７に
示すように、順に接続される制御回路６３、アップ／ダ
ウンカウンタ６４、レートマルチプライヤ６５及びゲー
ト６６と、アップ／ダウンメモリ６７とを備える。

【００３１】このデジタル回路で実現されるニューラル
ネットワークでは、神経細胞ユニットの入出力をパルス
列で表現され、そのパルス密度で信号の量が表される。
結合係数は２進数で取り扱い、シナプス荷重レジスタ６
０ｃに保存している。また、このニューラルネットワー
クでの信号演算処理は次のように行われる。

【００３２】まず、入力信号をレートマルチプライヤ６
０ｂへ入力し、結合係数をレート値へ入力することによ
って、入力信号のパルス密度をレート値に応じて減らし
ている。これは、前述のバックプロパゲーションモデル
の数式１のＴijｙi の部分に相当する。またΣＴijｙi
のΣの部分は、樹状突起回路６１によって示されるＯＲ
回路で実現している。結合には興奮性、抑制性があるの
で、あらかじめグループ分けしておき、それぞれのグル
ープ別に論理和をとる。図５において、Ｆ1 は興奮性、
Ｆ2 は抑制性出力を示す。

【００３３】この２つの出力Ｆ1 、Ｆ2 を、図７に示し
たアップ／ダウンカウンタ６４のアップ側、ダウン側に
それぞれ入力してカウントすることで出力が得られる。
この出力は２進数であるので、再びレートマルチプライ
ヤ６５を用いてパルス密度に変換する。この神経細胞ユ
ニットを複数個用いてネットワークを構成することによ
って、ニューラルネットワークが実現できる。

【００３４】学習機能は、ネットワークの最終出力を外
部のコンピュータに入力して、コンピュータ内部で数値
計算を行い、その結果を結合係数を保存するシナプス荷
重レジスタ６０ｃに書き込むことによって実現してい
る。

【００３５】本出願人は、神経細胞模倣素子より構成さ
れた神経細胞回路網による信号処理装置をすでに特許出
願している（特願平１−３４８９１号）。本発明では、
この先願に係る信号処理装置を一実施例の例題として取
り扱うので、以下、この先願に係る信号処理装置につい
て述べる。

【００３６】この先願に係る信号処理装置においては、
神経回路網の一例として、ディジタル論理回路を用いた
神経細胞ユニットとこれを用いて構成したネットワーク
回路による信号処理について提案している。

【００３７】この先願発明における基本的な考え方は、 1 神経細胞ユニットに関する入出力信号、中間信号、
結合係数、教師信号などは、すべて、「０」、「１」の
２値で表されたパルス列で表現する。 2 ネットワーク内部での信号の値は、パルス密度で表
す（ある一定時間内の「１」の数）。 3 神経細胞ユニット内での計算は、パルス列同士の論
理演算で行う。 4 結合係数のパルス列は、神経細胞ユニット内のメモ
リに格納する。 5 学習は、このパルス列を書き換えることで実現す
る。 6 学習については、与えられた教師信号パルス列を元
に誤差を計算し、これに基づいて、結合係数を変化され
る。この時、誤差の計算、結合係数の変化分の計算もす
べて、「０」、「１」のパルス列の論理演算で行う。というものであり、以下詳細に説明する。

【００３８】上記先願発明の信号演算部分、すなわち、
１つの神経細胞ユニットに相当する部分は図８の回路図
に示すように構成され、ニューラルネットワークは図１
に示すような従来と同じ階層型に用構成される。神経細
胞ユニットの入出力は、すべて、「０」、「１」に２値
化され、さらに、同期化されたものを用いる。

【００３９】入力ｙi の信号の値（＝強度）は、パルス
密度で表現し、例えば次の数式８に示すパルス列のよう
に、ある一定時間内にある、「１」の状態の数で表す。

【００４０】

【数８】

【００４１】この数式８の場合は４／６を表す信号を示
しており、同期パルス６個中に入力信号は「１」が４
個、「０」が２個であることを表している。この時、
「１」と「０」の並び方は、後に理由を示すようにラン
ダムであることが望ましい。

【００４２】一方、結合係数Ｔijも、次の数式９で示す
ように、同様にパルス密度で表現し、「０」と「１」と
のパルス列としてあらかじめメモリに用意しておく。

【００４３】

【数９】

【００４４】数式９は、結合係数の値が「１０１０１
０」＝３／６であることを表し、この時も、前記と同
様、「０」と「１」の並び方はランダムであることが望
ましい。そして、この結合係数のビット列を同期クロッ
クに応じてメモリより順次読み出し、図８の論理回路図
に示すように各々ＡＮＤ回路１８により入力パルス列と
の論理積をとる（ｙi ∩Ｔij）。これを、神経細胞ユニ
ットへの入力とする。上記の例を用いて説明すると、信
号「１０１１０１」が入力された場合、これと同期して
メモリ上より結合係数のビット列を呼び出し、順次論理
積（ＡＮＤ）をとることにより、次の数式１０で示すよ
うなパルス列（ビット列）「１０１０００」が得られ
る。

【００４５】

【数１０】

【００４６】数式１０は、入力信号のパルス列ｙi が、
結合係数のパルス列Ｔijにより変換され、その結果、神
経細胞ユニットへの入力パルス密度が２／６となること
を示している。

【００４７】上記ＡＮＤ回路１８の出力のパルス密度
は、近似的には「入力信号のパルス密度」と「結合係数
のパルス密度」の積となり、アナログ方式における場合
の結合係数と同様の機能を有し、信号の列（パルス列）
が長いほど、また、「１」と「０」との並び方がランダ
ムであるほど、数値の積に近い機能を持つことになる。
それ故に上述したように、神経細胞ユニットの入力ｙi
の「１」と「０」との並び方がランダムであるほど好ま
しいのである。なお、ランダムでないとは、１（または
０）が密集（密接）していたり、１と０の並びに規則性
があったりすることを意味する。

【００４８】なお、入力パルス列と比較して結合係数の
パルス列の長さが短く、読み出すべきデータがなくなっ
てしまった場合には、再びデータの先頭に戻って、読み
出しを繰り返すことで対処できる。

【００４９】１つの神経細胞ユニットは多くの入力をも
つので、先に説明した「入力信号と結合係数との論理
積」も多数ある。次に、これらのＯＲ操作によりこれら
の論理和をとる。入力は同期化されているので、１番目
のデータが「１０１０００」、２番目のデータが「０１
００００」の場合、両者の論理和は、「１１１０００」
となる。これを多入力同時に計算し出力とすると次の数
式１１のようになる。

【００５０】

【数１１】

【００５１】この部分はアナログ計算における場合の、
信号の和を求める計算及び非線形関数（例えばシグモイ
ド関数）の部分に対応している。

【００５２】一般的なパルス演算において、その論理和
（ＯＲ）のパルス密度は、パルス密度が低い場合には各
々のパルス密度の和に近似的に一致する。パルス密度が
高くなるにつれて、ＯＲ回路の出力は徐々に飽和してく
るので、パルス密度の和とは結果が一致せず、非線形性
が出てくる。論理和の場合、パルス密度は１よりも大き
くなることはなく、かつ、０より小さくなることもな
く、さらには、単調増加関数であるので、シグモイド関
数と近似的に同様となる。

【００５３】さて、結合には興奮性と抑制性があり、数
値計算の場合には、結合係数の符号で表し、アナログ回
路の場合には、前述したように結合係数Ｔijが負となる
場合（抑制性結合）には増幅器を用いて出力を反転さ
せ、Ｔijに相当する抵抗値で他の神経細胞ユニットへ結
合させている。この点、ディジタル方式の場合において
は、まず、Ｔijの正負により各結合を興奮性結合と抑制
性結合との２つのグループに分け、次いで、「入力信号
と結合係数のパルス列の論理積」同士の論理和をこのグ
ループ別に演算する。その結果、興奮性グループの出力
が「１」で、かつ、抑制性グループの出力が「０」の時
のみ「１」を出力する。この機能を実現するためには、
次の数式１２で示すように、抑制性グループの出力の反
転信号と興奮性グループの出力との論の積をとればよ
い。

【００５４】

【数１２】

【００５５】論理式で表現すると、次の数式１３ないし
数式１５で表される。

【００５６】

【数１３】ａ＝∪（ｙ_i ∩Ｔ_ij）（Ｔ＝興奮性）

【００５７】

【数１４】ｂ＝∪（ｙ_i ∩Ｔ_ij）（Ｔ＝抑制性）

【００５８】

【数１５】ｙ_i ＝ａ∩＊ｂ

【００５９】この神経細胞ユニットを用いたネットワー
クの構成は、図２に示したような、階層型とする。ネッ
トワーク全体を同期させておけば、各層とも上述の通り
の機能で並列的に演算することが可能である。

【００６０】次に、学習時の処理について説明する。以
下の（１）または（２）により誤差信号を求め、ついで
（３）で述べる方法により結合係数の値を変化させるこ
とにより、学習を行う。

【００６１】（１）出力層における誤差信号最初に、出力層（図２の右側の層Ａ3 ）で各神経細胞ユ
ニットにおける誤差信号を計算し、それを元にその神経
細胞ユニットに関わる結合係数を変化させる。そのため
の誤差信号の計算法について、次の数式１６ないし数式
１９を用いて説明する。ここで、「誤差信号」を以下の
ように定義する。すなわち、誤差を数値で表すと、一般
には正負両方の値をとり得るが、パルス密度ではそのよ
うな表現はできないので、＋成分を表す信号と−成分を
表す信号の２つを使って誤差信号を表現する。

【００６２】

【数１６】

【００６３】

【数１７】

【００６４】

【数１８】 δ⁺ ≡＊ｙＡＮＤｄ

【００６５】

【数１９】 δ^- ≡ ｙＡＮＤ＊ｄ

【００６６】つまり、誤差信号の＋成分は、出力結果
が”０”で、教師信号が”１”の時”１”となり、それ
以外は”０”となる。

【００６７】他方、誤差信号の−成分は、出力結果が”
１”で、教師信号が”０”のとき”１”となり、それ以
外は”０”となる。このような誤差信号パルスを元に、
結合係数を後述するように変化させることになる。

【００６８】（２）中間層における誤差信号前述の（１）で求めた出力層における誤差信号を逆伝播
させ、出力層とその１つ前の層との結合係数だけでな
く、さらにその前の層の結合係数も変化する。そのた
め、中間層（図２の中央層Ａ２）における各神経細胞ユ
ニットでの誤差信号を計算する必要がある。中間層にあ
る神経細胞ユニットから、さらに１つの先の層の各神経
細胞ユニットへ信号を伝播させたのとは、丁度逆の要領
で１つの先の層の各神経細胞ユニットにおける誤差信号
を集めてきて、自己の誤差信号とする。このことは、神
経細胞ユニット内での上記数式８〜１１と同じような要
領で行うことができる。すなわち、まず、結合を興奮性
か抑制性かにより２つのグループに分け、乗算の部分は
論理積、Σの部分は論理和で表現する。

【００６９】但し、神経細胞ユニット内での上記数式８
ないし数式１１と異なるのは、ｙは１つの信号であるの
に対し、δは正、負を表す信号として２つの信号δ⁺ ・
δ^-を持ち、その両方の信号δ⁺ ・δ^- を考慮する必要
がある。従って、Ｔ（結合係数）の正負、δ（誤差信
号）の正負の４つの場合に場合分けする必要がある。

【００７０】まず、興奮性結合の場合には、中間層のあ
る神経細胞ユニットＡ2 について、１つ後の層（図１の
出力層）の神経細胞ユニットＡ3 のうちの１つの誤差信
号δ+ j と、その神経細胞ユニットＡ3 と自分（図２に
おける中間層のある神経細胞ユニットＡ2 ）との結合係
数Ｔijの論理積をとったもの（δ+ i ∩Ｔij）を１つ後
の層の各神経細胞ユニットＡ3 について求め、さらにこ
れらの同士の論理和をとる｛＝∪（δ+ i ∩Ｔij）｝。
その結果をこの層の誤差信号+ とする。すなわち次の数
式２０のように表される。

【００７１】

【数２０】

【００７２】同様に、次の数式２１で示すように、１つ
先の層の神経細胞ユニットでの誤差信号δ- と結合係数
とのＡＮＤをとり、さらにこれら同士のＯＲをとること
により、この層の誤差信号δ-を求めることができる。

【００７３】

【数２１】

【００７４】次に、抑制性結合の場合を説明する。次の
数式２２で示すように、１つ先の層の神経細胞ユニット
での誤差信号−と、その神経細胞ユニットと自分との結
合係数のＡＮＤをとり、さらにこれらの同士のＯＲをと
った結果を、この層の誤差信号＋とする。

【００７５】

【数２２】

【００７６】同様に、次の数式２３で示すように、１つ
後の層の神経細胞ユニットでの誤差信号＋と結合係数と
の論理積（ＡＮＤ）をとり、さらにこれらの同士の論理
和（ＯＲ）をとることにより、この層の誤差信号−を求
めることができる。

【００７７】

【数２３】

【００７８】１つの神経細胞ユニットから別の神経細胞
ユニットへの結合は、興奮性の場合と抑制性の場合の２
つがあるので、上記数式２０で求めた誤差信号δ+ i と
上記数式２２で求めた誤差信号δ+ i との論理和をと
り、それを自分の神経細胞ユニット（ニューロン）の誤
差信号δ+ i とする。同様に、上記数式２１で求めた誤
差信号δ- i と上記数式２３で求めた誤差信号δ- i の
論理和をとり、それを自分の神経細胞ユニットの誤差信
号δ- i とする。以上をまとめると、次の数式２４のよ
うになる。

【００７９】

【数２４】 δ⁺ _j ＝｛∪（δ⁺ _i ∩Ｔ_ij）｝∪｛∪（δ￣ _i ∩Ｔ_ij）｝ｉ∈興奮性ｉ∈抑制性 δ^- _j ＝｛∪（δ￣ _i ∩Ｔ_ij）｝∪｛∪（δ⁺ _i ∩Ｔ_ij）｝ｉ∈興奮性ｉ∈抑制性

【００８０】（３）誤差信号より各結合係数を変化学習のレートに相当する機能の実現方法について説明す
る。数値計算においてレートは１以下の時、さらに学習
能力が高まる。これは、パルス列の演算ではパルス列を
間引くことで実現できる。これはカウンタ的な考え方を
し、次の数式２５で示すような例１、例２のようなもの
とした。例えば、η＝０．５では元の信号のパルス列を
１つ置きに間引く。元の信号のパルスが等間隔でなくて
も、もとのパルス列に対して１つ置きに間引く方式（＜
例２＞の方式）とした。

【００８１】

【数２５】（例１）

【００８２】（例２）

【００８３】このように誤差信号を間引くことにより学
習レートの機能を持たせる。

【００８４】さて、上記（１）または（２）より求めた
誤差信号を用いて、各結合係数を変化させる方法につい
て説明する。

【００８５】次の数式２６、２７で示すように、変化さ
せたい結合係数が属している線（図１参照）を伝播する
信号（＝神経細胞ユニットに対する入力信号）と誤差信
号の論理積をとる（δ∩ｙ）。但し、ここでは誤差信号
は＋と−の２つの信号があるので、それぞれを演算して
求める。

【００８６】

【数２６】

【００８７】

【数２７】このようにして得られた２つの信号をΔＴ（ΔＴ⁺ 、Δ
Ｔ^- ）とする。

【００８８】これらを元にして新しい結合係数Ｔを求め
るのであるが、ここでＴの値は、絶対値成分なので、元
のＴが興奮性か抑制性かにより場合分けをする。

【００８９】まず、興奮性の場合には、次の数式２８で
示すように、元のＴに対してΔＴ⁺の成分を増やし、Δ
Ｔ^- の成分を減らす。

【００９０】

【数２８】

【００９１】次に抑制性の場合には、次の数式２９で示
すように、元のＴに対して、ΔＴ⁺の成分を減らし、Δ
Ｔ^- の成分を増やす。

【００９２】

【数２９】

【００９３】以上の学習則に基づいてネットワーク全体
の計算を行う。

【００９４】次に、図９ないし図１１を参照して、以上
のアルゴリズムに基づく実際の回路構成を説明する。ニ
ューラルネットワークの構成は図１と同様である。図９
は図１の線（結線）に相当する部分の論理回路図であ
り、図１０は図１の丸（神経細胞ユニットＡ）に相当す
る部分の論理回路図である。また、図１１は出力層の出
力と教師信号から出力層における誤差信号を求める部分
の論理回路図である。これらの３つの論理回路を図２の
ようにネットワークにすることによって、自己学習が可
能なディジタル式のニューラルネットワーク回路が実現
できる。

【００９５】まず、図９について説明する。２０は神経
細胞ユニットへの入力信号で上記数式８に相当する。上
記数式９の結合係数はシフトレジスタ２７に保存してお
く。端子２７Ａがデータの取り出し口で、端子２７Ｂが
データの入り口である。このシフトレジスタ２７は同様
の機能をもつものであれば、その他のもの、例えば、Ｒ
ＡＭとアドレスコントローラとで構成してもよい。

【００９６】回路２８は上記数式１０の演算を行うため
の回路で、入力信号と結合係数との論理積をとってい
る。この出力は結合が興奮性か抑制性かによってグルー
プ分けしなければならないが、あらかじめ各々のグルー
プへの出力２３、２４を用意し、どちらのグループに出
すのかを切り換えるようにした方が汎用性が高い。この
ため、結合が興奮性か抑制性かを表すビットをメモリ３
３に保存しておき、その情報を用いて切り換えゲート回
路３２により信号を切り換える。

【００９７】また、上記神経細胞ユニットには、図１０
に示すように、各入力を処理する上記数式１１の演算を
行うための複数のＯＲゲート構成のゲート回路３４と、
上記数式１２で示した、興奮性グループが「１」で、か
つ、抑制性グループが「０」の時のみ出力を出すＡＮＤ
ゲートとインバータとによるゲート回路３５とが設けら
れている。

【００９８】次に、誤差信号について説明する。図１１
は、出力層での誤差信号を生成する回路を示す図で、Ａ
ＮＤゲート、インバータの組み合わせによる論理回路で
あり、上記数式１６ないし数式１９の演算を行う。すな
わち、最終層からの出力３８及び教師信号３９より誤差
信号４０、４１を生成する。また、中間層における誤差
信号を求める上記数式２０〜２３の演算は、図９中に示
すＡＮＤゲート構成のゲート回路２９より行われ、＋、
−に応じた出力２１、２２が得られる。

【００９９】このように結合が興奮性か抑制性かで用い
る誤差信号が異なるので、その場合分けを行う必要があ
るが、この場合分けはメモリ３３に記憶された興奮性か
抑制性かの情報と、誤差信号＋、−信号２５、２６とに
応じて、ＡＮＤ、ＯＲゲート構成のゲート回路３１によ
り行われる。また、誤差信号を集める上記数式２４の演
算は図１０に示すＯＲゲート構成のゲート回路３６で行
われ、学習レートに相当する上記数式２５の演算は、図
９に示す分周回路３７により行われる。

【０１００】最後に、誤差信号より新たな結合係数を計
算する部分について説明する。これは上記数式２６ない
し数式２９で表され、これらの演算は図８に示すＡＮＤ
ゲート、インバータ、ＯＲゲート構成のゲート回路３０
により行われる。このゲート回路３０も結合の興奮性・
抑制性によって場合分けしなければならないが、これは
図８に示すゲート回路３１により行われる。

【０１０１】

【発明が解決しようとする課題】ところで、従来のデジ
タル論理回路を用いた自己学習可能な神経細胞模倣素子
からなる神経回路網においては、特にパルス列の論理演
算を基本とする場合には、自己学習により結合の重み値
を更新させるために、結合の重み値をパルス列で表現し
て記憶することが必須であり、図８の２７に示されるよ
うに必要なパルス長分のレジスタないしメモリが必要で
ある。

【０１０２】高い精度で演算を行う場合、パルス長は長
く取らなければならず、例えば信号の精度として７ビッ
ト程度を考えると、およそ１２８（＝２⁷ ）ビット長の
ランダムパルス列が必要である。従って、結合の重み値
をそのまま記憶しておくためには、１つの結合に対して
１２８ビット、入力がｎ個の神経細胞模倣素子では、１
２８ビット長のレジスタないしメモリ手段を必要とす
る。

【０１０３】したがって、多数の入力信号をもつ神経細
胞模倣素子をデジタル論理回路によるハードウェアで実
現するには、更にこれらの神経細胞模倣素子を数百から
数千の単位で網状に結合して神経回路網を構成する必要
があり、膨大なレジスタないしメモリ手段が必要になる
ので、ハードウェア規模が大きくなり、製造コストの面
で大きな障害となる。

【０１０４】また、神経回路網の初期重み値を設定する
ときのデータ転送量が莫大となるので、データ転送に非
常に時間がかかってしまい大きな障害となり得る。

【０１０５】更に、上記神経細胞模倣素子を複数個含む
ような半導体装置を製造する場合、限られたチップ面積
内に回路を構成してければならないために結合の重み値
の記憶手段にビット長の大きなレジスタないしメモリを
用いると、チップ内に構成可能な神経細胞模倣素子の数
に大幅な制限を課すことになり好ましくない。

【０１０６】本発明は、上記の事情を鑑みてなされたも
のであり、自己学習可能な神経細胞模倣素子からなる神
経回路網をハード化する上で、ハードウェアを小型に、
かつ、安価に構成でき、しかも、高速処理が可能な信号
処理装置を提供することを目的とするものである。

【０１０７】

【課題を解決するための手段】本発明の第１の信号処理
装置は、神経細胞模倣素子により構成された神経細胞回
路網を備える信号処理装置において、上記神経細胞回路
網を構成する各神経細胞模倣素子に、結合の重み値を保
持する結合係数記憶手段と、前記重みに相当するパルス
密度のランダムパルス列を発生するパルス生成手段と、
教師信号に対する誤差信号に基づき生成される重み値の
更新値、または重み値の修正情報に応答して前記結合係
数記憶手段の内容を更新、または修正する手段とが設け
られることを特徴とする。

【０１０８】本発明の第２の信号処理装置は、本発明の
第１の信号処理装置において、結合係数記憶手段に、更
新、又は修正前の重み値を保持する第一の記憶手段と、
更新、又は修正後の重み値を保持する第二の記憶手段と
が設けられ、学習の完了時に第二の記憶手段から第一の
記憶手段に重み値を転送する手段が設けられることを特
徴とする。

【０１０９】本発明の第３の信号処理装置は、神経細胞
模倣素子により構成された神経細胞回路網による信号処
理装置において、上記神経細胞回路網を構成する各神経
細胞模倣素子に、結合の重み値を保持する結合係数記憶
手段と、前記重み値に相当するパルス密度のランダムパ
ルス列を発生するパルス生成手段とが設けられ、前記結
合係数記憶手段に、上記ランダムパルス列のパルス数を
カウントするとともに、教師信号に対する誤差信号に基
づき生成される重み値の修正パルス列をカウントするカ
ウンタ手段を設けることを特徴とする。

【０１１０】本発明の第４の信号処理装置は、神経細胞
模倣素子により構成された神経細胞回路網による信号処
理装置において、当該神経細胞回路網を構成する各神経
細胞模倣素子は、結合の重み値を保持する結合係数記憶
手段と、前記重み値に相当するパルス密度のランダムパ
ルス列を発生するパルス生成回路手段とを含み、前記結
合係数記憶手段は、教師信号に対する誤差信号に基づき
生成される重み値のパルス列のパルス密度を計数するカ
ウンタ手段と、該カウンタ手段の係数結果を格納する記
憶手段とを備えることを特徴とする。

【０１１１】

【作用】本発明の第１の信号処理装置は、前記重み値に
相当するパルス密度のランダムパルス列を発生するパル
ス生成手段を備えているので、結合係数記憶手段には結
合の重み値をパルス列として記憶する必要がなくなり、
例えばｌｏｇＮビットのデータとして結合の重み値を保
持させることができる。また、教師信号に対する誤差信
号に基づき生成される重み値の更新値、または重み値の
修正情報に応答して前記結合係数記憶手段の内容を更
新、または修正する手段を備えているので、自己学習が
可能となる。

【０１１２】本発明の第２の信号処理装置は、結合の重
み値をパルス列で記憶することなく自己学習が可能とな
り、さらに前記記憶手段は、学習前の結合の重み値を第
１の記憶手段に学習プロセスの期間、保持できる。

【０１１３】本発明の第３の信号処理装置は、教師信号
に対する誤差信号に基づき生成される重み値の更新値、
または重み値の修正情報に応答して前記結合係数記憶手
段の内容を更新、または修正する手段を備えているの
で、自己学習が可能となる。また、教師信号に対する誤
差信号に基づき生成される重み値の修正パルス列をカウ
ントするカウンタ手段を備えているので、学習時に結合
の重み値をパルス列で記憶することなくパルス数で学習
することになる。

【０１１４】本発明の第４の信号処理装置は、結合係数
記憶手段は、教師信号に対する誤差信号に基づき生成さ
れる重み値のパルス列のパルス密度を計数するカウンタ
手段と、該カウンタ手段の係数結果を格納する記憶手段
とを備えるので、学習時に結合の重み値をパルス列で記
憶することなくパルス数で学習して記憶手段に格納する
ことになる。

【０１１５】

【実施例】以下、本発明の実施例を図面に基づき具体的
に説明する。図３は本発明の一実施例に係る信号処理装
置の要部の論理回路図であり、この論理回路は図１の神
経細胞における線（結線＝結合係数の荷重ならびに誤差
逆伝播の計算）の部分に対応するデジタル論理回路であ
る。

【０１１６】神経細胞の他の部分すなわち図１の丸の部
分、ならびに出力層の出力と教師信号から出力層におけ
る誤差信号を求める部分は、図１０、図１１に示される
従来例と共通である。

【０１１７】図３の論理回路が図９の従来例と異なる点
は、図９のＮビットシフトレジスタ２７のかわりにラン
ダムパルス列発生のための乱数発生回路３０１とコンパ
レータ３０２、及びｌｏｇＮビットのバイナリレジスタ
３０３、バイナリカウンタ３０４から構成さていること
である。

【０１１８】フォワード処理時は、結合の重み値はレジ
スタ３０３にパルス数のデータとして保持され、このデ
ータに基づいてコンパレータ３０２と乱数発生回路３０
１とで、重み値に応じたパルス密度のランダムパルス列
を生成する。

【０１１９】上記乱数発生回路３０１は、例えば図１３
のブロック回路図に示すように、１つの排他論理和ゲー
ト３０１ａと７ビットのシフトレジスタ３０１ｂ〜３０
１ｇとからなるリニアフィードバックシフトレジスタ
（ＬＦＳＲ）で構成される。この回路では、初期値をシ
フトレジスタに設定した後、シフト動作を繰り返すこと
により周期１２７の間に０を除く１から１２７までの数
がランダムに１回出現した疑似乱数が発生される。した
がって、レジスタ３０３に格納された結合係数とこの乱
数をコンパレータ３０２で大小比較し、その結果をパル
ス列とすれば結合係数に応じたパルス密度のランダムパ
ルス列が得られる。

【０１２０】例えばレジスタ３０３に結合係数として
「３０」が保持されているとすると乱数発生器３０１の
出力が「３０」以下ならば「１」を出力するようにコン
パレータ３０２を構成すれば乱数発生周期１２７のうち
に「３０」以下の数はランダムに３０個出現するのでパ
ルス密度「３０／１２７」即ち１２７ビットの中でラン
ダム「１」が３０回出現するランダムパルス列が得られ
る。

【０１２１】更に、この重みパルス列と入力パルス列が
ＡＮＤ回路３２７で論理積処理され結合荷重計算が行わ
れる。荷重処理された入力信号は符号フラグ３３３に従
って興奮側３２３、抑制側３２４にふりわけて出力さ
れ、図１０の論理和回路３４、３５で総和処理並びにし
きい値処理され、出力パルス列ｙが生成される。

【０１２２】バックワード処理、すなわち、学習時に
は、レジスタ３０３には学習前の結合係数が保持され、
カウンタ３０４は一旦ゼロクリアされる。前段の神経細
胞ユニットから集められ図１０に示される論理和回路３
６、３７で総和処理された誤差信号パルス列（誤＋、誤
−）が３２５、３２６から入力され、これと入力信号パ
ルス列（ｙ）３２０ならびに学習前の結合係数からラン
ダムパルス化さたパルス列（コンパレータ３０２の出
力）とで論理演算が施され新しい結合係数に相当するパ
ルス列が発生され、ゲート回路３３０からカウンタ３０
４に入力される。カウンタ３０４はこのパルス列のパル
ス数を計数し、学習が終了するとその内容がカウンタ３
０４よりレジスタ３０３に転送され、レジスタ３０３の
内容が更新、または修正される。

【０１２３】したがって、レジスタ３０３には学習中は
学習前の結合係数が保持されることになる。また、レジ
スタ３０３には結合係数のパルス数のデータが格納され
るのであり、結合係数パルス列をそのままの形でシフト
レジスタ２７に記憶させる場合に比べると大幅にレジス
タ３０３及びこれに対応するカウンタ３０４のビット数
を少なくできる。

【０１２４】例えば、信号精度として７ビットを考える
と、従来例では、１２８ビットのシフトレジスタ２７が
必要であるが、この信号処理装置においては７ビットの
レジスタ３０３と７ビットのカウンタ３０４だけで構成
できるので大幅にハード量を削減できる。更に、これ
は、１本の結合に関してであり数百〜数千の結合を持つ
神経回路網においてはその効果は著しく顕著になり、絶
大である。

【０１２５】もっとも、乱数発生回路３０１とコンパレ
ータ３０２からなるランダムパルス発生回路は、従来例
に比してハード量の増加となるが、この乱数発生回路３
０１は、例えば図１３に示されるように簡単な回路で構
成され、複数の結合でランダムパルス発生回路を共有す
るなどすれば、ハード量の増加はそれほど問題にはなら
ない。

【０１２６】図１４は本発明の他の実施例に係る信号処
理装置の要部の論理回路図であり、基本的な考え方は、
上記の一実施例とおなじであるが、結合係数回路が乱数
発生回路５０１、コンパレータ５０２、バイナリレジス
タ５０３、アップダウンカウンタ５０４から構成される
ことが上記の一実施例と異なる。したがって、図１４の
各部分には図１２中でそれら部分に対応する名称と第１
桁の３を５に書き換えた符号とを付している。

【０１２７】結合の重み値はバイナリレジスタ５０３に
保持され、フォワード処理時には、上記の一実施例に係
る信号処理装置と同じ動作をする。バックワード処理、
すなわち、学習時には、バイナリレジスタ５０３には学
習前の結合係数が保持され、アップダウンカウンタ５０
４にも同一の学習前の結合係数が保持される。前段の各
神経細胞ユニットから集められ、図１０に示される論理
和回路３６で総和処理された誤差信号パルス列（誤＋、
誤−）が５２５、５２６から入力され、これと入力信号
パルス列（ｙ）５２０ならびに学習前の結合係数からラ
ンダムパルス化されたパルス列とで論理演算が施され結
合係数を＋側に修正するためのパルス列５４０、−側に
修正するためのパルス列５４１が発生される。これがア
ップダウンカウンタ５０４に入力されて結合係数の値が
逐次増減され、この後、学習が終了するとその内容がア
ップダウンカウンタ５０４よりレジスタ５０３に転送さ
れる。

【０１２８】このように上記数式２６、２７に示される
結合係数の修正パルス列でアップダウンカウンタ５０４
に格納された重み値を直接増減するので回路量を一層減
少させることができる。

【０１２９】

【発明の効果】以上のように、本発明の第１の信号処理
装置によれば、結合の重み値に相当するパルス密度のパ
ルス列を発生する手段を備えているので、結合の重み値
を記憶する手段には結合の重み値に相当するパルス列そ
のものを記憶させる必要はなく、そのパルス密度を記憶
させればよい。したがって、結合の重み値を記憶する手
段のハードウェアを大幅に削減して、信号処理装置の回
路規模を小型にできるとともに安価にできる。

【０１３０】また、本発明の第１の信号処理装置によれ
ば、学習により前記の記憶手段の内容を更新もしくは修
正する手段をそなえるので、自己学習が可能となり、し
かも、書き換えるデータのビット数が少ないので、結合
の重み値の外部からの設定が高速化される。

【０１３１】本発明の第２の信号処理装置によれば、本
発明の第１の信号処理装置により得られる上記の効果に
加えて、更新、又は修正前の重み値を保持する第一の記
憶手段と、更新、又は修正後の重み値を保持する第二の
記憶手段とが設けられ、学習の完了時に第二の記憶手段
から第一の記憶手段に重み値を転送する手段が設けられ
ているので、学習前の結合の重み値を学習プロセスの間
中保持できる。

【０１３２】本発明の第３の信号処理装置によれば、結
合の重み値に相当するパルス密度のパルス列を発生する
手段を備えているので、結合の重み値を記憶する手段に
は結合の重み値に相当するパルス列そのものを記憶させ
る必要はなく、そのパルス密度を記憶させればよい。し
たがって、結合の重み値を記憶する手段のハードウェア
を大幅に削減して、信号処理装置の回路規模を小型にで
きるとともに安価にできる。

【０１３３】また、本発明の第３の信号処理装置によれ
ば、学習により前記の記憶手段の内容を更新もしくは修
正する手段をそなえるので、自己学習が可能となり、し
かも、書き換えるデータのビット数が少ないので、結合
の重み値の外部からの設定が高速化される。

【０１３４】更に、本発明の第３の信号処理装置によれ
ば、学習回路からのパルス列を計数することにより結合
の重み値を修正できる。

【０１３５】本発明の第４の信号処理装置によれば、結
合の重み値を記憶する手段にカウンタ手段をふくめ、学
習回路からのパルス列を計数することで記憶手段に格納
された重み値を直接増減するので、回路量を一層少なく
して、ハードウェアを一層小型で、安価にすることかで
きる。

【図面の簡単な説明】

【図１】神経細胞回路網の模式図である。

【図２】神経細胞ユニットの模式図である。

【図３】シグモイド関数を示すグラフである。

【図４】ニューラルネットワークに相当する電気回路図
である。

【図５】単一細胞に対応する回路のブロック図である。

【図６】シナプス回路のブロック回路図である。

【図７】細胞体回路のブロック図である。

【図８】神経細胞ユニットの論理回路図である。

【図９】図１の線（結線）に相当する部分の論理回路図
である。

【図１０】図１の丸（神経細胞ユニット）に相当する部
分の論理回路図である。

【図１１】出力層での誤差信号を生成する回路の論理回
路図である。

【図１２】図１の線（結線）に相当する部分の論理回路
図である。

【図１３】乱数発生回路のブロック図である。

【図１４】図１の線（結線）に相当する部分の論理回路
図である。

【符号の説明】

３０１乱数発生回路３０２コンパレータ３０３バイナリレジスタ３０４バイナリカウンタ５０１乱数発生回路５０２コンパレータ５０３バイナリレジスタ５０４アップダウンカウンタ

フロントページの続き (72)発明者大槻聡東京都大田区中馬込１丁目３番６号株式会社リコー内 (72)発明者青野英樹東京都大田区中馬込１丁目３番６号株式会社リコー内

Claims

【特許請求の範囲】

【請求項１】神経細胞模倣素子により構成された神経
細胞回路網を備える信号処理装置において、前記神経細
胞回路網を構成する各神経細胞模倣素子に、結合の重み
値を保持する結合係数記憶手段と、前記重みに相当する
パルス密度のランダムパルス列を発生するパルス生成手
段と、教師信号に対する誤差信号に基づき生成される重
み値の更新値、または重み値の修正情報に応答して前記
結合係数記憶手段の内容を更新、または修正する手段と
が設けられることを特徴とする信号処理装置。
【請求項２】結合係数記憶手段に、更新、又は修正前
の重み値を保持する第一の記憶手段と、更新、又は修正
後の重み値を保持する第二の記憶手段とが設けられ、学
習の完了時に第二の記憶手段から第一の記憶手段に重み
値を転送する手段が設けられることを特徴とする請求項
１に記載の信号処理装置。
【請求項３】神経細胞模倣素子により構成された神経
細胞回路網による信号処理装置において、前記神経細胞
回路網を構成する各神経細胞模倣素子に、結合の重み値
を保持する結合係数記憶手段と、前記重み値に相当する
パルス密度のランダムパルス列を発生するパルス生成手
段とが設けられ、前記結合係数記憶手段に、前記ランダ
ムパルス列のパルス数をカウントするとともに、教師信
号に対する誤差信号に基づき生成される重み値の修正パ
ルス列をカウントするカウンタ手段を設けることを特徴
とする信号処理装置。
【請求項４】神経細胞模倣素子により構成された神経
細胞回路網による信号処理装置において、当該神経細胞
回路網を構成する各神経細胞模倣素子は、結合の重み値
を保持する結合係数記憶手段と、前記重み値に相当する
パルス密度のランダムパルス列を発生するパルス生成回
路手段とを含み、前記結合係数記憶手段は、教師信号に
対する誤差信号に基づき生成される重み値のパルス列の
パルス密度を計数するカウンタ手段と、該カウンタ手段
の係数結果を格納する記憶手段とを備えることを特徴と
する信号処理装置。