JPH05216859A

JPH05216859A - 信号処理装置

Info

Publication number: JPH05216859A
Application number: JP4084892A
Authority: JP
Inventors: Sugitaka Otegi; 杉高樗木; Tokuo Hashimoto; 篤男橋本; Toshihiro Tsukagoshi; 敏弘塚越; Satoshi Otsuki; 聡大槻; Hideki Aono; 英樹青野
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 1991-12-11
Filing date: 1992-03-06
Publication date: 1993-08-27

Abstract

(57)【要約】【目的】ニューラルネットワークを備える信号処理装
置に関し、神経細胞模倣素子間の結線数を、処理速度を
落とすことなく削減できるようにした信号処理回路を提
供することを目的とする。【構成】各神経細胞模倣素子に、外部の信号線をフォ
ワードプロセス時には入力信号を記憶するレジスタ１１
に、学習プロセス時には誤差信号を集計する誤差回路１
３に選択的に接続する第１の入出力制御装置１２と、後
の階層の神経細胞模倣素子から導出された各外部信号線
をフォワードプロセス時には自分の出力信号線に、学習
プロセス時には誤差信号入力部に選択的に接続する第２
の入出力制御回路１４を設ける構成とする。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は文字や図形認識、ロボッ
トなどの運動制御、連想記憶などに応用される神経細胞
回路網を模倣したニューラルコンピュータ等の信号処理
装置に係り、特に、神経細胞模倣素子と誤差発生回路間
の配線を省略して神経細胞回路ネットワーク全体の結線
規模を減少させるようにした信号処理回路に関する。

【０００２】

【従来の技術】生体の情報処理の基本的な単位である神
経細胞（ニューロン）の機能を模倣した神経細胞模倣素
子をネットワークに構成し、情報の並列処理を目指した
のが、いわゆる神経細胞回路ネットワーク（ニューラル
ネットワーク）である。文字認識や連想記憶、運動制御
等は生体おいてはいとも簡単に行われていても、従来の
ノイマン型コンピュータではなかなか達成できないもの
が多い。そこで、生体の神経系、特に生体特有の機能、
すなわち並列処理や自己学習等を模倣して、これらの問
題を解決しよとする試みが、計算機シミュレーションを
中心として、盛んに行われている。

【０００３】図１は、ニューラルネットワークの模式図
であり、図中のＡ1 、Ａ2 、Ａ3 は、それぞれ神経細胞
模倣素子（神経細胞ユニット）を表している。各神経細
胞ユニットＡ1 、Ａ2 、Ａ3 は、図２の模式図に示す神
経細胞ユニットＡと同様に多数の神経細胞ユニットと結
合され、それらから受けた信号を処理して出力する。図
１に示されたニューラルネットワークは階層型であり、
神経細胞ユニットＡ2は１つ前の層（入力層）の各神経
細胞ユニットＡ1 より信号を受け、１つ後の層（出力
層）の各神経細胞ユニットＡ3 へ信号を出力する。

【０００４】図２に示す神経細胞ユニットＡを例にとっ
て各神経細胞ユニットＡ1 、Ａ2 、Ａ3 の動作について
より詳しく説明すると、以下の通りである。すなわち、
他の神経細胞ユニットと当該神経細胞ユニットＡとの結
合の度合いは結合係数Ｔと呼ばれる係数で表され、一般
に、ｉ番目の神経細胞ユニットとｊ番目の神経細胞ユニ
ットとの結合係数はＴijで表される。結合には、相手の
神経細胞ユニット（自分に信号を送ってくるニューロ
ン）からの信号が大きいほど自分の出力が大きくなる興
奮性結合と、逆に相手のニューロンからの信号が大きい
ほど自分の出力が小さくなる抑制性結合とがあり、Ｔij
＞０が興奮性結合、Ｔij＜０が抑制性結合である。

【０００５】いま、ｊ番目の神経細胞ユニットＡj を例
にとれば、相手の神経細胞ユニットであるｉ番目の神経
細胞ユニットＡi の出力をｙi とすると、これにｉ番目
の神経細胞ユニットＡi のうちの１つとｊ番目の神経細
胞ユニットＡj のうちの１つとの結合係数Ｔijを掛けた
Ｔijｙi がｉ番目の神経細胞ユニットＡi のうちの１つ
からｊ番目の神経細胞ユニットＡj のうちの１つへの入
力となる。

【０００６】各神経細胞ユニットＡj は多数のｉ番目の
神経細胞ユニットＡi と結合しているので、ｊ番目の当
該神経細胞ユニットＡj への入力は、ｊ番目の当該神経
細胞ユニットＡj のｉ番目のすべての神経細胞ユニット
Ａi に対するＴijｙi を足し合わせたもの、すなわち、
ΣＴijｙi がｊ番目の当該神経細胞ユニットＡj への入
力となる。これを内部電位といい、次の数式１のｕj で
表される。

【０００７】

【数１】ｕ_j ＝ΣＴ_ijｙ_i

【０００８】次に、この入力に対して非線形処理をし
て、その神経細胞ユニットＡj の出力とする。ここで用
いる非線形関数を神経細胞応答関数と呼び、例えば次の
数式２に示すようなシグモイド関数(x) を用いる。

【０００９】

【数２】ｆ(x) ＝１／（１＋ｅ^-x ）

【００１０】図３は、このシグモイド関数を示すグラフ
である。

【００１１】前記神経細胞ユニットＡ1 、Ａ2 、Ａ3 を
図１に示すようなニューラルネットワークに構成し、各
結合係数Ｔijを与え、前記数式１、２を次々と計算する
ことにより、最終的な出力ｂ1 〜ｂ4 が得られる。

【００１２】上記ニューラルネットワークは例えば図４
の回路図に示す電気回路で実現され（特開昭６２−２９
５１８８号公報参照）、基本的には、Ｓ字形の伝達関数
を有する複数の増幅器５３と、各増幅器５３の出力を他
の層の増幅器の入力に接続する抵抗性フィードバック回
路網５１とが設けられる。各増幅器５３の入力側には接
地されたコンデンサＣと接地された抵抗ＲとからなるＣ
Ｒ時定数回路５２が個別に接続される。そして、入力電
流Ｉ1 〜ＩN が各増幅器５３の入力に供給され、出力は
これらの増幅器５３の出力電圧の集合から得られる。

【００１３】この回路において、入力や出力の信号の強
度を電圧で表せば、神経細胞の結合の強さは、各細胞間
の入出力ラインを結ぶ抵抗５０（抵抗性フィードバック
回路網５１中の格子点）の抵抗値で表され、神経細胞応
答係数は各増幅器５３の伝達関数で表される。また、神
経細胞間の結合には前述のように興奮性と抑制性とがあ
り、数学的には結合係数の正負符号により表される。し
かし、回路上の定数で正負を実現するのは困難であるの
で、ここでは、増幅器５３の出力を２つに分け、一方の
出力を反転させることにより、正負の２つの信号５３
ａ、５３ｂを生成し、これを適当に選択することにより
実現するようにしている。また、図３に示したシグモイ
ド関数に相当するものとしては増幅器５３の伝達関数が
用いられている。

【００１４】次に、上記ニューラルネットワークの学習
機能について説明する。数値計算で用いられている学習
法則としては、バックプロパゲーションと呼ばれる次の
ようなものがある。

【００１５】まず、各神経細胞ユニット間の結合係数は
最初はランダムな値に設定される。この状態でニューラ
ルネットワークに入力を与えると、その出力結果は必ず
しも望ましいものではない。例えば、文字認識の場合、
手書きの「１」の文字を与えると、出力結果として「こ
の文字は『１』である」と出るのが望ましい結果である
が、結合係数がランダムであると必ずしも望ましい結果
とはならない。

【００１６】そこで、このニューラルネットワークに正
解（教師信号）を与えて、再び同じ入力があった時出力
結果が正解となる（望ましい出力結果が得られる）よう
に、各結合係数を変化させる。この時、結合係数を変化
させる量を求めるアルゴリズムが、バックプロパゲーシ
ョンと呼ばれているものである。例えば、図１に示した
ような階層型のネットワークにおいて、最終層（図の右
の層Ａ3 ）のｊ番目の神経細胞ユニットＡj の出力をｙ
j とし、その神経細胞ユニットＡj に対する教師信号を
ｄj とすると、次の数式３で表されるＥが最小となるよ
うに、次の数式４を用いて結合係数Ｔijを変化させる。

【００１７】

【数３】Ｅ＝Σ（ｄj −ｙj ）²

【００１８】

【数４】ΔＴ_ij＝∂Ｅ／∂Ｔ_ij

【００１９】具体的には、まず、出力層と、その１つ前
の層における誤差信号δj を、次の数式５により求め
る。

【００２０】

【数５】δ_j ＝（ｄ_j −ｙ_j ）×ｆ’（ｕ_j ）

【００２１】次に、それよりさらに前の層（中間層）に
おける誤差信号δj を数式６により求める。

【００２２】

【数６】δ_j ＝Σδ_j Ｔ_ij×ｆ’（ｕ_j ）

【００２３】但し、ｆ’はｆの一階微分である。これを
用いて、δ（誤差信号）を求め、次の数式７により、Ｔ
ijを求めて、Ｔijを変化させる。

【００２４】

【数７】ΔＴ_ij＝η（δ_j ｙ_j ）＋αΔＴ_ij’ Ｔ_ij＝Ｔ_ij’＋ΔＴ_ij

【００２５】但し、ΔＴij’、Ｔij’はそれぞれ前回の
学習時でのΔＴij、Ｔijの値である。また、ηは学習定
数、αは安定化定数と呼ばれているものであり、各々、
理論的には求められないので経験的に求める。一般的に
は、これらの数値が小さいほど収束が遅く、また、大き
いと振動してしまう傾向にある。オーダ的には１程度の
ものである。

【００２６】このようにして学習をし、その後、再び入
力を与えて出力を計算し、学習をする。この操作を何回
も繰り返すうちに、やがて、与えられた入力に対して望
ましい結果が得られるような結合係数Ｔijが決定され
る。

【００２７】さて、このような学習方法を何らかの方法
でハードウエア化しようとした場合、学習には、多量の
四則演算が必要であり、実現が困難である。また学習方
法そのものもハードウェア化に対しては不向きである。

【００２８】このようなニューラルネットワークを実現
するデジタル回路は例えば図５ないし図７の各ブロック
図に示すように構成され、その単一神経細胞の回路は、
例えば図５に示すように、シナプス回路６０、樹状突起
回路６１及び細胞体回路６２を備える。

【００２９】上記シナプス回路６０は、例えば図６に示
すように、係数回路６０ａを介して入力パルスｆに倍率
ａ（フィードバック信号に掛ける倍率で１または２）を
掛けた値が入力されるレートマルチプライヤ６０ｂを備
え、また、このレートマルチプライヤ６０ｂ接続される
重み付けの値ｗを記憶したシナプス荷重レジスタ６０ｃ
を備え、レートマルチプライヤ６０ｂより入力パルスｆ
に倍率ａと重み付けの値ｗとを掛けた値の出力パルスを
出力するようにしてある。

【００３０】また、上記細胞体回路６２は例えば図７に
示すように、順に接続される制御回路６３、アップ／ダ
ウンカウンタ６４、レートマルチプライヤ６５及びゲー
ト６６と、アップ／ダウンメモリ６７とを備える。

【００３１】このデジタル回路で実現されるニューラル
ネットワークでは、神経細胞ユニットの入出力をパルス
列で表現され、そのパルス密度で信号の量が表される。
結合係数は２進数で取り扱い、シナプス荷重レジスタ６
０ｃに保存している。また、このニューラルネットワー
クでの信号演算処理は次のように行われる。

【００３２】まず、入力信号をレートマルチプライヤ６
０ｂへ入力し、結合係数をレート値へ入力することによ
って、入力信号のパルス密度をレート値に応じて減らし
ている。これは、前述のバックプロパゲーションモデル
の数式１のＴijｙi の部分に相当する。またΣＴijｙi
のΣの部分は、樹状突起回路６１によって示されるＯＲ
回路で実現している。結合には興奮性、抑制性があるの
で、あらかじめグループ分けしておき、それぞれのグル
ープ別に論理和をとる。図５において、Ｆ1 は興奮性、
Ｆ2 は抑制性出力を示す。

【００３３】この２つの出力Ｆ1 、Ｆ2 を、図７に示し
たアップ／ダウンカウンタ６４のアップ側、ダウン側に
それぞれ入力してカウントすることで出力が得られる。
この出力は２進数であるので、再びレートマルチプライ
ヤ６５を用いてパルス密度に変換する。この神経細胞ユ
ニットを複数個用いてネットワークを構成することによ
って、ニューラルネットワークが実現できる。

【００３４】学習機能は、ネットワークの最終出力を外
部のコンピュータに入力して、コンピュータ内部で数値
計算を行い、その結果を結合係数を保存するシナプス荷
重レジスタ６０ｃに書き込むことによって実現してい
る。

【００３５】本出願人は、神経細胞模倣素子より構成さ
れた神経細胞回路網による信号処理装置をすでに特許出
願している（特願平１−３４８９１号）。本発明では、
この先願に係る信号処理装置を一実施例の例題として取
り扱うので、以下、この先願に係る信号処理装置につい
て述べる。

【００３６】この先願に係る信号処理装置においては、
神経回路網の一例として、ディジタル論理回路を用いた
神経細胞ユニットとこれを用いて構成したネットワーク
回路による信号処理について提案している。

【００３７】この先願発明における基本的な考え方は、 1 神経細胞ユニットに関する入出力信号、中間信号、
結合係数、教師信号などは、すべて、「０」、「１」の
２値で表されたパルス列で表現する。 2 ネットワーク内部での信号の値は、パルス密度で表
す（ある一定時間内の「１」の数）。 3 神経細胞ユニット内での計算は、パルス列同士の論
理演算で行う。 4 結合係数のパルス列は、神経細胞ユニット内のメモ
リに格納する。 5 学習は、このパルス列を書き換えることで実現す
る。 6 学習については、与えられた教師信号パルス列を元
に誤差を計算し、これに基づいて、結合係数を変化され
る。この時、誤差の計算、結合係数の変化分の計算もす
べて、「０」、「１」のパルス列の論理演算で行う。というものであり、以下詳細に説明する。

【００３８】上記先願発明の信号演算部分、すなわち、
１つの神経細胞ユニットに相当する部分は図８の回路図
に示すように構成され、ニューラルネットワークは図１
に示すような従来と同じ階層型に用構成される。神経細
胞ユニットの入出力は、すべて、「０」、「１」に２値
化され、さらに、同期化されたものを用いる。

【００３９】入力ｙi の信号の値（＝強度）は、パルス
密度で表現し、例えば次の数式８に示すパルス列のよう
に、ある一定時間内にある、「１」の状態の数で表す。

【００４０】

【数８】

【００４１】この数式８の場合は４／６を表す信号を示
しており、同期パルス６個中に入力信号は「１」が４
個、「０」が２個であることを表している。この時、
「１」と「０」の並び方は、後に理由を示すようにラン
ダムであることが望ましい。

【００４２】一方、結合係数Ｔijも、次の数式９で示す
ように、同様にパルス密度で表現し、「０」と「１」と
のパルス列としてあらかじめメモリに用意しておく。

【００４３】

【数９】

【００４４】数式９は、結合係数の値が「１０１０１
０」＝３／６であることを表し、この時も、前記と同
様、「０」と「１」の並び方はランダムであることが望
ましい。そして、この結合係数のビット列を同期クロッ
クに応じてメモリより順次読み出し、図８の論理回路図
に示すように各々ＡＮＤ回路１８により入力パルス列と
の論理積をとる（ｙi ∩Ｔij）。これを、神経細胞ユニ
ットへの入力とする。上記の例を用いて説明すると、信
号「１０１１０１」が入力された場合、これと同期して
メモリ上より結合係数のビット列を呼び出し、順次論理
積（ＡＮＤ）をとることにより、次の数式１０で示すよ
うなパルス列（ビット列）「１０１０００」が得られ
る。

【００４５】

【数１０】

【００４６】数式１０は、入力信号のパルス列ｙi が、
結合係数のパルス列Ｔijにより変換され、その結果、神
経細胞ユニットへの入力パルス密度が２／６となること
を示している。

【００４７】上記ＡＮＤ回路１８の出力のパルス密度
は、近似的には「入力信号のパルス密度」と「結合係数
のパルス密度」の積となり、アナログ方式における場合
の結合係数と同様の機能を有し、信号の列（パルス列）
が長いほど、また、「１」と「０」との並び方がランダ
ムであるほど、数値の積に近い機能を持つことになる。
それ故に上述したように、神経細胞ユニットの入力ｙi
の「１」と「０」との並び方がランダムであるほど好ま
しいのである。なお、ランダムでないとは、１（または
０）が密集（密接）していたり、１と０の並びに規則性
があったりすることを意味する。

【００４８】なお、入力パルス列と比較して結合係数の
パルス列の長さが短く、読み出すべきデータがなくなっ
てしまった場合には、再びデータの先頭に戻って、読み
出しを繰り返すことで対処できる。

【００４９】１つの神経細胞ユニットは多くの入力をも
つので、先に説明した「入力信号と結合係数との論理
積」も多数ある。次に、これらのＯＲ操作によりこれら
の論理和をとる。入力は同期化されているので、１番目
のデータが「１０１０００」、２番目のデータが「０１
００００」の場合、両者の論理和は、「１１１０００」
となる。これを多入力同時に計算し出力とすると次の数
式１１のようになる。

【００５０】

【数１１】

【００５１】この部分はアナログ計算における場合の、
信号の和を求める計算及び非線形関数（例えばシグモイ
ド関数）の部分に対応している。

【００５２】一般的なパルス演算において、その論理和
（ＯＲ）のパルス密度は、パルス密度が低い場合には各
々のパルス密度の和に近似的に一致する。パルス密度が
高くなるにつれて、ＯＲ回路の出力は徐々に飽和してく
るので、パルス密度の和とは結果が一致せず、非線形性
が出てくる。論理和の場合、パルス密度は１よりも大き
くなることはなく、かつ、０より小さくなることもな
く、さらには、単調増加関数であるので、シグモイド関
数と近似的に同様となる。

【００５３】さて、結合には興奮性と抑制性があり、数
値計算の場合には、結合係数の符号で表し、アナログ回
路の場合には、前述したように結合係数Ｔijが負となる
場合（抑制性結合）には増幅器を用いて出力を反転さ
せ、Ｔijに相当する抵抗値で他の神経細胞ユニットへ結
合させている。この点、ディジタル方式の場合において
は、まず、Ｔijの正負により各結合を興奮性結合と抑制
性結合との２つのグループに分け、次いで、「入力信号
と結合係数のパルス列の論理積」同士の論理和をこのグ
ループ別に演算する。その結果、興奮性グループの出力
が「１」で、かつ、抑制性グループの出力が「０」の時
のみ「１」を出力する。この機能を実現するためには、
次の数式１２で示すように、抑制性グループの出力の反
転信号と興奮性グループの出力との論の積をとればよ
い。

【００５４】

【数１２】

【００５５】論理式で表現すると、次の数式１３ないし
数式１５で表される。

【００５６】

【数１３】ａ＝∪（ｙ_i ∩Ｔ_ij）（Ｔ＝興奮性）

【００５７】

【数１４】ｂ＝∪（ｙ_i ∩Ｔ_ij）（Ｔ＝抑制性）

【００５８】

【数１５】ｙ_i ＝ａ∩＊ｂ

【００５９】この神経細胞ユニットを用いたネットワー
クの構成は、図２に示したような、階層型とする。ネッ
トワーク全体を同期させておけば、各層とも上述の通り
の機能で並列的に演算することが可能である。

【００６０】次に、学習時の処理について説明する。以
下の（１）または（２）により誤差信号を求め、ついで
（３）で述べる方法により結合係数の値を変化させるこ
とにより、学習を行う。

【００６１】（１）出力層における誤差信号最初に、出力層（図２の右側の層Ａ3 ）で各神経細胞ユ
ニットにおける誤差信号を計算し、それを元にその神経
細胞ユニットに関わる結合係数を変化させる。そのため
の誤差信号の計算法について、次の数式１６ないし数式
１９を用いて説明する。ここで、「誤差信号」を以下の
ように定義する。すなわち、誤差を数値で表すと、一般
には正負両方の値をとり得るが、パルス密度ではそのよ
うな表現はできないので、＋成分を表す信号と−成分を
表す信号の２つを使って誤差信号を表現する。

【００６２】

【数１６】

【００６３】

【数１７】

【００６４】

【数１８】

【００６５】

【数１９】

【００６６】つまり、誤差信号の＋成分は、出力結果
が”０”で、教師信号が”１”の時”１”となり、それ
以外は”０”となる。

【００６７】他方、誤差信号の−成分は、出力結果が”
１”で、教師信号が”０”のとき”１”となり、それ以
外は”０”となる。このような誤差信号パルスを元に、
結合係数を後述するように変化させることになる。

【００６８】（２）中間層における誤差信号前述の（１）で求めた出力層における誤差信号を逆伝播
させ、出力層とその１つ前の層との結合係数だけでな
く、さらにその前の層の結合係数も変化する。そのた
め、中間層（図２の中央層Ａ２）における各神経細胞ユ
ニットでの誤差信号を計算する必要がある。中間層にあ
る神経細胞ユニットから、さらに１つの先の層の各神経
細胞ユニットへ信号を伝播させたのとは、丁度逆の要領
で１つの先の層の各神経細胞ユニットにおける誤差信号
を集めてきて、自己の誤差信号とする。このことは、神
経細胞ユニット内での上記数式８〜１１と同じような要
領で行うことができる。すなわち、まず、結合を興奮性
か抑制性かにより２つのグループに分け、乗算の部分は
論理積、Σの部分は論理和で表現する。

【００６９】但し、神経細胞ユニット内での上記数式８
ないし数式１１と異なるのは、ｙは１つの信号であるの
に対し、δは正、負を表す信号として２つの信号δ⁺ ・
δ^-を持ち、その両方の信号δ⁺ ・δ^- を考慮する必要
がある。従って、Ｔ（結合係数）の正負、δ（誤差信
号）の正負の４つの場合に場合分けする必要がある。

【００７０】まず、興奮性結合の場合には、中間層のあ
る神経細胞ユニットＡ2 について、１つ後の層（図１の
出力層）の神経細胞ユニットＡ3 のうちの１つの誤差信
号δ+ j と、その神経細胞ユニットＡ3 と自分（図２に
おける中間層のある神経細胞ユニットＡ2 ）との結合係
数Ｔijの論理積をとったもの（δ+ i ∩Ｔij）を１つ後
の層の各神経細胞ユニットＡ3 について求め、さらにこ
れらの同士の論理和をとる｛＝∪（δ+ i ∩Ｔij）｝。
その結果をこの層の誤差信号+ とする。すなわち次の数
式２０のように表される。

【００７１】

【数２０】

【００７２】同様に、次の数式２１で示すように、１つ
先の層の神経細胞ユニットでの誤差信号δ- と結合係数
とのＡＮＤをとり、さらにこれら同士のＯＲをとること
により、この層の誤差信号δ-を求めることができる。

【００７３】

【数２１】

【００７４】次に、抑制性結合の場合を説明する。次の
数式２２で示すように、１つ先の層の神経細胞ユニット
での誤差信号−と、その神経細胞ユニットと自分との結
合係数のＡＮＤをとり、さらにこれらの同士のＯＲをと
った結果を、この層の誤差信号＋とする。

【００７５】

【数２２】

【００７６】同様に、次の数式２３で示すように、１つ
後の層の神経細胞ユニットでの誤差信号＋と結合係数と
の論理積（ＡＮＤ）をとり、さらにこれらの同士の論理
和（ＯＲ）をとることにより、この層の誤差信号−を求
めることができる。

【００７７】

【数２３】

【００７８】１つの神経細胞ユニットから別の神経細胞
ユニットへの結合は、興奮性の場合と抑制性の場合の２
つがあるので、上記数式２０で求めた誤差信号δ+ i と
上記数式２２で求めた誤差信号δ+ i との論理和をと
り、それを自分の神経細胞ユニット（ニューロン）の誤
差信号δ+ i とする。同様に、上記数式２１で求めた誤
差信号δ- i と上記数式２３で求めた誤差信号δ- i の
論理和をとり、それを自分の神経細胞ユニットの誤差信
号δ- i とする。以上をまとめると、次の数式２４のよ
うになる。

【００７９】

【数２４】 δ⁺ _j ＝｛∪（δ⁺ _i ∩Ｔ_ij）｝∪｛∪（δ￣ _i ∩Ｔ_ij）｝ｉ∈興奮性ｉ∈抑制性 δ^- _j ＝｛∪（δ￣ _i ∩Ｔ_ij）｝∪｛∪（δ⁺ _i ∩Ｔ_ij）｝ｉ∈興奮性ｉ∈抑制性

【００８０】（３）誤差信号より各結合係数を変化学習のレートに相当する機能の実現方法について説明す
る。数値計算においてレートは１以下の時、さらに学習
能力が高まる。これは、パルス列の演算ではパルス列を
間引くことで実現できる。これはカウンタ的な考え方を
し、次の数式２５で示すような例１、例２のようなもの
とした。例えば、η＝０．５では元の信号のパルス列を
１つ置きに間引く。元の信号のパルスが等間隔でなくて
も、もとのパルス列に対して１つ置きに間引く方式（＜
例２＞の方式）とした。

【００８１】

【数２５】（例１）（例２）

【００８２】このように誤差信号を間引くことにより学
習レートの機能を持たせる。

【００８３】さて、上記（１）または（２）より求めた
誤差信号を用いて、各結合係数を変化させる方法につい
て説明する。

【００８４】次の数式２６、２７で示すように、変化さ
せたい結合係数が属している線（図１参照）を伝播する
信号（＝神経細胞ユニットに対する入力信号）と誤差信
号の論理積をとる（δ∩ｙ）。但し、ここでは誤差信号
は＋と−の２つの信号があるので、それぞれを演算して
求める。

【００８５】

【数２６】

【００８６】

【数２７】このようにして得られた２つの信号をΔＴ（ΔＴ⁺ 、Δ
Ｔ^- ）とする。

【００８７】これらを元にして新しい結合係数Ｔを求め
るのであるが、ここでＴの値は、絶対値成分なので、元
のＴが興奮性か抑制性かにより場合分けをする。

【００８８】まず、興奮性の場合には、次の数式２８で
示すように、元のＴに対してΔＴ⁺の成分を増やし、Δ
Ｔ^- の成分を減らす。

【００８９】

【数２８】

【００９０】次に抑制性の場合には、次の数式２９で示
すように、元のＴに対して、ΔＴ⁺の成分を減らし、Δ
Ｔ^- の成分を増やす。

【００９１】

【数２９】

【００９２】以上の学習則に基づいてネットワーク全体
の計算を行う。

【００９３】次に、図９ないし図１１を参照して、以上
のアルゴリズムに基づく実際の回路構成を説明する。ニ
ューラルネットワークの構成は図１と同様である。図９
は図１の線（結線）に相当する部分の論理回路図であ
り、図１０は図１の丸（神経細胞ユニットＡ）に相当す
る部分の論理回路図である。また、図１１は出力層の出
力と教師信号から出力層における誤差信号を求める部分
の論理回路図である。これらの３つの論理回路を図２の
ようにネットワークにすることによって、自己学習が可
能なディジタル式のニューラルネットワーク回路が実現
できる。

【００９４】まず、図９について説明する。２０は神経
細胞ユニットへの入力信号で上記数式８に相当する。上
記数式９の結合係数はシフトレジスタ２７に保存してお
く。端子２７Ａがデータの取り出し口で、端子２７Ｂが
データの入り口である。このシフトレジスタ２７は同様
の機能をもつものであれば、その他のもの、例えば、Ｒ
ＡＭとアドレスコントローラとで構成してもよい。

【００９５】回路２８は上記数式１０の演算を行うため
の回路で、入力信号と結合係数との論理積をとってい
る。この出力は結合が興奮性か抑制性かによってグルー
プ分けしなければならないが、あらかじめ各々のグルー
プへの出力２３、２４を用意し、どちらのグループに出
すのかを切り換えるようにした方が汎用性が高い。この
ため、結合が興奮性か抑制性かを表すビットをメモリ３
３に保存しておき、その情報を用いて切り換えゲート回
路３２により信号を切り換える。

【００９６】また、上記神経細胞ユニットには、図１０
に示すように、各入力を処理する上記数式１１の演算を
行うための複数のＯＲゲート構成のゲート回路３４と、
上記数式１２で示した、興奮性グループが「１」で、か
つ、抑制性グループが「０」の時のみ出力を出すＡＮＤ
ゲートとインバータとによるゲート回路３５とが設けら
れている。

【００９７】次に、誤差信号について説明する。図１１
は、出力層での誤差信号を生成する回路を示す図で、Ａ
ＮＤゲート、インバータの組み合わせによる論理回路で
あり、上記数式１６ないし数式１９の演算を行う。すな
わち、最終層からの出力３８及び教師信号３９より誤差
信号４０、４１を生成する。また、中間層における誤差
信号を求める上記数式２０〜２３の演算は、図８中に示
すＡＮＤゲート構成のゲート回路２９より行われ、＋、
−に応じた出力２１、２２が得られる。

【００９８】このように結合が興奮性か抑制性かで用い
る誤差信号が異なるので、その場合分けを行う必要があ
るが、この場合分けはメモリ３３に記憶された興奮性か
抑制性かの情報と、誤差信号＋、−信号２５、２６とに
応じて、ＡＮＤ、ＯＲゲート構成のゲート回路３１によ
り行われる。また、誤差信号を集める上記数式２４の演
算は図１０に示すＯＲゲート構成のゲート回路３６で行
われ、学習レートに相当する上記数式２５の演算は、図
９に示す分周回路３７により行われる。

【００９９】最後に、誤差信号より新たな結合係数を計
算する部分について説明する。これは上記数式２６ない
し数式２９で表され、これらの演算は図９に示すＡＮＤ
ゲート、インバータ、ＯＲゲート構成のゲート回路３０
により行われる。このゲート回路３０も結合の興奮性・
抑制性によって場合分けしなければならないが、これは
図９に示すゲート回路３１により行われる。

【０１００】

【発明が解決しようとする課題】先願にあるように、従
来の階層型神経細胞回路網は、図１に示すようなネット
ワークを形成する。今、図１２に示すように、入力層
（図１２の左側の層Ａ1 ）に入力信号ａ1 〜ａ4 を与え
て、出力層（（図１２の右側の層Ａ3 より出力信号ｂ1
〜ｂ4 を得るフォワードプロセス、及び図１３に示すよ
うに、入力層に入力信号を与えた状態で、出力層に教師
信号ｄ1 〜ｄ4 を与え、出力層と中間層との結合係数Ｔ
ijを変更し、更に、中間層と入力層との結合係数Ｔijを
変更する学習プロセスを考える。

【０１０１】まず、フォワードプロセスであるが、最初
に入力層に入力信号を与えると、この入力信号が中間層
に伝播していき、中間層の信号処理として前述の数式
１、２を行い、その結果を出力層に伝播させる。出力層
ではこれらの伝播してきた信号に対して同様に数式１、
２の処理を実行し、これらの結果として出力信号を得る
ことになる。

【０１０２】学習プロセスでは、以上のフォワードプロ
セスを行った後、さらに出力層に教師信号を与える。出
力層では、数式５によって出力層における誤差を求め、
この誤差を中間層に伝播させるとともに、出力層の神経
細胞ユニットと中間層の神経細胞ユニットとの間の結線
の強度、すなわち、結合係数Ｔijを数式７によって変更
する。

【０１０３】次に、中間層における処理として、数式６
によって、中間層における誤差を求め、この誤差によ
り、中間層の神経細胞ユニットと入力層の神経細胞ユニ
ットとの間の結合係数Ｔijを式７により変更し、学習プ
ロセスを終了する。

【０１０４】フォワードプロセス及び学習プロセスは、
以上のような複雑な処理、膨大な量の数値演算を必要と
するので、かなり時間がかかる。特に、学習プロセスで
は、フォーワードプロセスに比べて処理内容も多く、ま
た、一般に学習プロセスは、１回だけでなく、数百ない
し数千回もの学習が必要なため、この演算時間は膨大な
もので、高速化のため専用ハード化してもまだ不十分に
感じられる。

【０１０５】さらに、入力層と中間層、中間層と出力層
の各神経細胞ユニット、及び出力層と誤差生成回路間は
相互に接続され、その結線規模はハードウエア化を実現
する際の大きな障害となっている。

【０１０６】上記のように、従来の階層型神経細胞回路
網は、例えば図１のような３層構成の場合を例にとる
と、入力層の数をｉ、中間層の数をｊ、出力層の数をｋ
とすれば神経回路網の結合総数ｎはｎ＝ｉｘｊｘｋとな
る。

【０１０７】また、１結合当たり、言い換えれば１個の
ニューロン素子と他の１個のニューロン素子を接続する
信号線の数は、フォワードプロセス時の信号伝達用とし
て１本（図９の２０）、さらに学習プロセス時の誤差逆
伝播用として２本（図９の２５、２６あるいは２１、２
２）の計３本を必要とする。従って、全信号線の数は、
前述の全結合総数ｎを３倍したものとなる。

【０１０８】通常、神経回路網の機能を上げるために
は、入力層、中間層及び出力層の数を増やす方向にある
ため、従って高速化等の理由でこれを専用回路で実現す
る場合、ニューロンユニット間の配線数が膨大となり、
回路上で配線面積が大きくなるため、大規模ネットワー
クを形成するのが困難となる。

【０１０９】加えて、従来の各神経細胞ユニット間は、
フォワードプロセス用に１本、学習プロセス用に２本の
計３本づつの結線が必要とされ、神経細胞回路網におけ
る神経細胞模倣素子としては神経細胞ユニットを半導体
装置で実現する際に汎用性を持たせるために、図２にお
ける中間層、出力層のいずれにも対応できるような構成
の神経細胞模倣素子が従来より用いられており、従来の
各神経細胞ユニット間は、フォワードプロセス用に１
本、学習プロセス用に２本の計３本づつの結線が必要と
されている。

【０１１０】また、配線数が膨大になると、回路図的に
かなり複雑になり、回路のテストや、信頼上の問題が発
生しやすくなる。

【０１１１】さらに、ＬＳＩにニューロンユニットを搭
載する場合、チップ面積で配線の占める割合が大きくな
り、１チップ当たり搭載するニューロン数をあまり大き
くできないという問題がある。

【０１１２】本発明は、中間層と出力層の間の結線数を
減少させて神経回路網の結線規模を縮小できるようにし
た信号処理回路を提供することを目的とする。

【０１１３】本発明の目的は上記の問題点を解決し、ニ
ューロンユニット間の配線数を処理速度を落とすことな
く、大幅に削減できるようにした信号処理装置を提供す
ることにある。

【０１１４】

【課題を解決するための手段】本発明の第１の信号処理
装置は、神経細胞模倣素子により構成された階層型の神
経細胞回路網による信号処理装置において、出力層の神
経細胞模倣素子が学習プロセス時に教師信号を受け取り
誤差信号を発生する誤差発生回路を備えることを特徴と
する。

【０１１５】本発明の第２の信号処理装置は、本発明の
第１の信号処理装置において、誤差発生回路が上記誤差
発生回路が先頭に誤差信号の正負を識別する１ビット
と、これに続く誤差データの絶対値を表すデータとを出
力するように構成されたことを特徴とする。

【０１１６】本発明の第３の信号処理装置は、本発明の
第１または第２の信号処理装置において、当該神経細胞
ユニットが興奮性か抑制性かを示す信号と、誤差信号が
正か負かを示す信号とから当該神経細胞ユニットの結合
係数を強めあるいは弱める信号を生成する回路を備える
ことを特徴とする。

【０１１７】本発明の第４の信号処理装置は、神経細胞
模倣素子により構成された階層型の神経細胞回路網を有
する信号処理装置において、各神経細胞模倣素子に該神
経細胞模倣素子から出力されるデータ信号と誤差信号と
を１つの合成信号に変換して出力するとともに外部から
入力する合成信号をデータ信号と誤差信号とに変換する
入出力制御部を備えることを特徴とする。

【０１１８】

【作用】本発明の第１の信号処理回路では、誤差生成回
路を出力層の神経細胞ユニットに取り込むことで出力層
と誤差生成回路間の接続は外部に現れなくなる。

【０１１９】本発明の第２の信号処理回路では、誤差生
成回路が時分割的に誤差信号の正負を識別する１ビット
と、これに続く誤差データの絶対値を表すデータとを出
力するので、出力層の神経細胞ユニットから中間層の神
経細胞ユニットへの誤差信号の伝送が１本の信号線で行
えるようになる。

【０１２０】本発明の第３の信号処理装置では、当該神
経細胞ユニットの興奮性あるいは抑制性と誤差信号の正
負に依存して当該神経細胞ユニットの結合係数を強めら
れたり、弱められたりする。

【０１２１】本発明の第４の信号処理装置では、各神経
細胞模倣素子においては、データ信号と＋、−の両誤差
信号とが入出力制御部で１つの合成信号、例えばシリア
ル信号に変換されて出力されるので、他の神経細胞模倣
素子へは１本の信号線を介してデータ信号と＋、−の両
誤差信号とを出力することができる。また、各神経細胞
模倣素子は、他の神経細胞模倣素子から受けた合成信号
をデータ信号と、＋、−の両誤差信号とに変換するの
で、入力信号と＋、−の両誤差信号とを１本の信号線か
ら入力できる。したがって、各神経細胞模倣素子どうし
を連結する信号線を１本にすることができる。

【０１２２】

【実施例】以下、本発明の実施例を図面に基づき具体的
に説明する。図１４は従来例、本発明の原理及び実施例
を比較して示すもので、図１４（ａ）は従来例を、図１
４（ｂ）は本発明の原理を、図１４（ｃ）は本発明の実
施例を示している。

【０１２３】前述したように、図２に示すような神経回
路網において、フォワードプロセス及び学習プロセスを
実行させる場合、専用ハード化における結線規模は重要
な問題である。神経細胞ユニットを半導体装置で実現す
る際に汎用性を持たせるために、図１４（ａ）に示すよ
うに、中間層、出力層のいずれにも対応できるように構
成が取られているが、図に示す誤差発生回路と出力層神
経回路ユニット間の２本の配線を必要としている。

【０１２４】これに対して、この発明は、図１４（ｂ）
（ｃ）に示すように、出力層に対応した神経細胞ユニッ
トに誤差発生回路８を取り込み、誤差発生回路と出力層
の神経細胞ユニット間の配線を不用としたものである。

【０１２５】即ち、図１４（ｂ）（ｃ）の模式図あるい
は図１５のブロック図に示すように、出力層の神経細胞
ユニットＡ3 には、誤差生成回路８が含まれている。図
１５において、各層の神経細胞ユニットＡ2 、Ａ3 はそ
れぞれの層でフォワードプロセスを実行するＦＷＤ回路
４、５と、各層で学習プロセスを実行するＬＲＮ回路
６、７を備えている。

【０１２６】ＦＷＤ回路４、５は、図９の演算回路２
８、ゲート回路３２及び図１０の各ゲート回路３４、３
５に相当し、ＬＲＮ回路６、７は、図９の各ゲート回路
２９、３０、３１及び図１０のゲート回路３６及び分周
回路３７に相当する。

【０１２７】ＥＲＲ回路８は出力層における誤差信号を
求めるもので、図１６及び図１１の各論理回路で示され
る。

【０１２８】図１４（ｂ）（ｃ）における中間層神経細
胞ユニットＡ2 は図１５の４、６を含んだものであり、
出力層は図１５の５、７、８を含んだものである。

【０１２９】図１５において、まず、入力層に入力信号
１を与えると、この信号が中間層に伝播していき、中間
層のＦＷＤ回路４によって、中間層におけるフォワード
プロセスを実行する。次に、この結果が出力層のＦＷＤ
回路５に伝播していき、ここで出力層のフォワードプロ
セスを実行し、フォワードプロセスが完了する。

【０１３０】学習プロセスの場合はさらに、出力層の神
経細胞ユニットＡ3 に教師信号３を与え、誤差生成回路
８により、出力層における誤差信号を生成し、これが出
力層の学習回路ＬＲＮ７に伝播していき、この出力層の
誤差信号と、ＦＷＤ回路５への入力信号より、出力層に
おける学習プロセスを実行する。ここで、生成された中
間層の誤差信号は、中間層の学習回路ＬＲＮ６に伝播し
ていき、この中間層の誤差信号と、ＦＷＤ回路４への入
力信号より、中間層における学習プロセスを実行し、学
習プロセスが完了することになる。

【０１３１】誤差信号は、上記のように正負の２種類の
ものがあるので、誤差生成回路に与えられる誤差信号に
は、これらを区別する信号を付加する必要がある。この
ため、誤差信号を、例えば、誤差信号の正負を意味する
ビットを先頭に配し、この１ビットに引き続き誤差デー
タの絶対値を意味するデータを出力するようにデータフ
ォーマットが設定される。

【０１３２】上記のように誤差信号は、正負の２種類の
ものがあるので、図１４（ｂ）では出力層の神経細胞ユ
ニットＡ3 より中間層の神経細胞ユニットＡ2に２本の
配線を必要としている。即ち、この図１４（ｂ）に示す
実施例では、図１４（ａ）に示す従来例のものに比べて
誤差発生回路と出力神経回路ユニット間の２本の配線を
なくしているが、出力層の神経細胞ユニットＡ3 より中
間層の神経細胞ユニットＡ2の配線は従来例と同じであ
る。この場合の出力層の神経細胞ユニットＡ3は、図９
と図１１を結合させた構成となり、中間層の神経細胞ユ
ニットＡ2図９に示す構成のものである。

【０１３３】これに対して、図１４（ｃ）に示す実施例
のものは、１本の信号線上に誤差の正負を表わす部分、
誤差の絶対値の大きさを表わす部分を次分割の分けて情
報を伝送するように構成し、出力層の神経細胞ユニット
Ａ3 より中間層の神経細胞ユニットＡ2の配線を更に１
本に減少させている。

【０１３４】図１８に示すように、原クロック（ＣＬ
Ｋ）に対して誤差の正負か、誤差のデータのどちらを意
味しているかHigh、Low 信号として表わすＦＣＫ信号を
用い、このＦＣＫを出力層及び中間層に与えている。こ
のＦＣＫは、原クロック（ＣＬＫ）の１サイクル幅で正
負を表わし、続くｎサイクルで誤差データの絶対値を表
わしている。即ち、この信号ＦＣＫがHighの時に誤差信
号線に誤差信号の正負を示す信号が現れ、Low の時に、
誤差データがパルス列となって現れている。

【０１３５】なお、このＦＣＫを採用することで、図９
は図１７と、図１１は図１６とそれぞれ等価となる。

【０１３６】図１４（ｃ）に示す実施例のように、この
ＦＣＫを採用することで、１本の信号線上に誤差の正負
を表わす部分、誤差の絶対値の大きさを表わす部分を次
分割の分けて情報を伝送するように構成でき、出力層の
神経細胞ユニットＡ3 より中間層の神経細胞ユニットＡ
2の配線が１本になる。この場合の出力層の神経細胞ユ
ニットＡ3は図１６と図１７を結合させたものとなり、
中間層の神経細胞ユニットＡ２は図１７で構成される。

【０１３７】図１６、図１７においては、図１８に示す
信号ＦＣＫがHighの時に誤差信号線に、誤差信号の正負
を示す信号が現れ、Low の時に、誤差データがパルス列
となって現れている。

【０１３８】図１７の回路Ｇは、その神経細胞素子が興
奮性か抑制性かを示すTsと、誤差信号の正負を表す信号
とからHigh,Low信号Ｇを生成し、この信号Ｇが、Low の
時に神経細胞素子の持つ結合係数が強められ、Highの時
に結合係数が弱められる。

【０１３９】上記のように、構成した信号処理回路で
は、図１４（ａ）に示す従来例と比べて、図１４（ｂ）
に示すものでは、誤差発生回路と出力層神経回路ユニッ
ト間の２本の配線が無くなり、図１４（ｃ）で示すもの
では、さらに出力層神経回路ユニットと中間層神経回路
ユニット間の２本の配線が１本に減じられる。

【０１４０】これによって、各神経回路ユニットを相互
に接続している多くの誤差信号用の配線を減少でき、ネ
ットワーク全体の結線規模の縮小に貢献することができ
る。

【０１４１】本発明の第４の発明の信号処理装置を図面
に基づき具体的に説明する。図１９は本発明の第４の発
明の一実施例に係る信号処理装置の要部の論理回路図で
あり、図１９（ａ）は各神経細胞模倣素子のシナプス回
路の論理回路図であり、図１の線に相当する部分の論理
回路図であり、図１９（ｂ）は各神経細胞模倣素子の細
胞体回路の論理回路図であり、図１の丸に相当する部分
の論理回路図である。

【０１４２】この実施例は、前述のディジタル回路でニ
ューラルネットワークを実現したものに対して、本発明
を適用したものであって、全体構成としては、図１に示
す階層型神経回路網と同様に構成され、例えば入力層Ａ
1 と中間層Ａ2 との間、あるいは中間層Ａ2 と出力層Ａ
3 との間でフォワードプロセス及び学習プロセスの信号
伝達が行われる。

【０１４３】図１９（ａ）の論理回路の構成のうち図９
に示す論理回路の構成と共通する部分には図９と同じ符
号と名称とを付し、図１９（ｂ）の論理回路の構成のう
ち図１０に示す論理回路の構成と共通する部分には図１
０と同じ符号と名称とを付してある。

【０１４４】各神経細胞模倣素子には、図１９（ａ）に
示すように、入力信号２０を記憶するレジスタ１１と、
誤差信号を集計する誤差回路と、外部の信号線をフォワ
ードプロセス時にはレジスタ１１に、学習プロセス時に
は誤差回路１３に選択的に接続する第１の入出力制御回
路１２が設けられる。

【０１４５】また、各神経細胞模倣素子には、図１９
（ｂ）に示すように、後の階層の各神経細胞模倣素子か
ら導出された各外部信号線をフォワードプロセス時には
自分の出力信号線に、学習プロセス時には誤差信号入力
部に選択的に接続する第２の入出力制御回路４が設けら
れる。

【０１４６】したがって、フォーワードプロセス時に
は、データを出力する神経細胞模倣素子のゲート回路３
５から出力ｙが第２の入出力制御回路４を介して、次段
の神経細胞模倣素子に出力される。

【０１４７】次段の神経細胞模倣素子のシナプス回路で
は、その出力ｙが入力として第１の入出力制御回路１２
を介してレジスタ１に取り込まれると同時に、信号線２
０にこの値を出力し、フォワードプロセスが実行され
る。

【０１４８】なお、レジスタ１１に取り込まれた入力ｙ
の値は学習プロセス時もレジスタ１に保持され、信号線
２０を介して学習回路３０にも出力される。また、学習
プロセスでは、後段の神経細胞模倣素子の誤差生成回路
２９で生成された誤差信号（誤＋及び誤−）が誤差回路
１３で集計され、その集計結果がパルス密度として、第
１の入出力制御回路１２を介して、前段の神経細胞ユニ
ットに送られる。

【０１４９】前段の神経細胞模倣素子の細胞体回路で
は、次段より送られた誤差信号（誤＋または誤−）が第
２の入出力回路１４を介して、誤差入力回路３６に送ら
れる。なお、誤差信号の正負の認識、すなわち、誤＋か
誤−かの認識は、パルス密度中で符号ビットを１パルス
設け、例えば符号ビットが″０″のときは誤＋、符号ビ
ットが″１″のときは誤−として認識すれば良い。

【０１５０】以上のように、第１・第２の両入出力制御
回路を用いて外部の信号線をフォーワードプロセス時に
は信号出力線あるいは信号入力用のレジスタ側に接続
し、学習プロセス時には誤差信号出力用の誤差回路ある
いは誤差信号入力部に接続することにより、１本の外部
信号線をデータの伝送と、誤差信号の伝送とに共用でき
ることになり、各神経細胞模倣素子間の結線数を１本に
削減することができ、大幅に結線数を削減することがで
きる。

【０１５１】その結果、ニューロンネットワークの規模
の拡大が容易になり、回路構成や回路のテストが簡単に
なり、信頼性を確保する上で有利になる。また、ＬＳＩ
上に神経細胞素子を搭載する場合、チップ面積上で神経
細胞素子間を結合する配線が占める面積が小さくなり、
１チップ当たりに搭載可能な神経細胞素子数を増大させ
ることができる。

【０１５２】図２０に示す本発明の他の実施例に係る信
号処理装置では、図２０（ａ）の論理回路図に示すよう
に、シナプス回路にレジスタ１５と、入力に対応するパ
ルス数信号を発生するパルス発生器１６と、誤差回路と
して機能するアップ／ダウンカウンタ１８と、第１の入
出力制御回路１７が設けられる。

【０１５３】また、細胞体回路には図２０（ｂ）の論理
回路図に示すように、ゲート回路３５の出力パルス数を
カウントするカウンタ９と、外部から入力した誤差信号
に対応するパルス数信号を発生するパルス発生器１０と
第２の入出力制御回路２１とが設けられる。

【０１５４】フォワードプロセスでは、自分のゲート回
路３５から出力する出力信号のパルス密度表現の出力ｙ
をカウンタ１９によってバイナリーデータに変換し、第
２の入出力制御回路２１を介して次段の神経細胞ユニッ
トへ出力する。

【０１５５】例えばデータの基本語長を１２８パルスと
すると、１２８パルス中の″１″の数をカウンタ９でカ
ウントし、この７ビットのバイナリーデータで示される
値を第２の入出力制御回路２１を介して１ビットずつ次
段のニューロンユニットに送る。従って、７ビットのバ
イナリーデータの場合、このデータを１ビットずつ７パ
ルスで送ることが可能となる。

【０１５６】この信号は、次段の神経細胞ユニットのシ
ナプス回路の第１の入出力制御回路１７を介して、レジ
スタ１５に１パルスずつ取り込まれ、例えば、パルス密
度の基本語長１２８パルスのときは７ビットのバイナリ
ーデータがレジスタ１５に取り込まれ、このバイナリー
データがパルス発生回路１６に出力される。

【０１５７】パルス発生回路１６は、バイナリーデータ
の値に応じてパルスを発生し、例えば基本語長１２８パ
ルスでバイナリーデータの値が、０．５のとき、１２８
パルス中ランダムに６４パルス″１″となるようにパル
スを発生し、フォワードプロセスを実行する。

【０１５８】一方、学習プロセスでは、シナプス回路の
誤差生成回路２９で生成された誤差信号（誤＋及び誤
−）を、アップ／ダウンカウンタ１８でバイナリーデー
タに変換し、フォワードプロセス時と同様に、第１の入
出力制御回路１７を介して１ビットずつ前段の神経細胞
ユニットに出力する。前段の神経細胞ユニットでは、１
ビットずつ送られた誤差信号（誤＋または誤−）を第２
の入出力制御回路２１で例えば７ビットのバイナリーデ
ータに変換し、パルス発生回路１０に出力し、ここで、
パルパルス密度表現に変換され、誤差入力回路３６に出
力される。なお、このとき誤差信号の誤＋、誤−の符号
ビットの表現方法は、前述の図１４に示す実施例の場合
と同様である。

【０１５９】以上のようにして、各神経細胞模倣素子間
のデータの受け渡しを１本の信号線により行えるように
するとともに、各神経細胞模倣素子内では、パルス密度
表現で処理を行い、神経細胞ユニット間のデータ転送は
バイナリーデータで行うことが可能となる。

【０１６０】図２１は本発明のまた他の実施例に係る信
号処理装置のニューロネットワークの回路図である。

【０１６１】この実施例では、ニューロネットワークは
同じような３段階の階層構造に構成れているが、各階層
間の結線の構成が次のようにして一層簡略化されてい
る。すなわち、同じ階層の各神経細胞模倣素子から導出
される各信号線が、一旦、１本の幹線に集合された後、
その集合線から後段の各神経細胞模倣素子に分岐され、
神経細胞模倣素子間でデータがバイナリーデータでシリ
アル転送されるようにしている。なお、神経細胞模倣素
子のシナプス回路及び細胞体回路は、図２０と同様に構
成すればよい。

【０１６２】中間層の神経細胞ユニットＡ21〜Ａ24内の
フォワードプロセスは、基本語長１２８パルスのとき１
２８パルスで完了する。このフォワードプロセスのデー
タは細胞体回路のカウンタ９で７ビットのバイナリーデ
ータに変換され、この７ビットのバイナリーデータを１
ビットずつシリアルに転送すると７パルスで転送が完了
する。ここで、中間層のフォワードプロセスと中間層か
ら出力層へのデータ転送をパラレルに行うとすると、中
間層のフォワードプロセス１２８パルス中に、その前回
の中間層におけるフォワードプロセスの結果を出力層へ
転送すれば処理速度は低下しない。

【０１６３】まず、中間層のフォワードプロセス１２８
パルスの期間中に、中間層Ａ21のフォワードプロセスの
結果を出力層Ａ31〜Ａ34に７パルスで転送する。次に、
中間層Ａ22の結果を出力層Ａ31〜Ａ34に７パルスで転送
する。以下、中間層の神経細胞模倣素子Ａ23〜Ａ24も同
様に出力層へ結果を出力する。

【０１６４】以上のようにデータを転送することで、中
間層から出力層へのデータ転送にかかる時間すなわちパ
ルス数は、中間層の数ｘ７パルスとなる。従って、基本
語長１２８パルスでは、中間層１８個までは１２８パル
ス以内にデータ転送を完了できることになる。

【０１６５】これに対して、神経細胞ユニット間を１本
の信号線で接続した場合、例えば、データの基本語長を
パルス密度で１２８パルス、バイナリーデータで７ビッ
トとすると、神経細胞ユニット内のフォワードプロセス
及び学習プロセスは、パルス密度で処理を行うために１
２８パルスで完了することになり、この実施例によれ
ば、上記のように中間層１８個までであれば処理時間を
延長する必要はなく、また、中間層が１８個以上の場合
には、別の接続線で中間層ユニットと出力層ユニットを
接続し、同様にデータ転送を行えば良い。この処理結果
の伝達過程は、学習プロセス時も同様である。

【０１６６】

【発明の効果】以上のように、本発明の第１の信号処理
装置によれば、出力層の神経細胞ユニットに学習プロセ
ス時に教師信号を受け取り誤差信号を発生する誤差発生
回路を含ませるので、神経細胞ユニットと誤差発生回路
とを接続する２本の結線を神経細胞ユニット内に形成す
ることができ、神経細胞ユニット外には教師信号を受け
るための１本の結線を設ければらいことになる。その結
果、出力層の神経細胞ユニットと外部との間の結線数を
大幅に減少させることができ、神経細胞回路網全体の結
線規模を大幅に減少させることができる。

【０１６７】また、本発明の第２の信号処理装置によれ
ば、誤差発生回路から出力される誤差信号のフォーマッ
トが時分割された誤差信号の正負を区別する信号と誤差
信号の絶対値を表すデータとで構成されているので、出
力層から中間層に誤差信号を１本の送る結線を１本にし
て、中間層と出力層との間の結線数を減少させることが
でき、神経細胞回路網全体の結線規模を大幅に減少させ
ることができる。

【０１６８】更に、本発明の第３の信号処理装置によれ
ば、その神経細胞ユニットが興奮性か抑制性かを示す信
号と誤差信号の正負を表す信号とから生成される信号を
使って神経細胞ユニットの結合係数を強めたり、弱めた
りすることができる。

【０１６９】更に、本発明の第４の信号処理装置によれ
ば、フォワードプロセス及び学習プロセス時の神経細胞
模倣素子間のデータ転送に使用する信号線を、処理速度
を落とすことなく、従来の３本から１本に削減でき、配
線面積を約３分の１にできる。したがって、ニューラル
ネットワークの規模を容易に拡大できるとともに、配線
構成が簡単になり、配線のテストが簡単になるととも
に、信頼性を高めることができる。

【０１７０】また、ＬＳＩに神経細胞模倣素子を搭載す
る場合も、チップ面積で配線面積の占める割合が小さく
なり、１チップに搭載できる神経細胞模倣素子の数を増
大させることができる。

【０１７１】更に第４の発明において、特に各神経細胞
模倣素子がパルス密度方式で演算を行う回路を備え、各
神経細胞模倣素子間で転送されるデータがバイナリーデ
ータで構成される場合には、神経細胞模倣素子間の接続
線を部分的に共通化することができ、各神経細胞模倣素
子間の配線構成が一層簡単になり、配線のテストが一層
簡単になるとともに、信頼性を一層高めることができ
る。また、１チップに搭載できる神経細胞模倣素子の数
を一層大きく増大させることができる。また、この場合
に、特にバイナリーデータをシリアルに転送する場合に
は、処理速度を落とすことなく、ハードウェアによって
実現した神経細胞回路網の配線面積をかなり低減でき
る。

【図面の簡単な説明】

【図１】神経細胞回路網の模式図である。

【図２】神経細胞ユニットの模式図である。

【図３】シグモイド関数を示すグラフである。

【図４】ニューラルネットワークに相当する電気回路図
である。

【図５】単一神経細胞に相当する電気回路図である。

【図６】シナプス回路のブロック回路図である。

【図７】細胞体回路のブロック図である。

【図８】神経細胞ユニットの回路図である。

【図９】図１の線（結線）に相当する部分の論理回路図
である。

【図１０】図１の丸（神経細胞ユニット）に相当する部
分の論理回路図である。

【図１１】出力層での誤差信号を生成する回路の論理回
路図である。

【図１２】フォワードプロセスを説明する模式図であ
る。

【図１３】学習プロセスのを説明する模式図である。

【図１４】従来例、本発明の原理及び実施例を比較して
示すブロック図である。

【図１５】本発明の原理図である。

【図１６】出力層での誤差信号を生成する回路の論理回
路図である。

【図１７】図１の線（結線）に相当する部分の論理回路
図である。

【図１８】本発明の信号処理回路のタイミングチャート
である。

【図１９】本発明の一実施例の要部の論理回路図であ
る。

【図２０】本発明の他の実施例の要部の論理回路図であ
る。

【図２１】本発明のまた他の実施例の要部の論理回路図
である。

【符号の説明】

１１レジスタ１２第１の入出力制御回路１３誤差回路１４第２の入出力制御回路１５レジスタ１６パルス発生回路１７第１の入出力制御回路１８アップ／ダウンカウンタ１９カウンタ１０パルス発生器２１第２の入出力制御回路３５ゲート回路３６誤差入力回路Ａ，Ａ1 〜Ａ3 神経細胞模倣素子ｄj 教師信号Ｇ回路

───────────────────────────────────────────────────── フロントページの続き (72)発明者大槻聡東京都大田区中馬込１丁目３番６号株式会社リコー内 (72)発明者青野英樹東京都大田区中馬込１丁目３番６号株式会社リコー内

Claims

【特許請求の範囲】

【請求項１】神経細胞模倣素子により構成された階層
型の神経細胞回路網による信号処理装置において、出力
層の神経細胞模倣素子が学習プロセス時に教師信号を受
け取り誤差信号を発生する誤差発生回路を備えることを
特徴とする信号処理装置。
【請求項２】上記誤差発生回路が上記誤差発生回路が
先頭に誤差信号の正負を識別する１ビットと、これに続
く誤差データの絶対値を表すデータとを出力するように
構成されたことを特徴とする請求項１に記載の信号処理
装置。
【請求項３】当該神経細胞ユニット内に格納され、当
該神経細胞ユニットが興奮性か抑制性かを示す信号と、
誤差信号が正か負かを示す信号とから当該神経細胞ユニ
ットの結合係数を強め、あるいは、弱める信号を生成す
る回路を備えることを特徴とする請求項１または２に記
載の信号処理装置。
【請求項４】神経細胞模倣素子により構成された階層
型の神経細胞回路網を有する信号処理装置において、各
神経細胞模倣素子に入力信号を記憶するレジスタ、誤差
信号を集計する誤差回路と、外部の信号線をフォワード
プロセス時にはレジスタに、学習プロセス時には誤差回
路に選択的に接続する第１の入出力制御回路と、後の階
層の各神経細胞模倣素子から導出された各外部信号線を
フォワードプロセス時には自分の出力信号線に、学習プ
ロセス時には誤差信号入力部に選択的に接続する第２の
入出力制御回路とを設けることを特徴とする信号処理装
置。
【請求項５】各神経細胞模倣素子がパルス密度方式で
演算を行う回路を備え、各神経細胞模倣素子間で転送さ
れるデータがバイナリーデータで構成されることを特徴
とする請求項４に記載の信号処理装置。