JPH04148389A - 神経細胞回路網 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】

投権分災 本発明は、信号処理方法及びその装置、より詳細には、
神経回路網を模倣したニューラルコンピュータに関し、
例えば、文字や図形認識、ロボットなどの運動制御、連
想記憶等に応用して好適なものである。 盗】む

【擢 生体の情報処理の基本的な単位である神経細胞にニュー
ロン）の機能を模倣し、さらに、この「神経細胞模倣素
子」　（神経細胞ユニット）をネットワークに構成する
ことで情報の並列処理をめざしたものが、いわゆるニュ
ーラルネットワークである０文字認識や、連想記憶、運
動制御等、生体ではいとも簡単に行われていても、従来
のノイマン型コンピュータではなかなか達成できないも
のが多い。生体の神経系、特に生体特有の機能、すなわ
ち並列処理、自己学習等を模倣して、これらの問題を解
決しようとする試みが、計算機シミュレーションを中心
として、盛んに行われている。 第６図は、従来のニューラルネットワークのモデルにつ
いて説明するための図で、図中、Ａは、１つの神経細胞
ユニットを表し、第７図は、それをネットワークに構成
したもので、Ａ工、Ａ２゜Ａ、は、それぞれ神経細胞ユ
ニットを表わす。１つの神経細胞ユニットは、多数の他
の神経細胞ユニットと結合しており、それらから受けた
信号を処理して出力する。第７図の場合、ネットワーク
は階層型であり、神経細胞ユニットは、１つ前の層（図
中左側）の神経細胞ユニットより信号を受け、１つ先の
層（図中右側）の神経細胞ユニットへ出力する。 最初に、第６図に示した神経細胞ユニットＡについて説
明すると、１つの神経細胞ユニットと他の神経細胞ユニ
ットとの結合の度合を表すのが、結合係数（Ｔ）と呼ば
れているものであり、ｉ番目の神経細胞ユニットとｊ番
目の神経細胞ユニットの結合係数を、一般に、ＴｉＪで
表す。結合には、相手のニューロンからの信号が大きい
ほど自分の出力が大きくなる興奮性結合と、逆に、相手
の信号が大きいほど自分の出力が小さくなる抑制性結合
があり、Ｔ　ｔ　ｓ　＞　Ｏが興奮性結合、Ｔ　ｔ　ｊ
＜　Ｏが抑制性結合であることをそれぞれ表す。ｊ番目
の神経細胞ユニットへの入力は、ｉ番目の神経細胞ユニ
ットからの出力をｙＬとすると、このｙｌにＴ。 をかけたＴｉｊｙＬとして求められる。前述のように、
１つの神経細胞ユニットは多数の神経細胞ユニットと結
合しているので、全ての神経細胞ユニットに対するＴｉ
ｊｙｔを足し合わせたもの、すなわち、ΣＴｔＪｙ、が
、ネットワーク内における１つの神経細胞ユニットへの
入力となる。これを内部電位と言い、ｕＪで表す。 ｕｊ：ΣＴＩＪｙ１　　　　　　　　　　　　（１）次
に、この入力（＝内部電位）を非線形処理することで、
その神経細胞ユニットの出力とする。 ここで用いる非線形関数を神経細胞応答関数と呼び、次
に示すような、シグモイド関数ｆ　（ｘ）を用いる。 ｆ　　（ｘ）”１／　（１＋ｅ−”）　　　　　　　　
　（２）第８図は、このシグモイド関数を示す図である
。 上記神経細胞ユニットを、第７図に示すような。 ネットワークに構成し、各結合係数を与え、式（１）、
（２）を並列的に次々と計算することにより、情報の並
列処理が可能となり、最終的な出力が得られる。 第９図は、上記ネットワークを電気回路で実現したもの
の一例を示す図で（特開昭６２−２９５１８８号公報）
、これは、ネットワークへの入力や出力の信号強度を電
圧で表し、上記神経細胞ユニット間の結合係数の値を抵
抗値で実現したものである。すなわち、第９図において
、複数の増幅器３３は、反転出力３３ａ及び非反転出力
３３ｂとを有し、かつ、各増幅器３３の入力には入力電
流を供給する手段３２を有しており、予め選ばれた第１
の値又は予め選ばれた第２の値であるコンダクタンス（
ＴＬｊ）で前記増幅器の各々の出力を前記入力に接続す
る相互接続マトリックス３１を有している。前記のＴＬ
Ｊはｉ番目の増幅器の出力とｊ番目の増幅器との入力と
の間の相互コンダクタンスを表わし、前記コンダクタン
スＴ、は。 回路網が平衡する複数の極小値を作るように選ばれ、複
数の極小値を持ったエネルギー関数を最小にするように
している。結合係数ＴＬｊが負の場合、負の抵抗値は実
現できないので、増＠＠３３を用いて出力を反転させる
ことでこれを実現している。 また、第８図で示したシグモイド関数に相当するものと
して、増幅器３３を用いている。 次に、ネットワークの学習機能について説明する。 数値計算で用いられている学習法則としては。 バックプロパゲーションと呼ばれる次のようなものがあ
る。 まず、各神経細胞ユニット間の結合係数は、最初ランダ
ムに与えておく。この状態で、ネットワークに入力を与
えると５その出力結果は、必ずしも望ましいものではな
い、そこで、このネットワークに正解（＝教師信号）を
与えて、再び、同じ入力があったとき正解になる（＝望
ましい出力結果が得られる）ように、各結合係数を変化
させる。 例えば、第７図に示すような階層型のネットワークにお
いて、最終層（図の右の層）のｊ番目の神経細胞ユニッ
トの出力をｙ、とし、その神経細胞ユニットに対する教
師信号をｄ、とすると。 Ｅ＝Σ（ｄ４−ｙｒ）”　　　　　　　　　　　（３）
で表されるＥが最小となるように、 Ｅ ΔＴ１＝ ａＴ＊ｒ　　、　　　　　　　　　　　（４）を用いて
、ＴＬＪを変化させる。さらに具体的に説明すると、ま
ず、次のようにδ（誤差信号）を求める。 δｓ＝　　（ｄＪ−ｙ＊）Ｘｆ’（ｕＪ）〔出力層の場
合〕　　　　　　　　　　　　（５）δ４；ΣδｔＴｔ
ＪＸｆ’（ｕｔ） 〔前記より前の層（中間層）の場合〕　　　（６）ただ
し、ｆ′はｆの１階微分である。これを用いて、 ΔＴＬＪ＝η　（δ１ｙ、）＋αΔＴＬｊＴ、、＝ＴＬ
Ｊ’　　＋Δ’ｒｔＪ　　　　　　　　　　（７）とす
ることで、ＴＬｊを変化させる。ただし。 ΔＴｃＪ’　、　Ｔ、、’はそれぞれ前回の学習時での
値である。ここで、ηは学習定数、αは安定化定数と呼
ばれているものである。各々、理論的には求められない
ので経験的に求める。このような方法で結合係数を変化
させる量を求めるアルゴリズムを、パックプロパゲーシ
ョンと呼んでいる。 上記の過程、すなわち学習を繰り返すことで。 やがて、与えられた入力に対して望ましい結果が得られ
るようなＴＬｊが決定される。このことにより、ネット
ワークの学習機能が実現できる。 第１０図乃至第１２図は、このようなニューラルネット
ワークをデジタル回路で実現した例を示す図で、第１０
図は、単一の神経細胞回路構成例を示し、図中、３５は
シナプス回路、３６は樹状突起回路、３７は細胞体回路
を示す、第１１図は、第１０図に示したシナプス回路３
５の構成例、第１２図は、第１０図に示した細胞体回路
３７の構成例を示す図で、第１１図中のｆは入力信号、
Ｗは重み付けの値、ａはフィードバック信号に掛ける倍
率（ｌまたは２）である、これは、神経細胞ユニットの
入出力信号をパルス列で表現し、信号の値をパルス密度
で表している。結合係数は２進数で取扱い、メモリ上に
保存している。信号の演算は次のように行う。まず、入
力信号をレートマルチプライヤ−のクロックへ入力し、
結合係数をレート値へ入力することで、入力信号のパル
ス密度をレート値に応じて減らす、これは、前述のバッ
クプロパゲーションモデルにおける式ＴｔＪｙｔの部分
に相当する０次にΣＴ、、；ｙｔのΣの部分は、樹状突
起回路３６によって示されるＯＲ回路で実現している。 結合には興奮性、抑制性があるので、あらかじめグルー
プ分けしておき、それぞれのグループ別にＯＲをとる。 第１０図において、Ｆ□は興奮性、Ｆ２は抑制性出力を
示す、この２つの出力を、第１２図に示したカウンター
のアップ側。 ダウン側にそれぞれ入力してカウントすることで、出力
が得られる。この出力は２進数であるので再びレートマ
ルチプライヤ−を用いて、パルス密度に変換する。この
神経細胞ユニットを複数個用いてネットワークを構成す
ることによって、ニューラルネットワークが実現できる
。学習機能は、ネットワークの最終出力を外部のコンピ
ュータに入力し、コンピュータ内部で数値計算を行し１
、その結果を結合係数のメモリに書き込むことによって
実現している。 しかしながら、ニューラルネットワークの試みは、計算
機シミュレーションで行われているものが多く、本来の
機能を発揮するには、並列処理が必要であり、ネットワ
ークのハードウェア化は欠くことのできないものである
。 神経細胞ユニットのハードウェア化の試みは、はとんど
の場合アナログ回路で行われており、これらの回路には
以下のような問題点がある。 ■ネットワーク内部での信号の強度を電圧や電流などの
アナログ値で表し、内部の演算もアナログ的に行うため
、温度特性や、電源投入直後のドリフト等により、その
値が変化する。 ■ネットワークの構成するために多くの素子を必要とす
るが、それぞれの特性を揃えることは困難である。 ■１つの素子の精度や安定性が問題になると、それをネ
ットワークにした場合に新たな問題が起きる可能性があ
り、ネットワーク全体における動作が予想できない。 ■結合係数の値が固定であり、あらかじめシミュレーシ
ョンなど他の方法で学習させた値を使わざるを得す、自
己学習ができない。 一方、バックプロパゲーションを用いた学習力ｆｆｉヲ
何らかの手段でハードウェア化しようとした場合、学習
には多量の四則演算が必要であり、実現が困難である。 また学習方法そのものもノ）−ドウエア化に対しては不
向きである。 従来のデジタル回路を用いたネットワークも、学習は外
部のコンピュータで行っており、従って自己学習機能を
持っていない。そのうえ、パルス密度の信号をカウンタ
ーを用いて一旦数値（２進数）に変換し、その後再びパ
ルス密度に変換するため１回路の構成が複雑なものにな
っている。 以上をまとめると、従来技術では次の欠点を有する。 ■ネットワーク内部の演算を行うアナログ回路は、動作
に確実性がない。 ■数値計算による学習方法も計算が複雑であり。 ハードウェア化に適さない。 ■従来のデジタル方式回路では、回路構成が複雑である
。 ■ハードウェア上で自己学習ができない。 そこで、本出願人は、先に、ネットワーク内部の演算に
は、動作が確実なデジタル回路を採用し、かつ、ハード
ウェア化が容易でシンプルな信号処理、学習方法を提供
し、さらに、実際にハードウェア自己学習を実現するこ
とが可能な信号処理回路について提案した。 ｌ−一カ 本発明は、上述のごとき実情に鑑みてなされたもので、
特に、本出願人が先に提案した信号処理回路を更に改良
して、入力信号パルス列や教師信号パルス列が１つのパ
ターンに固定されることなく、より学習能力の高いネッ
トワークを実現し、より汎用性の高い信号処理回路を実
現することを目的としてなされたものである。 碧−一」叉 本発明は、上記目的を達成するために、結合係数可変手
段と、該結合係数可変手段の可変結合係数値を教師信号
に対する誤差信号に基づいて生成する結合係数生成手段
とよりなる自己学習手段を付設した、デジタル論理を用
いた神経細胞模倣素子により構成された信号処理手段に
おいて、前記信号処理手段に入力する入力信号データ又
は教師信号データのパルス列パターンが、前記信号処理
手段が学習を行うたび毎に、異なるパルス列パターンで
あること、或いは、結合係数可変手段と、この結合係数
可変手段の可変結合係数値を教師信号に対する誤差信号
に基づいて生成する結合係数生成回路とよりなる自己学
習回路を付設した。デジタル論理回路を用いた神経細胞
模倣素子により構成された神経細胞回路網において、前
記神経細胞回路網に入力する入力信号データ又は教師信
号データのパルス列パターンが、前記神経細胞回路網が
学習を行うたび毎に、異なるパルス列パターンであるこ
とを特徴としたものである。以下、本発明の実施例に基
いて説明する。 最初に、本発明の基本的な考え方について説明すると、
本発明の基本的な考え方は。 ■神経細胞ユニットに関する入出力信号・中間信号・結
合係数・教師信号などは、すべて０．１の２値で表され
たパルス列で表現する。 ■ネットワーク内部での信号の値は、パルス密度で表す
（ある一定時間内の「１」の数）。 ■神経細胞ユニット内での計算は、パルス列同士の論理
演算で行う。 ■結合係数のパルス列は、神経細胞ユニット内のメモリ
に格納する。 ■学習は、このパルス列を書き換えることで実現する。 ■与えられた教師信号を元に誤差を計算し、これに基づ
いて、結合係数を変化させる。この場合において、誤差
の計算及び結合係数の変化分の計算もすべて、０．１の
パルス列の論理演算で行う。 ■上記で示した神経細胞ユニットにより構成したネット
ワーク回路を用いて、これに教師付き学習を行わせる場
合において、入力信号及び教師信号のパルス列を、１つ
のパターンに限定せず、同じパルス密度を有する他のパ
ルス列を随時用いることで、ネットワークの学習能力を
高める。 というものであり、以下、これを具体化した実施例に基
づいて詳細に説明する。 説明は、まず、デジタル論理回路を用いた神経細胞ユニ
ットと、それを用いて構成したネットワーク回路による
信号処理について行い、次に、上記の処理を行う回路の
例について行う。 ■、デジタル　　　　による 【フォワードプロセスにおける信号演算】第１図は、１
つの神経細胞ユニットに相当する部分であり、それを第
７図に示したようにネットワークに構成して、従来と同
じ階層型として用いる。神経細胞ユニットの入出力はす
べて（１１に２値化され、さらに同期化されたものを用
いる。 入力ｊの信号の値（＝強度）は、パルス密度で表現し１
例えば、次に示すパルス列のように、ある一定時間内に
ある、１の状態数で表す。 入力信号　　　ユーユユーユ＝４／６　　（８）同期信
号　　　ユユユ１１１ これは４７６を表す信号を示したもので、同期パルス６
個中に入力信号は１が４個、Ｏが２個であることを表わ
している。このとき、１とＯの並び方は後述するように
ランダムであることが望ましい。 一方、結合係数ＴＬＪも同様にパルス密度で表現し、０
と１のビット列として、あらしめメモリに用意しておく
。 結合係数　　　−＝３／６　　（９） 同期信号　　　−Ｌｌ−Ｌ」−１１− これは、結合係数の値が３／６であることを表し。 このときも、０と１の並び方はランダムである方が望ま
しい、具体的にどうやって決めるかは後述する。そして
、この結合係数パルス列を同期クロックに応じてメモリ
より順次読みだし、第１図のＡＮＤ回路によって、入力
パルス列とのＡＮＤをとる（ｙ　ｔｎ　Ｔ１＋）　、こ
れを神経細胞ユニットｊへの入力とする。上記の例を用
いて説明すると、信号ｒｌｏ１１０１Ｊと入力された場
合、これと同期してメモリから結合係数のパルス列を呼
び出し、順次ＡＮＤをとることによって、 入力信号　　　ユーユユーユ　　エ４／６結合係数　　
　ニーニーニー　　＝３７６ｙ、ｎＴ４．　−Ｌ−Ｌ−
＝−＝２７６に示すようなパルス列（ビット列）ｒｌｏ
ｌｏｏｏ」が得られる。これは入力信号のパル・ス列ｙ
。 が結合係数のパルス列ＴＬＪにより変換され、その結果
、神経細胞ユニットへの入力パルス密度が２／６となる
ことを示している。ＡＮＤ回路の出力のパルス密度は、
近似的には［入力信号のパルス密度」と「結合係数のパ
ルス密度」の積となり。 アナログ方式における場合の信号の積と同様の機能を有
する。これは、信号の列（パルス列）が長いほど、また
、１と０の並び方がランダムであるほど、数値の積に近
い機能になる。ランダムで４いとは、１（または０）が
密集して（密接）していることを意味する。入力パルス
列と比較して、結合係数のパルス列の長さが短く、読み
出すべきデータがなくなってしまった場合には、再び結
合係数のパルス列の先頭に戻って、読み出しを繰り返す
ことで対処できる。 １つの神経細胞ユニットは多くの入力を持つので、先に
説明した「入力信号と結合係数とのＡＮＤＪも多数ある
０次に、これらのＯＲをとる入力は同期化されているの
で、１番目のデータがｒｌｏｌｏｏｏＪ、２番目のデー
タがｒｏｌｏｏｏｏＪの場合５両者のＯＲはｒｌｌｌｏ
ｏＯＪとなる。これを多入力同時に計算し出力とする。 Ｖ　ｘ　ｎ　Ｔ　Ｉ　Ｊ　　ニー土−−−ＶｔｎＴｔｊ
　−止−−−− となる。この部分は、アナログ方式における場合の、信
号の和を求める計算及び非線形関数（シグモイド関数）
の部分に対応している。一般的なパルスの演算において
、パルス密度が低い場合、そのＯＲをとったもののパル
ス密度は、それぞれのパルス密度の和に近似的に一致す
る。パルス密度が高くなるにつれて、ＯＲの出力は徐々
に飽和してくるので、パルス密度の和と結果は一致せず
、非線形性がでてくる。ＯＲの場合、パルス密度は１よ
り大きくなることがなく、０より小さくなることもなく
、また単調増加関数であるので、シグモイド関数と近似
的に同等となる。 さて、結合には興奮性と抑制性があり、数値計算の場合
には、結合係数の符号で表し、アナログ回路の場合、前
述したように、Ｔｏが負となる場合（抑制性結合）には
増幅器を用いて出力を反転させ、Ｔ１．に相当する抵抗
値で他の神経細胞ユニットへ結合させている６一方、本
発明では、各結合を、ＴＬ、の正負により興奮性結合と
抑制性結合の２つのグループに分け、次いで、「入力信
号と結合係数のパルス列のＡＮＤＪ同士のＯＲをこのグ
ループ別に演算する。その結果、ｒ興奮性グループの出
力が１」で、かつ「抑制性グループの出力が０」のとき
のみ１を出力する。この機能を実現するためには、「抑
制性グループの出力のＮ。 Ｔ」と「興奮性グループの出力ＪとのＡＮＤをとればよ
い。すなわち、 神経細胞ユニットの出力−（１２） となり、これを論理式で表現すると、 ａ＝ＬＪ（ｙｔｎＴｔｊ）　　（７＝興奮性＞　　　（
１３）ｂ＝ｕ（ｙｔｎ”ｒｔｊ）　　（’ｒ＝抑制性＞
　　　（１４））’　ｊ＝　　ａ　　ｎ　　ｂ　　　　
　　　　　　　　　　　　　　　　　　　　　　（１５
）と表される。 この神経細胞ユニットを用いたネットワークの構成は、
パックプロパゲーションと同様な階層型（第７図）とす
る。ネットワーク全体を同期させておけば、各層とも上
述の通りの機能で、並列的に演算することが可能である
。

【学習（バックプロパゲーション）におけ信号演算】以
下の■または■により誤差信号を求め５次いで■で述べ
る方法を用いて結合係数の値を変化させることにより、
学習を行う。 ■最終層における誤差信号 最終層（第７図の右側の層）に属する各神経細胞ユニッ
トについての誤差信号を求める方法について説明する。 本発明では、誤差信号を以下のように定義する。 すなわち、誤差を数値で表すと、一般には正負両方の値
を取りうるが、パルス密度ではそのような表現はできな
いので、十戒分を表す信号と、−成分を表す信号の２つ
を使って誤差信号を表現する。 つまり、教師信号パルスと出方信号パルスの違っている
部分のうち、教師信号側に存在するバルスを誤差信号７
パルスとし、逆に、出力信号側に存在するパルスを誤差
信号“パルスとする。換言すれば、出力信号パルスに誤
差信号１パルスを付は加え、誤差信号゛パルスを取り除
くと、教師信号パルスになる。 以上のようにして得られた誤差信号に、学習定数を用い
た処理を行うが、これは次項■にて詳細に説明する。 ■中間層における誤差信号 中間層（第７図の中央の層）に属する各神経細胞ユニッ
トについての誤差信号δは、次のように求める。すなわ
ち、その神経細胞ユニットに接続している１つ先の層（
第７図における最終層）の各神経細胞ユニットにおける
誤差信号を集め、それを誤差信号とする。このことは、
神経細胞ユニット内での演算式（８）〜（１９）と同様
な要領で行うことができる。ただし１式（８）〜（１９
）と異なり、ｙは１つの信号であるのに対して、δは正
、負を表すために２つの信号を持ち、その両方の信号を
考慮しなければならない。従って、Ｔ（結合係数）の正
負、δ　（誤差信号）の正負の４つに場合分けする必要
がある。 まず、興奮性結合の場合を説明する。中間層のある神経
細胞ユニットについて、１つ先の層（第７図における最
終層）の神経細胞ユニットでの誤差信号４と、その神経
細胞ユニットと自分（前記中間層のある神経細胞ユニッ
ト）との結合係数のＡＮＤをとったもの（＝δ＋ｎＴｃ
Ｊ））を、１つ先の層の各神経細胞ユニットについて求
め、さらにこれら同士のＯＲをとる（＝Ｕ（δ＋ＬｎＴ
ｉｊ）。 その結果を、この層の誤差信号１とする。すなわち１次
のように表される。 δ＋、ｎＴ、、−ローニー」− 同様に、１つ先の層の神経細胞ユニットでの誤差信号−
を用いることで、この層の誤差信号−を次のようにして
求めることができる。 δ−ｘｎＴｉｐ 次に、抑制性結合の場合を説明する。１つ先の層の神経
細胞ユニットでの誤差信号−と、その神経細胞ユニット
と自分との結合係数のＡＮＤをとり、さらにこれら同士
のＯＲをとった結果を、この層の誤差信号４とする。す
なわち。 ５−１ｎＴ、、−ＬＬ−Ｌ−」− 同様に、１つ先の層の神経細胞ユニットでの誤差信号“
を用いることで、抑制性結合についてのこの層の誤差信
号°を求めることができる。 δ４□ｎＴ、、　−一土工−− δ−−りｍ−ＬＬ− １つの神経細胞ユニットから別の神経細胞ユニットへｆ
ｆ１Ｑ、９ノよ、−興奮性の場合と抑制性の場合の２つ
があるので５式（２ｏ）で求めたδ４と式（２２）で求
めたδ４のＯＲをとり、この神経細胞ユニットの６１と
する。同様に１式（２１）で求めたδ”と式（２３）で
求めたδ−のＯＲをとり、この神経細胞ユニットのδ−
とする。 以上をまとめると、 となる。 ここで、学習定数を用いた処理を行う、これは。 数値計算などでは、誤差信号に学習定数（学習レート）
を掛けることで実現している。この学習レートの値が１
．０以下の場合には、ネットワークの持つ学習能力がさ
らに高まる。このことは１本発明におけるパルス列の演
算では、パルス密度を低くすることに相当するので、パ
ルス列を「間引く」ことにより実現できる。例えば、例
１では元の信号のパルス列が等間隔の場合、例２では元
の信号のパルス列が等間隔でない場合を示すが、共に学
習レート（η）＝０．５では、元の信号のパルス列を１
つおきに消去（除去）する、また、ｙ＝０．３３ではパ
ルスを２つおきに残し、ｙ＝０．６７ではパルスを２つ
おきに消去する。 例１） η＝０．３３ η＝０．６７ 例２） η＝０．３３ このような誤差信号の「間引き」は、通常市販されてい
るカウンタの出力を論理演算することや、フリップフロ
ップを用いることによって、容易に実現できる。特に、
カウンタを用いた場合、ηの値を任意に、かつ容易に設
定できるので、ネットワーク回路の特性を制御すること
が可能となる。 ■誤差信号により各結合係数を変化 上記■または■により求めた誤差信号を用いて、各結合
係数を変化させる方法を説明する。 変化させたい結合係数が属している線（第７図参照）を
流れる信号（＝神経細胞ユニットに対する入力信号）と
誤差信号のＡＮＤをとる（δｎｙ）。ただし、本実施例
では誤差信号は十と−の２つの信号があるので、それぞ
れを演算して求める。 δ４（１ｙ　　　　　　　　　　　　　　　　→ΔＴゝ
このようにして得られた２つの信号をそれぞれΔＴｌ、
ΔＴ−とする。 これらを元にして新しい結合係数Ｔを求めるのであるが
、本実施例におけるＴの値は絶対値なので、Ｔが興奮性
か、抑制性かで場合分けをする。 ・興奮性の場合 元のＴに対して、Δ７＋の成分を増やし、ΔＴ−の成分
を減らす。 ・抑制性の場合 元のＴに対して、Δτ÷の成分を減らし、ΔＴ。 の成分を増やす。 以上の学習側に基づいて。 ネットワーク全体の 計算を行う。 【ネットワークの学習操作］ 第７図のような神経細胞回路網を学習させるには、前述
した通り、入力層（第７図の左側の層）に入力する入力
信号の組と、それらに対応して出力層（第７図の右側の
層）から出力されるべき望ましい出力結果（＝教師信号
）の組が必要である６しかも、それらに用いるデータは
、値を密度で表したパルス列である。前述した通り、パ
ルス列中の１になっているビットの位置は、ランダムで
ある方が、神経細胞ユニットの動作に望ましい。 これは、毎学習時に、値は同一であるが、パターンの異
なるパルス列信号を与える必要があることを意味する。 そこで、本発明では、前記のネットワーク回路の、入力
信号データと教師信号データのパルス列を生成するシス
テムにおいて、毎学習時における各種データのパルス列
パターンを異なったものにし、ネットワークの学習能力
を高めるものである。 以下、その構成・動作について説明する。 ネットワーク回路をある目的に学習させるのに即した５
適当な入力信号データの組、及び、この入力データに対
する教師信号データの組を用意する。もしくは、教師信
号データは、入力信号データに対応したものを適宜与え
ても良い。学習専用の場合は、これらの組は、ネットワ
ークの外部メモリに格納しておいてもよい。これらは、
神経細胞ユニットの入力に合致するように、パルス列に
変換しておく、あるいは、数値として格納しておき、必
要に応じてパルス列に変換してもよい。入力信号データ
の組は、教師信号データの組と対になっており、読み出
すときは、その対ごとに読み出すようにしておく。 以上を準備した後、ネットワークの学習を開始する。今
、パルス列を生成するシステムが、特願平２−６７９４
２号で示されたように、自然界に存在する雑音（トラン
ジスタの熱雑音など）を用いれば、ネットワークの学習
に用いられるパルス列は、完全なランダム性を有するこ
とになるので、パルス列のパターンは、毎学習時に異な
ることになる。しかしながら、本出願人が別途提出した
特許出願の明細書に記載したような、乱数発生器を用い
た場合、乱数とはいえども疑似乱数のため、発生するビ
ットは、ある周期を持って循環することになる。従って
、データのパルス列長と乱数の周期が一致した場合、同
一の値に対しては、常に同一のパルス列パターンが生成
されることになる。 そこで、乱数の発生周期を変化させ、乱数の位相を変化
させる。それは、乱数を発生させるための基本クロック
を、適宜必要な数より多く乱数発生器に入力することで
実現できる。その結果、毎学習時に異なったパルス列パ
ターンを得ることができ、ネットワークは、効果の高い
学習が可能となる。 １０ｍ匠 第２図乃至第６図は、以上のアルゴリズムを基に構成し
た回路例を示す図で、ニューラルネットワークの構成は
第７図と同様である。第７図の「線」に相当する部分の
回路を第２図に、第７図の「丸」　（神経細胞ユニット
）に相当する部分の回路を第３図にそれぞれ示す。また
、最終層の出力と教師信号から最終層における誤差信号
を求める部分の回路を第４図に示す、これら３つの図に
示した回路を第７図のようにネットワークに構成するこ
とによって、自己学習が可能なデジタル方式のニューラ
ルネットワークが実現できる。 まず、第２図を説明する。信号１は神経細胞ユニットへ
の入力信号で式（８）に相当する。式（９）の結合係数
はシフトレジスタ８に保存しておく、端子８Ａがデータ
の取出し口で、端子８Ｂがデータの入口である。これは
シフトレジスタと同様の機能を持つものであれば、その
ほかのもの、例えば、ＲＡＭ＋アドレスコントローラ等
を用いてもよい０回路９は式（１０）に相当する回路で
、入力信号と結合係数とのＡＮＤをとっている。この出
力は、結合が興奮性が抑制性かによってグループ分けし
なければならないが、あらがしめそれぞれのグループへ
の出力４，５を用意し、どちらのグループに出すのかを
切り替えるようにした方が汎用性が高い、このため、結
合が興奮性が抑制性かを表すビットをメモリ１４に保存
しておき、回路１３で信号を切り替える。各入力を処理
する式（１１）に相当するＯＲ回路が第３図の回路１６
である。さらに式（１２）で示した、「興奮性グループ
が１」で、かつ、「抑制性グループが○」のときのみ「
１」を出力する回路が、第３図の回路１７である。 次に、誤差信号について説明する。最終層での誤差信号
を作る回路を第４図に示す、これは式（１６）〜（１９
）に相当する。最終層からの出力１及び教師信号２０よ
り誤差信号６，７を生成する。また、中間層における誤
差信号番求める式（２０）〜（２３）を実現する回路を
、第７図の回路１ｏに示す、結合が興奮性が抑制性がで
用いる誤差信号が異なるので、その場合分けを行うのが
第２図の回路１２である。この回路には、あらかじめメ
モリ１４にセットしたビットを用いる。 また、誤差信号を集める演算（式（２４））は、第３図
の回路１８で行われる。また学習レートに相当する式（
２５）は、第３図の分周回路１９で実現する６ 次に、誤差信号を用いて、新たな結合係数を計算する部
分について説明する。これは式（２６）〜（２９）で表
され、第２図の回路１１により行われる。しかし、結合
の興奮性・抑制性によって場合分けしなければならない
ので、第２図の回路１２でこれを実現している。 最後に、上記のネットワーク回路を用いたシステムを学
習させる場合について説明する。 学習に限らず、ネットワークにデータを入力するには、
データの値を密度で表したパルス列を生成する必要があ
る。その生成回路の例を第５図に（本出願人が別途提呂
した特許出願の第１１１！ｌに相当）示すが、これは、
第５図の入力２１に乱数に変換したいデータの値を入力
し、出力２２からランダムパルス列を得るものである。 乱数発生器２３は、周期Ｔの乱数発生器である。ネット
ワークの基準クロックを第５図の基本クロックとして用
いている。今、連続的にランダムパルス列を発生させて
いた場合、発生するパルス列の位相は。 毎回一致したものとなり、ネットワークに入力するパル
ス列は、値が同じものに対しては、常に同じパルスパタ
ーンとなってしまう、そこで、第５図の基本クロックと
ネットワークの基準クロックを直接には接続せずに、１
回の周期Ｔが終了してから次の周期が開始する前までの
期間に、乱数列発生用空打ちクロック回路２４から、基
本クロックに１以上のクロックを与える。すると、前回
の周期による乱数列と今回の乱数列の位相が少なくとも
１ずれることになり、毎学習時にこれを繰り返すことで
、毎回異なった乱数列＝ランダムパルスを、ネットワー
クに入力することができる。このシステムを、ネットワ
ークの入力部及び／または教師信号入力部に備えること
で、ネットワーク全体の学習を行う。 なお、上記の回路は、上記実施例に限定されるものでな
く、また、一部をコンピュータなどの計算装置を用いて
代用させてもよいことはいうまでもない。 來−一二」 以上の説明から明らかなように、本発明によると、結合
係数の固定化を避け、学習能力を高めることができる。

【図面の簡単な説明】

第１図は、神経回路ユニットの１つを示す図、第２図乃
至第４図は、神経回路ユニットの各部の回路構成例を示
す図、第５図は、パルス列生成回路の一例を示す図、第
６図乃至第８図は、神経回路ユニットの動作原理を説明
するための図、第９図乃至第１２図は、従来の回路構成
例を示す図である。 １・入力信号、２，３，６．７・・・誤差信号、４・・
・興奮性信号、５・・・抑制性信号、８・・・シフトレ
ジスタ、２０・・・教師信号、２１・・・入力、２２・
・・出力、２３・・・乱数発生器、２４・・・乱数列発
生用空打ちクロック回路。 特許出願人　　株式会社　リ　コ

Claims (1)

1. 【特許請求の範囲】 １、結合係数可変手段と、該結合係数可変手段の可変結
   合係数値を教師信号に対する誤差信号に基づいて生成す
   る結合係数生成手段とよりなる自己学習手段を付設した
   、デジタル論理を用いた神経細胞模倣素子により構成さ
   れた信号処理手段において、前記信号処理手段に入力す
   る入力信号データのパルス列パターンが、前記信号処理
   手段が学習を行うたび毎に、異なるパルス列パターンで
   あることを特徴とする信号処理方法。 ２、結合係数可変手段と、この結合係数可変手段の可変
   結合係数値を教師信号に対する誤差信号に基づいて生成
   する結合係数生成回路とよりなる自己学習回路を付設し
   た、デジタル論理回路を用いた神経細胞模倣素子により
   構成された信号処理手段において、前記信号処理手段に
   入力する教師信号データのパルス列パターンが、前記信
   号処理手段が学習を行うたび毎に、異なるパルス列パタ
   ーンであることを特徴とする信号処理方法。 ３、結合係数可変手段と、該結合係数可変手段の可変結
   合係数値を教師信号に対する誤差信号に基づいて生成す
   る結合係数生成手段とよりなる自己学習手段を付設した
   、デジタル論理を用いた神経細胞模倣素子により構成さ
   れた神経細胞回路網において、前記神経細胞回路網に入
   力する入力信号データのパルス列パターンが、前記神経
   細胞回路網が学習を行うたび毎に、異なるパルス列パタ
   ーンであることを特徴とする信号処理装置。 ４、結合係数可変手段と、この結合係数可変手段の可変
   結合係数値を教師信号に対する誤差信号に基づいて生成
   する結合係数生成回路とよりなる自己学習回路を付設し
   た、デジタル論理回路を用いた神経細胞模倣素子により
   構成された神経細胞回路網において、前記神経細胞回路
   網に入力する教師信号データのパルス列パターンが、前
   記信号処理手段が学習を行うたび毎に、異なるパルス列
   パターンであることを特徴とする信号処理装置。