JPH0418661A - 信号処理装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】

一扼Ａ氷Ｊ 本発明は、信号処理方法及びその装置、より詳細には、
神経回路網を模倣したニューラルコンピュータに関し、
例えば、文字や図形認識、ロボットなどの運動制御、連
想記憶等に応用して好適なものである。 従」ｑ１樒 生体の情報処理の基本的な単位である神経細胞にニュー
ロン）の機能を模倣し、さらに、この「神経細胞模倣素
子」　（神経細胞ユニット）をネットワークに構成する
ことで情報の並列処理をめざしたものが、いわゆるニュ
ーラルネットワークである。文字認識や、連想記憶、運
動制御等、生体ではいとも簡単に行われていても、従来
のノイマン型コンピュータではなかなか達成できないも
のが多い。生体の神経系、特に生体特有の機能、すなわ
ち並列処理、自己学習等を模倣して、これらの問題を解
決しようとする試みが、計算機シミュレーションを中心
として、盛んに行われている。 第１３図は、従来のニューラルネットワークのモデルに
ついて説明するための図で、図中、Ａは、１つの神経細
胞ユニットを表し、第１４図は、それをネットワークに
構成したもので、Ａ□、Ａ２゜Ａ３は、それぞれ神経細
胞ユニットを表わす。１つの神経細胞ユニットは、多数
の他の神経細胞ユニットと結合しており、それらから受
けた信号を処理して出力する。第１４図の場合、ネット
ワー＝３ 夕は階層型であり、神経細胞ユニットＡ２は、１つ前の
層の神経細胞ユニットＡ１より信号を受け、１つ先の層
（図中右側）の神経細胞ユニットＡ３へ出力する。 最初に、第１３図に示した神経細胞ユニットＡについて
説明すると、ｊつの神経細胞ユニットと他の神経細胞ユ
ニットとの結合の度合を表すのが、結合係数（Ｔ）と呼
ばれているものであり、ｉ番］」の神経細胞ユニットと
ｊ番目の神経細胞ユニットの結合係数を、一般に、Ｔ、
ｊで表す。結合には、相手のニューロンからの信号が大
きいほど自分の出力が大きくなる興奮性結合と、相手の
信号が大きいほど自分の出力が小さくなる抑制性結合が
あり、Ｔｌｊ〉０が興奮性結合、Ｔ　ｔ　ｂ　＜　Ｏが
抑制性結合である。ｊ番目の神経細胞ユニットへの入力
は、〕番口の神経細胞ユニットの出力をｙ、とすると、
これにＴｌｊをかけたＴ、、ｙｔとして求められる゛。 前述のように、１つの神経細胞ユニットは多数の神経細
胞ユニットと結合しているので、それらの１ニツトに対
するＴ　Ｌ　５　ｙｔを足し合わせたもの、＝４＝ すなわち、ΣＴｉ、ｙ、が、ネットワーク内における１
つの神経細胞ユニットへの入力となる。これを内部電位
と言い、Ｕ、で表す。 ｕ、１＝ΣＴＬｊｙＬ　　　　　　　　　　　　　（１
）次に、この入力を非線形処理することで、その神経細
胞ユニットの出力とする。ここで用いる非線形関数を神
経細胞応答関数と呼び、次に示すような、シグモイド関
数ｆ　（ｘ）を用いる。 ｆ　　（ｘ）＝１／　（１＋ｅ−”）　　　　　　　　
　（２）第１５図は、このシグモイド関数を示す図であ
る。 上記神経細胞ユニットを、第１４図に示すような、ネッ
トワークに構成し、各結合係数を与え、式（１）、（２
）を次々と計算することにより、情報の並列処理が可能
となり最終的な出力が得られる。 第１６図は、上記ネットワークを電気回路で実現したも
のの一例を示す図で（特開昭６２−２９５１８８号公報
）、これは、ネットワークへの入力や出力の信号強度を
電圧で表し、上記神経細胞ユニット間の結合係数Ｔ、４
．の値を抵抗値で実現したものである。すなわち、第１
６図において、複数の増幅器７３は、反転量カフ３ａ及
び非反転出カフ３ｂとを有し、かつ、各増幅器７３の入
力には入力電流を供給する時定数手段７２を有しており
、更に、予め選ばれた第１の値又は予め選ばれた第２の
値であるコンダクタンス（Ｔ、ｊ）で前記増幅器の各々
の出力を前記入力に接続する相互接続７トリンクス７］
を有している。前記のＴｉＪはｉ番目の増幅器の出力と
ｊ番目の増幅器の入力との間の相互コンダクタンスを表
わし、前記コンダクタンスＴ１．は、回路網が平衡する
複数の極小値を作るように選ばれ、複数の極小値を持っ
たエネルギー関数を最小にするようにしている。結合係
数Ｔ１．が負の場合、負の抵抗値は実現できないので、
増幅器７３を用いて出力を反転させることでこれを実現
している。また、第１５図で示したシグモイド関数に相
当するものとして、増幅器７３を用いている。 次に、ネッ１へワークの学習機能について説明する。数
値計算で用いられている学習法則としては、パックプロ
パゲーションと呼ばれる次のようなものがある。 まず、各神経細胞ユニット間の結合係数をランダムな値
に設定しておく。この状態でネットワークに入力を与え
ると、その出力結果は必ずしも望ましいものではない。 そこで、このネットワークに正解（教師信号）を与えて
、再び同じ入力があったとき出力結果が正解となるよう
に、各結合係数を変化させる。例えば、第１４図に示し
たような階層型のネットワークにおいて、最終層（図の
右の１Ａ３）のｊ番目の神経細胞ユニットの出力をｙ、
とし、その神経細胞ユニットに対する教師信号をｄ、と
すると、 Ｅ＝Σ（ｄｊ−ｙ、）　２　　　　　　　　　　（３）
で表されるＥが最小となるように、 ΔＴｉＪ＝ａＥ／ａＴ０　　　　　　　　　　（４）を
用いてＴ、ｊを変化させる。具体的には、まず、次のよ
うに誤差信号δを求める。 δｓ＝　（ｄＪ　　ｙｊ）Ｘｆ’（ｕ、＋）　　　　　
　　（５）（出力層Ａ３） δ４＝ΣδｃＴｚＸ　ｆ’（ｕ＋） （Ａ３より前の層の中間層Ａ２）　　　　（６）ただし
、ｆ′はｆの一階微分である。これを用いて、　八ＴＬ
ｊ＝η（δ、ｙ、）＋αΔＴ、ｊＴ　ｃ４　＝Ｔ　ｔ、
１’　＋　Ｔ　ｔｊ（７）とすることで、Ｔ、を変化さ
せる。ただし、ΔＴ、ｊ’　、　Ｔ、Ｊ’はそれぞれ前
回の学習時の値である。また、ηは学習定数、αは安定
化定数と呼ばれているものであり、各々、理論的には求
められないので経験的に求める。このような方法で結合
係数を変化させる量を求めるアルゴリズムを、パックプ
ロパゲーションと呼んでいる。 このような学習を繰り返すことで、やがて、与えられた
入力に対して望ましい結果が得られるようなＴｉＪが決
定される。 第１７図〜第１９図は、このようなニューラルネットワ
ークをデジタル回路で実現した例を示す図で、第１７図
は、単一神経細胞の回路構成例を示す図で、８０はシナ
プス回路、８１は樹状突起回路、８２は細胞体回路を示
す。第１８図は、第１７図に示したシナプス回路８０の
構成例、第１９図は、第１７図に示した細胞体回路８２
の構成例を示す図で、第１８図中のｆは入力信号、Ｗは
重み付けの値、ａはフィードバック信号に掛ける倍率（
１または２）である。これは、神経細胞ユニットの入出
力をパルス列で表現し、そのパルス密度で信号の値を表
している。結合係数は２進数で取扱い、メモリ上に保存
している。入力信号をレートマルチプライヤ−のクロッ
クへ入力し、結合係数をシー１〜値へ入力することによ
って、入力信号のパルス密度をレート値に応じて減らし
ている。これは、バゾクプロパゲーシ囲ンモデルの式の
Ｔ□ｊｙＬの部分に相当する。また、次にΣＴ。 ａｙｔのΣの部分は、樹状突起回路８１によって示され
る○Ｒ回路で実現している。結合には興奮性、抑制性が
あるので、あらかじめグループ分けしておき、それぞれ
のグループ別にＯＲをとる。第１７図において、Ｆｌは
興奮性、Ｆ２は抑制性出力を示、す。この２つの出力を
、第１９図に示したカウンターのアップ側、ダウン側に
それぞれ入力してカウントすることで、出力が得られる
。この出力は２進数であるのでレートマルチプライヤ−
を用いて、パルス密度に変換する。この神経細胞ユニッ
トをネットワークにすることによって、ニューラルネッ
トワークが実現できる。学習機能は、ネットワークの最
終出力を外部のコンピュータに入力して、コンピュータ
内部で数値計算を行い、その結果を結合係数のメモリに
書き込むことによって実現している。 しかしながら、ニューラルネトワークの試みは、前述の
ように、計算機シミュレーションで行われているものが
多く、本来の機能を発揮するには、並列処理が必要であ
り、ネットワークのハードウェア化が必要である。 神経細胞ユニットのハードウェア化の試みは、はとんど
の場合アナログ回路で行わ九でおり、これらの回路には
以下のような問題点がある。 ■ネットワーク内部での信号の強度を電圧や電流などの
アナログ値で表し、内部の演算もアナログ的に行うため
、温度特性や、電源投入直後のドリフト等により、その
値が変化する。 ■ネットワークを構成するために多くの素子を必要とす
るが、それぞれの特性を揃えることは困難である。 ■１つの素子の精度や安定性が問題になると、それをネ
ットワークにした場合に新たな問題が起きる可能性があ
り、ネットワーク全体における動きが予想できない。 ■結合係数の値が固定であり、あらかじめシミュレーシ
ョンなど他の方法で学習させた値を使わざるを得す、自
己学習ができない。 一方、パックプロパゲーションを用いた学習方法を何ら
かの手段でハードウェア化しようとした場合、学習には
多量の四則演算が必要であり、実現が困難である。また
、学習方法そのものもハードウェア化に対しては不向き
である。 従来のデジタル回路によるネッＩ・ワークも、学習は外
部のコンピュータで行っており、従って、自己学習機能
は全くない。そのうえ、パルス密度の信号をカウンター
を用いて一旦数値に変換し、一］２ その後再びパルス密度に変換するため、回路の構成が複
雑なものになっている。 以上をまとめると、従来技術では次の欠点を有する。 ■ネットワーク内部の演算を行うアナログ回路は動作に
確実性がない。 ■数値計算による学習方法も計算が複雑であり、ハード
ウェア化に適さない。 ■デジタル方式の回路では、回路構成が複雑である。 ■ハードウェア」二で自己学習ができない。 且−一煎 上述のごとき実情に鑑みて、本出願人は、先に動作が確
実なデジタル回路を採用し、かつ、ハードウェア化が容
易でシンプルな信号処理、学習方法を提供し、かつ、実
際にハードウェア上で自己学習を実現することが可能な
信号処理回路を提案した。本発明は、その信号処理回路
において、入出力データをデジタル信号（パルス密度）
に限定せず、アナログ信号をも取り扱えるようにするこ
とによって、より使いやすい、汎用性の高い回路を実現
することを目的としてなされたものである。 青−一玖 本発明は、上記目的を達成するために、（１）結合係数
可変手段と、該結合係数可変手段の可変結合係数値を教
師信号に対する誤差信号に基づいて生成する結合係数生
成手段とにより自己学習手段を構成し、該自己学習手段
をデジタル論理手段を用いて神経細胞模倣素子に結合し
て神経細胞回路網を構成し、該神経細胞回路網にて信号
の処理を行うようにした信号処理方法において、アナロ
グ入力値を前記デジタル論理手段へのデジタル入力値に
変換する入力手段を有すること、或いは、（２）結合係
数可変手段と、該結合係数可変手段の可変結合係数値を
教師信号に対する誤差信号に基づいて生成する結合係数
生成手段とにより自己学習手段を構成し、該自己学習手
段をデジタル論理手段を用いて神経細胞模倣素子に結合
して神経細胞回路網を構成し、該神経細胞回路網にて信
号処理を行う信号処理方法において、前記神経細胞回路
網のデジタル出力値をアナログ出力値に変換する出力手
段を有すること、或いは、（３）結合係数可変回路と、
該結合係数回路の可変結合係数値を教師信号に対する誤
差信号に基づき生成する結合係数生成回路とよりなる自
己学習回路を付設した、デジタル論理回路を用いた神経
細胞模倣素子により構成された神経細胞回路網において
、アナログ入力値を前記デジタル論理回路へのデジタル
入力値に変換する変換回路を有し、該変換回路が２進数
の乱数を生成する乱数発生回路とデジタルコンパレータ
とから構成されること、更には、（４）前記（３）にお
いて、乱数発生回路の乱数生成を、信号処理装置全体の
同期クロックより少なくとも２倍大きな周波数で実行す
る切換え回路を有すること、或いは、（５）結合係数可
変手段と、該結合係数可変手段の可変結合係数値を教師
信号に対する誤差信号に基づき生成する結合係数生成手
段とよりなる自己学習手段を付設したデジタル論理手段
を用いた神経細胞模倣手段により構成された神経細胞ネ
ットワーク手段において、アナログ入力値を前記デジタ
ル論理手段へのデジタル入力値に変換する変換手段を有
し、該変換手段が２進数の乱数を生成する乱数発生手段
とデジタル比較手段とから構成されること、更には、（
６）前記（５）において、乱数発生手段の乱数生成を、
信号処理手段全体の同期クロックより少なくとも２倍大
きな周波数で実行する切換え手段を有することを特徴と
したものである。以下、本発明の実施例に基づいて説明
する。 最初に、本発明の基本的な考え方について説明すると、
本発明の基本的な考え方は、 ■神経細胞ユニットに関する入出力信号、中間信号、結
合係数、教師信号などはすべて、０．１の２値で表され
たパルス列で表す。 ■ネットワーク内部での信号の量は、パルス密度で表す
（ある一定時間内の「１」の数）。 ■神経細胞ユニット内での計算はパルス列同士の論理演
算で表す。 ■結合係数のパルス列は、神経細胞ユニット内のメモリ
上に置く。 ■学習は、このパルス列を書き換えることで実現する。 ■与えられた教師信号パルス列を元に誤差を計算し、こ
れに基づいて、結合係数パルス列を変化させる。このと
き、誤差の計算、結合係数の変化分の計算もすべて、Ｏ
ｌｌのパルス列の論理演算で行う。 ■上述の神経細胞ユニットにより構成したネットワーク
回路において、入出力信号としてアナログ信号を取り扱
うことができるようにする。 というものであり、以下実施例に基づき詳細に説明する
。 説明は、まず、デジタル論理回路を用いた神経細胞ユニ
ットとそのネットワーク回路による信号処理について行
い、次に、そのネットワーク回路へのアナログ信号の入
出力について行う。 ■　デジタル　理　　による　１　理 ［フォーワードプロセスにおける信号演算）第１図は、
１つの神経細胞ユニットに相当する部分を示す図で、ネ
ットワークの構成は、第１４図に示したような従来と同
じ階層型を用いる。 入出力はすべて○、１に２値化され、さらに同期化され
たものを用いる。入力ｙｊの信号の強度は、パルス密度
で表現し、例えば次に示すパルス列のように、ある一定
時間内にある、１の状態の数で表す。 入力信号　　−＝４／６　　（８） 同期信号　　＝Ｌ±」−「土」− これは４７６を表す信号を示しており、同期パルス６個
中に入力信号は１が４個、０が２個であることを表わし
ている。このとき、１とＯの並び方は後述するようにラ
ンダムであることが望ましい。 一方、結合係数Ｔｉｊも同様にパルス密度で表現し、０
と１パルス列としてあらしめメモリ上に用意しておく。 結合係数　　−−＝３／６　　（９） 同期信号　　−Ｌｌ」−１１１− これは３／６を表し、このときもＯと１の並び方はラン
ダムである方が望ましい。具体的な決め方は後述する。 そして、このパルス列を同期クロッりに応してメモリ」
二より順次読みだし、第１図のＡＮＤ回路により入力パ
ルス列とのＡＮＤをとる（ｙｔｎＴｔｊ）。これを神経
細胞ユニットｊへの入力とする。上記の例を用いて説明
すると、信号ｒｌｏ１１０１Ｊが入力された場合、これ
と同期してメモリ上より結合係数パルス列を呼び出し、
順次ＡＮＤをとることによって、 入力信号　−＝　４．　／　６ 結合係数　−＝３／６ ｙ　＋　ｎ　Ｔ　ｔ　ｓ　　　　　　　＝　２　／　６
　（１（）　）に示すようなパルス列（ビット列）ｒｌ
ｏｌｏｏｏＪが得られ、これは入力ｙ、がＴｏにより変
換され、パルス密度が２／６となることを示している。 ＡＮＤ回路の出力のパルス密度は、近似的には、入力信
号のパルス密度と結合係数のパルス密度の積となり、ア
ナログ方式における場合の信号の積と同様の機能を有す
る。これは、信号の列（パルス列）が長いほど、また、
１と０の並び方がランダムであるほど、数値の積に近い
機能になる。ランダムでないとは、１（またはＯ）が密
集（密接）していることを表す。 入力パルス列と比較して結合係数のパルス列が短く、読
み出すべきデータがなくなってしまった場合には、再び
結合係数のパルス列の先頭に戻って、読み出しを繰り返
す。 １つの神経細胞ユニットは多入力であるので、先に説明
した「入力信号と結合係数とのＡＮＤＪも多数あり、次
に、これらのＯＲをとる。入力は同期化されているので
、１番目のデータが「１０１０００Ｊ、２番目のデータ
がｒｏｌｏｏｏｏＪの場合、両者のＯＲは「１１１００
０Ｊとなる。 これを多入力同時に計算して出力とすると、次のように
なる。 ｙ、ｎＴ１．　　Ｌ」−一一一 ゥｃｎＴｃａ　　−［−一一一− Ｕ（ｙｔｎＴｃｔ）　　　　　　　　　　　　（１１）
この部分はアナログ方式における場合の信号の和のＨ１
算及び非線形関数（シグモイド関数）の部分に対応して
いる。パルス密度の和が低い場合、そのＯＲをとったも
ののパルス密度は、それぞれのパルス密度の和に近似的
に一致する。パルス密度が高くなるにつれて、ＯＲの出
力は徐々に飽和してくるので、パルス密度の和とは結果
が一致せず、非線形性がでてくる。ＯＲの場合、パルス
密度は１より大きくなることがなく、○より小さくなる
こともなく、また単調増加関数であるので、シグモイド
関数と近似的に同等となる。 さて、結合には興奮性と抑制性があり、数値計算の場合
には、結合係数の符号で表し、アナログ回路の場合、前
述したように、ＴＩＪが負となる場合（抑制性結合）に
は増幅器を用いて出力を反転させ、ＴＢに相当する抵抗
値で他の神経細胞ユニットへ結合させている。一方、本
発明では各結合を、Ｔ、ｊの正負により興奮性結合と抑
制性結合の２つのグループに分け、ついで、「入力信号
と結合係数のパルス列のＡ、　Ｎ　Ｄ　Ｊ同士のＯＲを
このグループ別に演算し、「興奮性グループの出力」が
１で「抑制性グループの出力」が０のときのみ１を出力
する。この機能を実現するためには、「抑制性グループ
の出力のＮ０ＴＪと「興奮性グループの出力」とのＡＮ
Ｄをとればよい。すなわち、興奮性グループの出力　−
Ｌ」−一一一上」−抑制性グループの出力　−」−Ｌ−
」−神経細胞ユニットの出力　　　　　　　　（□２）
となり、論理式で表現すると、 ａ＝ｕ（ｙｉｎＴｔｊ）　　（Ｔ−興奮性）　　　（１
３）ｂ＝Ｕ（ｙｉｎＴＬａ）　　（Ｔ−抑制性）　　　
（１４）ｙ、＝ａｎｂ　　　　　　　　　　　　　　　
　　（１５）と表される。 神経細胞ユニットのネットワークは、第８図に示したよ
うな、パックプロパゲーションと同様な階層型とする。 ネットワーク全体を同期させておけば、各層とも上述の
通りの機能で並列的に演算することが可能である。

【学習（パックプロパゲーション）における信号演算１ 以下の■または■により誤差信号を求め、ついで■で述
べる方法により結合係数の値を変化させる。 ■最終層における誤差信号 最初に、最終層の各神経細胞ユニットにおける誤差信号
を求める方法について説明する。本発明では誤差信号を
以下のように定義する。すなわち、誤差を数値で表すと
、一般には正負両方の値を取りうるが、パルス密度では
そのような表現はできないので、十戒分を表す信号と、
−成分を表す信号の２つを使って誤差信号を表現する。 出力信号　　　　　　　　　ｙ　　　　　（１６）教師
信号　　　　　　　　　ｄ　　　　（１７）つまり教師
信号パルスと出力信号パルスの違っている部分のうち、
教師信号側に存在するパルスを誤差信号子パルスとし、
逆に出力信号側に存在するパルスを、誤差信号−パルス
とする。換言す九ば、出力信号パルスに誤差信号子パル
スを付は加え、誤差信号−パルスを取り除くと、教師信
号パルスになる。 ■中間層における誤差信号 中間層の各神経細胞ユニットにおける誤差信号は、次の
ように求める。すなわち、１つ先の層（第１４図におけ
る最終層Ａ３）の各神経細胞ユニットにおける誤差信号
を集め、それを誤差信号とする。このことは、神経細胞
ユニット内での演算式（８）〜（１５）と同様な要領で
行うことができる。ただし、式（８）〜（１５）と異な
り、ｙは１つの信号であるのに対して、δは正、負を表
すために２つの信号を持ち、その両方の信号を考慮しな
ければならない。従って、Ｔ（結合係数）の正負、δの
正負の４つの場合に分ける必要がある。 まず、興奮性結合の場合を説明する。中間層のある神経
細胞ユニットについて、１つ先の層（第１４図における
最終層）の神経細胞ユニットでの誤差信号子と、その神
経細胞ユニットと自分（第１４図における中間層のある
神経＃Ｉ胞ユニット）との結合係数のＡＮＤをとったも
の（δ＋＋ｎＴｔＪ）を１つ先の層の各神経細胞ユニッ
トについて求めさらにこれら同士のＯＲをとる（Ｕ（δ
’　ｔ　ｎ　Ｔ　１．、））。 その結果を、この層の誤差信号子とする。すなわち、次
のように表される。 δ＋ｘ　ｎ　Ｔ　＋□ δ＋、＋　ｎ　Ｔ　Ｉ　Ｊ δ＋　　　　　　　　　　　　　　　　（２０）同様に
、１つ先の層の神経細胞ユニットでの誤差信号−を用い
ることで、この層の誤差信号−を求めることができる。 δ−□ｎ　Ｔｔ□ δ−４ｎＴ、ｊ 次に、抑制性結合の場合を説明する。１つ先の層の神経
細胞ユニットでの誤差信号−と、その神経細胞ユニット
と自分との結合係数のＡＮＤをどす、さらにこれら同士
のＯＲをとった結果を、この層の誤差信号子とする。す
なわち、 δ−４ｎＴ、□ δ−，＋　ｎ　Ｔ　ｔ　ｊ δ＋　　　　　　　　　　　　　　　　　　　（２２）
同様に、１つ先の層の神経細胞ユニットでの誤差信号子
を用いることで、この層の誤差信号−を求めることがで
きる。 δ＋１ｎＴｔｘ δ＋、ｎＴ工。 δ−（２３） １つの神経細胞ユニットから別の神経細胞ユニットへの
結合は、興奮性の場合と抑制性の場合をとりうるので、
式（２０）で求めたδ＋と式（２２）で求めたδ１のＯ
Ｒをとり、この神経細胞ユニツ１〜のδ＋とする。同様
に、式（２１）で求めたδ−と式（２３）で求めたδ−
のＯＲをとり、この神経細胞ユニットのδ−とする。 以上をまとめると、 δ＋＝（Ｕ（δ＋ｊｎＴｔ、＋））ｕ（ｕ（δ−ｊｎＴ
ｔａ））ｉＣ興奮性　　　　　ｉＣ抑制性 δ−＝（Ｕ（δ−ｊｎＴ１．１））Ｕ（Ｕ（δ＋ＪｎＴ
、、ｊ））ｊＣ＠奮性　　　　ｊＣ抑制性 となる。 さらに、学習のレートに相当する機能を設けてもよく、
学習レートが１以下のとき、さらに学習能力が高まる。 これは、パルス列の演算では、パルス列を間引くことで
実現できる。本実施例では、カウンター的な考え方をと
り１次のようなものにした。例えば、学習レート（η）
＝　（０，５）では、元の信号のパルス列を１つおきに
間引くものであるが、元の信号のパルスが等間隔でなく
ても、元のパルス列に対して、間引くことができる。以
下の（例１）及び（例２）は、間引きの例を示すもので
、共に、η＝０．５の場合は、パルスを１つおきに間引
くもの、η＝０．３３の場合は、パルスを２つおきに残
すもの、η＝０．６７の場合は、パルスを２つおきに１
回引くものである。 （例１） η＝０．６７の場合 （例２） η＝０．６７の場合 このようにして、誤差信号を間引くことによって、学習
レートの機能を実現する。 ■誤差信号より各結合係数を変化 次に、上記■または■により求めた誤差信号を用いて、
各結合係数を変化させる方法について説明する。 変化させたい結合係数が属している線（第１４図参照）
を流れる信号と誤差信号のＡＮＤをとる（δ、１ｎｙｃ
）。ただし、本実施例では誤差信号は十と−の２つの信
号があるので、それぞれを演算して求める。 ＝２８ δ＋ｊ　ｎ　ｙｌ　　　　　　　　　　　　　　−＋　
ΔＴ”　１ｊδ−、ｎｙ＋　　　　　　　　　　　　　
　　　→ΔＴ−０このようにして得られた２つの信号を
それぞれ八Ｔ＋１、八Ｔ−４，とする。 これらを元にして新しい結合係数Ｔ１．を求めるのであ
るが、本実施例におけるＴ工、の値は絶対値なので、元
のＴ４．が興奮性か、抑制性かで場合分けをする。 週１」Ｊυ１命 元のＴＩＪに対して、八Ｔ＋１．の成分を増やし、ΔＴ
−、、の成分を減らす。 八Ｔ−Ｉｊ 学習後のＴ　Ｌ　ｊ（２ｓ　） 仰邊１髪辺Ｊト庁 元のＴＬｊに対して、ΔＴ＋、ｊの成分を減らし、ΔＴ
−，Ｊの成分を増やす。 ΔＴ−１゜ 学習後のＴｌｊ　　　　　　　　　　　　　（２９）以
上の学習側に基づいて、ネットワーク全体の計算を行う
。 ■、アナログ舌１の入出力 【ネットワーク回路への入力】 前述の通り、ネットワーク回路の取り扱う信号はデジタ
ル信号（＝パルス列）なので、信号処理回路にアナログ
信号を入力するために、アナログデータを、密度を情報
としたパルス列に変換する。 これは、ネットワークの入力層（第１４図の左側の層Ａ
、）に属する神経細胞ユニットの信号入力部と、ネット
ワークの出力層（第１４図の右側の層Ａ３）に属する神
経細胞ユニットの教師信号の入力部に、各々変換ユニッ
１へを設けることで実現する。 その第１の例は、アナログ信号をコンパレータに入力す
るもので、該コンパレータの他の入力には、乱数値を入
力し、比較した結果をネットワーク回路の入力とする。 この乱数値は、トランジスタ等の熱雑音により生じる電
圧値を用いる。これを基準クロック数に相当する時間だ
け行うことで、入力アナログ電圧値に比例し、かつ、ラ
ンダムな間隔で存在するパルス列を得ることができる。 第２の例は、メモリを用いるもので、この場合、あらか
じめ、アナログ値に対応するパルス列データを、メモリ
に格納しておく。次いで、アナログ信号を通常のＡ／Ｄ
コンバータ等によりバイナリ、のデジタル信号に変換す
る。その結果をメモリの７１（レス信号として用いてデ
ータを読み出すことで、入力されたアナログ値に比例し
て、かつ、ランダムな間隔のパルス列を得ることができ
る。 第３の例は、Ａ／Ｄコンバータの出力をシリアルのパル
ス列に変換するもので、これは、疑似ランダムパルス発
生回路を用いれば、容易に実現できる。 【ネットワーク回路からの出力］ 入力の場合と同様に、ネットワーク回路からの出力は、
パルス密度を情報としたパルス列なので、これをアナロ
グ信号に変換する。これは、ネットワークの出力層（第
１４図の右側の層Ａ　ａ　）に属する神経細胞ユニット
の信号出力部に、各々変換ユニットを設けることで実現
する。 その第１の例について説明する。ネットワーク回路から
の出力は、ランダムな時間間隔で発生するパルスである
。従って、そのパルスを基準時間間隔だけカウンタに入
力することで、バイナリのデジタルデータに変換する。 そのデータを通常のＤ／Ａコンバータ等を用いることで
、容易にアナログ信号を得ることができる。通常はこの
動作を繰り返し行う。 第２の例は、ネットワーク回路のパルス密度出力を、そ
のまま用いる方法である。すなわち、パルス密度出力は
、換言すれば、周波数変調に相当するので、これも通常
のＦ／Ｖコンバータを用いることで、アナログ信号に容
易に変換できる。 第３の例も、パルス密度出力をそのまま用いる方法で、
これは、パルス出力を用いてＬＥＤ等を即動すると、基
準クロックを十分速くしておいた場合には、ＬＥＤの明
るさがパルス密度に比例するので、この方法により、出
力結果を直接アナログ信号として視認できる。これは、
出力結果を光信号に変換して伝送する等の広い応用が可
能である。 旦−」り１忽 第２図〜第１２図に、以上のアルゴリズムを基に、これ
を構成した回路を示すが、ネットワーク全体の構成は第
１４図と同様である。第１４図の線に相当する部分の回
路を第２図に示し、第１４図の丸（神経細胞ユニットＡ
）に相当する部分の回路を第３図に示す。また、最終層
の出力と教師信号とから最終層における誤差信号を求め
る部分の回路を第４図に示す。これらの３つの回路を第
１４図のようにネットワークにすることによって、自己
学習が可能なデジタル方式のニューラルネットワークが
実現できる。さらに、このネットワークに第５図〜第１
１図に示した入力部と、第１２図に示した出力部をそれ
ぞれ設けることで、アナログ信号を取り扱うことの可能
な信号処理回路が実現できる。 まず、第２図について説明する。１は神経細胞ユニット
への入力信号で式（８）に相当する。式（９）の結合係
数はシフトレジスタ８に保存しておく。端子８Ａがデー
タの取り出し口で、端子８Ｂがデータの入口である。こ
れはシフトレジスタと同様の機能を持つものであれば、
そのほかのもの、例えば、ＲＡＭ＋アドレスコントロー
ラ等を用いてもよい。回路９は式（１０）に相当する回
路で、入力信号と結合係数とのＡＮＤをとっている。こ
の出力は結合が興奮性か抑制性かによってグループ分け
しなければならないが、あらかじめそれぞれのグループ
への出力４．５を用意し、どちらに出すのかを切り替え
るようにした方が汎用性が高い。このため、結合が興奮
性か抑制性かを表すビットをメモリ１４に保存しておき
、回路１３で切り替える。各入力を処理する式（１１）
に相当するＯＲ回路が第３図の回＃Ｊ１６である。 さらに式（１２）で示した、興奮性グループが１で抑制
性グループが０の時のみ１を出力する回路が第３図の回
路１７である。 次に、誤差信号について説明する。第４図は最終層での
誤差信号を作る回路で、これは式（１６）〜（１９）に
相当する。最終層からの出力１及び教師信号２０より誤
差信号６．７を生成する。また中間層における誤差信号
を求める式（２０）〜（２３）を実現する回路を、第２
図の回路１０に示す。結合が興奮性か抑制性かで用いる
誤差信号が異なるので、その場合分けを行うのが第２図
の回路１２である。これ、は、あらかじめメモリ１４に
セットしたピッ１−により切り替える。また、誤差信号
を集める計算式（２４）は、第３図の回路１８で行Ａっ
れる。また学習レートに相当する式（２５）は、第３図
の分周回路１９で行われる。 次に、誤差信号より新たな結合係数を計算する部分につ
いて説明する。これは式（２Ｇ）〜（２９）で表され、
第２図の回路Ｊ１により行われるが、結合の興奮性、抑
制性によって場合分けしなければならないので、第２図
の回路１２でこれを実現している。 次に、上述のネットワーク回路にアナログ信号を入出力
する手段について説明する。 第５図は、アナログ信号の入力＠路を示す図で、第５図
（ａ）は、半導体の熱雑音を用いた回路２１を利用する
もので、これは、トランジスタ等の熱雑音出力２２をコ
ンパレータ２８に入力して信号処理回路への入力信号２
４と比較し、コンパレータ２３の出力２５を、ネットワ
ークへの入力とするものである。また、第５図（ｂ）は
、Ａ／Ｄコンバータ２７とメモリ２８を用いた回路２６
を用いるもので、まず、入力信号２４をＡ／Ｄコンバー
タ２７に入力し、変換後のバイナリデータをメモリ２８
のアドレス信号とする。すると、入力信号２４の値とメ
モリ２８のアドレスが一対一対応となり、あらかじめメ
モリ２８に格納しておいた、入力値に対応したパルス列
データを得ることができる。、Ａ／Ｄコンバータ２７の
前には、増幅器２９を適宜設けても良い。 第６図は、アナログ信号の入力回路の他の例を示す図で
、これは、Ａ／Ｄコンバータ（図示しない）によりＮビ
ットのバイナリデータに変換された入力データ３１と、
乱数発生器３２から出力されたＮビットのバイナリデー
タをＮビットマグニチュードコンパレータ３３にて比較
し、入力データの方が大きい場合に、Ｎビットマグニチ
ュードコンパレータ３３からＨｉｇｈを出力するもので
ある。乱数発生器３２は、同期クロックを入力する毎に
乱数を発生するので、すなわち、アナログ入力信号に比
例した、ランダムなパルス列を得ることができる。 乱数発生器３２は次のようにして実現することができる
。まず、第７図に示すような乱数発生器生成テーブルを
用意しておく。これは説明用であり、常に用意していな
くてよい。第７図で、原始多項式とは、生成される乱数
（Ｍ系列）を決定するもので、具体的には、フィードバ
ックする信号のデイレイ数を規定するものである。たと
えば、１　＋ｘ　＋　ｘ４は、デイレイ１−の出力とデ
イレイ４の出力の排他的論理和（Ｘ、　ＯＲ）を入力と
することを表わす。τｎは、生成される乱数の各ビット
を、Ｍ系列からどのようにとるかを規定している。 たとえば、３ビツトの乱数Ｒ，（＝Ｄ２（ＭＳＢ）。 Ｄｉ、Ｄｏ（ＬＳＢ））の場合、Ｄｌは、Ｄ２からτ、
だけデイレイした出力であり、ＤＯはＤｌからで２だけ
デイレイした出力であることを意味する。ここでは１つ
の原始多項式から乱数を求めているが、複数の原始多項
式を用いて乱数の各ビットを生成することもできる。第
８図は、上述のようにして乱数列ＲＯ，Ｒ１，，Ｒ２，
Ｒ３・・・が生成されるようすを示す。 第９図は、Ｍ系列の代表的実現方法を示す図で、この場
合、１＋ｘ＋ｘ’である。 第１−０図に、周期７、ピッ［・長３（値はＪ−〜７）
の乱数を生成する乱数発生回路の例を示す。 さて、本発明において、ネットワークへの入力値は、前
述のように、一定時間内のパルスの数、すなわち、パル
ス密度で表わされる。これは、基準となる同期クロック
の数二基準クロック数に対する入力データのパルス数の
割合で表わされる。 上述の乱数発生器を用いた場合、２ｎ−１＜基準クロッ
ク数＜２ｎ−１においても、パルス密度に変調した後の
出力パルスの数が入力データの値と完全に一致し、かつ
、同期を保つようにした例が第１１図の例である。動作
は次の通りである。まず、同期クロックがＯＲゲート５
１を通って乱数発生器３２に入力される。生成された乱
数はＮビットマグニチュードコンパレータ３３で入力デ
ータ３１と比較され、入力データの方が大きい場合には
、その出力と、ティレイ５２を通ってきた同期クロック
との論理積をＡＮＤゲート５３により得ることで出力を
得る。いま、生成された乱数が基準クロック数より大き
い場合には、Ｎビットマグニチュードコンパレータ５４
からＨｊ、ｇｈが出力される。５６は連続パルス発生器
であり、同期クロックの少なくとも２倍の周波数で動作
している。 従って、ＡＮＤゲー１−５５の出力は同期クロックより
早＜Ｈｉｇｈになり次の乱数の発生をうながす。 この動作を繰り返すことにより、上記の目的を達するこ
とができる。 第１２図は、アナログ信号の出力回路を示す図で、第１
２図（ａ）は、カウンタ６１とＤ／Ａ：］ンバータ６２
を用いた回路６０を用いるもので、ます、カウンタ６１
で出力パルスの数をカウントしてバイナリデータに変換
する。そのバイナリデータをＤ／Ａコンバータ６２に入
力することで、アナログ信号６３を得ることができる。 Ｄ／Ａコンバータ６２の後には、増幅器６４を適宜設け
ても良い。また、第１２図（ｂ）は、Ｆ／Ｖコンバータ
６６を用いた回路６５を用いるもので、このＦ／Ｖコン
バータ６６は、入力周波数に応じた電圧出力を発生する
もので、これにより、パルス密度に応したアナログ信号
６３を得ることができる。 同様に、Ｆ／Ｖコンバータ６６の後には、増幅器６４を
適宜設けても良い。さらに、第１２図（ｃ）は、パルス
出力を、光によるアナログ信号に変換する回路６７を用
いるもので、これは、パルス出力をドライブ回路６８を
介してＬ　Ｅ　Ｄ　６９に入力することで、Ｌ　Ｅ　Ｄ
　６９の明るさがパルス密度に比例した出力として得ら
れるものである。 なお、第２図乃至第１２図に、本発明をハード化した場
合の例について説明したが、これらは全体が１つのコン
ピュータ内に組み込まれていても、あるいは、一部のみ
・が組み込まれていてもよく、更にはそれぞれが単独の
機能をもって別個に構成されているものを組み合せて全
体を構成してもよいことは容易に理解できよう。 羞−一釆 以−ヒの説明から明らかなように、本発明によると、信
号処理回路への入力データ及び／又は出力データとして
アナログ信号が取り扱えるので、様々な機器への応用範
囲が拡大し、汎用性が高まる。

【図面の簡単な説明】

第１図は、神経回路ユニットの１つを示す図、第２図乃
至第１．２図は、各部の回路構成例を示す図、第１３図
乃至第１５図は、神経回路ユニットの動作原理を説明す
るための図、第１６図乃至第１９図は、従来の回路構成
例を示す図である。 １−・・入力信号、２．３．６．７・・誤差信号、４・
・・興奮性信号、５・・・抑制性信号、８・・シフ１ヘ
レジスタ、２０・・教師信号。 特許出願人　　株式、会社　リ　：１

Claims (1)

1. 【特許請求の範囲】 １、結合係数可変手段と、該結合係数可変手段の可変結
   合係数値を教師信号に対する誤差信号に基づいて生成す
   る結合係数生成手段とにより自己学習手段を構成し、該
   自己学習手段をデジタル論理手段を用いて神経細胞模倣
   素子に結合して神経細胞回路網を構成し、該神経細胞回
   網にて信号処理を行う信号処理方法において、アナログ
   入力値を前記デジタル論理手段へのデジタル入力値に変
   換する入力手段を有することを特徴とする信号処理方法
   。 ２、結合係数可変手段と、該結合係数可変手段の可変結
   合係数値を教師信号に対する誤差信号に基づいて生成す
   る結合係数生成手段とにより自己学習手段を構成し、該
   自己学習手段をデジタル論理手段を用いて神経細胞模倣
   素子に結合して神経細胞回路網を構成し、該神経細胞回
   路網にて信号処理を行う信号処理方法において、前記神
   経細胞回路網のデジタル出力値をアナログ出力値に変換
   する出力手段を有することを特徴とする信号処理方法。 ３、結合係数可変回路と、該結合係数回路の可変結合係
   数値を教師信号に対する誤差信号に基づき生成する結合
   係数生成回路とよりなる自己学習回路を付設した、デジ
   タル論理回路を用いた神経細胞模倣素子により構成され
   た神経細胞回路網において、アナログ入力値を前記デジ
   タル論理回路へのデジタル入力値に変換する変換回路を
   有し、該変換回路が２進数の乱数を生成する乱数発生回
   路とデジタルコンパレータとから構成されることを特徴
   とする信号処理装置。 ４、請求項３記載の乱数発生回路の乱数生成を、信号処
   理装置全体の同期クロックより少なくとも２倍大きな周
   波数で実行する切換え回路を有することを特徴とする信
   号処理装置。 ５、結合係数可変手段と、該結合係数可変手段の可変結
   合係数値を教師信号に対する誤差信号に基づき生成する
   結合係数生成手段とよりなる自己学習手段を付設したデ
   ジタル論理手段を用いた神経細胞模倣手段により構成さ
   れた神経細胞ネットワーク手段において、アナログ入力
   値を前記デジタル論理手段へのデジタル入力値に変換す
   る変換手段を有し、該変換手段が２進数の乱数を生成す
   る乱数発生手段とデジタル比較手段とから構成されるこ
   とを特徴とする信号処理方法。 ６、請求項５記載の乱数発生手段の乱数生成を、信号処
   理手段全体の同期クロックより少なくとも２倍大きな周
   波数で実行する切換え手段を有することを特徴とする信
   号処理方法。