JPH03268079A - 信号処理装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 妓１Ｌ分野− 本発明は、信号処理装置、より詳細には、神経回路網を
模倣したニューラルコンピュータに関し、例えば１文字
や図形認識、ロボットなどの運動制御、連想記憶等に応
用して好適なものである。

従−來−技薯 生体の情報処理の基本的な単位である神経細胞にューロ
ン）の機能を模倣し、さらに、この「神経細胞模倣素子
」をネットワークに構成して、情報の並列処理をめざし
たものが、いわゆるニューラルネットワークである。文
字認識や、連想記憶、運動制御等、生体ではいとも簡単
に行われていても、従来のノイマン型コンピュータでは
なかなか達成できないものが多い。生体の神経系、特に
生体特有の機能、すなオ）ち並列処理、自己学習等を模
倣して、これらの問題を解決しようとする試みが盛んに
行オ）れている。しかしながら５これらの試みは、計算
機シミュレーションで行われているものが多く、本来の
機能を発揮するには、並列処理が必要であり、そのため
にけニューラルネットワークのハードウェア化が必要で
ある。一部では、既にハードウェア化の試みも行われて
いるが、ニューラルネットワークの特徴の１つである自
己学習機能が実現できず、大きなネックになっている。

また、はとんどのものはアナログ回路で実現されており
、動作の点で問題がある。

第７図は、従来のニューラルネットワークのモデルにつ
いて説明するための図で、図中、Ａは、１つの神経細胞
ユニットを表し、第８図は、それをネットワークに構成
したもので、Ａ、、Ａ２゜Ａ３は、それぞれ神経細胞ユ
ニットを表わす、１つの神経細胞ユニットは、多数の他
の神経細胞ユニットと結合しており、それらから受けた
信号を処理して出力する。第８図の場合、ネットワーク
は階層型であり、神経細胞ユニットＡ２は、１つ前の層
の神経細胞ユニットＡ８より信号を受け、１つ先の層（
図中右側）の神経細胞ユニットＡ。

へ出力する。

最初に、第７図に示した神経細胞ユニットＡについて説
明すると、１つの神経細胞ユニットと他の神経細胞ユニ
ットとの結合の度合を表すのが、結合係数（Ｔ）と呼ば
れているものであり、ｉ番目の神経細胞ユニットとｊ番
目の神経細胞ユニットの結合係数を、一般に、ＴＬＪで
表す。結合には、相手のニューロンからの信号が大きい
ほど自分の出力が大きくなる興奮性結合と、逆に、相手
の信号が大きいほど自分の出力が小さくなる抑制性結合
があり、Ｔｌｊ＞Ｏが興奮性結合、ＴｔＪく０が抑制性
結合である。自分がｊ番目のユニットの時、ｉ番目のユ
ニットからの入力をｙｌとすると、これにＴｌＪをかけ
たＴＩｊｙｌが自分のユニットへの入力となる。前述の
ように、１つの神経細胞ユニットは多数の神経細胞ユニ
ットと結合しているので、それらのユニットに対する’
ｒ、ｊｙ、を足し合わせたもの、すなわち、ΣＴＬＪｙ
１が、自分のユニットへの入力となる。これを内部電位
と言い、Ｕ、で表す。

ｕｊ＝ΣＴｔｊｙｔ　　　　　　　　　　　　　　（１
）次に、この入力に対して非線形な処理をして出力する
。その時に関数を神経細胞応答関数と呼び、非線形関数
として次に示すような、シグモイド関数ｆ（ｘ）を用い
る。

ｆ　　（ｘ）＝１／　（１＋ｅ−”）　　　　　　　　
　（２）第９図は、このシグモイド関数を示す図である
。

上記神経細胞ユニットを、第８図に示すような、ネット
ワークに構成し、各結合係数を与え１式（１）、（２）
を次々と計算することにより、最終的な出力が得られる
。

第１０図は、上記ネットワークを電気回路で実現したも
のの一例を示す図で（特開昭６２−２９５１８８号公報
）、これは、ネットワークへの入力や出力の信号の強度
を電圧で表し、結合係数を抵抗値で実現している。すな
わち、第１０図において、複数の増幅器３３は、反転出
力３３ａ及び非反転出力３３ｂを有し、かつ、各増幅器
３３の入力には入力電流を供給する手段３２を有してお
り、予め選ばれた第１の値又は予め選ばれた第２の値で
あるコンダクタンス（ＴＩＪ）で前記増幅器の各々の出
力を前記入力に接続する相互接続マトリックス３１を有
している。前記のＴＬＪはｉ番目の増幅器の出力とｊ番
目の増幅器との入力との間の相互コンダクタンスを表わ
し、前記コンダクタンスＴＬ、は、回路網が平衡する複
数の極小値を作るように選ばれ、複数の極小値を持った
エネルギー関数を最小にするようにしている。結合係数
Ｔ１Ｊが負の場合、負の抵抗値は実現できないので、増
幅器３３を用いて出力を反転させることでこれを実現し
ている。また、第９図で示したシグモイド関数に相当す
るものとして、増幅器３３を用いている。

しかしながらこれらの回路には以下のような問題点があ
る。

■信号の強度を電位や電流などのアナログ値で表し、内
部の演算もアナログ的に行わせる場合、温度特性や、電
源投入直後のドリフト等により、その値が変化する。

■ネットワークであるから、素子の数も多く必要である
が、それぞれの特性を揃えることは困難である。

■１つの素子の精度や安定性が問題になったとき、それ
をネットワークにしたとき、新たな問題が起きる可能性
があり、ネットワーク全体でみたときの動きが予想でき
ない。

■ＴＬｊが固定であり、あらかじめシミュレーションな
どの他の方法で学習させた値を使うしかなく。

自己学習ができない。

一方、数値削算で用いられている学習法則としては、パ
ックプロパゲーションと呼ばれる次のようなものがある
。

まず、各結合係数は、最初ランダムに与えておく。この
状態で、入力を与えると、出力結果は、必ずしも望まし
いものではない、例えば、文字認識の場合、手書きの「
］−Ｊの字を与えた場合、出力結果として、０′この文
字は「１」である。」とでるのが、望ましい結果である
が、結合係数が。

ランダムであると、必ずしも望ましい結果とはならない
。そこで、このネットワークに正解（教師信号）を与え
て、再び、同じ人力があったとき正解になるように、各
結合係数を変化させる。このとき、結合係数を変化させ
る量を求めるアルゴリズムが、パックプロパゲーション
と呼ばれているものである。

まず、最終層の５番１〕のニューロンの出力をｙ、とし
、そのニューロンに対する教師信号をｄ。

とすると、 Ｅ＝Σ（ｄｊ−ｙＪ）　２　　　　　　　　　　（３）
で表されるＥが最小となるように、 を用いて、Ｔ、を変化させる。さらに具体的に説明する
と、まず、出力層と、その１つ前の層との結合係数を求
める場合には、 δ、：　（ｄｊ−ｙ、）Ｘｆ’ｃｕＪ）　　　　　　（
５）を用いてδ　（誤差信号）を求め、それよりさらに
前の暦同士の結合係数を求める場合には、δ、＝ΣδＬ
　Ｔ　ｔ　ｓ　Ｘ　ｆ　’　（ｕ　ｔ　）　　　　　　
　　　（６）を用いて、δ　（誤差信号）を求め、 Δ１゛□、＝η（δ１ｙ□）→−αΔ’Ｉ’　ｔ　Ｊ（
前回の学習時） Ｔ、、＝Ｔ、Ｊ＋ΔＴＩＪ　　　　　　　　　　（７）
を求めて、Ｔ１を変化させる。ここで、ηは学習定数、
αは安定化定数と呼ばれているものである。

それぞれ、理論的には求めることができないものであり
、経験的に求める。

この学習を何回も繰り返すうちに、やがて、与えられた
人力に対して、望ましい結果が得られるようなＴＩＪが
決定される。

さて、この学習方法を何らかの方法でハードウェア化し
ようとした場合、学習には、多量の四則演算が必要であ
り、実現が困難である５学習方法そのものもハードウェ
ア化に対しては不向きである。

第１１図乃至第１３図は、このようなニューラルネット
ワークをデジタル回路で実現した例を示す図で、第１１
図は、単一の神経細胞回路構成例を示し、４０はシナプ
ス回路５４１は樹状突起回路、４２は細胞体回路である
。第１２図は、第１１図に示したシナプス回路４０の構
成例、第１３図は、第１１図に示した細胞体回路４２の
構成例を示す図で、第１２中のｆは入力信号、Ｗは重み
付けの値、ａはフィードバック（８号に掛ける倍率（１
または２）である。これは、神経細胞ユニットの人出力
信号をパルス列で表現し、信号の値をパルス密度で表し
ている９結合係数は２進数で取扱い、メモリヒに保存し
ている。信号演算処理は次のように行う。まず、入力信
号をレートマルチプライヤ−〇クロックへ入力し、結合
係数をレート値へ入力することによって５　人力信号の
パルス密度をレート値に応して減らしている。これは、
前述のパックプロパゲーションモデルの弐ＴＩＪｙＩの
部分に相当する。次にΣＴｔ、＋３’＋のΣの部分は、
樹状突起回路４１によって示されるＯｒ＜回路で実現し
ている。結合には興奮性、抑制性があるので、あらかし
めグループ分けしておき、それぞれのグループ別にＯＲ
をとる。第１１図において、Ｆ□は興奮性、ド、は抑制
性出力を示す。この２つの出力を、第１３図に示したカ
ウンターのアップ側、ダウン側にそれぞれ人力してカウ
ントすることで、出力が得られる。この出力は２進数で
あるので再びレートマルチプライヤ−を用いて、パルス
密度に変換する。このユニットをネットワークにするこ
とによって、ニューラルネットワークが実現できる。学
習については、最終出方を外部のコンピュータに入力し
て、コンピュータ内部で数値計算を行い、その結果を結
合係数のメモリに書き込むことによって実現している。

従って自己学習機能は全くない。又、回路構成も、パル
ス密度の信号をカウンターを用いて一旦数値に直し、そ
の後再びパルス密度に直しており、複雑なものになって
いる。

以上をまとめると、従来技術では次のような欠点を有し
ている。

■ネットワーク内部の演算を行うアナログ回路は、動作
に確実性がない。

■数値計算による学習方法も計算が複雑であり、ハード
ウェア化に適さない。

■従来のデジタル方式の回路では、回路構成が複雑であ
る。

■ハードウェア上で自己学習ができない。

■−−カ 本発明は、上述のごとき実情に鑑みてなされたもので、
特に、動作が確実なデジタル回路を採用し、かつ、ハー
ドウェア化が容易なシンプルな信号処理、学習方法を提
供し、かつ、実際にハードウェア上で自己学習を含めて
実現することを目的としてなされたものである。

隻−一双 本発明は、上記目的を達成するために、結合係数可変手
段と、この結合係数可変手段の可変結合係数値を教師信
号に対する誤差信号に基づいて生成する結合係数生成手
段とにより自己学習手段を構成し、該自己学習手段をデ
ジタル論理回路を用いて神経細胞模倣素子に付設して複
数の神経細胞模倣回路を網上に接続した信号処理回路網
を有し、該信号処理回路網を少なくとも２以上もって構
成されることを特徴としたものである。以下、本発明の
実施例に基づいて説明する。

最初に５本発明の基本的な考え方につ６ｓで説明すると
、本発明の基本的な考え方は、 ■入出力信号、中間信号、結合係数、教師信号などは、
すべて、０．１の２値で表されたパルス列で表現する。

■信号の景は、パルス密度で表す（信号中の「１」の数
）。

■神経細胞ユニット内での計算はパルス列同士の論理演
算で行う。

■結合係数のパルス列は２メモリに格納する。

■学習は、このパルス列を書き換えることで実現する。

■学習については、与えられた教師信号ノ（ルス列を元
に誤差を計算し、これに基づいて、結合係数パルス列を
変化させる。

このとき、￥Ａ差の計算、結合係数の変化分の計算もす
べて、０．１のパルス列の論理演算で行う。

というものであり、以下、これを具体化した実施に基づ
いて詳細に説明する。

信号−遺尊皇女一 第１図は、１つの神経細胞に相当する部分で、それをネ
ットワークにしたものは、第８図に示したように、従来
と同じ階層型を用いる。このネットワー°りを複数用意
し、各ネットワークに信号を入力する。入出力はすべて
１、Ｏに２値化されたものを用い、入力ｙ、の信号の強
度は、各ネットワークへ入力した信号のうち１の数で表
わす。

入力信号　ｙｔ　　　　　　　　＝４／６　　（８）こ
れは４／６を表す信号を示したもので、信号６個中に１
が４個、０が２個であることを表わしている。このとき
、１と０の並び方は後述するようにランダムであること
が望ましい。この信号に、第２図に示すように、１〜６
の番号をっけ、それぞれ同じ番号のネットワークへ入力
する。このとき入力は同時に行った方が処理速度は速く
なる。

一方、結合係数１゛１Ｊも同様にパルス密度で表現し、
０と１のビット列としてあらかじめ各ネットワーク上の
メモリに用意しておく。

これは、ｒｌｏｌｏｌｏＪ　＝３／６を表し、このとき
も０と１の並び方はランダムである方が望ましい。具体
的にどうやって決めるかは後述する。

そして、このビット列を同期クロックに応じてメモリ上
より）＠次読みだし、第１図のＡＮＤ回路により入力パ
ルス列とのＡＮＤをとる（ｙｔｎＴｔｊ）−これを神経
細胞ｊへの入力とする。今までの例を用いて説明すると
、入力信号がｒｌ　Ｏ１１０１Ｊと入力されたとき、こ
れと各ネットワーク］二のメモリよりビット列を呼び出
し、ＡＮＤをとることによって。

入力信号ｙ　＋　　　　　　　　　　”　４　／　６結
合係数’ｒ、　　　　　　　　　　＝３／６に示すよう
なｒｌｏｌｏｏｏＪが得られ、これは入力ｙ□がＴｔＪ
により変換されパルス密度が２／６となることを示して
いる。ＡＮＤ回路の出力パルス密度は、近似的には入力
信号のパルス密度と結合係数のパルス密度の積となり、
アナログ方式の結合係数と同様の機能を有する。これは
、信号の列が長いほど、また、］と０の並び方がランダ
ムであるほど、積に近い機能になる。

１つの神経細胞ユニットは多入力であるので、先に説明
した「入力信号と結合係数とのＡＮＤＪも多数あり、次
に、これらのｏ　Ｒをとる。人力は同期化されているの
で、１番目のデータが［１０１０００４，２番目のデー
タがｒｏｌｏｏｏｏＪの場合、両者のＯＲはｒｌｌｌｏ
ｏｏＪとなる。

これを多入力同時に計算し出力とする。入力数をＱ個と
すると。

ｙ、ｎ　Ｔｏ、　　ニー」−一一− ｙ　ａ　ｎ　Ｔ　＊、−」−□−−− Ｕ（ｙ、ｎＴ１．）」」」−一一−−−−−−（１１）
となる。この部分はアナログ創立における和の計算及び
非線形関数（シグモイド関数）の部分に対応している。

パルス密度が低い場合、そのＯＲをとったもののパルス
密度は、そ才りぞれのパルス密度の和に近似的に一致す
る。パルス密度が高くなるにつれて、ＯＲの出力はだん
だん飽和してくるので、パルス密度の和とは結果が一致
せず、非線形性がでてくる。ＯＲの場合、パルス密度は
１より大きくなることがなく、Ｏより小さくなることも
なく、また単調増加関数であり、シグモイド関数と近似
的に同様となる。

さて、結合には興奮性と抑制性があり、数値計算の場合
には、結合係数の符号で表す。アナログ回路では、′ｒ
１．が負となる場合（抑制性結合）、増幅器を用いて出
力を反転させ、’ｒ、に相当する抵抗値で他の神経細胞
へ結合させている。一方、本発明では、まずＴ４．の正
負により各結合を興奮性結合と抑制性結合の２つのグル
ープに分け、ついで、「入力信号と結合係数のパルス列
のＡ　Ｎ　Ｉ）　Ｊ同士のＯＲをこのグループ別に計算
する。そして、興奮性グループの出力が１のとき出力を
出し、抑制性グループの出力が１のとき出力を出さなし
Ｘようにする。例えば、興奮性グループの出力が１で抑
制性グループの出力がＯのときのみ出力を出す。

あるいは、興奮性グループの出力がＯで抑制性り”ルー
プの出力が１のとき以外出力を出す。この機能を実現す
るためには、前者の場合、興奮性グループの出力と「抑
制性グループの出力のＮ　ＯＴ　ＪとのＡＮＤをとれば
よく式（（１２）〜（１５））。

後者の場合「抑制性グループの出力のＮ　ＯＴ”　Ｊと
興奮性グループの出力とのＯＲをとればよい（式（１６
）〜（１９））。これは、第１図のｇの部分に相当する
。

興奮性グループの出力　し」−−−１−１−抑制性グル
ープの出力　」−１−−１−出力 ｍ　、−−−〜−」−−一一一（１２）となり、これを
論理式で表現すると。

ｙｊ＝ａｌｌｂ と表される。また、後者の場合 （］、　Ｆｉ　） 興奮性クループの出力　・Ｌ」−一〜−１１．−抑制性
グループの出力　−Ｌ」−」− となり、これを論理式で表現すると、 ａ＝Ｕ（ｙｔｎＴｔａ）　　（Ｔ＝興奮性）（１７） ｉＣ興奮性 ｙ　ｔ　＝　ａ　Ｕ　ｂ　　　　　　　　　　　　　　
　（１９）となる。

神経細胞ユニットのネットワークは、第８図に示したよ
うな階層型とする。ネットワーク全体を同期させておけ
ば、各層ともいままで述べてきた機能で計算することが
可能である。

笠■称 ■最終層における誤差信号 まｆ、８１層の各ニューロンにおける誤差信号を計算す
る。本発明では誤差信号を以下のように定義する。誤差
を数値で表すと、一般には＋−の両方を取りうるが、パ
ルス密度では、正、負の両方を同時に表現できないので
、十戒分を表す信号と、−成分を表す信号の２つを使っ
て誤差信号を表現する。

出力結果ｙ、　　　　　　　　’　　　　　（２０）教
師信号ｄ、　　　　　　　　　　　　（２１）つまり誤
差信号１δ１．は、教師信号ｄ、と出力信号ｙ、の追っ
ている部分（１，０又は０．１）の内、教師信号ｄ、側
に存在する信号であり、誤差信号δ−４は同様に出力ｙ
４側に存在する信号である。つまり、出力信号ｙ、に誤
差信号゛δ１．を付は加え、誤差信号−δ′４を取り除
くと、教師信号ｄ。

になるようになっている。この誤差信号δ１１、δ゛、
から新しい結合係数Ｔｔｊを求める方法については後述
する。

■中間層における誤差信号 さらに誤差信号を逆伝播させ、最終層とその１つ前の層
との結合係数だけでなく、更にその前の層の結合係数も
変化させる。そのため、中間層における各ニューロンで
の誤差信号を計算する必要がある。中間層のあるニュー
ロンから、さらに１つ先の層の各ニューロンへ信号を伝
播させたのとはちょうど逆の要領で、１つ先の層の各ニ
ューロンにおける誤差信号を集めてきて自分の誤差信号
とする。このことは、神経細胞ユニット内での演算の式
（８）〜（１９）と同じ様な要領で行うことができる。

すなわち、まず、結合を興奮性か抑制性かによって、２
つのグループに分け、かけ算の部分はＡＮＤで、Σの部
分はＯＲで表現する。

但し、神経細胞ユニット内での式（８）〜（１９）では
、Ｙｔは常に正の値であるので、１つの信号であるのに
対して、δ、は正、負を表す信号として２つの信号を持
ち、その両方の信号を考慮する必要がある。したがって
、ＴｌＪの正負、δ、の正負の４つに場合分けする必要
がある。

まず、興奮性結合の場合を説明すると、１つ先の層のに
番目のニューロンでの誤差信号′（δ１．）とそのニュ
ーロンと自分との結合係数（’ｒ　Ｊ　ｋ）のＡＮＤを
取ったも（７）　（５”　ｉｎ　Ｔｊｉ）を各ニューロ
ンについて求め、さらにこれら同士のＯＲをとる（Ｕ　
（δ“ｈｎ’ｒＪ、）　、そしてこれを、この層の誤差
信号１δ１．とする。１つ先の層のニューロンをｎ個と
すると、 δ”　１　ｎＴＪＩ　　　　　　　　　＝　Ｅ　”　Ｊ
ｌδ□ｎＴＪ、ｕｋ−±−三Ｅ＋１ 又、１つ先の誤差信号゛δ　、と結合係数ＴＪｋのＡＮ
Ｄをとり、さらにこれら同士のＯＲをとることによって
、同様に、この層の誤差信号−δ　、とする。

δ−ｘｎＴｘｚ　　−ｍ−ＬＬ−−ミＥ−Ｊｌδ−０′
吋、。Ｌ−−ユーヨ。、、９ 次に、抑制性結合の場合を説明すると、１つ先の誤差信
号−δ−３と結合係数ＴＪｋのＡＮＤをとり、さらにこ
れら同士のＯＲをとり、この層の誤差信号１δ１．とす
る。

５−０ｎ’ｒ、、　　　　　　　ＥＥ・４゜δ−０ｎＴ
・。ＪＪ　−−１−＝Ｅ’・・又、１つ先の誤差信号゛
δ□と結合係数′ｒ４．のＡＮＤを取り、さらにこれら
同士のＯＲをとる。

そしてこれをこの層の誤差信号−δ“、とする。

、・ｘｎＴｓｘ−一ユニー−１ δ・。ｎＴａ。　　　　　　　：ＥＥ １一つのニューロンから別のニューロンへ１１興奮性で
結合しているものもあれば、抑ル１１性で結合している
ものもあるので、式（２４）で求めたδ３゜と５式（２
６）で求めたδ０．のＯＲをとり、このニューロンのδ
０．とする。同様【こ、式（２５）で求めたδ゛此、式
（２７）で求めたδ　、の○■くをとり、このニューロ
ンのδ′、とする。以上をまとめると、 δ’＊＝（ｔＪ（δ”　ｈｎＴｊｋ））Ｕ（Ｕ（δ−、
ｎ”ｒａｉ））ｋＥ興舐性　　　　　ｋＣ抑制性 δ　、＝（Ｕ（δ−，ｎＴｊｍ））ｕ（ｕ（δ”ｈｎＴ
ｊｍ））ｋＣ興奮性　　　　　ｋＥ抑制性 （２８） あるいは、 δ□＝　Ｕ　Ｅ　’　ｊｋ δ　Ｊ”　Ｕ　Ｅ）ｈ　　　　　　　　　　　　（２８
’）ただし、Ｅ′、＝δ＋ｋｎ　Ｔ　Ｊ　ｋ（Ｔ　Ｊ　
−＝興奮性）＝δ−＊　ｎＴ　Ｊ　ｈ　（Ｔ　Ｊ　ｋ＝
抑制性）Ｅ　ｊ、＝δ−＊ｎＴｊｍ　（ＴＪｍ＝＝ｎ奮
性）＝δ”　＊ｎ　ＴＪｈ　（Ｔａｉ＝抑制性）となる
。

さらに、学習のレートに相当する機能を設けてもよい、
数値計算に於いてレー１〜が１以下のとき、さらに学習
能力が高まる。これは、パルス列の演算では、パルス列
を間引くことで実現できる。これは、カウンター的な考
え方をし、次のようなものにした。例えば、学習レー１
へ（η）＝０．５では１元の信号のパルス列配１つおき
に間引けばよい。これは各ネットワークを順番にスキャ
ンしていって１つおきに間引いても良いし、各ネットワ
ーク毎に、出力が１の時は確率１／２で出力を出しても
良い。次の（例１）において、η＝０．５の場合は、パ
ルスを１つおきに間引くもの、η＝０．３３の場合は、
パルスを２つおきに残すもの、ｒｔ＝０．６７の場合は
、パルスを２つおきに１回引くものである。

（例１） 元の信号 η＝０．５の場合 り一一一一一一一一」−□　η＝０．３３の場合ＬＬ−
−−」−１−−η＝０．６７の場合（２９） このようにして、誤差信号を間引くことによって、学習
レートの機能をもたせる。

■誤差信号より各結合係数を変化 いままで述べてきた方法により誤差信号を求め、各結合
係数を変化させるのであるが、それについて次に述べる
。

まず、変化させたい結合係数が属しているラインを流れ
る信号と誤差信号のＡＮＤをとる（δａｎ、Ｖ＋）。但
し、本発明では誤差信号は十と−の２つの信号があるの
で、それぞれ計算する。

δ”ａｎｙｔ　　　　　　　　　　　　　：ｌ：Δ＜１
−＋、ｊ（３０） δ−Ｊ　ｎ　ｙｔ−上−−，１−＝ΔＴ−１゜（３１） この様にして得られた２つの信号をΔＴｌｊとする。本
発明に於けるＴ　ｒ　４は、絶対値成分であるので５元
のＴＩＪが興奮性か、抑制性かで場合分けをし、あらた
なＴｏを求める。

興奮性の場合 元のＴｉ、に対して、ΔＴ　’　ｉ　Ｊの成分を増やし
、ΔＴ′４．の成分を減らす。

抑制性の場合 元のＴＬＪに対して、ΔＴ’　ｌｊの成分を減らし、Δ
Ｔ　’　Ｌ　ｊの成分を増やす。

以上の学習側にもとづいて、ネットワークの計算をする
。

皿−椿 第３図乃至第５図は、以上のアルゴリズムをもとに、こ
れを実際の回路にしたものの例を示す図で、ネットワー
ク全体の図は第８図と同様で、第８図の線に相当する部
分の回路を第３図に、また第８図の丸に相当する部分を
第４図に、又、最終層の出力と教師信号から最終層にお
ける誤差信号を求める部分を第５図に示す。これらの３
つの回路を第８図のようにネットワークにし、さらに同
し構成のネットワークを複数個用意することによって、
自己学習が可能なデジタル方式のニューラルネットワー
クが実現できる。

まず、第３図から説明すると、１はニューロンへの入力
信号で式（８）のｙｌに相当する。式（９）の結合係数
ＴＬＪは、シフトレジスタ８に保存しておく、８Ａが取
り出し口で、８Ｂが入口である。シフトレジスタと同様
の機能を持つものであれば、そのほかのもの、例えば、
ＲＡＭ＋アドレスコントローラ等でもよい。第３図の９
は式（１０）に相当する回路で、入力信号と結合係数と
のＡ　Ｎ　Ｄ　（ｙ　ｚｎ　Ｔｉｊ）を取っている。こ
の出力は結合が興奮性か抑制性かによってグループ分け
しなければいけないが、あらかじめそれぞれのグループ
への出力４にｙＦい興奮性）、５（ｙＩい抑制性）を用
意し、どちらに出すのかを切り替えるようにした方が汎
用性が高い。このため、結合が興奮性か抑制性かを表す
ビットをメモリ１４に保存しておき、回路１３で切り替
える。

各入力を処理する式（１１）に相当するＯＲ回路が第４
図の回路１６である。さらに式（１２）の興奮性グルー
プが１で、抑制性グループがＯの時のみ出力を出す回路
が第４図の回路１７である。

また、式（１６）の場合に於いても同様に論理回路で容
易に実現できる。

次に、誤差信号について説明する。最終層での誤差信号
を作るのが第５図である。これは式（２０）〜（２３）
に相当する。最終層からの出力１及び教師信号２０より
誤差信号６，７を作る。

中間層における誤差信号を計算する式（２８’）のうち
Ｅ’Ｊ、　Ｅ’、を求める部分を回路にしたのが、第３
図の回路１０である。結合が興奮性か抑制性かで場合分
けをするので、それを行うのが回路１２であり、あらか
じめ回路１４にセットされたビットにより切り替える。

又、式（２８’）の残りの部分が、第４図の回路１８で
ある。又、学習レートに相当する式（２９）の部分が第
４図の回路１９である。これは入力が１の時確率が１／
２で１を出力するものである。これは、乱数の発生源と
してトランジスタの熱台を用い、これとある電圧値とを
コンパレータによって比較することにより容易に実現で
きる。そのほかの手段として、カウンター等を用いた疑
似乱数発生回路を利用しても良い。

ｎ貫 さきに説明したネットワークを用いた自己学習式文字認
識装置について説明する。まず、手書き文字をスキャナ
ーで読み取り、これを第６図に示すように、１６Ｘ１６
のメツシュにわけ、文字部分のあるメツシュを１．ない
メツシュをＯとした。

このデータ（２５６個）をネットワークに入力し、出力
は５つあるユニットのうちで一番大きい出力のものの位
置が、認識結果となるようにした。そのため、「１」〜
「５」までの数字を入力したときその数字に対応する番
号の出力が一番大きくなるように学習させた。ネットワ
ークの構成は、第１層目が２５６個５第２層目が２０個
、第３層目が５個の神経細胞ユニットからなる。このう
ち、第１層目は何もしないので不要である。

また、各信号はデータを１２８ビツトとしたので同し構
成のネットワークを１２８組用意した。

最初、各結合係数はランダムとしておくと、出力結果は
必ずしも所望のものではない。

この回路の自己学習機能を用いて、各結合係数を新たに
求め、これを何回か繰り返すことによって、所望の出力
が得られるようにする。この実施例では、入力はＯ力弓
であるので、入力パルス列は常にｒ、　ｏ　ｗレベル、
又はＩ−Ｉ　Ｉ　Ｇ　Ｈレベルの単純なものである。又
出力はトランジスタを介して、ＬＥＤと結び、ＬＯＷレ
ベルのとき消灯、ＨＩ　ＧＩ−ルベルのとき点灯とした
。５回の出力毎に１−２８個のネットワークのＬ　Ｅ　
Ｄを束ねておいたので、パルス密度に応じて、遠目には
ＬＥＤの明るさが変わって見え、したがって、１番明る
いＬＥＤ束が答えになる。十分学習させた文字に対して
は認識率１００％を得た。

劾−−−一朱 今までのニューラルネットワークはほとんどコンピュー
タシミュレーションに頼っている。一部でこのネットワ
ークを回路化する試みも行われているが、それでも尚、
学習機能についてはコンピュータシミュレーションによ
るシリアル処理が行わ才している。而して、本発明によ
ると、学習機能も含めて、ニューラルネットワークの機
能をハードウェア上で並列的に行うことができ、従って
、従来のコンピュータシミュレーションのシリアル処理
に比べて、処理速度が著しく向上する。

さらに、パルス密度で表わされるデータを並列的に処理
することにより、処理速度が飛躍的に向上する、等の利
点がある。

【図面の簡単な説明】

第１図は、神経回路ユニッ１への１つを示す図、第２図
は、入力信号と各ネットワークとの関係を説明するため
の図、第３図乃至第５図は、各部の回路構成例を示す図
、第６図は、一実施例を説明するための図、第７図乃至
第９図は、神経回路ユニットの動作原理を説明するため
の図、第】０図乃至第１３図は、従来の回路構成例を示
す図である。 Ｊ・・入力信号、２．３．６．７・・・誤差信号、４・
・興奮性信号、５・・・抑制性信号、８、・・シフ１−
レジスタ、２０・・・教師信号。 第１図 第３図 し−−＝＝−−−−−−−−−−−’ｎ第 ２ 図 ネットワーク１ 第 図 第 図 第 図 第 ア 図 第 図 第 図 第 １０ 図 第 １ 区 １ 第 第 ２ 図 ３ 図 ０

Claims (1)

【特許請求の範囲】
1. １、結合係数可変手段と、この結合係数可変手段の可変
   結合係数値を教師信号に対する誤差信号に基づいて生成
   する結合係数生成手段とにより自己学習手段を構成し、
   該自己学習手段をデジタル論理回路を用いて神経細胞模
   倣素子に付設して複数の神経細胞模倣回路を網上に接続
   した信号処理回路網を有し、該信号処理回路網を少なく
   とも２以上もって構成されることを特徴とする信号処理
   装置。