JPH05314290A

JPH05314290A - 信号処理装置

Info

Publication number: JPH05314290A
Application number: JP4120360A
Authority: JP
Inventors: Toshiyuki Furuta; 俊之古田; Takahiro Watanabe; 孝宏渡邊; Shuji Motomura; 修二本村
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 1992-05-13
Filing date: 1992-05-13
Publication date: 1993-11-26

Abstract

(57)【要約】【目的】結合係数の保存に要するメモリ構成を簡略化
させること。【構成】結合係数可変手段と、この結合係数可変手段
の可変結合係数値を教師信号に対する正の誤差信号と負
の誤差信号とに基づいて生成する結合係数生成手段とを
有する自己学習手段５０を付設した複数の神経細胞模倣
ユニットを網状に接続して回路網を形成した信号処理装
置において、結合係数Ｔ_ijを２進数の形態で格納する記
憶手段２６を設け、各記憶手段２６に対する出力側に配
設させて前記２進数に対応する密度又は数のパルス列信
号に変換する複数の信号形態変換手段２７ａ，２７ｂを
設け、複数の信号形態変換手段２７ａ，２７ｂにより実
際の演算時に必要なパルス列信号に変換して使用するよ
うに構成することで、パルス列形態で結合係数を格納す
るものに比して回路規模を小さくできるようにした。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、文字や図形認識、或い
はロボットなどの運動制御、さらには、連想記憶などに
適用可能な、神経回路網を模倣したニューラルコンピュ
ータ等の信号処理装置に関する。

【０００２】

【従来の技術】生体の情報処理の基本的な単位である神
経細胞（ニューロン）の機能を模倣し、さらに、この
「神経細胞模倣素子」をネットワークにし、情報の並列
処理を目指したのが、いわゆるニューラルネットワーク
である。文字認識や、連想記憶、運動制御等、生体では
いとも簡単に行われていても、従来のノイマン型コンピ
ュータではなかなか達成しないものが多い。そこで、生
体の神経系、特に生体特有の機能、即ち、並列処理、自
己学習等を模倣して、これらの問題を解決しようとする
試みが盛んに行われている。しかしながら、これらの試
みは計算機シミュレーションで行われているものが多
く、本来の機能を発揮させるためには、並列処理が必要
であり、そのためにはニューラルネットワークのハード
ウエア化が必要である。一部では、既にハードウエア化
の試みもなされているが、ニューラルネットワークの特
徴の一つである自己学習機能が実現できず、大きなネッ
クとなっている。また、殆どのものはアナログ回路で実
現されており、動作の点で問題がある。

【０００３】これらの点について、さらに詳細に検討す
る。まず、従来のニューラルネットワークのモデルにつ
いて説明する。図３３はある１つの神経細胞ユニット
（神経細胞模倣素子）１を表すもので、図３４はこれを
ネットワークにしたものである。即ち、１つの神経細胞
ユニット１は多数の他の神経細胞ユニット１と結合し信
号を受け、それを処理して出力を出す。図３４の場合、
ネットワークは階層型であり、１つ前（左側）の層のユ
ニットより信号を受け、１つ先（右側）の層のユニット
へ出力する。

【０００４】ここで、図３３の神経細胞ユニット１にお
いて、他の神経細胞ユニットと自分の神経細胞ユニット
との結合の度合いを表すのが結合係数と呼ばれるもの
で、ｉ番目のユニットとｊ番目のユニットとの結合係数
を、一般にＴ_ijで表す。結合には、相手のユニットから
の信号が大きいほど自分の出力が大きくなる興奮性結合
と、逆に、相手のユニットの信号が大きいほど自分の出
力が小さくなる抑制性結合とがあるが、Ｔ_ij＞０が興奮
性結合、Ｔ_ij＜０が抑制性結合を表す。自分がｊ番目の
ユニットの時、ｉ番目のユニットからの入力をｙ_iとす
ると、これに結合係数Ｔ_ijを掛けたＴ_ijｙ_iが自分のユ
ニットへの入力となる。前述したように、各ユニットは
多数のユニットと結合しているので、それらのユニット
に対するＴ_ijｙ_iを足し合わせた結果なるΣＴ_ijｙ
_iが、自分のユニットへの入力となる。これを内部電位
といい、(１)式のようにｕ_jで表す。

【０００５】

【数１】

【０００６】次に、この入力に対して、非線形な処理を
して出力とする。この時の関数を神経細胞応答関数と呼
び、非線形関数として、(２)式及び図３５に示すような
シグモイド関数を用いる。

【０００７】

【数２】

【０００８】図３４に示すようにネットワークにした時
には、各結合係数Ｔ_ijを与え、(１)(２)式を次々と計算
することにより、最終的な出力が得られるものである。

【０００９】一方、このようなネットワークを電気回路
で実現したものの一例として、図３６に示すようなもの
がある。これは、特開昭６２−２９５１８８号公報中に
示されるもので、基本的には、Ｓ字形伝達関数を有する
複数の増幅器２と、各増幅器２の出力を他の層の増幅器
の入力に一点鎖線で示すように接続する抵抗性フィード
バック回路網３とを設けたものである。各増幅器２の入
力側には接地されたコンデンサと接地された抵抗とによ
るＣＲ時定数回路４が個別に接続されている。そして、
入力電流Ｉ₁，Ｉ₂，〜，Ｉ_Nが各増幅器２の入力に供給
され、出力はこれらの増幅器２の出力電圧の集合から得
られる。

【００１０】ここに、入力や出力の信号の強度を電圧で
表し、神経細胞間の結合の強さは、各細胞間の入出力ラ
インを結ぶ抵抗５（抵抗性フィードバック回路網３中の
格子点）の抵抗値で表され、神経細胞応答関数は各増幅
器２の伝達関数で表される。また、神経細胞間の結合に
は、前述のように興奮性結合と抑制性結合とがあり数学
的には結合係数の正負符号により表される。しかし、回
路上の定数で正負を実現するのは困難であるので、ここ
では、増幅器２の出力を２つに分け、一方の出力を反転
させることにより、正負の２つの信号を生成し、これを
適当に選択することにより実現するようにしている。ま
た、図３５に示したシグモイド関数に相当するものとし
ては増幅器が用いられている。

【００１１】しかし、これらの回路には、ネットワーク内部での信号の強度を電位や電流など
のアナログ値で表し、内部の演算もアナログ的に行わせ
るため、温度特性や電源投入直後のドリフト等により、
その値が変化してしまう。ネットワークであるので、素子の数も多く必要とす
るが、各々の特性を揃えることは困難である。１つの素子の精度や安定性が問題となったとき、そ
れをネットワークにした場合、新たな問題を生ずる可能
性があり、ネットワーク全体で見たときの動きが予想で
きない。結合係数Ｔ_ijの値が固定であり、予めシミュレーシ
ョンなどの他の方法で学習させた値を使うしかなく、自
己学習ができない。といった問題点がある。

【００１２】一方、数値計算で用いられている学習法則
としては、バックプロパゲーションと呼ばれる下記のよ
うなものがある。

【００１３】まず、各結合係数は最初にランダムに与え
ておく。この状態で、入力を与えると、出力結果は必ず
しも望ましいものとはならない。例えば、文字認識の場
合、手書きの「１」の文字を与えたとすると、出力結果
として「この文字は『１』である」と出るのが望ましい
結果であるが、結合係数がランダムであると必ずしも望
ましい結果とはならない。そこで、このネットワークに
正解（教師信号）を与えて、再び、同じ入力があったと
き正解となるように各結合係数を変化させる。このと
き、結合係数を変化させる量を求めるアルゴリズムが、
バックプロパゲーションと呼ばれているものである。

【００１４】例えば、図３４に示した階層型のネットワ
ークにおいて、最終層のｊ番目の神経細胞ユニットの出
力をｙ_jとし、その神経細胞ユニットに対する教師信号
をｄ_jとすると、(３)式で表されるＥが最小となるよう
に、(４)式を用いて、結合係数Ｔ_ijを変化させる。

【００１５】

【数３】

【００１６】

【数４】

【００１７】さらに具体的には、まず、出力層と、その
１つ前の層との結合係数を求める場合には、(５)式を用
いて誤差信号δを求め、それよりさらに前の層同士の結
合係数を求める場合には、(６)式を用いて誤差信号δを
求め、(７)式を求めて、Ｔ_ijを変化させる。

【００１８】

【数５】

【００１９】

【数６】

【００２０】

【数７】

【００２１】ここに、ηは学習定数、αは安定化定数と
呼ばれるものである。各々論理的には求められないの
で、経験的に求める。また、ｆ′はシグモイド関数ｆの
１階微分関数、ΔＴ_ij′，Ｔ_ij′は前回学習時の値であ
る。

【００２２】このようにして学習をし、その後、再び入
力を与えて出力を計算し、学習をする。この操作を何回
も繰返す内に、やがて、与えられた入力に対して望まし
い結果が得られるような結合係数Ｔ_ijが決定される。

【００２３】ところが、このような学習方法を何らかの
方法でハードウエア化しようとした場合、学習には、多
量の四則演算が必要であり、実現が困難である。学習方
法そのものもハードウエア化に対しては不向きである。

【００２４】一方、デジタル回路でニューラルネットワ
ークを実現したものの例を図３７ないし図３９を参照し
て説明する。図３７は単一の神経細胞の回路構成を示
し、各シナプス回路６を樹状突起回路７を介して細胞体
回路８に接続してなる。図３８はその内のシナプス回路
６の構成例を示し、係数回路９を介して入力パルスｆに
倍率ａ（フィードバック信号に掛ける倍率で、１又は
２）を掛けた値が入力されるレートマルチプライヤ１０
を設けてなり、レートマルチプライヤ１０には重み付け
の値ｗを記憶したシナプス荷重レジスタ１１が接続され
ている。また、図３９は細胞体回路８の構成例を示し、
制御回路１２、アップ／ダウンカウンタ１３、レートマ
ルチプライヤ１４及びゲート１５を順に接続してなり、
さらに、アップ／ダウンメモリ１６が設けられている。

【００２５】これは、神経細胞ユニットの入出力をパル
ス列で表し、そのパルス密度で信号の量を表している。
結合係数は２進数で表し、メモリ１６上に保存してお
く。入力信号をレートマルチプライヤ１４のクロックへ
入力し、結合係数をレート値へ入力することによって、
入力信号のパルス密度をレート値に応じて減らしてい
る。これは、バックプロパゲーションモデルの式のＴ_ij
ｙ_iの部分に相当する。次に、ΣＴ_ijｙ_iのΣの部分
は、樹状突起回路７によって示されるＯＲ回路で実現し
ている。結合には興奮性、抑制性があるので、予めグル
ープ分けしておき、各々のグループ別にＯＲをとる。こ
の２つの出力をカウンタ１３のアップ側、ダウン側に入
力しカウントすることで出力が得られる。この出力は２
進数であるので、再びレートマルチプライヤ１４を用い
て、パルス密度に変換する。このユニットをネットワー
クにすることによって、ニューラルネットワークが実現
できる。学習については、最終出力を外部のコンピュー
タに入力してコンピュータ内部で数値計算を行い、その
結果を結合係数のメモリ１６に書込むことにより実現し
ている。従って、自己学習機能は全くない。また、回路
構成もパルス密度の信号をカウンタを用いて一旦数値
（２進数）に変換し、その後、再びパルス密度に変換し
ており、複雑なものとなっている。

【００２６】このように従来技術による場合、アナログ
回路方式では動作に確実性がなく、数値計算による学習
方法も計算が複雑であり、ハードウエア化に適さず、動
作が確実なデジタル方式のものは回路構成が複雑であ
る。また、ハードウエア上で自己学習ができないという
欠点もある。

【００２７】このような欠点を解消するため、パルス密
度型の学習機能付きニューロンモデルが特願平２−４１
２４４８号、特願平３−１５４２４４号、特願平３−１
５４２４５号、特願平３−１５４２４６号等として本出
願人により提案されている。

【００２８】

【発明が解決しようとする課題】ところが、このような
改良された提案例ないしは公知の学習機能付きのニュー
ロンの場合、結合係数をパルス密度表現に対応させてパ
ルス列のまま記憶させているため、シフトレジスタ等で
構成する必要があり、回路規模を小さくする上で支障と
なる。また、前向き処理プロセス（フォワードプロセ
ス）と学習プロセス時とで同じパルス列となってしま
い、学習能力の点でも不十分である。

【００２９】

【課題を解決するための手段】請求項１記載の発明で
は、結合係数可変手段と、この結合係数可変手段の可変
結合係数値を教師信号に対する正の誤差信号と負の誤差
信号とに基づいて生成する結合係数生成手段とを有する
自己学習手段を付設した複数の神経細胞模倣ユニットを
網状に接続して回路網を形成した信号処理装置におい
て、前記結合係数を２進数の形態で格納する記憶手段を
設け、各記憶手段に対する出力側に配設させて前記２進
数に対応する密度又は数のパルス列信号に変換する複数
の信号形態変換手段を設けた。

【００３０】請求項２記載の発明では、複数の信号形態
変換手段を、その神経細胞模倣ユニットの前向き信号処
理用に２進数をパルス列信号に変換する信号形態変換手
段と、各記憶手段の出力及び入力側に配設されてその神
経細胞模倣ユニットの学習及び誤差信号逆伝搬用に２進
数をパルス列信号に変換する信号形態変換手段とにより
構成した。

【００３１】請求項３記載の発明では、各信号形態変換
手段を、乱数生成装置による乱数列を用いてパルス列信
号に変換するものとした。

【００３２】この際、請求項４記載の発明では、各信号
形態変換手段毎に設けた乱数生成装置を、各々異なった
乱数列を生成するものとした。

【００３３】

【作用】請求項１，２記載の発明によれば、結合係数を
２進数の形態で格納する記憶手段とし、複数の信号形態
変換手段により実際の演算時に必要なパルス列信号に変
換して使用するようにしたので、パルス列形態で結合係
数を格納するものに比して回路規模を小さくできる。加
えて、請求項３，４記載の発明によれば、乱数生成装置
による乱数列を用いてランダムとし、或いは、処理箇所
で異なる乱数列を発生させてパルス列信号に変換するよ
うにしたので、前向き処理時と学習等の処理とで、同じ
パルス密度であっても異なるパルス列として扱えるもの
となり、学習能力が一層高いものとなる。

【００３４】

【実施例】本発明の一実施例を図１ないし図３２に基づ
いて説明する。本発明における学習機能付きの神経細胞
模倣ユニット（ニューロン）単体としては、公知のもの
でよいが、特に前述したような既提案例による構成・作
用を持つものが好適であるので、本発明の要旨を含めつ
つ、図１ないし図２７によりその構成・作用から説明す
る。既提案例による自己学習機能を持つデジタル論理回
路を用いたニューロン素子構成のニューラルネットワー
クは、結合係数可変回路とこの結合係数可変回路の可変
結合係数値を教師信号に対する正，負の誤差信号に基づ
いて生成する結合係数生成回路とを有する自己学習回路
を付設したデジタル論理回路による複数の神経細胞模倣
素子よりなる信号処理手段を網状に接続して構成され
る。

【００３５】まず、既提案例におけるニューラルネット
ワークはデジタル構成によりハードウエア化したもので
あるが、基本的な考え方としては、神経細胞ユニットに関する入出力信号、中間信号、
結合係数、教師信号などは全て、「０」「１」の２値で
表されたパルス列で表す。ネットワーク内部での信号の量は、パルス密度で表
す（ある一定時間内の「１」の数）。神経細胞ユニット内での計算は、パルス列同士の論
理演算で表す。結合係数のパルス列はメモリ上に置く。学習は、このパルス列を書換えることで実現する。学習については、与えられた教師信号パルス列を基
に誤差を計算し、これに基づいて、結合係数パルス列を
変化させる。このとき、誤差の計算、結合係数の変化分
の計算も、全て、「０」「１」のパルス列の論理演算で
行う。ようにしたものである。

【００３６】以下、この思想について説明する。最初
に、デジタル論理回路による信号処理に関し、フォワー
ドプロセスにおける信号処理を説明する。図２は１つの
ニューロン（神経細胞模倣ユニット）２０に相当する部
分を示し、ニューラルネットワーク全体としては例えば
図３４に示した場合と同様に階層型とされる。入出力
は、全て、「１」「０」に２値化され、かつ、同期化さ
れたものが用いられる。入力信号ｙ_iの強度はパルス密
度で表現し、例えば図３に示すパルス列のようにある一
定時間内にある「１」の状態数で表す。即ち、図３の例
は、４／６を表し、同期パルス６個中に信号は「１」が
４個、「０」が２個である。つまり、同期パルスの立上
り時又は立下り時に入力信号が「０」か「１」かを判断
する。このとき、「１」と「０」の並び方は、ランダム
であることが望ましい。

【００３７】一方、各ニューロン２０間の結合の度合を
示す結合係数Ｔ_ijも同様にパルス密度で表現し、「０」
と「１」とのビット列とする。図４の例は、「１０１０
１０」＝３／６を表す式である。この場合も、同期パル
スの立上り時又は立下り時に入力信号が「０」か「１」
かを判断するものであり、また、「１」と「０」の並び
方はランダムであることが望ましい。

【００３８】このような結合係数Ｔ_ijに関し、メモリ上
には、そのパルス密度或いは数なる２進数の形態で格納
しておく（図示例の場合、「３」である）。このような
数値をメモリから読出し、同期信号に応じてパルス列に
変換する。変換手段の構成・作用については後述する。
変換されたパルス列信号について、図２に示すように各
々ＡＮＤゲート２１により入力信号パルス列との論理積
をとる（ｙ_i ∩ Ｔ_ij)。これを、神経細胞ｊへの入力と
する。上例の場合で説明すると、入力信号が「１０１１
０１」として入力されたとき、これと同期してメモリ上
よりパルス列を呼出し、順次ＡＮＤをとることにより、
図５に示すような「１０１０００」が得られ、これは入
力ｙ_i が結合係数Ｔ_ijにより変換されパルス密度が２／
６となることを示している。

【００３９】ＡＮＤゲート２１の出力のパルス密度は、
近似的には入力信号のパルス密度と結合係数のパルス密
度との積となり、アナログ方式の結合係数と同様の機能
を有する。これは、信号の列が長いほど、また、「１」
と「０」との並び方がランダムであるほど、数値の積に
近い機能を持つことになる。なお、入力パルス列に比べ
て結合係数のパルス列が短く、読出すべきデータがなく
なったら、再びデータの先頭に戻って読出しを繰返えせ
ばよい。

【００４０】１つのニューロン２０は多入力であるの
で、前述した「入力信号と結合係数とのＡＮＤ」も多数
あり、次にＯＲ回路２２によりこれらの論理和をとる。
入力は同期化されているので、例えば１番目のデータが
「１０１０００」、２番目のデータが「０１００００」
の場合、両者のＯＲをとると、「１１１０００」とな
る。これをｍ個分について多入力同時に計算し出力とす
ると、例えば図６に示すようになる。これは、アナログ
計算における和の計算及び非線形関数（シグモイド関
数）の部分に対応している。

【００４１】パルス密度が低い場合、そのＯＲをとった
もののパルス密度は、各々のパルス密度の和に近似的に
一致する。パルス密度が高くなるにつれ、ＯＲ回路２２
の出力は段々飽和してくるので、パルス密度の和とは一
致せず、非線形性が出てくる。ＯＲの場合、パルス密度
は１よりも大きくなることがなく、かつ、０より小さく
なることもなく、さらには、単調増加関数であり、シグ
モイド関数と近似的に同等となる。

【００４２】ところで、結合には興奮性と抑制性があ
り、数値計算の場合には、結合係数の符号で表し、アナ
ログ回路の場合はＴ_ijが負となる場合（抑制性結合）は
増幅器を用いて出力を反転させてＴ_ijに相当する抵抗値
で他のニューロンに結合させている。この点、デジタル
方式の既提案例にあっては、まず、Ｔ_ijの正負により各
結合を興奮性結合と抑制性結合との２つのグループに分
け、次いで、「入力信号と結合係数のパルス列のＡＮ
Ｄ」同士のＯＲをこのグループ別に計算する。このよう
にして得られた興奮性グループの結果をＦ_jとし、抑制
性グループの結果をＩ_jとする。

【００４３】或いは、１つの入力ｙ_iに対して興奮性を
表す結合係数Ｔ_ij(+)と抑制性を表す結合係数Ｔ_ij(-)
との両方を用意し、各々ＡＮＤをとる（ｙ_i∩
Ｔ_ij(+)、ｙ_i∩Ｔ_ij(-)）。さらに、これら同士のＯＲ
を各々とり（∪（ｙ_i∩Ｔ_ij(+) )、∪（ｙ_i∩Ｔ
_ij(-) ）、興奮性グループの結果をＦ_jとし、抑制性グ
ループの結果をＩ_jとする。

【００４４】これらをまとめると、１つの入力に対して、結合係数を興奮性、抑制性の
どちらか一方のみを持つ場合には、(８)(９)式のように
なる。

【００４５】

【数８】

【００４６】１つの入力に対して、結合係数を興奮
性、抑制性の両方を持つ場合には、(10)(11)式、或い
は、(12)(13)式に示すようになる。

【００４７】

【数９】

【００４８】

【数１０】

【００４９】ただし、(12)(13)式において、１つの入力
に対して結合係数を興奮性、抑制性のどちらか一方のみ
持つ場合には、ｙ_Fij，ｙ_Iijは(14)(15)式で示され、１
つの入力に対して結合係数を興奮性、抑制性の両方を持
つ場合には、ｙ_Fij，ｙ_Iijは(16)(17)式で示される。

【００５０】

【数１１】

【００５１】このようにして得られた興奮性グループの
結果Ｆ_jと抑制性グループの結果Ｉ_jが、不一致であれば
興奮性グループの結果を出力する。即ち、興奮性グルー
プの結果Ｆ_jが「０」で抑制性グループの結果Ｉ_jが
「１」であれば、「０」を出力し、興奮性グループの結
果Ｆ_jが「１」で抑制性グループの結果Ｉ_jが「０」で
あれば、「１」を出力する。興奮性グループの結果Ｆ_j
と抑制性グループの結果Ｉ_jが一致したときには、
「０」を出力しても「１」を出力してもよく、或いは、
別個に用意された第２の入力信号Ｅ_jを出力させてもよ
く、又は、このような第２の入力信号Ｅ_jに対してパル
ス密度又は数を２進数の形態で格納したメモリを用意し
ておき、これを読出してパルス密度に変換し、第２の入
力信号Ｅ_jとの論理積を演算したものを出力させるよう
にしてもよい。このメモリも入力信号に対する結合係数
と同様、全て読出してしまったら再び先頭から読出せば
よい。

【００５２】この機能を実現するため、まず、「０」を
出力させる例の場合であれば、興奮性グループの出力と
抑制性グループの出力の否定とのＡＮＤをとればよい。
図７はこの例を示すもので、数式で示すと、(18)式のよ
うになる。

【００５３】

【数１２】

【００５４】また、「１」を出力させる例の場合であれ
ば、興奮性グループの出力と抑制性グループの出力の否
定とのＯＲをとればよい。図８はこの例を示すもので、
数式で示すと、(19)式のようになる。

【００５５】

【数１３】

【００５６】第２の入力信号を出力させる例の場合であ
れば、図９に示すようになり、数式で示すと、(20)式の
ようになる。

【００５７】

【数１４】

【００５８】さらに、第４の方式の例であれば、第２の
入力信号Ｅ_jに対して設けられたメモリの内容（係数）
をＴ′_jとすると、図１０に示すようになり、数式で示
すと、(21)式のようになる。

【００５９】

【数１５】

【００６０】神経細胞ユニット２０のネットワークは、
バックプロパゲーションと同様な階層型（即ち、図３
４）とする。そして、ネットワーク全体を同期させてお
けば、各層とも上述した機能により計算できる。

【００６１】次に、学習（バックプロパゲーション）に
おける信号演算処理について説明する。基本的には、以
下のａ又はｂにより誤差信号を求め、次いで、ｃの方法
により結合係数の値を変化させるようにすればよい。た
だし、以下に説明する結合係数を表すパルス列は(17)式
までに示したパルス列とは、パルス密度或いはパルス数
が同じであってもパルス列の並び方の異なるものとす
る。

【００６２】ａ．最終層における誤差信号最終層で各ニューロンにおける誤差信号を計算し、それ
を基にそのニューロンに関わる結合係数を変化させる。
そのための、誤差信号の計算法について述べる。ここ
に、「誤差信号」を以下のように定義する。誤差を数値
で表すと、一般には＋，−の両方をとり得るが、パルス
密度の場合には、正、負の両方を同時に表現できないの
で、＋成分を表す信号と、−成分を表す信号との２種類
を用いて誤差信号を表現する。即ち、ｊ番目のニューロ
ンの誤差信号は、図１１のように示される。つまり、誤
差信号の＋成分は教師信号パルスと出力信号パルスとの
違っている部分（１，０）又は（０，１）の内、教師信
号側に存在するパルスであり、−成分は同様に出力信号
側に存在するパルスである。換言すれば、出力信号ｙ_j
に誤差信号＋パルスを付け加え、誤差信号−パルスを取
り除くと、教師信号ｄ_jとなることになる。即ち、これ
らの正負の誤差信号δ_j(+)，δ_j(-)を論理式で表現する
と、各々(22)(23)式のようになる。このような誤差信号
パルスを基に結合係数を後述するように変化させること
になる。

【００６３】

【数１６】

【００６４】ｂ．中間層における誤差信号まず、上記の誤差信号を逆伝播させ、最終層とその１つ
前の層との結合係数だけでなく、さらにその前の層の結
合係数も変化する。そのため、中間層における各ニュー
ロンでの誤差信号を計算する必要がある。中間層のある
ニューロンから、さらに１つ先の層の各ニューロンへ信
号を伝播させたのとは、丁度逆の要領で１つ先の層の各
ニューロンにおける誤差信号を集めてきて、自己の誤差
信号とする。このことは、ニューロン内での前述した演
算式(８)〜(10)や図３〜図８に示した場合と同じような
要領で行うことができる。即ち、結合係数が１入力に対
して興奮性か抑制性かの何れの一方の場合は、まず、結
合を興奮性か抑制性かによって、２つのグループに分
け、掛け算の部分はＡＮＤで、Σの部分はＯＲで表現す
る。ただし、ニューロン内での前述した処理と異なるの
は、ｙ_jが常に正なる１つの信号であるのに対して、δ
_jは正、負を表す信号として２つの信号を持ち、その両
方の信号を考慮する必要があることである。従って、結
合係数Ｔ_ijの正負、誤差信号δ_jの正負に応じて４つの
場合に分ける必要がある。

【００６５】まず、興奮性結合の場合を説明する。この
場合、中間層のあるニューロンについて、１つ先の層の
ｋ番目のニューロンでの誤差信号δ_k(+)と、そのニュー
ロンと自己との結合係数Ｔ_jkのＡＮＤをとったもの（δ
_k(+) ∩ Ｔ_jk）を各ニューロンについて求め、さらに、
これら同士のＯＲをとる（∪（δ_k(+) ∩ Ｔ_jk））。こ
れをこのニューロンの誤差信号δ_j(+)とする。即ち、１
つ先の層のニューロンをｎ個とすると、図１２に示すよ
うになる。これらを順に数式で示すと、(24)〜(26)式の
ようになる。

【００６６】

【数１７】

【００６７】同様に、１つ先の層のニューロンでの誤差
信号δ_k(-)と結合係数Ｔ_jkとのＡＮＤをとり、さらにこ
れら同士のＯＲをとることにより、このニューロンの誤
差信号δ_j(-)とする。即ち、図１３に示すようになり、
これらを順に数式で示すと、(27)〜(29)式のようにな
る。

【００６８】

【数１８】

【００６９】次に、抑制性結合の場合を説明する。この
場合、１つ先の層のニューロンでの誤差信号δ_k(-)とそ
のニューロンと自己との結合係数Ｔ_jkのＡＮＤをとり、
さらにこれら同士のＯＲをとる。これを、このニューロ
ンの誤差信号δ_j(+)とする。即ち、図１４に示すように
なり、これらを順に数式で示すと、(30)〜(32)式のよう
になる。

【００７０】

【数１９】

【００７１】また、１つ先の誤差信号δ_k(+)と結合係数
Ｔ_jkとのＡＮＤをとり、さらにこれら同士のＯＲをとる
ことにより、同様に、このニューロンの誤差信号δ_j(-)
とする。即ち、図１５に示すようになり、これらを順に
数式で示すと、(33)〜(35)式のようになる。

【００７２】

【数２０】

【００７３】１つのニューロンから別のニューロンへは
興奮性で結合しているものもあれば、抑制性で結合して
いるものもあるので、図１２のように求めた誤差信号δ
_j(+)と図１４のように求めた誤差信号δ_j(+)とのＯＲを
とり、それを自分のニューロンの誤差信号δ_j(+)とす
る。同様に、図１３のように求めた誤差信号δ_j(-)と図
１５のように求めた誤差信号δ_j(-)とのＯＲをとり、そ
れを自分のニューロンの誤差信号δ_j(-)とする。

【００７４】以上をまとめると、(36)式、或いは、(37)
式に示すようになる。

【００７５】

【数２１】

【００７６】

【数２２】

【００７７】次に、１つの入力に対して興奮性と抑制性
との両方の結合係数を持つ場合、数式のみを示すと、(3
8)式、或いは、(39)式に示すようになる。

【００７８】

【数２３】

【００７９】

【数２４】

【００８０】さらに、学習のレート（学習定数）に相当
する機能を設けてもよい。数値計算でレートが１以下の
とき、さらに学習能力が高まる。これはパルス列の演算
ではパルス列を間引くことによって実現できる。ここで
は、カウンタ的な考え方をし、図１６、図１７に示すよ
うなものとした。例えば、学習レートη＝０．５では元
の信号のパルス列を１つ置きに間引くが、元の信号のパ
ルスが等間隔でなくても、元のパルス列に対して間引く
ことができる。図１６，図１７中、η＝０．５の場合は
パルスを１つ置きに間引き、η＝０．３３の場合はパル
スを２つ置きに残し、η＝０．６７の場合はパルスを２
つ置きに１回間引くことを示す。

【００８１】ｃ．結合係数を変化させる方法変化させたい結合係数が属しているライン（図３４参
照）を流れる信号と誤差信号のＡＮＤをとる（δ_j∩
ｙ_i）。ただし、ここでは誤差信号には＋，−の２つの
信号があるので、各々演算して図１８，図１９に示すよ
うに求める。即ち、δ_j(+)∩ｙ_i、δ_j(-)∩ｙ_iを各々
正，負の結合係数変化信号としている。

【００８２】このようにして得られた２つの信号を各々
ΔＴ_ij(+)，ΔＴ_ij(-)とする。ついで、今度はこのΔＴ
_ijを基に新しいＴ_ijを求めるが、このＴ_ijは絶対値成分
であるので、元のＴ_ijが興奮性か抑制性かで場合分けす
る。興奮性の場合、元のＴ_ijに対してΔＴ_ij(+)の成分
を増やし、ΔＴ_ij(-)の成分を減らす。即ち、図２０に
示すようになる。逆に、抑制性の場合は元のＴ_ijに対し
ΔＴ_ij(+) の成分を減らし、ΔＴ_ij(-) の成分を増や
す。即ち、図２１に示すようになる。これらの図２０，
図２１の内容を数式で示すと、(40)(41)式のようにな
る。

【００８３】

【数２５】

【００８４】以上の学習則に基づいてネットワークの計
算をする。

【００８５】次に、以上のアルゴリズムに基づく既提案
例方式を含む実際の回路構成を説明する。図１、図２２
ないし図２６にその回路構成例を示すが、ネットワーク
全体の構成は図３４と同様である。図１、図２２ないし
図２４は図３４のような階層型ネットワーク中のライン
（結線）に相当する部分の回路を示し、図２５は図３４
中の丸（提案例では、各ニューロン２０）に相当する部
分の回路を示す。また、図２６は最終層の出力と教師信
号から最終層における誤差信号を求める部分の回路を示
す。これらの図１、図２２ないし図２６構成の３つの回
路を図３４の場合のようにネットワークにすることによ
り、自己学習機能を持つデジタル式のニューラルネット
ワークが実現できる。

【００８６】まず、図１から説明する。図中、２５は図
３に示したようなニューロンへの入力信号である。図５
に示したような結合係数の値は記憶手段としてのメモリ
２６に例えば２進数なる数値の形態で保存しておく。こ
のメモリ２６の出力側には保存された数値データをパル
ス列信号に変換する信号形態変換手段となるパルス列変
換回路２７ａ，２７ｂが接続されている。ここに、パル
ス列変換回路２７ａは前向き信号処理用（フォワードプ
ロセス用）であり、パルス列変換回路２７ｂは学習及び
誤差信号伝搬用である。一方、メモリ２６の入力側には
逆にパルス列信号を数値信号に変換する数値変換回路２
７ｃが接続されている。前記メモリ２６とこれらの回路
２７ａ，２７ｂ，２７ｃとは数値を表すに必要なｎ本の
配線に結ばれている。さらに、特に図示しないが、メモ
リ２６にはアウトプットイネーブル信号やライトイネー
ブル信号などのメモリ読み書きに必要な信号が与えられ
ている。入力信号２５とメモリ２６内に格納されてパル
ス列変換回路２７ａで変換された結合係数とはＡＮＤゲ
ート２８ａを備えて図６に示した処理を行なう論理回路
２８によりＡＮＤがとられる。この論理回路２８の出力
は結合が興奮性か抑制性かによってグループ分けしなけ
ればならないが、予め各々のグループへの出力２９，３
０を用意し、何れに出力するのかを切換えるようにした
方が汎用性の高いものとなる。このため、既提案例では
結合が興奮性か抑制性かを表すビットをグループ分け用
メモリ３１に保存しておき、その情報を用いて切換えゲ
ート回路３２により切換える。切換えゲート回路３２は
２つのＡＮＤゲート３２ａ，３２ｂと一方の入力に介在
されたインバータ３２ｃとよりなる。

【００８７】切換える必要のない場合には、各々固定し
ても構わない。例えば、興奮性の場合を図２２、抑制性
の場合を図２３に示す。これは、図１においてグループ
分け用メモリ３１を各々「０」「１」に固定したものと
等価な回路とである。また、１つの入力に対して、興奮
性を表すメモリと、抑制性を表すメモリとの両方を用意
してもよい。図２４はこの例を示す。図中、２６Ａが興
奮性を表す結合係数に対するメモリ、２６Ｂが抑制性を
表す結合係数に対するメモリである。

【００８８】また、図２５に示すように各入力処理（図
６に相当）をする複数のＯＲゲート構成のゲート回路３
３ａ，３３ｂが設けられている。さらに、同図に示すよ
うに図７に示した興奮性結合グループが「１」で、抑制
性結合グループが「０」のときにのみ出力「１」を出す
ＡＮＤゲート３４ａとインバータ３４ｂとによるゲート
回路３４が設けられている。図６ないし図１０に例示し
たような処理結果とする場合にも同様に論理回路で容易
に実現できる。

【００８９】もっとも、ゲート回路３４としては、図６
方式の場合であれば図２７(ａ)に示すようにインバータ
３４ｂとＯＲゲート３４ｃとの組合せとし、図９方式の
場合であれば図２７(ｂ)に示すように排他的ＯＲゲート
３４ｄとインバータ３４ｅと２つのＡＮＤゲート３４
ｆ，３４ｇとＯＲゲート３４ｈとにより構成してＡＮＤ
ゲート３４ｇに第２入力Ｅ_jを入力させるものとし、図
１０方式の場合であれば図２７(ｃ)に示すように同図
(ｂ)に第２入力Ｅ_jに対する係数Ｔ′を数値表現形態で
記憶したメモリ３４ｉと、ＡＮＤゲート３４ｊとを追加
した構成とすればよい。図中、２７ｄは２７ａと同様な
パルス列変換回路である。

【００９０】次に、誤差信号について説明する。最終層
での誤差信号を生成するのが図２６に示すＡＮＤゲー
ト，排他的ＯＲゲートの組合せによる論理回路３５であ
り、(６)(７)式に相当する。即ち、最終層からの出力３
６及び教師信号３７により誤差信号３８，３９を作るも
のである。中間層における誤差信号を計算する(37)式の
内、Ｅ_j(+)，Ｅ_j(-)を求める処理は、図１中に示すＡＮ
Ｄゲート構成のゲート回路４２により行われ、＋，−に
応じた出力４３，４４が得られる。ここでは、結合係数
として学習後のものを用いたが、学習前のものであって
もよく、学習前の場合も容易に回路化し得る。また、こ
のように結合が興奮性か抑制性かにより場合分けする必
要があるが、この場合分けはメモリ３１に記憶された興
奮性か抑制性かの情報と、誤差信号の＋，−信号４５，
４６とに応じて、ＡＮＤ，ＯＲゲート構成のゲート回路
４７により行われる。なお、結合の興奮性、抑制性の区
別を固定した図２２、図２３方式のものでは、前記メモ
リ３１の内容を各々「０」，「１」に固定したものと等
価な回路となる。一方、１つの入力に対して興奮性結合
を表すメモリ２６Ａと抑制性結合を表すメモリ２６Ｂと
の両方を用いる図２４方式のものでは、(39)式に相当す
る回路が、図２４においてゲート回路３５として示され
ている。

【００９１】また、誤差信号を集める計算式(８)、即
ち、(37)式の残りの部分は図２５に示すＯＲゲート構成
のゲート回路４８により行われる。さらに、学習レート
に相当する図１６，１９の処理は図２３中に示す分周回
路４９により行われる。これは、フリップフロップ等を
用いることにより容易に実現できる。もっとも、分周回
路４９は不必要であれば特に設けなくてよく、設ける場
合であっても図２２中に示した例に限らず、図１、図２
２〜図２４中に符号４９を付して示すような適宜位置に
設けるようにしてもよい。

【００９２】最後に、誤差信号より新たな結合係数を計
算する部分、即ち、図２０〜図２１の処理に相当する部
分は、図１中に示すＡＮＤ、インバータ、ＯＲゲート構
成のゲート回路５０により行なわれ、メモリ２６の内
容、即ち、結合係数Ｔ_ijの値が書換えられる。このゲー
ト回路５０も結合の興奮性、抑制性により場合分けが必
要であるが、ゲート回路４７により行なわれる。図２
２、図２３の場合には、興奮性、抑制性が固定であるの
で、ゲート回路４７に相当する回路は不要である。図２
４方式の場合は、１つの入力に対して興奮性、抑制性の
両方を持つので、ゲート回路５０Ａが興奮性、ゲート回
路５０Ｂが抑制性の場合に相当する。

【００９３】なお、ニューロン２０を形成する際には、
このような図示例のものに限らず、前述した特願平３−
１５４２４４号、特願平３−１５４２４５号、特願平３
−１５４２４６号等に示されるようなものであってもよ
い。例えば、特願平３−１５４２４４号では学習能力を
高めるため、「正の誤差信号と負の誤差信号とが同時に
１となることを禁止させる論理手段を設けた」ものであ
り、例えば図１、図２２ないし図２４のゲート回路４２
の出力部や、図２２中の分周回路４９の前段又は後段、
或いは、ゲート回路４８の入力側に論理手段を設けたも
のである。また、特願平３−１５４２４５号も学習能力
を高めるため「出力層の正の誤差信号と負の誤差信号と
の一致を検出し、一致している場合には自己学習手段に
よる学習を禁止させる学習禁止手段を設けた」ものであ
り、具体的にはゲート回路５０中に学習禁止手段を設け
たものである。特願平３−１５４２４６号でも学習能力
を向上させるため「可変結合係数値を生成するための結
合係数変化信号の一部又は全部に予め設定された時間以
前の入力信号を用いる補正手段を設けた」ものであり、
具体的にはゲート回路５０に対して補正手段を付加した
ものである。

【００９４】ところで、本実施例では、結合係数に関し
てはメモリ２６（又は２６Ａ，２６Ｂ）に２進数なる数
値形態で保存しており、使用に際して、このような数値
をパルス列信号に変換し、又は、逆に、パルス列信号か
ら数値信号に変換するようにしたものであり、このため
のパルス列変換回路２７ａ，２７ｂや数値変換回路２７
ｃについて説明する。基本的には、パルス列変換回路２
７ａ，２７ｂは図２８に示すように、メモリ２６からの
数値信号と乱数生成装置としての乱数発生器５１により
生成された乱数信号とを比較器５２で比較して、「０」
又は「１」なるパルス列信号を得るようにすればよい。
このためには、基準となるクロック数を決めておく必要
がある。これは、予め設定された数値でもよく、外部よ
り任意に設定可能な数値でもよい。前記乱数発生器５１
はこのような基準クロックに同期して乱数を生成して、
「０」から「基準クロック数−１」までの一様乱数を得
るものである。このような乱数発生器５１としては、例
えばＬＦＳＲが用いられる。比較器５２ではメモリ２６
から読出した数値データとこの乱数データとを比較し、
メモリ２６側のデータのほうが大きい場合には「１」、
小さい場合には「０」を出力する。これにより、メモリ
２６に格納された数値対応のパルス列信号が得られる。

【００９５】一方、数値変換回路２７ｃとしては図２９
に示すようにカウンタ５３を用いて構成すればよい。特
に図示しないが、このカウンタ５３にはクリア信号、カ
ウント値を出力するための信号線をハイインピーダンス
にするための信号、及び、基準クロックが与えられてお
り、基準クロックの立上り又は立下り時に、入力信号が
「１」である状態数を計数し、その計数値を数値データ
としてメモリ２６に対して出力するものである。

【００９６】即ち、最初はカウンタ５３の計数値の出力
信号線をハイインピーダンス状態にしておき、カウンタ
５３をクリアする。ついで、メモリ２６のアウトプット
イネーブル信号を制御してメモリ２６からのデータの読
出しを基準クロック数の分だけ行う。すると、比較器５
２からは（メモリ２６のデータ／基準クロック数）とな
るパルス列信号が得られる。基準クロック数に達したら
メモリ２６の読出しをやめ、カウンタ５３の計数値出力
信号線から信号を出し、メモリ２６もライトイネーブル
信号を制御し、メモリ２６にはこの計数値を書込む。こ
のようなカウンタ等に対する制御信号は、カウンタやシ
ーケンサ等を用いることにより容易に実現できる。

【００９７】なお、これらのメモリ、数値信号→パルス
列信号変換、パルス列信号→数値信号変換について、こ
れらをまとめて図３０に示すように構成してもよい。即
ち、その出力数値がメモリ２６と同様の機能をなすアッ
プダウンカウンタ５４が設けられている。また、このア
ップダウンカウンタ５４に対しては、回路５０側から与
えれる学習後の結合係数を表すパルス列信号と、前記比
較器５２から得られる結合係数を表すパルス列信号とに
基づき、アップダウンカウンタ５４の動作を制御するた
めのカウンタ制御信号を生成する制御信号生成回路５５
が接続されている。具体的には、結合係数のパルスが
「０」で学習後の結合係数のパルスが「０」の場合には
カウントせずの制御信号を生成し、「０」「１」の組合
せの場合にはカウントアップ信号を生成し、逆に、
「１」「０」の組合せの場合にはカウントダウン信号を
生成し、ともに「１」なる組合せの場合にもカウントせ
ずの制御信号を生成する。

【００９８】このように現在の結合係数（パルス列表
現）と学習後の結合係数（パルス列表現）とにより、新
たな結合係数（数値表現）を求めることにより、「メモ
リ」＋「数値信号→パルス列信号変換」＋「パルス列信
号→数値信号変換」と同様な機能を実現できる。

【００９９】なお、より実際的に、１つのメモリに対し
て複数のパルス列変換回路２７ａ，２７ｂを持つ場合に
は、図３１に示すように２つの乱数発生器５１ａ，５１
ｂと、比較器５２ａ，５２ｂとを用いて構成すればよ
い。この際、これらの乱数発生器５１ａ，５１ｂは相互
に異なる乱数列を生成出力するものとするのがよい。

【０１００】以上、説明したように信号をパルス密度で
表現する手法は、実際の回路のみならず、計算機上でシ
ミュレートする場合にも有用である。計算機上では、演
算は直列的に行われるが、アナログ値を用いて計算させ
るのに比べて、「０」「１」の２値の論理演算のみであ
るので、計算速度が著しく向上する。一般に、実数値の
四則演算は、１回の計算に多くのマシンサイクルを必要
とするが、論理演算では少なくて済む。また、論理演算
のみであると、高速処理向けの低水準言語が使用しやす
いといった特徴も持つ。

【０１０１】また、上述した方式を実施するに当り、そ
の全部を回路化する必要はなく、一部又は全部をソフト
ウエアで行わせるようにしてもよい。また、回路構成自
体も例示したものに限らず、論理が等価な別の回路で置
き換えるようにしてもよく、さらには、負論理に置き換
えるようにしてもよい。

【０１０２】ところで、具体例を説明する。図３４のよ
うに３層構造にネットワーク構成し、第１層は２５６
個、第２層は２０個、第３層は５個の回路ユニット構成
とした。ここに、第１，２層間、第２，３層間は回路ユ
ニット同士が全て結合されている。このようなネットワ
ークに対して手書き文字を入力し、文字認識を行わせ
た。まず、手書き文字をスキャナで読取り、図３２に示
すように１６×１６のメッシュに分け、文字部分のある
メッシュを「１」、ないメッシュを「０」とした。この
２５６個のデータをネットワーク（第１層）に入力させ
た。出力層の５個の各回路ユニット２０（ニューロン）
を「１」〜「５」までに対応させ、その数字が入力した
時に対応するニューロンの出力が「１」でその他のニュ
ーロンの出力が「０」になるように学習させた。ただ
し、基準クロック数は１２７とし、乱数発生器５１とし
ては７ビットのＬＦＳＲを用いた。このような７ビット
のＬＦＳＲには４種類存在するが、各乱数発生器５１
（５１ａ，５１ｂ）につきランダムに配置させた。ま
た、ＬＦＳＲは外部からアクセス可能とされ、初期値と
してランダムな数値が設定されている。最初、各結合係
数をランダムに設定しておくと、出力結果は必ずしも所
望の値とはならない。そこで、本実施例の自己学習機能
を用いて、各結合係数を新たに求め、これを何回か繰返
すことによって所望の出力が得られるようにする。ここ
に、入力は、「１」か「０」であるので、入力パルス列
は常にＬレベル又はＨレベルなる単調なものである。ま
た、最終出力はトランジスタを介してＬＥＤと結び、Ｌ
レベルの時には消灯、Ｈレベルの時には点灯するように
した。同期クロックを１０００ｋＨｚとしたので、パル
ス密度に応じて、人間の目にはＬＥＤの明るさが変って
見え、従って、一番明るいＬＥＤ部分が答えとなる。十
分学習させた文字に対しては１００％の認識率が得られ
たものである。

【０１０３】

【発明の効果】本発明は、上述したように、結合係数を
２進数の形態で格納する記憶手段とし、複数の信号形態
変換手段により実際の演算時に必要なパルス列信号に変
換して使用するように構成したので、パルス列形態で結
合係数を格納するものに比して回路規模を小さくでき、
加えて、乱数生成装置による乱数列を用いてランダムと
し、或いは、処理箇所で異なる乱数列を発生させてパル
ス列信号に変換するようにしたので、前向き処理時と学
習等の処理とで、同じパルス密度であっても異なるパル
ス列として扱えるものとなり、学習能力を一層高いもの
とすることも可能となる。

【図面の簡単な説明】

【図１】本発明の一実施例を示す論理回路図である。

【図２】既提案例における基本的な信号処理を行なうた
めの論理回路図である。

【図３】論理演算例を示すタイミングチャートである。

【図４】論理演算例を示すタイミングチャートである。

【図５】論理演算例を示すタイミングチャートである。

【図６】論理演算例を示すタイミングチャートである。

【図７】論理演算例を示すタイミングチャートである。

【図８】論理演算例を示すタイミングチャートである。

【図９】論理演算例を示すタイミングチャートである。

【図１０】論理演算例を示すタイミングチャートであ
る。

【図１１】論理演算例を示すタイミングチャートであ
る。

【図１２】論理演算例を示すタイミングチャートであ
る。

【図１３】論理演算例を示すタイミングチャートであ
る。

【図１４】論理演算例を示すタイミングチャートであ
る。

【図１５】論理演算例を示すタイミングチャートであ
る。

【図１６】論理演算例を示すタイミングチャートであ
る。

【図１７】論理演算例を示すタイミングチャートであ
る。

【図１８】論理演算例を示すタイミングチャートであ
る。

【図１９】論理演算例を示すタイミングチャートであ
る。

【図２０】論理演算例を示すタイミングチャートであ
る。

【図２１】論理演算例を示すタイミングチャートであ
る。

【図２２】図１の変形例の構成例を示す論理回路図であ
る。

【図２３】図１の別の変形例の構成例を示す論理回路図
である。

【図２４】図１のさらに別の変形例の構成例を示す論理
回路図である。

【図２５】各部の構成例を示す論理回路図である。

【図２６】各部の構成例を示す論理回路図である。

【図２７】変形例を示す論理回路図である。

【図２８】パルス列変換回路の構成例を示すブロック図
である。

【図２９】数値変換回路の構成例を示すブロック図であ
る。

【図３０】パルス列変換及び数値変換を合わせた構成例
を示すブロック図である。

【図３１】その変形例を示すブロック図である。

【図３２】手書き文字の読取り例を示す説明図である。

【図３３】従来例の１つのユニット構成を示す概念図で
ある。

【図３４】そのニューラルネットワーク構成の概念図で
ある。

【図３５】シグモイド関数を示すグラフである。

【図３６】１つのユニットの具体的構成を示す回路図で
ある。

【図３７】デジタル構成例を示すブロック図である。

【図３８】その一部の回路図である。

【図３９】異なる一部の回路図である。

【符号の説明】

２０神経細胞模倣ユニット２６記憶手段２６ａ信号形態変換手段（前向き信号処理用）２６ｂ信号形態変換手段（学習及び誤差信号伝搬用）５０自己学習手段５１乱数生成装置

Claims

【特許請求の範囲】

【請求項１】結合係数可変手段と、この結合係数可変
手段の可変結合係数値を教師信号に対する正の誤差信号
と負の誤差信号とに基づいて生成する結合係数生成手段
とを有する自己学習手段を付設した複数の神経細胞模倣
ユニットを網状に接続して回路網を形成した信号処理装
置において、前記結合係数を２進数の形態で格納する記
憶手段を設け、各記憶手段に対する出力側に配設させて
前記２進数に対応する密度又は数のパルス列信号に変換
する複数の信号形態変換手段を設けたことを特徴とする
信号処理装置。
【請求項２】複数の信号形態変換手段が、その神経細
胞模倣ユニットの前向き信号処理用に２進数をパルス列
信号に変換する信号形態変換手段と、その神経細胞模倣
ユニットの学習及び誤差信号逆伝搬用に２進数をパルス
列信号に変換する信号形態変換手段とよりなることを特
徴とする請求項１記載の信号処理装置。
【請求項３】各信号形態変換手段が、乱数生成装置に
よる乱数列を用いてパルス列信号に変換するものとした
ことを特徴とする請求項１又は２記載の信号処理装置。
【請求項４】各信号形態変換手段毎に設けた乱数生成
装置を、各々異なった乱数列を生成するものとしたこと
を特徴とする請求項３記載の信号処理装置。