JPH05181830A

JPH05181830A - 信号処理装置

Info

Publication number: JPH05181830A
Application number: JP4165637A
Authority: JP
Inventors: Toshiyuki Furuta; 俊之古田; Shuji Motomura; 修二本村; Hirotoshi Eguchi; 裕俊江口; Takashi Kitaguchi; 貴史北口
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 1991-06-26
Filing date: 1992-06-24
Publication date: 1993-07-23

Abstract

(57)【要約】【目的】デジタル方式の自己学習機能付きのニューラ
ルネットワークにおいて、学習能力を向上させる。【構成】デジタル方式の自己学習機能付きのニューラ
ルネットワークの出力層に、０，１の２値で表現された
信号列からなる正の誤差信号δ_j(+)又はＥ_ij(+)と負の
誤差信号δ_j(-)又はＥ_ij(-) とが同時に１になることを
禁止させる論理手段５１を設け、出力層においては本来
的に正の誤差信号と負の誤差信号とが同時に１となるこ
とはないので、近似処理により両者がともに１となって
しまった場合には強制的にともに１とはならない論理処
理を施すことにより、実質的に相殺機能を維持させて学
習能力を向上させるようにした。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、神経細胞を模倣したニ
ューラルコンピュータ等の信号処理装置に関する。

【０００２】

【従来の技術】生体の情報処理の基本的な単位である神
経細胞（ニューロン）の機能を模倣し、さらに、この
「神経細胞模倣素子」をネットワークにし、情報の並列
処理を目指したのが、いわゆるニューラルネットワーク
である。文字認識や、連想記憶、運動制御等、生体では
いとも簡単に行われていても、従来のノイマン型コンピ
ュータではなかなか達成しないものが多い。そこで、生
体の神経系、特に生体特有の機能、即ち、並列処理、自
己学習等を模倣して、これらの問題を解決しようとする
試みが盛んに行われている。しかしながら、これらの試
みは計算機シミュレーションで行われているものが多
く、本来の機能を発揮させるためには、並列処理が必要
であり、そのためにはニューラルネットワークのハード
ウエア化が必要である。一部では、既にハードウエア化
の試みもなされているが、ニューラルネットワークの特
徴の一つである自己学習機能が実現できず、大きなネッ
クとなっている。また、殆どのものはアナログ回路で実
現されており、動作の点で問題がある。

【０００３】これらの点について、さらに詳細に検討す
る。まず、従来のニューラルネットワークのモデルにつ
いて説明する。図５７はある１つの神経細胞ユニット
（神経細胞模倣素子）１を表すもので、図５８はこれを
ネットワークにしたものである。即ち、１つの神経細胞
ユニット１は多数の他の神経細胞ユニット１と結合し信
号を受け、それを処理して出力を出す。図５８の場合、
ネットワークは階層型であり、１つ前（左側）の層のユ
ニットより信号を受け、１つ先（右側）の層のユニット
へ出力する。

【０００４】ここで、図５７の神経細胞ユニット１にお
いて、他の神経細胞ユニットと自分の神経細胞ユニット
との結合の度合いを表すのが結合係数と呼ばれるもの
で、ｉ番目のユニットとｊ番目のユニットとの結合計数
を、一般にＴ_ijで表す。結合には、相手のユニットから
の信号が大きいほど自分の出力が大きくなる興奮性結合
と、逆に、相手のユニットの信号が大きいほど自分の出
力が小さくなる抑制性結合とがあるが、Ｔ_ij＞０が興奮
性結合、Ｔ_ij＜０が抑制性結合を表す。自分がｊ番目の
ユニットの時、ｉ番目のユニットからの入力をｙ_iとす
ると、これに結合係数Ｔ_ijを掛けたＴ_ijｙ_iが自分のユ
ニットへの入力となる。前述のように、各ユニットは多
数のユニットと結合しているので、それらのユニットに
対するＴ_ijｙ_iを足し合わせた結果なるΣＴ_ijｙ_iが、
自分のユニットへの入力となる。これを内部電位とい
い、(１)式のようにｕ_jで表す。

【０００５】

【数１】

【０００６】次に、この入力に対して、非線形な処理を
して出力とする。この時の関数を神経細胞応答関数と呼
び、非線形関数として、(２)式及び図５９に示すような
シグモイド関数を用いる。

【０００７】

【数２】

【０００８】図５８に示すようにネットワーク構成にし
た時には各結合係数Ｔ_ijを与え、(１)(２)式を次々と計
算することにより、最終的な出力が得られるものであ
る。

【０００９】一方、このようなネットワークを電気回路
で実現したものの一例として、図６０に示すようなもの
がある。これは、特開昭６２−２９５１８８号公報中に
示されるもので、基本的には、Ｓ字形伝達関数を有する
複数の増幅器２と、各増幅器２の出力を他の層の増幅器
の入力に一点鎖線で示すように接続する抵抗性フィード
バック回路網３とを設けたものである。各増幅器２の入
力側には接地されたコンデンサと接地された抵抗とによ
るＣＲ時定数回路４が個別に接続されている。そして、
入力電流Ｉ₁ ，Ｉ₂ ，〜，Ｉ_Nが各増幅器２の入力に供
給され、出力はこれらの増幅器２の出力電圧の集合から
得られる。

【００１０】ここに、入力や出力の信号の強度を電圧で
表し、神経細胞間の結合の強さは、各細胞間の入出力ラ
インを結ぶ抵抗５（抵抗性フィードバック回路網３中の
格子点）の抵抗値で表され、神経細胞応答関数は各増幅
器２の伝達関数で表される。また、神経細胞間の結合に
は、前述のように興奮性結合と抑制性結合とがあり数学
的には結合係数の正負符号により表される。しかし、回
路上の定数で正負を実現するのは困難であるので、ここ
では、増幅器２の出力を２つに分け、一方の出力を反転
させることにより、正負の２つの信号を生成し、これを
適当に選択することにより実現するようにしている。ま
た、図５９に示したシグモイド関数に相当するものとし
ては増幅器が用いられている。

【００１１】しかし、これらの回路には、ネットワーク内部での信号の強度を電位や電流など
のアナログ値で表し、内部の演算もアナログ的に行わせ
るため、温度特性や電源投入直後のドリフト等により、
その値が変化してしまう。ネットワークであるので、素子の数も多く必要とす
るが、各々の特性を揃えることは困難である。１つの素子の精度や安定性が問題となったとき、そ
れをネットワークにした場合、新たな問題を生ずる可能
性があり、ネットワーク全体で見たときの動きが予想で
きない。結合係数Ｔ_ijの値が固定であり、予めシミュレーシ
ョンなどの他の方法で学習させた値を使うしかなく、自
己学習ができない。といった問題点がある。

【００１２】一方、数値計算で用いられている学習法則
としては、バックプロパゲーションと呼ばれる下記のよ
うなものがある。

【００１３】まず、各結合係数は最初にランダムに与え
ておく。この状態で、入力を与えると、出力結果は必ず
しも望ましいものとはならない。例えば、文字認識の場
合、手書きの「１」の文字を与えたとすると、出力結果
として「この文字は『１』である」と出るのが望ましい
結果であるが、結合係数がランダムであると必ずしも望
ましい結果とはならない。そこで、このネットワークに
正解（教師信号）を与えて、再び、同じ入力があったと
き正解となるように各結合係数を変化させる。このと
き、結合係数を変化させる量を求めるアルゴリズムが、
バックプロパゲーションと呼ばれているものである。

【００１４】例えば、図５８に示した階層型のネットワ
ークにおいて、最終層のｊ番目の神経細胞ユニットの出
力をｙ_jとし、その神経細胞ユニットに対する教師信号
をｄ_jとすると、(３)式

【数３】で表されるＥが最小となるように、(４)式

【数４】を用いて、結合係数Ｔ_ijを変化させる。

【００１５】さらに具体的には、まず、出力層と、その
１つ前の層との結合係数を求める場合には、(５)式

【数５】を用いて誤差信号δを求め、それよりさらに前の層同士
の結合係数を求める場合には、(６)式

【数６】を用いて誤差信号δを求め、(７)式

【数７】を求めて、Ｔ_ijを変化させる。ここに、ηは学習定数、
αは安定化定数と呼ばれるものである。各々論理的には
求められないので、経験的に求める。また、ｆ′はシグ
モイド関数ｆの１階微分関数、ΔＴ_ij′，Ｔ_ij′は前回
学習時の値である。

【００１６】このようにして学習をし、その後、再び入
力を与えて出力を計算し、学習をする。この操作を何回
も繰返す内に、やがて、与えられた入力に対して望まし
い結果が得られるような結合係数Ｔ_ijが決定される。

【００１７】ところが、このような学習方法を何らかの
方法でハードウエア化しようとした場合、学習には、多
量の四則演算が必要であり、実現が困難である。学習方
法そのものもハードウエア化に対しては不向きである。

【００１８】一方、デジタル回路でニューラルネットワ
ークを実現したものの例を図６１ないし図６３を参照し
て説明する。図６１は単一の神経細胞の回路構成を示
し、各シナプス回路６を樹状突起回路７を介して細胞体
回路８に接続してなる。図６２はその内のシナプス回路
６の構成例を示し、係数回路９を介して入力パルスｆに
倍率ａ（フィードバック信号に掛ける倍率で、１又は
２）を掛けた値が入力されるレートマルチプライヤ１０
を設けてなり、レートマルチプライヤ１０には重み付け
の値ｗを記憶したシナプス荷重レジスタ１１が接続され
ている。また、図６３は細胞体回路８の構成例を示し、
制御回路１２、アップ／ダウンカウンタ１３、レートマ
ルチプライヤ１４及びゲート１５を順に接続してなり、
さらに、アップ／ダウンメモリ１６が設けられている。

【００１９】これは、神経細胞ユニットの入出力をパル
ス列で表し、そのパルス密度で信号の量を表している。
結合係数は２進数で表し、メモリ１６上に保存してお
く。入力信号をレートマルチプライヤ１４のクロックへ
入力し、結合計数をレート値へ入力することによって、
入力信号のパルス密度をレート値に応じて減らしてい
る。これは、バックプロパゲーションモデルの式のＴ_ij
ｙ_iの部分に相当する。次に、ΣＴ_ijｙ_iのΣの部分
は、樹状突起回路７によって示されるＯＲ回路で実現し
ている。結合には興奮性、抑制性があるので、予めグル
ープ分けしておき、各々のグループ別にＯＲをとる。こ
の２つの出力をカウンタ１３のアップ側、ダウン側に入
力しカウントすることで出力が得られる。この出力は２
進数であるので、再びレートマルチプライヤ１４を用い
て、パルス密度に変換する。このユニットをネットワー
クにすることによって、ニューラルネットワークが実現
できる。学習については、最終出力を外部のコンピュー
タに入力してコンピュータ内部で数値計算を行い、その
結果を結合係数のメモリ１６に書込むことにより実現し
ている。従って、自己学習機能は全くない。また、回路
構成もパルス密度の信号をカウンタを用いて一旦数値
（２進数）に変換し、その後、再びパルス密度に変換し
ており、複雑なものとなっている。

【００２０】

【発明が解決しようとする課題】このように従来技術に
よる場合、アナログ回路方式では動作に確実性がなく、
数値計算による学習方法も計算が複雑であり、ハードウ
エア化に適さず、動作が確実なデジタル方式のものは回
路構成が複雑である。また、ハードウエア上で自己学習
ができないという欠点もある。

【００２１】このような欠点を解消するため、パルス密
度型の学習機能付きニューロンモデルが特願平２−４１
２４４８号により提案されている。しかし、この提案例
によると、詳細は後述するが、出力信号と教師信号とが
ランダムなパルス列であるため、パルス密度が同じでも
違うパルス列になることがある。このため、正の誤差信
号と負の誤差信号とが生成される。この時、両者のパル
ス密度が同じであるため、本来は学習時に相殺される筈
であるが、実際には近似を行っているので相殺されず、
学習能力の限界を持つものとなっている。

【００２２】また、この提案例によると、詳細は後述す
るが、例えばあるタイミングにおいて結合係数変化信号
が１の時に格納されていた結合係数も１であれば、学習
書換えしようとする新しい結合係数も１であるので、事
実上、学習が行われない、といった事態を生ずることが
あり、学習能力の限界を持つものとなっている。

【００２３】

【課題を解決するための手段】結合係数可変手段と、こ
の結合係数可変手段の可変結合係数値を教師信号に対し
て０，１の２値で表現された信号列からなる正の誤差信
号と負の誤差信号とに基づいて生成する結合係数生成手
段とを有する自己学習手段を神経細胞模倣素子に付設し
た複数の神経細胞模倣手段を網状に接続した信号処理手
段を設けた基本構成において、請求項１記載の発明で
は、正の誤差信号と負の誤差信号とが同時に１になるこ
とを禁止させる論理手段を設けた。

【００２４】請求項２記載の発明では、正の誤差信号と
負の誤差信号との何れか一方の信号を所定時間遅延させ
る遅延手段を設け、遅延された誤差信号と遅延を受けな
い誤差信号とが同時に１になることを禁止させる論理手
段を設けた。

【００２５】さらに、請求項３記載の発明では、正の誤
差信号と負の誤差信号との何れか一方の信号を所定時間
遅延させる遅延手段を設け、前記正の誤差信号と負の誤
差信号とが同値の時及び遅延された誤差信号と遅延を受
けない誤差信号とが同値の時に正の誤差信号と負の誤差
信号が１になることを禁止させる論理手段を設けた。

【００２６】また、結合係数可変手段と、この結合係数
可変手段の可変結合係数値を教師信号に対する正の誤差
信号と負の誤差信号とに基づいて生成する結合係数生成
手段とを有する自己学習手段を神経細胞模倣素子に付設
した複数の神経細胞模倣手段を網状に接続した信号処理
手段を設けた基本構成において、請求項４記載の発明で
は、出力層の前記正の誤差信号と負の誤差信号との一致
を検出する検出手段を設け、この検出手段から一致出力
が出力された時に前記自己学習手段による学習を禁止さ
せる学習禁止手段を設けた。

【００２７】請求項５記載の発明では、出力層の前記正
の誤差信号と負の誤差信号との何れか一方の信号を所定
時間遅延させる遅延手段を設け、遅延された誤差信号と
遅延を受けない誤差信号との一致を検出する検出手段を
設け、この検出手段から一致出力が出力された時に前記
自己学習手段による学習を禁止させる学習禁止手段を設
けた。

【００２８】さらに、請求項６記載の発明では、出力層
の前記正の誤差信号と負の誤差信号との何れか一方の信
号を所定時間遅延させる遅延手段を設け、出力層の前記
正の誤差信号と負の誤差信号との一致を検出する第１検
出手段と、遅延された誤差信号と遅延を受けない誤差信
号との一致を検出する第２検出手段とを設け、第１検出
手段と第２検出手段との双方から一致出力が出力された
時に前記自己学習手段による学習を禁止させる学習禁止
手段を設けた。

【００２９】さらに、請求項７記載の発明では、前記可
変結合係数値を生成するための結合係数変化信号の一部
又は全部に予め設定された時間以前の入力信号を用いる
補正手段を設けた。

【００３０】請求項８記載の発明では、結合係数と結合
係数変化信号とに基づき繰上り信号、繰下り信号を生成
する繰上り・繰下り信号生成手段と、生成された繰上り
信号、繰下り信号を予め設定された時間遅延させて前記
可変結合係数値の生成に供する遅延手段とを前記結合係
数生成手段に設けた。

【００３１】さらに、請求項９記載の発明では、前記可
変結合係数値を生成するための結合係数変化信号の一部
又は全部に予め設定された時間以前の入力信号を用いる
補正手段を設け、結合係数と前記結合係数変化信号とに
基づき繰上り信号、繰下り信号を生成する繰上り・繰下
り信号生成手段と、生成された繰上り信号、繰下り信号
を予め設定された時間遅延させて前記可変結合係数値の
生成に供する遅延手段とを前記結合係数生成手段に設け
た。

【００３２】

【作用】請求項１ないし３記載の発明においては、０，
１の２値で表現された信号列からなる正の誤差信号と負
の誤差信号とに着目した場合、出力層においては同時に
１となることはないので、同一タイミングにて、或い
は、所定遅延時間ずれたタイミング関係において、両者
が同値の場合には同時には１とさせないことにより、実
質的に相殺機能を持たせることができ、学習能力が向上
するものとなる。

【００３３】請求項４ないし６記載の発明においても、
正の誤差信号と負の誤差信号とに着目した場合、出力層
においては同時に１となることはないので、同一タイミ
ングにて、或いは、所定遅延時間ずれたタイミング関係
において、両者が同値の場合には学習させないことによ
り、実質的に相殺機能を持たせることができ、学習能力
が向上するものとなる。

【００３４】自己学習手段においては、変化させたい結
合係数が属している信号線上の入力信号と誤差信号との
論理処理により結合係数変化信号を算出し、この結合係
数変化信号に基づいて可変結合係数値を算出するが、こ
の時、請求項７記載の発明においては、補正手段によ
り、結合係数変化信号の一部又は全部に予め設定された
時間以前の入力信号を用いて補正することにより、より
適切な状態に補正された結合係数変化信号が得られるも
のとなり、学習能力が向上するものとなる。

【００３５】特に、正の誤差信号と負の誤差信号とに着
目した場合において、例えばこれらの誤差信号により算
出される正の結合係数変化信号が１の時に格納されてい
る結合係数も１であれば、学習書換えしようとする新し
い結合係数も１であるので、事実上学習が行われない
が、この時、請求項８，９記載の発明によれば、結合係
数と結合係数変化信号とに基づき繰上り信号を生成し、
予め設定された時間遅延させて、遅れたタイミングで可
変結合係数値の生成、即ち、学習に供することにより、
有効に学習が行われる。負の結合係数変化信号側につい
ては、繰下り信号により同様に対応できる。

【００３６】

【実施例】本発明の第一の実施例を図１ないし図２９に
基づいて説明する。ここに、本実施例の要旨の説明に先
立ち、既提案例による自己学習機能を持つデジタル論理
回路を用いたニューロン素子構成のニューラルネットワ
ークについての基本的思想及びその構成例について説明
する。本実施例の前提とするニューラルネットワーク
は、結合係数可変回路とこの結合係数可変回路の可変結
合係数値を教師信号に対する正，負の誤差信号に基づい
て生成する結合係数生成回路とを有する自己学習回路を
付設したデジタル論理回路による複数の神経細胞模倣素
子よりなる信号処理手段を網状に接続して構成される。

【００３７】まず、提案例におけるニューラルネットワ
ークはデジタル構成によりハードウエア化したものであ
るが、基本的な考え方としては、神経細胞ユニットに関する入出力信号、中間信号、
結合係数、教師信号などは全て、「０」「１」の２値で
表されたパルス列で表す。ネットワーク内部での信号の量は、パルス密度で表
す（ある一定時間内の「１」の数）。神経細胞ユニット内での計算は、パルス列同士の論
理演算で表す。結合係数のパルス列はメモリ上に置く。学習は、このパルス列を書換えることで実現する。学習については、与えられた教師信号パルス列を元
に誤差を計算し、これに基づいて、結合係数パルス列を
変化させる。このとき、誤差の計算、結合係数の変化分
の計算も、全て、「０」「１」のパルス列の論理演算で
行う。ようにしたものである。

【００３８】以下、この思想について説明する。最初
に、デジタル論理回路による信号処理に関し、フォワー
ドプロセスにおける信号処理を説明する。図２は１つの
神経細胞ユニット（神経細胞模倣素子）２０に相当する
部分を示し、ニューラルネットワーク全体としては例え
ば図５８に示した場合と同様に階層型とされる。入出力
は、全て、「１」「０」に２値化され、かつ、同期化さ
れたものが用いられる。入力信号ｙ_iの強度はパルス密
度で表現し、例えば図３に示すパルス列のようにある一
定時間内にある「１」の状態数で表す。即ち、図３の例
は、４／６を表し、同期パルス６個中に信号は「１」が
４個、「０」が２個である。このとき、「１」と「０」
の並び方は、ランダムであることが望ましい。

【００３９】一方、各神経細胞ユニット２０間の結合の
度合を示す結合係数Ｔ_ijも同様にパルス密度で表現し、
「０」と「１」とのビット列として予めメモリ上に用意
しておく。図４の例は、「１０１０１０」＝３／６を表
す式である。この場合も、「１」と「０」の並び方はラ
ンダムであることが望ましい。

【００４０】そして、このビット列を同期クロックに応
じてメモリ上より順次読出し、図２に示すように各々Ａ
ＮＤゲート２１により入力信号パルス列との論理積をと
る（ｙ_i ∩ Ｔ_ij)。これを、神経細胞ｊへの入力とす
る。上例の場合で説明すると、入力信号が「１０１１０
１」として入力されたとき、これと同期してメモリ上よ
りパルス列を呼出し、順次ＡＮＤをとることにより、図
５に示すような「１０１０００」が得られ、これは入力
ｙ_i が結合係数Ｔ_ijにより変換されパルス密度が２／６
となることを示している。

【００４１】ＡＮＤゲート２１の出力のパルス密度は、
近似的には入力信号のパルス密度と結合係数のパルス密
度との積となり、アナログ方式の結合係数と同様の機能
を有する。これは、信号の列が長いほど、また、「１」
と「０」との並び方がランダムであるほど、数値の積に
近い機能を持つことになる。なお、入力パルス列に比べ
て結合係数のパルス列が短く、読出すべきデータがなく
なったら、再びデータの先頭に戻って読出しを繰返えせ
ばよい。

【００４２】１つの神経細胞ユニット２０は多入力であ
るので、前述した「入力信号と結合係数とのＡＮＤ」も
多数あり、次にＯＲ回路２２によりこれらの論理和をと
る。入力は同期化されているので、例えば１番目のデー
タが「１０１０００」、２番目のデータが「０１０００
０」の場合、両者のＯＲをとると、「１１１０００」と
なる。これをｍ個分について多入力同時に計算し出力と
すると、例えば図６に示すようになる。これは、アナロ
グ計算における和の計算及び非線形関数（シグモイド関
数）の部分に対応している。

【００４３】パルス密度が低い場合、そのＯＲをとった
もののパルス密度は、各々のパルス密度の和に近似的に
一致する。パルス密度が高くなるにつれ、ＯＲ回路２２
の出力は段々飽和してくるので、パルス密度の和とは一
致せず、非線形性が出てくる。ＯＲの場合、パルス密度
は１よりも大きくなることがなく、かつ、０より小さく
なることもなく、さらには、単調増加関数であり、シグ
モイド関数と近似的に同等となる。

【００４４】ところで、結合には興奮性と抑制性があ
り、数値計算の場合には、結合係数の符号で表し、アナ
ログ回路の場合はＴ_ijが負となる場合（抑制性結合）は
増幅器を用いて出力を反転させてＴ_ijに相当する抵抗値
で他の神経細胞ユニットに結合させている。この点、デ
ジタル方式の提案例にあっては、まず、Ｔ_ijの正負によ
り各結合を興奮性結合と抑制性結合との２つのグループ
に分け、次いで、「入力信号と結合係数のパルス列のＡ
ＮＤ」同士のＯＲをこのグループ別に計算する。このよ
うにして得られた興奮性グループの結果Ｆ_jと抑制性グ
ループの結果Ｉ_jとする。

【００４５】或いは、１つの入力ｙ_i に対して興奮性を
表す結合係数Ｔ_ij(+) と抑制性を表す結合係数Ｔ_ij(-)
との両方を用意し、各々ＡＮＤをとる（ｙ_i∩Ｔ
_ij(+) 、ｙ_i∩Ｔ_ij(-) ）。さらに、これら同士のＯＲ
を各々とり（∪(ｙ_i∩Ｔ_ij(+) )、∪( ｙ_i∩Ｔ
_ij(-) ）、興奮性グループの結果をＦ_j 、抑制性グルー
プの結果をＩ_j とする。

【００４６】これらをまとめると、１つの入力に対して、結合係数を興奮性、抑制性の
どちらか一方のみを持つ場合には、(８)(９)式

【数８】のようになる。

【００４７】１つの入力に対して、結合係数を興奮
性、抑制性の両方を持つ場合には、(10)(11)式

【数９】のようになる。

【００４８】或いは、(12)(13)式

【数１０】に示すようになる。ただし、(12)(13)式において、１つ
の入力に対して結合係数を興奮性、抑制性のどちらか一
方のみ持つ場合には、ｙ_Fij ，ｙ_Iij は(14)(15)式で示
され、１つの入力に対して結合係数を興奮性、抑制性の
両方を持つ場合には、ｙ_Fij ，ｙ_Iij は(16)(17)式で示
される。

【００４９】

【数１１】

【００５０】このようにして得られた興奮性グループの
演算結果Ｆ_j と抑制性グループの演算結果Ｉ_j が、不一
致であれば興奮性グループの結果を出力する。即ち、興
奮性グループの結果Ｆ_jが「０」で抑制性グループの結
果Ｉ_jが「１」であれば、「０」を出力し、興奮性グル
ープの結果Ｆ_jが「１」で抑制性グループの結果Ｉ_jが
「０」であれば、「１」を出力する。興奮性グループの
結果Ｆ_j と抑制性グループの結果Ｉ_jが一致したときに
は、「０」を出力しても「１」を出力してもよく、或い
は、別個に用意された第２の入力信号Ｅ_jを出力させて
もよく、又は、このような第２の入力信号Ｅ_jとこの第
２の入力信号Ｅ_jに対して設けたメモリの内容との論理
積を演算したものを出力させるようにしてもよい。この
メモリも入力信号に対する結合係数と同様、全て読出し
てしまったら再び先頭から読出せばよい。

【００５１】この機能を実現するため、まず、「０」を
出力させる例の場合であれば、興奮性グループの出力と
抑制性グループの出力の否定とのＡＮＤをとればよい。
図７はこの例を示すもので、数式で示すと、(18)式のよ
うになる。

【００５２】

【数１２】

【００５３】また、「１」を出力させる例の場合であれ
ば、興奮性グループの出力の否定と抑制性グループの出
力とのＡＮＤをとればよい。図８はこの例を示すもの
で、数式で示すと、(19)式のようになる。

【００５４】

【数１３】

【００５５】第２の入力信号を出力させる例の場合であ
れば、図９に示すようになり、数式で示すと、(20)式の
ようになる。

【００５６】

【数１４】

【００５７】さらに、第４の方式の例であれば、第２の
入力信号Ｅ_jに対して設けられたメモリの内容（係数）
をＴ′_jとすると、図１０に示すようになり、数式で示
すと、(21)式のようになる。

【００５８】

【数１５】

【００５９】神経細胞ユニット２０のネットワークは、
バックプロパゲーションと同様な階層型（即ち、図５
８）とする。そして、ネットワーク全体を同期させてお
けば、各層とも上述した機能により計算できる。

【００６０】次に、学習（バックプロパゲーション）に
おける信号演算処理について説明する。基本的には、以
下のａ又はｂにより誤差信号を求め、次いで、ｃの方法
により結合係数の値を変化させるようにすればよい。

【００６１】ａ．最終層における誤差信号最終層で各神経細胞ユニットにおける誤差信号を計算
し、それを基にその神経細胞ユニットに関わる結合係数
を変化させる。そのための、誤差信号の計算法について
述べる。ここに、「誤差信号」を以下のように定義す
る。誤差を数値で表すと、一般には＋，−の両方をとり
得るが、パルス密度の場合には、正、負の両方を同時に
表現できないので、＋成分を表す信号と、−成分を表す
信号との２種類を用いて誤差信号を表現する。即ち、ｊ
番目の神経細胞ユニットの誤差信号は、図１１のように
示される。つまり、誤差信号の＋成分は教師信号パルス
と出力パルスとの違っている部分(1，０）又は（０，
１）の内、教師信号側に存在するパルスであり、−成分
は同様に出力側に存在するパルスである。換言すれば、
出力信号ｙ_jに誤差信号＋パルスを付け加え、誤差信号
−パルスを取り除くと、教師信号ｄ_jとなることにな
る。即ち、これらの正負の誤差信号δ_j(+)，δ_j(-)を論
理式で表現すると、各々(22)(23)式のようになる。式
中、ＸＯＲは排他的論理和を表す。このような誤差信号
パルスを元に結合係数を後述するように変化させること
になる。

【００６２】

【数１６】

【００６３】ｂ．中間層における誤差信号まず、上記の誤差信号を逆伝播させ、最終層とその１つ
前の層との結合係数だけでなく、さらにその前の層の結
合係数も変化する。そのため、中間層における各神経細
胞ユニットでの誤差信号を計算する必要がある。中間層
のある神経細胞ユニットから、さらに１つ先の層の各神
経細胞ユニットへ信号を伝播させたのとは、丁度逆の要
領で１つ先の層の各神経細胞ユニットにおける誤差信号
を集めてきて、自己の誤差信号とする。このことは、神
経細胞ユニット内での前述した演算式(８)〜(10)や図３
〜図８に示した場合と同じような要領で行うことができ
る。ただし、神経細胞ユニット内での前述した処理と異
なるのは、ｙ_jが常に正なる１つの信号であるのに対し
て、δ_jは正、負を表す信号として２つの信号を持ち、
その両方の信号を考慮する必要があることである。従っ
て、結合係数Ｔ_ijの正負、誤差信号δ_jの正負に応じて
４つの場合に分ける必要がある。

【００６４】まず、興奮性結合の場合を説明する。この
場合、中間層のある神経細胞ユニットについて、１つ先
の層のｋ番目の神経細胞ユニットでの誤差信号δ
_k(+)と、その神経細胞ユニットと自己との結合係数Ｔ_jk
のＡＮＤをとったもの（δ_k(+) ∩Ｔ_jk）を各神経細胞
ユニットについて求め、さらに、これら同士のＯＲをと
る｛∪（δ_k(+) ∩ Ｔ_jk）｝。これをこのニューロンの
誤差信号δ.ｐ_j(+) とする。即ち、１つ先の層の神経細
胞ユニットをｎ個とすると、図１２に示すようになる。
これらを順に数式で示すと、(24)〜(26)式のようにな
る。

【００６５】

【数１７】

【００６６】同様に、１つ先の層の神経細胞ユニットで
の誤差信号δ_k(-)と結合係数Ｔ_jkとのＡＮＤをとり、さ
らにこれら同士のＯＲをとることにより、この中間層の
誤差信号δ.ｐ_j(-) とする。即ち、図１３に示すように
なり、これらを順に数式で示すと、(27)〜(29)式のよう
になる。

【００６７】

【数１８】

【００６８】つぎに、抑制性結合の場合を説明する。こ
の場合、１つ先の層の神経細胞ユニットでの誤差信号δ
_k(-)とその神経細胞ユニットと自己との結合係数Ｔ_jkの
ＡＮＤをとり、さらにこれら同士のＯＲをとる。これ
を、この中間層の誤差信号δ.ｐ_j(+) とする。即ち、図
１４に示すようになり、これらを順に数式で示すと、(3
0)〜(32)式のようになる。

【００６９】

【数１９】

【００７０】また、１つ先の誤差信号δ_k(+)と結合係数
Ｔ_jkとのＡＮＤをとり、さらにこれら同士のＯＲをとる
ことにより、同様に、この層の誤差信号δ.ｄ_j(-) とす
る。即ち、図１５に示すようになり、これらを順に数式
で示すと、(33)〜(35)式のようになる。

【００７１】

【数２０】

【００７２】１つの神経細胞ユニットから別の神経細胞
ユニットへは興奮性で結合しているものもあれば、抑制
性で結合しているものもあるので、図１２のように求め
た誤差信号δ.ｄ_j(+) と図１４のように求めた誤差信号
δ.ｄ_j(+) とのＯＲをとり、それを自分の神経細胞ユニ
ットの誤差信号δ.ｄ_j(+) とする。同様に、図１３のよ
うに求めた誤差信号δ.ｄ_j(-) と図１５のように求めた
誤差信号δ.ｄ_j(-) とのＯＲをとり、それを自分の神経
細胞ユニットの誤差信号δ.ｄ_j(-) とする。

【００７３】以上をまとめると、(36)式

【数２１】に示すようになる。

【００７４】さらに、この２つの信号が同時に１となっ
たときには、両方とも０とするような処理を行い、この
神経細胞ユニットの誤差信号δ_j(+)，δ_j(-)とする。(3
7)式はこれを示すものである。

【００７５】

【数２２】

【００７６】或いは、(38)式

【数２３】に示すようになる。

【００７７】または、(39)式

【数２４】としてもよい。

【００７８】次に、１つの入力に対して興奮性と抑制性
との両方の結合係数を持つ場合、(36)式に代えて、(40)
式を用いればよい。

【００７９】

【数２５】

【００８０】或いは、(38)式ただし書きに代えて、(41)
式を用いればよい。

【００８１】

【数２６】

【００８２】或いは、(39)式ただし書き中のＥ.
ｐ_jk(+)，Ｅ.ｐ_jk(-)に代えて、(42)式を用いればよ
い。

【００８３】

【数２７】

【００８４】さらに、学習のレート（学習定数）に相当
する機能を設けてもよい。数値計算でレートが１以下の
とき、さらに学習能力が高まる。これはパルス列の演算
ではパルス列を間引くことによって実現できる。ここで
は、カウンタ的な考え方をし、図１６、図１７に示すよ
うなものとした。例えば、学習レートη＝０．５では元
の信号のパルス列を１つ置きに間引くが、元の信号のパ
ルスが等間隔でなくても、元のパルス列に対して間引く
ことができる。図１６，１７中、η＝０．５の場合はパ
ルスを１つ置きに間引き、η＝０．３３の場合はパルス
を２つ置きに残し、η＝０．６７の場合はパルスを２つ
置きに１回間引くことを示す。

【００８５】このようにして、誤差信号を間引くことに
より学習レートの機能を持たせる。このような誤差信号
の間引きは、通常市販されているカウンタの出力を論理
演算することやフリップフロップを用いることにより容
易に実現できる。特に、カウンタを用いた場合、学習定
数ηの値を任意、かつ、容易に設定できるので、ネット
ワークの特性を制御することも可能となる。

【００８６】ｃ．誤差信号により各結合係数を変化させ
る方法変化させたい結合係数が属しているライン（図５８参
照）を流れる信号と誤差信号のＡＮＤをとる（δ_j ∩ｙ
_i ）。ただし、ここでは誤差信号には＋，−の２つの信
号があるので、各々演算して図１８，図１９に示すよう
に求める。即ち、δ_j(+)∩ｙ_i、δ_j(-)∩ｙ_iを各々
正，負の結合係数変化信号としている。

【００８７】このようにして得られた２つの信号を各々
ΔＴ_ij(+) ，ΔＴ_ij(-) とする。ついで、今度はこのΔ
Ｔ_ijを元に新しいＴ_ijを求めるが、Ｔ_ijは絶対値成分で
あるので、元のＴ_ijが興奮性か抑制性かで場合分けす
る。興奮性の場合、元のＴ_ijに対してΔＴ_ij(+) の成分
を増やし、ΔＴ_ij(-) の成分を減らす。即ち、図２０に
示すようになる。逆に、抑制性の場合は元のＴ_ijに対し
ΔＴ_ij(+) の成分を減らし、ΔＴ_ij(-) の成分を増や
す。即ち、図２１に示すようになる。

【００８８】これらの図２０，図２１の内容を数式で示
すと、(43)(44)式

【数２８】のようになる。

【００８９】さらに、１つの入力に対して興奮性と抑制
性との両方の結合係数を持つ場合には、(45)(46)式に示
すようになる。

【００９０】

【数２９】

【００９１】或いは、図１８、図１９及び(43)(44)式を
変形し、(47)式のようにしてもよい。

【００９２】

【数３０】

【００９３】以上の学習則に基づいてネットワークの計
算をする。

【００９４】次に、以上のアルゴリズムに基づく実際の
回路構成を説明する。図２２ないし図２７にその回路構
成例を示すが、ネットワーク２全体の構成は図３２と同
様である。図２２ないし図２５は図５８のような階層型
ネットワーク中のライン（結線）に相当する部分の回路
を示し、図２６は図５８中の丸（提案例では、各神経細
胞ユニット２０）に相当する部分の回路を示す。また、
図２７は最終層の出力と教師信号から最終層における誤
差信号を求める部分の回路を示す。これらの図２２ない
し図２７構成の３つの回路を図５８の場合のようにネッ
トワークにすることにより、自己学習可能なデジタル式
のニューラルネットワークが実現できる。

【００９５】まず、図２２から説明する。図中、２５は
図４に示したような神経細胞ユニットへの入力信号であ
る。図５に示したような結合係数の値はシフトレジスタ
２６に保存しておく。このシフトレジスタ２６は取出し
口２６ａと入口２６ｂとを有するが、通常のシフトレジ
スタと同様の機能を持つものであればよく、例えば、Ｒ
ＡＭとアドレスコントローラとの組合せによるもの等で
あってもよい。入力信号２５とシフトレジスタ２６内の
結合係数とはＡＮＤゲート２７を備えて図６に示した処
理を行なう論理回路２８によりＡＮＤがとられる。この
論理回路２８の出力は結合が興奮性か抑制性かによって
グループ分けしなければならないが、予め各々のグルー
プへの出力２９，３０を用意し、何れに出力するのかを
切換えるようにした方が汎用性の高いものとなる。この
ため、提案例では結合が興奮性か抑制性かを表すビット
をグループ分け用メモリ３１に保存しておき、その情報
を用いて切換えゲート回路３２により切換える。切換え
ゲート回路３２は２つのＡＮＤゲート３２ａ，３２ｂと
一方の入力に介在されたインバータ３２ｃとよりなる。

【００９６】切換える必要のない場合には、各々固定し
ても構わない。例えば、興奮性の場合を図２３、抑制性
の場合を図２４に示す。また、１つの入力に対して、興
奮性を表すビットに対するメモリと、抑制性を表すビッ
トに対するメモリとの両方を用意してもよい。図２５は
この例を示す。図中、２６Ａが興奮性を表す結合係数に
対するビットのメモリ、２６Ｂが抑制性を表す結合係数
に対するビットのメモリである。

【００９７】また、図２６に示すように各入力処理（図
６に相当）をする複数のＯＲゲート構成のゲート回路３
３ａ，３３ｂが設けられている。さらに、同図に示すよ
うに図７に示した興奮性結合グループが「１」で、抑制
性結合グループが「０」のときにのみ出力「１」を出す
ＡＮＤゲート３４ａとインバータ３４ｂとによるゲート
回路３４が設けられている。図８ないし図１０に例示し
たような処理結果とする場合にも同様に論理回路で容易
に実現できる。

【００９８】もっとも、ゲート回路３４としては、図８
方式の場合であれば図２８（ａ）に示すようにインバー
タ３４ｂとＯＲゲート３４ｃとの組合せとし、図９方式
の場合であれば図２８（ｂ）に示すように排他的ＯＲゲ
ート３４ｄとインバータ３４ｅと２つのＡＮＤゲート３
４ｆ，３４ｇとＯＲゲート３４ｈとにより構成してＡＮ
Ｄゲート３４ｇに第２入力Ｅ_jを入力させるものとし、
図１０方式の場合であれば図２８（ｃ）に示すように同
図（ｂ）に第２入力Ｅ_jに対する係数Ｔ′を記憶したメ
モリ３４ｉと、ＡＮＤゲート３４ｊとを追加した構成と
すればよい。

【００９９】次に、誤差信号について説明する。最終層
での誤差信号を生成するのが図２７に示すＡＮＤ，排他
的ＯＲの組合せによる論理回路３５であり、(６)(７)式
に相当する。即ち、最終層からの出力３６及び教師信号
３７により誤差信号３８，３９を作るものである。中間
層における誤差信号を計算する(38)式の内、Ｅ_j(+)，Ｅ
_j(-)を求める処理は、図２２中に示すＡＮＤゲート構成
のゲート回路４２により行われ、＋，−に応じた出力４
３，４４が得られる。ここでは、結合係数として学習後
のものを用いたが、学習前のものであってもよく、この
場合も容易に回路化し得る。また、このように結合が興
奮性か抑制性かにより場合分けする必要があるが、この
場合分けはメモリ３１に記憶された興奮性か抑制性かの
情報と、誤差信号の＋，−信号４５，４６とに応じて、
ＡＮＤ，ＯＲゲート構成のゲート回路４７により行われ
る。なお、結合の興奮性、抑制性の区別を固定した図２
３、図２４方式のものでは、前記メモリ３１の内容を各
々０，１に固定したものと等価な回路となる。一方、１
つの入力に対して興奮性結合を表すメモリ２６Ａと抑制
性結合を表すメモリ２６Ｂとの両方を用いる図２５方式
のものでは、(41)式に相当する回路が、図２５において
ゲート回路３５として示されている。

【０１００】また、誤差信号を集める計算式(８)、即
ち、(38)式の残りの部分は図２６に示すＯＲゲート構成
のゲート回路４８により行われる。さらに、学習レート
に相当する図１６，１７の処理は図２６中に示す分周回
路４９により行われる。これは、フリップフロップ等を
用いることにより容易に実現できる。もっとも、分周回
路４９は不必要であれば特に設けなくてよく、設ける場
合であっても図２６中に示した例に限らず、図２２〜図
２５中に符号４９を付して示す位置に設けるようにして
もよい。

【０１０１】最後に、誤差信号より新たな結合係数を計
算する部分、即ち、図１８〜図２１の処理に相当する部
分は、図２２中に示すＡＮＤゲート、インバータ、ＯＲ
ゲート構成のゲート回路５０により行われ、シフトレジ
スタ２６の内容、即ち、結合係数の値が書換えられる。
このゲート回路５０も結合の興奮性、抑制性によって場
合分けが必要であるが、これはゲート回路４７により行
われる。図２３、図２４の場合には、興奮性、抑制性が
固定であるので、ゲート回路４７に相当する回路は不要
である。図２５の方式の場合は、１つの入力に対して興
奮性、抑制性の両方を持つので、ゲート回路５０中のゲ
ート回路５０Ａが興奮性の場合、ゲート回路５０Ｂが抑
制性の場合に相当する。

【０１０２】しかして、本実施例の特徴とする(38)式中
に示すδ_j(+)，δ_j(-)、又は、(39)式中に示すＥ
_jk(+) ，Ｅ_jk(-) を求める演算、即ち、正、負の誤差信
号が同時に１になる時に、両方とも０とする論理手段５
１を図１に示す。即ち、自己の誤差信号とインバータ５
２，５３により他方の誤差信号を反転させた信号とを入
力とするＡＮＤゲート５４，５５を設けたものである。
よって、正、負の誤差信号がともに１の場合には、ＡＮ
Ｄゲート５４，５５の出力がともに０となり、出力すべ
き正、負の誤差信号はともに０とされ、同時に１になる
ことが禁止される。このような論理手段５１は図２２〜
図２４の各図において、各々Ａで示す位置に挿入すれ
ば、(39)式の処理が行われる。この時には、図２２〜図
２４中のゲート回路４２が(39)式中のＥ.ｐ_jk(+)，Ｅ.
ｐ_jk(-)を求める処理に相当し、図２６中のゲート回路
４８が(39)式中のδ_j(+)，δ_j(-)を求める処理に相当す
る。また、論理手段５１を図２５中のＡで示す位置に設
けた場合も(39)式中に示すＥ_jk(+) ，Ｅ_jk(-) を求める
演算が行われる。この時には、図２５中のゲート回路４
２が(42)式の処理、図２６中のゲート回路４８が(39)式
中のδ_j(+)，δ_j(-)を求める処理に相当する。

【０１０３】また、論理手段５１を図２６中のＢ又はＣ
で示す位置に設けた場合は、(38)式中に示すδ_j(+)，δ
_j(-)を求める処理を実現できる。この時、図２２〜図２
４中のゲート回路４２が(38)式中のただし書き、図２５
中のゲート回路１０が(41)式、図２６中のゲート回路４
８が(38)式中のδ.ｐ_j(+)，δ.ｐ_j(-)を求める処理に相
当する。

【０１０４】以上、説明したように信号をパルス密度で
表現する手法は、実際の回路のみならず、計算機上でシ
ミュレートする場合にも有用である。計算機上では、演
算は直列的に行われるが、アナログ値を用いて計算させ
るのに比べて、「０」「１」の２値の論理演算のみであ
るので、計算速度が著しく向上する。一般に、実数値の
四則演算は、１回の計算に多くのマシンサイクルを必要
とするが、論理演算では少なくて済む。また、論理演算
のみであると、高速処理向けの低水準言語が使用しやす
いといった特徴も持つ（以下の実施例でも同様）。

【０１０５】ところで、上述した処理方法を実施する上
で全部を回路化する必要はなく、一部又は全部をソフト
ウエアで行わせるようにしてもよい。また、回路自体も
論理が等価な別の回路に置換えてもよく、論理を負論理
に置換えてもよい（以下の実施例でも同様）。

【０１０６】このようなニューラルネットワークを用い
た自己学習式文字認識装置の場合を例にとり、実測例を
説明する。まず、手書き文字をスキャナで読取り、図２
９に示すように１６×１６のメッシュに分け、文字部分
のあるメッシュを「１」、ないメッシュを「０」とし
た。このような２５６個のデータをネットワークに入力
させ、出力は５つあるユニットの内で一番大きい出力の
ものの位置が、認識結果となるようにした。そのため、
「１」〜「５」までの数字を入力したとき、その数字に
対応する番号の出力が一番大きくなるように学習させ
た。次に、ネットワークの構成は、第１層目が２５６
個、第２層目が２０個、第３層目が５個の神経細胞ユニ
ット２０からなるものとした。最初、各結合係数をラン
ダムに与えておくと、出力結果は必ずしも所望のものと
はならない。そこで、この回路の自己学習機能を用い
て、各結合係数を新たに求め、これを何回か繰返すこと
により、所望の出力が得られるようにする。提案例で
は、入力は「０」か「１」であるので、入力パルス列は
常にＬレベル又はＨレベルの単純なものとなる。また、
出力はトランジスタを介してＬＥＤと結び、Ｌレベルの
時には消灯、Ｈレベルの時には点灯するようにした。同
期クロックを１０００ｋＨｚとしたので、パルス密度に
応じて人間の目にはＬＥＤの明るさが変わるので、一番
明るいＬＥＤの部分が答えになる。十分学習させた文字
に対しては認識率１００％が得られたものである。

【０１０７】つづいて、本発明の第二の実施例を図３０
により説明する。前記実施例で示した部分と同一部分は
同一符号を用いて示す（以下の実施例でも同様とす
る）。前記実施例では、正、負の誤差信号δ_j(+)，δ
_j(-)又はＥ_ij(+) ，Ｅ_ij(-) を同一タイミング時におい
てともに１の場合に０にさせるようにしたが、本実施例
では、遅延手段を用いて、正、負の誤差信号δ_j(+)，δ
_j(-)又はＥ_ij(+) ，Ｅ_ij(-)をある一定の時間差（例え
ば、図４等に示した同期信号の１つ又は複数個分）でと
もに１か否かチェックし、ともに１の場合には、両方と
も０となるようにしたものである。

【０１０８】例えば、同期信号１つ分の遅延時間とした
場合、(37)式に代えて、(48)(49)式に示すように、正、
負の誤差信号δ.ｐ_j(+)，δ.ｐ_j(-)と各々一定時間前の
負の誤差信号δ.ｄ_j(-) の否定信号と正の誤差信号δ.
ｄ_j(+) の否定信号とのＡＮＤをとる。

【０１０９】

【数３１】

【０１１０】ここで、同期信号１つ分前の負の誤差信号
を示すδ.ｄ_j(-) 、正の誤差信号を示すδ.ｄ_j(+) とし
ては、(50)(51)式が用いられる。ただし、右辺の各信号
は同期信号１つ分前の時点での信号である。

【０１１１】

【数３２】

【０１１２】或いは、(36)〜(51)式に示した処理に代え
て、(52)〜(54)式

【数３３】を用いるようにしてもよい。

【０１１３】ただし、Ｅ_jk(+) ，Ｅ_jk(-) は(55)式で定
義される。

【数３４】

【０１１４】ここで、δ.ｄ_j(+)，δ.ｄ_j(-)は(56)(57)
式に示すものが用いられる。ただし、この場合も、右辺
の各信号は同期信号１つ分前の信号である。

【０１１５】

【数３５】

【０１１６】又は、(52)〜(54)式に代えて、(58)式

【数３６】を用いてもよい。

【０１１７】ただし、Ｅ.ｐ_jk(+)，Ｅ.ｐ_jk(-)，Ｅ
_jk(+) ，Ｅ_jk(-) は(59)〜(61)式により定義される。

【０１１８】

【数３７】

【０１１９】ここで、δ.ｄ_j(+)，δ.ｄ_j(-)は(62)(63)
式に示すものが用いられる。ただし、この場合も、右辺
の各信号は同期信号１つ分前の信号である。

【０１２０】

【数３８】

【０１２１】さらに、(53)(54)式に代えて、(64)(65)式

【数３９】を用いてもよい。

【０１２２】或いは、(66)(67)式

【数４０】を用いてもよい。

【０１２３】或いは、(68)(69)式

【数４１】としてもよい。

【０１２４】或いは、(60)(61)式に代えて、(70)(71)式

【数４２】を用いてもよい。

【０１２５】或いは、(72)(73)式

【数４３】を用いてもよい。

【０１２６】或いは、(74)(75)式

【数４４】を用いてもよい。

【０１２７】これらの処理では、正、負の誤差信号の何
れか一方を遅延させて比較するようにしたが、さらに、
これらの正、負の誤差信号を前記実施例のように何れも
遅延させずに比較し、この比較においても、ともに１の
場合にはともに０となるようにしてもよい。これは、(5
3)(64)式を(76)式、(54)(66)式を(77)式、(64)(67)式を
(78)式、(66)(68)式を(79)式、(60)(70)式を(80)式、(6
1)(75)式を(81)式、(71)(73)式を(82)式、(72)(74)式を
(83)式のようにすればよい。

【０１２８】

【数４５】

【０１２９】また、この際、(50)(51)(62)(63)式は元の
ままとしてもよく、或いは、(84)〜(87)式

【数４６】のようにしてもよい。

【０１３０】以上のアルゴリズムを基に、これを実際の
回路にする場合、図１に代えて、図３０に示す論理手段
５６のような回路構成とすればよい。具体的には、前記
論理手段５１に対して各々遅延手段となる遅延回路５７
ａ，５８ａを設けたものである。これらの遅延回路５７
ａ，５８ａには同期信号が与えられ、この同期信号１個
分が遅延される。具体的には、Ｄレジスタ等を用いるこ
とにより容易に実現できる。なお、これらの遅延回路５
７ａ．５８ａはインバータ５２，５３と順序を入替えて
もよい。

【０１３１】このような論理手段５６を図２２〜図２４
中のＡ位置、図２６中のＤ位置の何れかに設ければ(60)
〜(63)式が実現される。また、論理手段５６において、
遅延回路５７ａ，５８ａに代えて遅延回路５８ｂとして
設ければ、(63)(71)(72)式が実現される。同様に、遅延
回路５７ａ，５８ａに代えて遅延回路５７ｂとして設け
れば、(62)(74)(75)式が実現される。さらに、遅延回路
５７ａ，５８ａに代えて遅延回路５７ｃ，５８ｃとして
示す位置に設ければ(62)(63)(72)(73)式が実現される。
(80)〜(83)式の場合も同様に、容易に回路構成し得る。

【０１３２】図３０に示す論理手段５６を図２５中のＡ
位置に設置し、遅延回路５７ａ，５８ａにより構成され
ている場合、(60)〜(63)式が実現される。遅延回路５８
ｂにより構成した場合には(63)(71)(72)式が実現され、
遅延回路５７ｂにより構成した場合には(62)(74)(75)式
が実現され、遅延回路５７ｃ，５８ｃにより構成した場
合には(62)(63)(72)(73)式が実現される。

【０１３３】また、図３０に示す論理手段５６を図２６
中のＢ位置又はＣ位置に設置し、遅延回路５７ａ，５８
ａにより構成されている場合、(53)〜(57)式が実現され
る。遅延回路５８ｂにより構成した場合には(57)(64)(6
5)式が実現され、遅延回路５７ｂにより構成した場合に
は(56)(68)(69)式が実現され、遅延回路５７ｃ，５８ｃ
により構成した場合には(56)(57)(68)(69)式が実現され
る。

【０１３４】さらに、本発明の第三の実施例を図３１な
いし図３７により説明する。本実施例は、誤差信号によ
り各結合係数を変化させる際に、図１８、図１９に示し
たような提案例方式に代えて、正、負の誤差信号
δ_j(+)，δ_j(-)が同値の時には、正、負の結合係数変化
信号がともに０（即ち、学習させない）になるようにす
るため、図３１、図３２に示すように、各々さらに誤差
信号δ_j(-)の否定、誤差信号δ_j(+)の否定とのＡＮＤを
とるようにしたものである。数式で示せば、(88)(89)式

【数４７】のようになる。

【０１３５】このようなアルゴリズムに基づく実際の回
路構成を説明する。図３３ないし図３７にその回路構成
例を示す。図３３は図２２に対応し（結合が興奮性か抑
制性かで切換える方式）、図３４は図２３に対応し（結
合が興奮性に固定）、図３５は図２４に対応し（結合が
抑制性に固定）、図３６は図２５に対応し（興奮性、抑
制性を表すビットメモリ利用方式）、図３７は図２６に
対応する。また、最終層の出力と教師信号から最終層に
おける誤差信号を求める部分の回路としては図２７がそ
のまま用いられる。

【０１３６】本実施例の構成上の特徴は、誤差信号より
新たな結合係数を計算する部分、即ち、図２０〜図２１
及び図３１〜図３２の処理に相当する部分を処理するた
めのゲート回路５０にある。まず、入力信号ｙ_iと正の
誤差信号δ_j(+)とを入力とするＡＮＤゲート６１と、入
力信号ｙ_iと負の誤差信号δ_j(-)とを入力とするＡＮＤ
ゲート６２とが設けられているが、ＡＮＤゲート６１に
は負の誤差信号δ_j(-)を反転させて両者の一致を検出す
るための検出手段となるインバータ６３出力が入力さ
れ、同様に、ＡＮＤゲート６２には正の誤差信号δ_j(+)
を反転させて両者の一致を検出するための検出手段とな
るインバータ６４出力が入力されている。よって、正、
負の誤差信号が同値の場合には、必ずＡＮＤゲート６
１，６２は禁止されるので、これらのＡＮＤゲート６
１，６２が学習禁止手段となる。ＡＮＤゲート６１，６
２の出力側が提案例方式と同様であり、ＡＮＤゲート６
２側はインバータ６５により反転された後、シフトレジ
スタ２６の出力とＡＮＤゲート６６によりＡＮＤがとら
れ、ＡＮＤゲート６６の出力と他方のＡＮＤゲート６１
の出力とがＯＲゲート６７を介してシフトジスタ２６に
フィードバックされ、学習書換えに供される。よって、
正、負の誤差信号が同値の場合には、ＡＮＤゲート６６
を通してシフトレジスタ２６に記憶されていた前回の結
合係数がそのまま使用されるので、実質的に学習が行わ
れないことになる。

【０１３７】図３４〜図３６方式においても基本的には
同様である。図３４，図３５の場合には、興奮性、抑制
性が固定であるので、ゲート回路４７に相当する回路は
不要である。図３６方式の場合は、１つの入力に対して
興奮性、抑制性の両方を持つので、ゲート回路５０の出
力側もシフトレジスタ２６Ａ，２６Ｂに対応させてイン
バータ６５ａ，６５ｂ、ＡＮＤゲート６６ａ，６６ｂ、
ＯＲゲート６７ａ，６７ｂに分けて設けられている。

【０１３８】このようなニューラルネットワークを用い
た自己学習式文字認識装置の場合を例にとり、第一の実
施例の場合と同様に、手書き文字をスキャナで読取り、
図２９で説明したようにこの回路の自己学習機能を用い
て、各結合係数を新たに求める処理を行った結果、十分
学習させた文字に対しては認識率１００％が得られたも
のである。

【０１３９】つづいて、本発明の第四の実施例を図３８
ないし図４３により説明する。前記実施例では、正、負
の誤差信号δ_j(+)，δ_j(-)を同一タイミング時に同値か
否か検出して学習動作を制御させるようにしたが、本実
施例では、遅延手段を用いて、正、負の誤差信号
δ_j(+)，δ_j(-)をある一定の時間差（例えば、図４等に
示した同期信号の１つ分又は複数個分）で同値か否か検
出し、同値の場合には、正、負の結合係数変化信号がと
もに０となり、実質的に学習させないようにしたもので
ある。

【０１４０】例えば、図３１、図３２に示した方式に代
えて、図３８、図３９に示すように、正、負の誤差信号
δ_j(+)，δ_j(-)と各々一定時間（図示例は、同期信号１
つ分）、前の負の誤差信号δ_j(-)の否定信号と正の誤差
信号δ_j(+)の否定信号とのＡＮＤをとる。

【０１４１】数式で示すと、(90)(91)式

【数４８】のようになる。

【０１４２】ここで、同期信号１つ分前の負の誤差信号
を示すδ.ｄ_j(-) 、正の誤差信号を示すδ.ｄ_j(+) とし
ては、(92)(93）式が用いられる。ただし、右辺の各信
号は同期信号１つ分前の時点での信号である。

【０１４３】

【数４９】

【０１４４】或いは、図３８、図３９に示した処理に代
えて、(94)(95）式を用いるようにしてもよい。

【０１４５】

【数５０】

【０１４６】或いは、(96)(97)式

【数５１】を用いてもよい。

【０１４７】又は、(98)(99)式

【数５２】を用いてもよい。

【０１４８】これらの処理では、正、負の誤差信号の何
れか一方を遅延させて比較するようにしたが、さらに、
これらの正、負の誤差信号を前記実施例のように何れも
遅延させずに比較し、この比較においても、同値の時に
は学習を行わせないようにしてもよい。これは、(90)(9
4)式を（100)式、(91)(95)式を（101)式、(95)(97)式を
（102)式、(96)(98)式を（103)式のようにすればよい。

【０１４９】

【数５３】

【０１５０】また、この際、(92)(93)式は元のままとし
てもよく、或いは、(104)(105)式

【数５４】のようにしてもよい。

【０１５１】このようにして求められた２つの信号をΔ
Ｔ_ijとした場合の処理は、前記実施例で示した図２０、
図２１及び(43)(44)式の場合と同様に行えばよい。

【０１５２】１つの入力に対して、興奮性と抑制性との
両方を持つ場合には、(106)(107)式

【数５５】とする。

【０１５３】あるいは、(90)(91)(43)(44)式を変形し、
(47)式の場合と同様に、（108)式のようにすればよい。

【０１５４】

【数５６】

【０１５５】ただし、ΔＴ_ij(+) 、ΔＴ_ij(-) は(109)
〜(112)式のようになる。

【０１５６】

【数５７】

【０１５７】或いは、(109)〜(112)式に代えて、(113)
〜(116)式

【数５８】が用いられる。

【０１５８】或いは、(109)〜(112)式に代えて、(117)
〜(120)式

【数５９】が用いられる。

【０１５９】或いは、(109)〜(112)式に代えて、(121)
(122)式

【数６０】が用いられる。

【０１６０】或いは、(109)〜(112)式に代えて、(123)
(124)式

【数６１】が用いられる。

【０１６１】或いは、(109)〜(112)式に代えて、(125)
(126)式

【数６２】が用いられる。

【０１６２】或いは、(109)〜(112)式に代えて、(127)
(128)式

【数６３】が用いられる。

【０１６３】或いは、(109)〜(112)式に代えて、(129)
(130)式

【数６４】が用いられる。

【０１６４】以上の学習則に基づいて、ネットワークの
計算をする。

【０１６５】以上のアルゴリズムを基に、これを実際の
回路にしたものの例を図４０ないし図４３に示す。図４
０は図３３に対応し、図４１は図３４に対応し、図４２
は図３５に対応し、図４３は図３６に対応する。基本的
には、前記実施例方式と同様の構成であるが、本実施例
では、例えば図４０の回路構成において、ゲート回路５
０中に各々遅延手段となる遅延回路６８ａ，６９ａを設
けたものである。これらの遅延回路６８ａ，６９ａには
同期信号が与えられ、この同期信号１個分が遅延され
る。具体的には、Ｄレジスタ等を用いることにより容易
に実現できる。このような構成により、例えば図４０に
よれば(108)〜(122)式の処理が行われる。

【０１６６】また、遅延回路６８ａ，６９ａに代えて遅
延回路６８ｂに示す位置に設ければ、(113)〜(116)式の
処理を行わせることができる。同様に、遅延回路５９ｂ
に示す位置に設ければ、(121)(122)式の処理を行わせる
ことができる。さらに、遅延回路６８ａ，６９ａに代え
て遅延回路６８ｃ，６９ｃに示す位置に設ければ、(11
7)〜(120)式の処理を行わせることができる。(123)〜(1
24)式の場合も同様に、容易に回路構成し得る。

【０１６７】図４１ないし図４３の場合も同様である。

【０１６８】ついで、本発明の第五の実施例を図４４〜
図４９により説明する。本実施例は、誤差信号により各
結合係数を変化させる際に、図１８、図１９に示したよ
うな提案例方式に代えて、正、負の誤差信号δ_j(+)，δ
_j(-)が同値の時には、正、負の結合係数変化信号がとも
に０になるようにするため、図３１，図３２に示したよ
うに、各々さらに誤差信号δ_j(-)の否定、誤差信号δ
_j(+)の否定とのＡＮＤをとるようにすることを基本とす
る。数式で示せば、前述した(88)(89)式のようになる。

【０１６９】このようにして得られる２つの信号を各々
ΔＴ_ij(+)，ΔＴ_ij(-)とし、図２０、図２１に示すよう
な処理、即ち、前述した(43)(44)式に示すような学習処
理を行う。

【０１７０】すると、いま、(43)式でΔＴ_ij(+)が１の
時（この時、ΔＴ_ij(-)は(89)式により必ず０とな
る）、結合係数Ｔ_ijも１であれば、新Ｔ_ijも１となるの
で、事実上学習が行われなくなる。そこで、本実施例で
は、この時には繰上り信号を生成して次の同期信号にお
ける演算の時に学習させるようにしたものである。逆
に、現時点では、１つ前の同期信号の時点で生成された
繰上り信号によっても学習を行う必要がある。また、前
回からの繰上り信号による学習が今回も行えなかった場
合、即ち、Ｔ_ijが１の時やＴ_ijが０でもΔＴ_ij(+)が１
の時には、次回で学習が行えるように考慮してもよい。
また、ΔＴ_ij(-)が１の時には前回からの繰上り信号と
互いに打消し合うように処理させてもよい。

【０１７１】(43)式において、ΔＴ_ij(-)が１の時も結
合係数Ｔ_ijが０であれば、同様に、事実上学習が行われ
なくなる。そこで、本実施例では、この時には繰下り信
号を生成して次の同期信号における演算の時に学習させ
るようにしたものである。逆に、現時点では、１つ前の
同期信号の時点で生成された繰下り信号によっても学習
を行う必要がある。また、前回からの繰下り信号による
学習が今回も行えなかった場合、即ち、Ｔ_ijが０の時や
Ｔ_ijが１でもΔＴ_ij(-)が１の時には、次回で学習が行
えるように考慮してもよい。また、ΔＴ_ij(+)が１の時
には前回からの繰下り信号と互いに打消し合うように処
理させてもよい。

【０１７２】このような点は、(44)式についても同様の
ことがいえる。以上のことを、まとめると、(43)(44)式
に代えて、(131)(132)式を用いればよい。

【０１７３】

【数６５】

【０１７４】ただし、ΔＴ′_ij(+)，ΔＴ′_ij(-)は(1
33)(134)式

【数６６】で示されるものとする。

【０１７５】或いは、(133)(134)式に代えて、(135)(13
6)式

【数６７】を用いてもよい。

【０１７６】なお、これらの数式に示すΔＴ.ｄ
_ij(+)（Ｔ_ijが興奮性の時の繰上り信号、Ｔ_ijが抑制性
の時の繰下り信号）、ΔＴ.ｄ_ij(-)（Ｔ_ijが興奮性の時
の繰下り信号、Ｔ_ijが抑制性の時の繰上り信号）として
は、(137)〜(140)式に示すものが用いられる。ただし、
これらの式の右辺の各信号は、同期信号１つ分前の時点
での信号である。

【０１７７】Ｔ_ij∈興奮性の場合には、

【数６８】とされる。

【０１７８】Ｔ_ij∈抑制性の場合には、

【数６９】とされる。

【０１７９】或いは、これらの(137)〜(140)式に代え
て、(141)〜(144)式

【数７０】を用いてもよい。

【０１８０】さらに、１つの入力に対して興奮性と抑制
性との両方の結合係数を持つ場合には、(145)(146)式

【数７１】を用いればよい。

【０１８１】ただし、ΔＴ′_ij(+)，ΔＴ′_ij(-)は(1
47)(148)式

【数７２】で示されるものとする。

【０１８２】或いは、(147)(148)式に代えて、(149)(15
0)式

【数７３】を用いてもよい。

【０１８３】ここで、ΔＴ.ｄ₍₊₊₎，ΔＴ.ｄ_(+-)，Δ
Ｔ.ｄ_(-+)，ΔＴ.ｄ_(--)としては、(151)〜(154)式に
示すものが用いられる。ただし、この場合も右辺の各信
号は同期信号１つ分前の時点での信号である。

【０１８４】

【数７４】

【０１８５】又は、これらの(151)〜(154)式に代えて、
(155)〜(158)式

【数７５】を用いてもよい。

【０１８６】或いは、(131)(132)(88)(89)(137)〜(144)
式を変形して、(159)〜(165)式

【数７６】を用いてもよい。

【０１８７】或いは、(164)(165)式に代えて、(166)(16
7)式

【数７７】を用いてもよい。

【０１８８】以上の学習則に基づいてネットワークの計
算をする。

【０１８９】このようなアルゴリズムに基づく実際の回
路構成を説明する。図４４ないし図図４７にその回路構
成例を示す。図４４は図３３、図４５は図３４、図４６
は図３５、図４７は図３６に対応し、図３７、図２７は
そのまま用いるものとする。しかして、本実施例では(1
33)(134)〜 (165)式の処理を行わせるため、ゲート回路
５０において図４４等に示した上記基本構成に加え、Ａ
ＮＤゲート６１，６２の出力側に各々繰上り・繰下り信
号生成手段なるＡＮＤゲート７０，７１と遅延手段なる
遅延回路７２，７３とを設けたものである。より具体的
には、ＡＮＤゲート６１からの結合係数変化信号ΔＴ
_ij(+)がＯＲゲート７４，ＡＮＤゲート７５を通して、
シフトレジスタ２６からの結合係数Ｔ_ijとともに入力さ
れるのがＡＮＤゲート７０であり、ＡＮＤゲート７０出
力が遅延回路７２により遅延されてΔＴ.ｄ_ij(+)として
再び前記ＯＲゲート７４に入力され、学習に供される。
なお、遅延回路７２によるΔＴ.ｄ_ij(+)はＡＮＤゲート
６１からの結合係数変化信号ΔＴ_ij(+)とともにＡＮＤ
ゲート７６に入力され、ＯＲゲート７７を介して再び遅
延回路７２に入力される。同様に、ＡＮＤゲート６２か
らの結合係数変化信号ΔＴ_ij(-)がＯＲゲート７８，Ａ
ＮＤゲート７９を通して、シフトレジスタ２６からの結
合係数Ｔ_ijをインバータ８０で反転させた信号とともに
入力されるのがＡＮＤゲート７１であり、このＡＮＤゲ
ート７１出力が遅延回路７３により遅延されてΔＴ.ｄ
_ij(-)として再び前記ＯＲゲート７８に入力され、学習
に供される。なお、遅延回路７３によるΔＴ.ｄ_ij(-)は
ＡＮＤゲート６２からの結合係数変化信号ΔＴ_ij(-)と
ともにＡＮＤゲート８１に入力され、ＯＲゲート８２を
介して再び遅延回路７３に入力される。

【０１９０】遅延回路７２，７３は信号を遅延させるた
めのものであり、同期信号（図示せず）が与えられて、
同期信号分だけ信号を遅延させる。具体的には、Ｄレジ
スタ等を用いることで容易に実現できる。

【０１９１】図４５〜図４７方式においても基本的には
同様である。ただし、図４５，図４６の場合には、興奮
性、抑制性が固定であるので、ゲート回路４７に相当す
る回路は不要である。図４７の方式の場合は、１つの入
力に対して興奮性、抑制性の両方を持つので、ゲート回
路５０は同図中に添字ａ，ｂを付して区分けするよう
に、同等の回路構成のものが２組設けられている。即
ち、図４７のゲート回路５０は(88)(89)(145)〜(148)(1
51)〜(154)式の処理を実行するもので、ＡＮＤゲート６
１の出力がΔＴ_ij(+)、ＡＮＤゲート６２の出力がΔＴ
_ij(-)、ＯＲゲート５７ａの出力が新Ｔ_ij(+)、ＯＲゲ
ート５７ｂの出力が新Ｔ_ij(-)、ＡＮＤゲート７５の出
力がΔＴ′_ij(-)、ＡＮＤゲート７９の出力がΔＴ′
_ij(+)、遅延回路７２ａの出力がΔＴ.ｄ_ij(--) 、遅延
回路７２ｂの出力がΔＴ.ｄ_ij(+-) 、遅延回路７３ａの
出力がΔＴ.ｄ_ij(-+) 、遅延回路７３ｂの出力がΔＴ.
ｄ_ij(--)である。

【０１９２】なお、図４４ないし図４６に示したゲート
回路５０に対しては図４８に示すように、ＡＮＤゲート
７５，７６，７９，８１を省略して簡略化させてもよ
い。これによれば、(135)(136)(159)〜(163)(166)(167)
式の処理が実現される。

【０１９３】また、図４７に示したゲート回路５０に対
しては図４９に示すように簡略化させてもよい。これに
よれば、(88)(89)(145)(146)(149)(150)(155)〜(158)式
の処理が実現される。

【０１９４】同様にして(133)(134)(159)〜(163)(166)
(167)式の場合や、(135)(136)(159)〜(165)式の場合
や、(88)(89)(145)〜(146)(155)〜(158)式の場合や、(8
8)(89)(145)(146)(149)〜(154)式の場合も、容易に実現
できる。

【０１９５】さらに、本発明の第六の実施例を図５０な
いし図５３により説明する。まず、アルゴリズムから説
明する。本実施例では、図３１、図３２及び(88)(89)式
に示した論理処理の後に、さらに、補正信号Ｄ_ij(+)，
Ｄ_ij(-)とのＡＮＤをとり、これを新たな結合係数変化
信号ΔＴ_ij(+)，ΔＴ_ij(-)とするようにしたものであ
る。

【０１９６】まず、ここで用いる補正信号Ｄ_ij(+)，Ｄ
_ij(-)は、(168)〜(173)式に示すようなものとする。た
だし、右辺の入力信号ｙ_iは予め設定された時間以前、
例えば同期信号１つ分前の時点での信号である。

【０１９７】

【数７８】

【０１９８】このような補正信号Ｄ_ij(+)，Ｄ_ij(-)を
用いると、新たな結合係数変化信号ΔＴ_ij(+)，ΔＴ
_ij(-)は(174)(175)式

【数７９】により示される。

【０１９９】このように補正された結合係数変化信号Δ
Ｔ_ij(+)，ΔＴ_ij(-)を用いて新結合係数を算出する
が、この場合の処理としては、(43)(44)式の処理でもよ
いが、より学習能力を向上させるためには、前記実施例
と同様に、(45)式以降の処理を適宜行えばよい。

【０２００】このような補正処理を含むアルゴリズムを
実施するためには、図５０ないし図５３に示すように構
成すればよい。図５０は図４４に対応し、図５１は図４
５に対応し、図５２は図４６に対応し、図５３は図４７
に対応する。基本的には、前記実施例方式と同様の構成
であるが、本実施例は、ゲート回路５０に対して補正手
段となる補正回路８３を付加したものである。具体的に
は、シフトレジスタ２６から出力される結合係数Ｔ_ijと
遅延回路８４により遅延された以前の入力信号ｙ_iとの
ＡＮＤをＡＮＤゲート８５によりとり、その出力とイン
バータ８６により反転させた結合係数Ｔ_ijとのＯＲをＯ
Ｒゲート８７によりとったものを、補正信号Ｄ_ij(-)と
してＡＮＤゲート６２に入力させ、（175)式に示すよう
な結合係数変化信号ΔＴ_ij(-)の生成に供するものであ
る。正側については、(168)(169)式に示すように補正信
号Ｄ_ij(+)が１に固定されているので、特別な補正手段
は設けられず、ＡＮＤゲート６１の出力が(87)式の結合
係数変化信号ΔＴ_ij(-)となる。ここに、遅延回路８４
は遅延回路８４，７３等と同様のものである。また、図
５０にあってはメモリ３１からの興奮性／抑制性切換え
信号がＯＲゲート８７に入力されている。図５１、図５
２では不要である。

【０２０１】また、図５３に示す補正回路８３にあって
は（173)式の処理を行うため、正の結合係数Ｔ_ij(+) は
そのままＡＮＤゲート８５に入力されているとともにＯ
Ｒゲート８７に対してはインバータ８６により反転され
て入力され、また、負の結合係数Ｔ_ij(-) はインバータ
８８により反転されてＡＮＤゲート８５に入力されてい
るとともにＯＲゲート８７に対してはそのまま入力され
ている。

【０２０２】なお、ゲート回路５０が図４８、図４９の
ような構成の場合にも、同様な補正回路８３を設けるこ
とができる。

【０２０３】さらに、本発明の第七の実施例を図５４な
いし図５６により説明する。本実施例は、前述した第五
の実施例をベースとするものであるが、誤差信号を求め
て各結合係数を変化させる方法において、結合係数変化
信号ΔＴ_ij(+)，ΔＴ_ij(-)を、(176)(177)式により演
算するようにしたものである。

【０２０４】

【数８０】ただし、Ｚ_ij(+)，Ｚ_ij(-) は(178)(179)式で示され、
ｙ_Diは１パルス前の信号ｙ_iを表す。

【数８１】

【０２０５】このように得られた２つの信号Δ
Ｔ_ij(+)，ΔＴ_ij(-) をΔＴ_ijとし、元の結合係数Ｔ_ij
が興奮性か抑制性かに応じて新たなＴ_ijを求める処理、
即ち、(131）（132)式以降の学習処理を行わせるように
したものである。

【０２０６】ここに、例えば４つの入力信号の場合、Ｚ
_ij(+)，Ｚ_ij(-) （ｉ＝１〜４）は、図５４に示すよう
にＯＲゲート９０、インバータ９１、ＡＮＤゲート９２
群からなるゲート回路９３により生成される。生成され
た信号Ｚ_ij(+)，Ｚ_ij(-) は図５５又は図５６に９４，
９５で示すようにゲート回路５０に入力されて処理され
る。ここに、図５５は図４４に対応し、図５６は図４７
に対応する。

【０２０７】まず、入力信号ｙ_iと正の誤差信号δ_j(+)
と負の誤差信号δ_j(-)をインバータ６３で反転させたも
のとを入力とするＡＮＤゲート９６と、入力信号ｙ_iを
遅延回路９７で遅延させたもの（ｙ_Di）と正の誤差信号
δ_j(+)をインバータ６４で反転させたものと信号Ｚ
_ij(+)と信号Ｚ_ij(-) とを入力とするＡＮＤゲート９８
が設けられている。これらのＡＮＤゲート９６，９８の
出力はＯＲゲート９９に入力されて（176)式の処理が行
われる。一方、信号Ｚ_ij(+)と入力信号ｙ_iを遅延回路
９７で遅延させたもの（ｙ_Di）とを入力とするＡＮＤゲ
ート１００と、信号Ｚ_ij(+)を反転させるインバータ１
０１とが設けられ、これらのＡＮＤゲート１００出力と
インバータ１０１出力とを入力とするＯＲゲート１０２
が設けられている。このＯＲゲート１０２の出力は、入
力信号ｙ_i、正の誤差信号δ_j(+)を反転させたもの、負
の誤差信号δ_j(-)を反転させたものとともに、ＡＮＤゲ
ート１０３に入力され、（177)式の処理が行われる。

【０２０８】なお、本実施例にあっても、前述した実施
例の(135)(136)式以降の構成の場合に適用することは容
易である。

【０２０９】

【発明の効果】本発明は、上述したように、結合係数可
変手段と、この結合係数可変手段の可変結合係数値を教
師信号に対して０，１の２値で表現された信号列からな
る正の誤差信号と負の誤差信号とに基づいて生成する結
合係数生成手段とを有する自己学習手段を神経細胞模倣
素子に付設した複数の神経細胞模倣手段を網状に接続し
た信号処理手段を設けた自己学習機能付きの基本構成に
おいて、請求項１記載の発明では、正の誤差信号と負の
誤差信号とが同時に１になることを禁止させる論理手段
を設け、請求項２記載の発明では、正の誤差信号と負の
誤差信号との何れか一方の信号を所定時間遅延させる遅
延手段を設け、遅延された誤差信号と遅延を受けない誤
差信号とが同時に１になることを禁止させる論理手段を
設け、さらに、請求項３記載の発明では、正の誤差信号
と負の誤差信号との何れか一方の信号を所定時間遅延さ
せる遅延手段を設け、前記正の誤差信号と負の誤差信号
とが同値の時及び遅延された誤差信号と遅延を受けない
誤差信号とが同値の時に正の誤差信号と負の誤差信号が
１になることを禁止させる論理手段を設けたので、０，
１の２値で表現された信号列からなる正の誤差信号と負
の誤差信号とに着目した場合、出力層においては同時に
１となることはないので、同一タイミングにて、或い
は、所定遅延時間ずれたタイミング関係において、両者
がともに１の場合には強制的に両者を同時には１とさせ
ないように論理処理することにより、実質的に相殺機能
を持たせることができ、学習能力を向上させ、処理能力
を向上させることができる。

【０２１０】また、結合係数可変手段と、この結合係数
可変手段の可変結合係数値を教師信号に対する正の誤差
信号と負の誤差信号とに基づいて生成する結合係数生成
手段とを有する自己学習手段を神経細胞模倣素子に付設
した複数の神経細胞模倣手段を網状に接続した信号処理
手段を設けた自己学習機能付きの基本構成において、請
求項４記載の発明では、出力層の前記正の誤差信号と負
の誤差信号との一致を検出する検出手段を設け、この検
出手段から一致出力が出力された時に前記自己学習手段
による学習を禁止させる学習禁止手段を設け、請求項５
記載の発明では、出力層の前記正の誤差信号と負の誤差
信号との何れか一方の信号を所定時間遅延させる遅延手
段を設け、遅延された誤差信号と遅延を受けない誤差信
号との一致を検出する検出手段を設け、この検出手段か
ら一致出力が出力された時に前記自己学習手段による学
習を禁止させる学習禁止手段を設け、さらに、請求項６
記載の発明では、出力層の前記正の誤差信号と負の誤差
信号との何れか一方の信号を所定時間遅延させる遅延手
段を設け、出力層の前記正の誤差信号と負の誤差信号と
の一致を検出する第１検出手段と、遅延された誤差信号
と遅延を受けない誤差信号との一致を検出する第２検出
手段とを設け、第１検出手段と第２検出手段との双方か
ら一致出力が出力された時に前記自己学習手段による学
習を禁止させる学習禁止手段を設けたので、正の誤差信
号と負の誤差信号とに着目した場合、出力層においては
同時に１となることはないので、同一タイミングにて、
或いは、所定遅延時間ずれたタイミング関係において、
両者が同値の場合には学習させないことにより、実質的
に相殺機能を維持させることができ、学習能力を向上さ
せ、処理能力を向上させることができる。

【０２１１】さらに、結合係数可変手段と、この結合係
数可変手段の可変結合係数値を教師信号に対する正の誤
差信号と負の誤差信号とに基づいて生成する結合係数生
成手段とを有する自己学習手段を神経細胞模倣素子に付
設した複数の神経細胞模倣手段を網状に接続した信号処
理手段を設けた自己学習機能付きの基本構成において、
自己学習手段では、変化させたい結合係数が属している
信号線上の入力信号と誤差信号との論理処理により結合
係数変化信号を算出し、この結合係数変化信号に基づい
て可変結合係数値を算出するが、この時、請求項７又は
９記載の発明では、可変結合係数値を生成するための結
合係数変化信号の一部又は全部に予め設定された時間以
前の入力信号を用いる補正手段を設け、結合係数変化信
号の一部又は全部に予め設定された時間以前の入力信号
を用いて補正することにより、より適切な状態に補正さ
れた結合係数変化信号が得られるものとなり、学習能力
を向上させることができる。

【０２１２】また、正の誤差信号と負の誤差信号とに着
目した場合において、例えばこれらの誤差信号により算
出される正の結合係数変化信号が１の時に格納されてい
る結合係数も１であれば、学習書換えしようとする新し
い結合係数も１であるので、事実上学習が行われない
が、請求項８又は９記載の発明によれば、結合係数と結
合係数変化信号とに基づき繰上り信号又は繰下り信号を
生成し、予め設定された時間遅延させて、遅れたタイミ
ングで可変結合係数値の生成、即ち、学習に供すること
により、有効に学習を行わせることができ、やはり、学
習能力を向上させることができる。

【図面の簡単な説明】

【図１】本発明の第一の実施例を示す論理回路図であ
る。

【図２】既提案例における基本的な信号処理を行なうた
めの論理回路図である。

【図３】論理演算例を示すタイミングチャートである。

【図４】論理演算例を示すタイミングチャートである。

【図５】論理演算例を示すタイミングチャートである。

【図６】論理演算例を示すタイミングチャートである。

【図７】論理演算例を示すタイミングチャートである。

【図８】論理演算例を示すタイミングチャートである。

【図９】論理演算例を示すタイミングチャートである。

【図１０】論理演算例を示すタイミングチャートであ
る。

【図１１】論理演算例を示すタイミングチャートであ
る。

【図１２】論理演算例を示すタイミングチャートであ
る。

【図１３】論理演算例を示すタイミングチャートであ
る。

【図１４】論理演算例を示すタイミングチャートであ
る。

【図１５】論理演算例を示すタイミングチャートであ
る。

【図１６】論理演算例を示すタイミングチャートであ
る。

【図１７】論理演算例を示すタイミングチャートであ
る。

【図１８】論理演算例を示すタイミングチャートであ
る。

【図１９】論理演算例を示すタイミングチャートであ
る。

【図２０】論理演算例を示すタイミングチャートであ
る。

【図２１】論理演算例を示すタイミングチャートであ
る。

【図２２】各部の構成例を示す論理回路図である。

【図２３】その変形例の構成例を示す論理回路図であ
る。

【図２４】その変形例の構成例を示す論理回路図であ
る。

【図２５】その変形例の構成例を示す論理回路図であ
る。

【図２６】各部の構成例を示す論理回路図である。

【図２７】各部の構成例を示す論理回路図である。

【図２８】変形例を示す論理回路図である。

【図２９】画像読取り例を示す説明図である。

【図３０】本発明の第二の実施例の論理回路図である。

【図３１】本発明の第三の実施例の論理演算例を示すタ
イミングチャートである。

【図３２】論理演算例を示すタイミングチャートであ
る。

【図３３】各部の構成例を示す論理回路図である。

【図３４】各部の構成例を示す論理回路図である。

【図３５】各部の構成例を示す論理回路図である。

【図３６】各部の構成例を示す論理回路図である。

【図３７】各部の構成例を示す論理回路図である。

【図３８】本発明の第四の実施例の論理演算例を示すタ
イミングチャートである。

【図３９】論理演算例を示すタイミングチャートであ
る。

【図４０】各部の構成例を示す論理回路図である。

【図４１】各部の構成例を示す論理回路図である。

【図４２】各部の構成例を示す論理回路図である。

【図４３】各部の構成例を示す論理回路図である。

【図４４】本発明の第五の実施例を示す論理回路図であ
る。

【図４５】各部の構成例を示す論理回路図である。

【図４６】各部の構成例を示す論理回路図である。

【図４７】各部の構成例を示す論理回路図である。

【図４８】変形例を示す論理回路図である。

【図４９】変形例を示す論理回路図である。

【図５０】本発明の第六の実施例を示す論理回路図であ
る。

【図５１】各部の構成例を示す論理回路図である。

【図５２】各部の構成例を示す論理回路図である。

【図５３】各部の構成例を示す論理回路図である。

【図５４】本発明の第七の実施例を示す論理回路図であ
る。

【図５５】各部の構成例を示す論理回路図である。

【図５６】各部の構成例を示す論理回路図である。

【図５７】従来例の１つのユニット構成を示す概念図で
ある。

【図５８】そのニューラルネットワーク構成の概念図で
ある。

【図５９】シグモイド関数を示すグラフである。

【図６０】１つのユニットの具体的構成を示す回路図で
ある。

【図６１】デジタル構成例を示すブロック図である。

【図６２】その一部の回路図である。

【図６３】異なる一部の回路図である。

【符号の説明】

２０神経細胞模倣素子５０自己学習手段５１，５６論理手段６１，６２学習禁止手段６３，６４検出手段７０，７１遅延手段７０，７１繰上り・繰下り信号生成手段７２，７３遅延手段８３補正手段９７遅延手段

───────────────────────────────────────────────────── フロントページの続き (72)発明者北口貴史東京都大田区中馬込１丁目３番６号株式会社リコー内

Claims

【特許請求の範囲】

【請求項１】結合係数可変手段と、この結合係数可変
手段の可変結合係数値を教師信号に対して０，１の２値
で表現された信号列からなる正の誤差信号と負の誤差信
号とに基づいて生成する結合係数生成手段とを有する自
己学習手段を神経細胞模倣素子に付設した複数の神経細
胞模倣手段を網状に接続した信号処理手段を設け、前記
正の誤差信号と負の誤差信号とが同時に１になることを
禁止させる論理手段を設けたことを特徴とする信号処理
装置。
【請求項２】結合係数可変手段と、この結合係数可変
手段の可変結合係数値を教師信号に対して０，１の２値
で表現された信号列からなる正の誤差信号と負の誤差信
号とに基づいて生成する結合係数生成手段とを有する自
己学習手段を神経細胞模倣素子に付設した複数の神経細
胞模倣手段を網状に接続した信号処理手段を設け、前記
正の誤差信号と負の誤差信号との何れか一方の信号を所
定時間遅延させる遅延手段を設け、遅延された誤差信号
と遅延を受けない誤差信号とが同時に１になることを禁
止させる論理手段を設けたことを特徴とする信号処理装
置。
【請求項３】結合係数可変手段と、この結合係数可変
手段の可変結合係数値を教師信号に対して０，１の２値
で表現された信号列からなる正の誤差信号と負の誤差信
号とに基づいて生成する結合係数生成手段とを有する自
己学習手段を神経細胞模倣素子に付設した複数の神経細
胞模倣手段を網状に接続した信号処理手段を設け、前記
正の誤差信号と負の誤差信号との何れか一方の信号を所
定時間遅延させる遅延手段を設け、前記正の誤差信号と
負の誤差信号とが同値の時及び遅延された誤差信号と遅
延を受けない誤差信号とが同値の時に正の誤差信号と負
の誤差信号が１になることを禁止させる論理手段を設け
たことを特徴とする信号処理装置。
【請求項４】結合係数可変手段と、この結合係数可変
手段の可変結合係数値を教師信号に対する正の誤差信号
と負の誤差信号とに基づいて生成する結合係数生成手段
とを有する自己学習手段を神経細胞模倣素子に付設した
複数の神経細胞模倣手段を網状に接続した信号処理手段
を設け、出力層の前記正の誤差信号と負の誤差信号との
一致を検出する検出手段を設け、この検出手段から一致
出力が出力された時に前記自己学習手段による学習を禁
止させる学習禁止手段を設けたことを特徴とする信号処
理装置。
【請求項５】結合係数可変手段と、この結合係数可変
手段の可変結合係数値を教師信号に対する正の誤差信号
と負の誤差信号とに基づいて生成する結合係数生成手段
とを有する自己学習手段を神経細胞模倣素子に付設した
複数の神経細胞模倣手段を網状に接続した信号処理手段
を設け、出力層の前記正の誤差信号と負の誤差信号との
何れか一方の信号を所定時間遅延させる遅延手段を設
け、遅延された誤差信号と遅延を受けない誤差信号との
一致を検出する検出手段を設け、この検出手段から一致
出力が出力された時に前記自己学習手段による学習を禁
止させる学習禁止手段を設けたことを特徴とする信号処
理装置。
【請求項６】結合係数可変手段と、この結合係数可変
手段の可変結合係数値を教師信号に対する正の誤差信号
と負の誤差信号とに基づいて生成する結合係数生成手段
とを有する自己学習手段を神経細胞模倣素子に付設した
複数の神経細胞模倣手段を網状に接続した信号処理手段
を設け、出力層の前記正の誤差信号と負の誤差信号との
何れか一方の信号を所定時間遅延させる遅延手段を設
け、出力層の前記正の誤差信号と負の誤差信号との一致
を検出する第１検出手段と、遅延された誤差信号と遅延
を受けない誤差信号との一致を検出する第２検出手段と
を設け、第１検出手段と第２検出手段との双方から一致
出力が出力された時に前記自己学習手段による学習を禁
止させる学習禁止手段を設けたことを特徴とする信号処
理装置。
【請求項７】結合係数可変手段と、この結合係数可変
手段の可変結合係数値を教師信号に対する正の誤差信号
と負の誤差信号とに基づいて生成する結合係数生成手段
とを有する自己学習手段を神経細胞模倣素子に付設した
複数の神経細胞模倣手段を網状に接続した信号処理手段
を設け、前記可変結合係数値を生成するための結合係数
変化信号の一部又は全部に予め設定された時間以前の入
力信号を用いる補正手段を設けたことを特徴とする信号
処理装置。
【請求項８】結合係数可変手段と、この結合係数可変
手段の可変結合係数値を教師信号に対する正の誤差信号
と負の誤差信号とに基づいて生成する結合係数生成手段
とを有する自己学習手段を神経細胞模倣素子に付設した
複数の神経細胞模倣手段を網状に接続した信号処理手段
を設け、結合係数と結合係数変化信号とに基づき繰上り
信号、繰下り信号を生成する繰上り・繰下り信号生成手
段と、生成された繰上り信号、繰下り信号を予め設定さ
れた時間遅延させて前記可変結合係数値の生成に供する
遅延手段とを前記結合係数生成手段に設けたことを特徴
とする信号処理装置。
【請求項９】結合係数可変手段と、この結合係数可変
手段の可変結合係数値を教師信号に対する正の誤差信号
と負の誤差信号とに基づいて生成する結合係数生成手段
とを有する自己学習手段を神経細胞模倣素子に付設した
複数の神経細胞模倣手段を網状に接続した信号処理手段
を設け、前記可変結合係数値を生成するための結合係数
変化信号の一部又は全部に予め設定された時間以前の入
力信号を用いる補正手段を設け、結合係数と前記結合係
数変化信号とに基づき繰上り信号、繰下り信号を生成す
る繰上り・繰下り信号生成手段と、生成された繰上り信
号、繰下り信号を予め設定された時間遅延させて前記可
変結合係数値の生成に供する遅延手段とを前記結合係数
生成手段に設けたことを特徴とする信号処理装置。