JPH07111090A

JPH07111090A - 信号処理装置

Info

Publication number: JPH07111090A
Application number: JP6073135A
Authority: JP
Inventors: Toshiyuki Furuta; 俊之古田; Shuji Motomura; 修二本村; Takahiro Watanabe; 孝宏渡邊; Jii Sutooku Debitsudo; ジイストークデビッド
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 1993-05-20
Filing date: 1994-04-12
Publication date: 1995-04-25
Anticipated expiration: 2019-10-27
Also published as: US5588090A; JP3582737B2

Abstract

(57)【要約】【目的】学習能力をより向上させること。【構成】結合係数可変手段と、この結合係数可変手段
の可変結合係数値を教師信号に対する正の誤差信号と負
の誤差信号とに基づいて生成する結合係数生成手段とを
有する自己学習手段を付設した複数の神経細胞模倣ユニ
ットを網状に接続して回路網を形成した信号処理装置に
おいて、正、負の誤差信号δ_j(+)，δ_j(-)の生成のため
に神経細胞模倣ユニットからの出力信号に基づき２種類
の神経細胞応答関数の微係数ｆ_j(+)′，ｆ_j(-)′を算出
する微係数算出手段５１を設けた。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、文字や図形認識、或い
はロボットなどの運動制御、さらには、連想記憶などに
適用可能な、神経回路網を模倣したニューラルコンピュ
ータ等の信号処理装置に関する。

【０００２】

【従来の技術】生体の情報処理の基本的な単位である神
経細胞（ニューロン）の機能を模倣し、さらに、この
「神経細胞模倣素子」をネットワークにし、情報の並列
処理を目指したのが、いわゆるニューラルネットワーク
である。文字認識や、連想記憶、運動制御等、生体では
いとも簡単に行われていても、従来のノイマン型コンピ
ュータではなかなか達成しないものが多い。そこで、生
体の神経系、特に生体特有の機能、即ち、並列処理、自
己学習等を模倣して、これらの問題を解決しようとする
試みが盛んに行われている。しかしながら、これらの試
みは計算機シミュレーションで行われているものが多
く、本来の機能を発揮させるためには、並列処理が必要
であり、そのためにはニューラルネットワークのハード
ウエア化が必要である。一部では、既にハードウエア化
の試みもなされているが、ニューラルネットワークの特
徴の一つである自己学習機能が実現できず、大きなネッ
クとなっている。また、殆どのものはアナログ回路で実
現されており、動作の点で問題がある。

【０００３】これらの点について、さらに詳細に検討す
る。まず、従来のニューラルネットワークのモデルにつ
いて説明する。図４４はある１つの神経細胞ユニット
（神経細胞模倣素子）１を表すもので、図４５はこれを
ネットワークにしたものである。即ち、１つの神経細胞
ユニット１は多数の他の神経細胞ユニット１と結合し信
号を受け、それを処理して出力を出す。図４５の場合、
ネットワークは階層型であり、１つ前（左側）の層のユ
ニットより信号を受け、１つ先（右側）の層のユニット
へ出力する。

【０００４】ここで、図４４の神経細胞ユニット１にお
いて、他の神経細胞ユニットと自分の神経細胞ユニット
との結合の度合いを表すのが結合係数と呼ばれるもの
で、ｉ番目のユニットとｊ番目のユニットとの結合係数
を、一般にＴ_ijで表す。結合には、相手のユニットから
の信号が大きいほど自分の出力が大きくなる興奮性結合
と、逆に、相手のユニットの信号が大きいほど自分の出
力が小さくなる抑制性結合とがあるが、Ｔ_ij＞０が興奮
性結合、Ｔ_ij＜０が抑制性結合を表す。自分がｊ番目の
ユニットの時、ｉ番目のユニットからの入力をｙ_iとす
ると、これに結合係数Ｔ_ijを掛けたＴ_ijｙ_iが自分のユ
ニットへの入力となる。前述したように、各ユニットは
多数のユニットと結合しているので、それらのユニット
に対するＴ_ijｙ_iを足し合わせた結果なるΣＴ_ijｙ
_iが、自分のユニットへの入力となる。これを内部電位
といい、(１)式のようにｕ_j ｕ_j＝ΣＴ_ijｙ_i ……………………(１) で表す。

【０００５】次に、この入力に対して、非線形な処理を
して出力とする。この時の関数を神経細胞応答関数と呼
び、非線形関数として、(２)式及び図４６に示すような
シグモイド関数を用いる。

【０００６】

【数１】

【０００７】図４５に示すようにネットワークにした時
には、各結合係数Ｔ_ijを与え、(１)(２)式を次々と計算
することにより、最終的な出力が得られるものである。

【０００８】一方、このようなネットワークを電気回路
で実現したものの一例として、図４７に示すようなもの
がある。これは、特開昭６２−２９５１８８号公報中に
示されるもので、基本的には、Ｓ字形伝達関数を有する
複数の増幅器２と、各増幅器２の出力を他の層の増幅器
の入力に一点鎖線で示すように接続する抵抗性フィード
バック回路網３とを設けたものである。各増幅器２の入
力側には接地されたコンデンサと接地された抵抗とによ
るＣＲ時定数回路４が個別に接続されている。そして、
入力電流Ｉ₁，Ｉ₂，〜，Ｉ_Nが各増幅器２の入力に供給
され、出力はこれらの増幅器２の出力電圧の集合から得
られる。

【０００９】ここに、入力や出力の信号の強度を電圧で
表し、神経細胞間の結合の強さは、各細胞間の入出力ラ
インを結ぶ抵抗５（抵抗性フィードバック回路網３中の
格子点）の抵抗値で表され、神経細胞応答関数は各増幅
器２の伝達関数で表される。また、神経細胞間の結合に
は、前述のように興奮性結合と抑制性結合とがあり数学
的には結合係数の正負符号により表される。しかし、回
路上の定数で正負を実現するのは困難であるので、ここ
では、増幅器２の出力を２つに分け、一方の出力を反転
させることにより、正負の２つの信号を生成し、これを
適当に選択することにより実現するようにしている。ま
た、図４６に示したシグモイド関数に相当するものとし
ては増幅器が用いられている。

【００１０】しかし、これらの回路には、ネットワーク内部での信号の強度を電位や電流など
のアナログ値で表し、内部の演算もアナログ的に行わせ
るため、温度特性や電源投入直後のドリフト等により、
その値が変化してしまう。ネットワークであるので、素子の数も多く必要とす
るが、各々の特性を揃えることは困難である。１つの素子の精度や安定性が問題となったとき、そ
れをネットワークにした場合、新たな問題を生ずる可能
性があり、ネットワーク全体で見たときの動きが予想で
きない。結合係数Ｔ_ijの値が固定であり、予めシミュレーシ
ョンなどの他の方法で学習させた値を使うしかなく、自
己学習ができない。といった問題点がある。

【００１１】一方、数値計算で用いられている学習法則
としては、バックプロパゲーションと呼ばれる下記のよ
うなものがある。

【００１２】まず、各結合係数は最初にランダムに与え
ておく。この状態で、入力を与えると、出力結果は必ず
しも望ましいものとはならない。例えば、文字認識の場
合、手書きの「１」の文字を与えたとすると、出力結果
として「この文字は『１』である」と出るのが望ましい
結果であるが、結合係数がランダムであると必ずしも望
ましい結果とはならない。そこで、このネットワークに
正解（教師信号）を与えて、再び、同じ入力があったと
き正解となるように各結合係数を変化させる。このと
き、結合係数を変化させる量を求めるアルゴリズムが、
バックプロパゲーションと呼ばれているものである。

【００１３】例えば、図４５に示した階層型のネットワ
ークにおいて、最終層のｊ番目の神経細胞ユニットの出
力をｙ_jとし、その神経細胞ユニットに対する教師信号
をｄ_jとすると、(３)式で表されるＥＥ＝Σ（ｄ_j−ｙ_j)² ……………………(３) が最小となるように、(４)式を用い、 ΔＴ_ij ＝∂Ｅ／∂Ｔ_ij ……………………(４) 結合係数Ｔ_ijを変化させる。

【００１４】さらに具体的には、まず、出力層と、その
１つ前の層との結合係数を求める場合には、(５)式を用
いて誤差信号δを求め、 δ_j ＝ ( ｄ_j − ｙ_j ）× ｆ′(ｕ_j ） ……(５) それよりさらに前の層同士の結合係数を求める場合に
は、(６)式を用いて誤差信号δを求め、 δ_j＝ Σδ_iＴ_ij × ｆ′(ｕ_j ） ………(６) (７)式を求め、 ΔＴ_ij ＝ η（δ_jｙ_i）＋ αΔＴ_ij′ Ｔ_ij ＝Ｔ_ij′＋ ΔＴ_ij ……………(７) Ｔ_ijを変化させる。ここに、ηは学習定数、αは安定化
定数と呼ばれるものである。各々論理的には求められな
いので、経験的に求める。また、ｆ′はシグモイド関数
ｆの１階微分関数、ΔＴ_ij′，Ｔ_ij′は前回学習時の値
である。

【００１５】このようにして学習をし、その後、再び入
力を与えて出力を計算し、学習をする。この操作を何回
も繰返す内に、やがて、与えられた入力に対して望まし
い結果が得られるような結合係数Ｔ_ijが決定される。

【００１６】ところが、このような学習方法を何らかの
方法でハードウエア化しようとした場合、学習には、多
量の四則演算が必要であり、実現が困難である。学習方
法そのものもハードウエア化に対しては不向きである。

【００１７】一方、デジタル回路でニューラルネットワ
ークを実現したものの例を図４８ないし図５０を参照し
て説明する。図４８は単一の神経細胞の回路構成を示
し、各シナプス回路６を樹状突起回路７を介して細胞体
回路８に接続してなる。図４９はその内のシナプス回路
６の構成例を示し、係数回路９を介して入力パルスｆに
倍率ａ（フィードバック信号に掛ける倍率で、１又は
２）を掛けた値が入力されるレートマルチプライヤ１０
を設けてなり、レートマルチプライヤ１０には重み付け
の値ｗを記憶したシナプス荷重レジスタ１１が接続され
ている。また、図５０は細胞体回路８の構成例を示し、
制御回路１２、アップ／ダウンカウンタ１３、レートマ
ルチプライヤ１４及びゲート１５を順に接続してなり、
さらに、アップ／ダウンメモリ１６が設けられている。

【００１８】これは、神経細胞ユニットの入出力をパル
ス列で表し、そのパルス密度で信号の量を表している。
結合係数は２進数で表し、メモリ１６上に保存してお
く。入力信号をレートマルチプライヤ１４のクロックへ
入力し、結合係数をレート値へ入力することによって、
入力信号のパルス密度をレート値に応じて減らしてい
る。これは、バックプロパゲーションモデルの式のＴ_ij
ｙ_iの部分に相当する。次に、ΣＴ_ijｙ_iのΣの部分
は、樹状突起回路７によって示されるＯＲ回路で実現し
ている。結合には興奮性、抑制性があるので、予めグル
ープ分けしておき、各々のグループ別にＯＲをとる。こ
の２つの出力をカウンタ１３のアップ側、ダウン側に入
力しカウントすることで出力が得られる。この出力は２
進数であるので、再びレートマルチプライヤ１４を用い
て、パルス密度に変換する。このユニットをネットワー
クにすることによって、ニューラルネットワークが実現
できる。学習については、最終出力を外部のコンピュー
タに入力してコンピュータ内部で数値計算を行い、その
結果を結合係数のメモリ１６に書込むことにより実現し
ている。従って、自己学習機能は全くない。また、回路
構成もパルス密度の信号をカウンタを用いて一旦数値
（２進数）に変換し、その後、再びパルス密度に変換し
ており、複雑なものとなっている。

【００１９】このように従来技術による場合、アナログ
回路方式では動作に確実性がなく、数値計算による学習
方法も計算が複雑であり、ハードウエア化に適さず、動
作が確実なデジタル方式のものは回路構成が複雑であ
る。また、ハードウエア上で自己学習ができないという
欠点もある。

【００２０】このような欠点を解消するため、パルス密
度型の学習機能付きニューロンモデルが特開平４−５４
９号公報（フォワードプロセスの基本）、特開平４−１
１１１８５号公報（学習プロセスの基本）等として本出
願人により提案されている。

【００２１】

【発明が解決しようとする課題】ところで、このような
ニューラルネットワークにおける学習時において、誤差
信号の演算には、ニューロンからの出力信号を内部電位
で微分した微係数が用いられるが、上述した基本的な提
案例では、この微係数が一定値として扱われている。こ
の結果、学習能力が必ずしも高いものとはなっておら
ず、改善の余地がある。

【００２２】

【課題を解決するための手段】請求項１記載の発明で
は、結合係数可変手段と、この結合係数可変手段の可変
結合係数値を教師信号に対する正の誤差信号と負の誤差
信号とに基づいて生成する結合係数生成手段とを有する
自己学習手段を付設した複数の神経細胞模倣ユニットを
網状に接続して回路網を形成した信号処理装置におい
て、前記正、負の誤差信号の生成のために神経細胞模倣
ユニットからの出力信号に基づき２種類の神経細胞応答
関数の微係数を算出する微係数算出手段を設けた。

【００２３】この際、請求項２記載の発明では、神経細
胞模倣ユニットからの出力信号をパルス列で表現するも
のとし、この神経細胞模倣ユニットからの出力信号を所
定時間遅延させた遅延信号と前記出力信号の否定信号と
の論理積を一方の神経細胞応答関数の微係数とし、前記
神経細胞模倣ユニットからの出力信号の否定信号を所定
時間遅延させた遅延信号と前記出力信号との論理積を他
方の神経細胞応答関数の微係数とする微係数算出手段を
設けた。

【００２４】加えて、請求項３記載の発明では、結合係
数の値をパルス列表現で保存するメモリと、このメモリ
上の結合係数のパルス列のパルス並びを一定時間毎に変
更するパルス並び変更手段とを有するものとした。即
ち、神経細胞模倣ユニットからの出力信号をパルス列で
表現するものとし、かつ、結合係数の値をパルス列表現
で保存するメモリと、このメモリ上の結合係数のパルス
列のパルス並びを一定時間毎に変更するパルス並び変更
手段とを有するものとした上で、前記神経細胞模倣ユニ
ットからの出力信号を所定時間遅延させた遅延信号と前
記出力信号の否定信号との論理積を一方の神経細胞応答
関数の微係数とし、前記神経細胞模倣ユニットからの出
力信号の否定信号を所定時間遅延させた遅延信号と前記
出力信号との論理積を他方の神経細胞応答関数の微係数
として算出する微係数算出手段を設けた。さらに、請求
項４記載の発明では、結合係数の値をパルス列表現に変
換する変換手段を有するものとした。

【００２５】一方、請求項５記載の発明では、請求項１
記載の発明に加えて、微係数算出手段により算出される
２種類の微係数がともに０とならないように規制する微
係数規制手段を設けた。即ち、正、負の誤差信号の生成
のために神経細胞模倣ユニットからの出力信号に基づき
２種類の神経細胞応答関数の微係数を算出する微係数算
出手段を設けるとともに、この微係数算出手段により算
出される２種類の微係数がともに０とならないように規
制する微係数規制手段を設けた。

【００２６】同様に、請求項６記載の発明では、請求項
２，３又は４記載の発明に加えて、微係数算出手段によ
り算出される２種類の微係数のパルス密度がともに０と
ならないように規制する微係数規制手段を設けた。

【００２７】即ち、神経細胞模倣ユニットからの出力信
号をパルス列で表現するものとし、この神経細胞模倣ユ
ニットからの出力信号を所定時間遅延させた遅延信号と
前記出力信号の否定信号との論理積を一方の神経細胞応
答関数の微係数とし、前記神経細胞模倣ユニットからの
出力信号の否定信号を所定時間遅延させた遅延信号と前
記出力信号との論理積を他方の神経細胞応答関数の微係
数として算出する微係数算出手段を設けるとともに、こ
の微係数算出手段により算出される２種類の微係数のパ
ルス密度がともに０とならないように規制する微係数規
制手段を設けた。

【００２８】或いは、神経細胞模倣ユニットからの出力
信号をパルス列で表現するものとし、かつ、結合係数の
値をパルス列表現で保存するメモリと、このメモリ上の
結合係数のパルス列のパルス並びを一定時間毎に変更す
るパルス並び変更手段とを有するものとした上で、前記
神経細胞模倣ユニットからの出力信号を所定時間遅延さ
せた遅延信号と前記出力信号の否定信号との論理積を一
方の神経細胞応答関数の微係数とし、前記神経細胞模倣
ユニットからの出力信号の否定信号を所定時間遅延させ
た遅延信号と前記出力信号との論理積を他方の神経細胞
応答関数の微係数として算出する微係数算出手段を設け
るとともに、この微係数算出手段により算出される２種
類の微係数のパルス密度がともに０とならないように規
制する微係数規制手段を設けた。

【００２９】また、請求項７記載の発明では、請求項６
記載の発明における微係数規制手段を、予め設定された
パルス密度のパルス列を生成するパルス列生成手段と、
このパルス列生成手段により生成されたパルス列と神経
細胞模倣素子の出力パルス列との論理和を演算する演算
手段とにより構成した。ここに、請求項８記載の発明で
は、この請求項７記載の発明におけるパルス列生成手段
を、乱数生成装置と、この乱数生成装置から出力される
乱数と所定の閾値とを比較してパルス列を出力する比較
器とにより構成した。さらに、請求項９記載の発明で
は、請求項８記載の発明における乱数生成装置をリニア
フィードバックシフトレジスタとした。

【００３０】請求項１０記載の発明では、請求項１又は
２記載の発明において、結合係数の値を２進数で保存す
るメモリと、リニアフィードバックシフトレジスタより
なる乱数生成装置及び前記メモリに保存された結合係数
の値を前記乱数生成装置により生成された乱数と比較し
てパルス列表現の結合係数を出力する比較器を備えた数
値・パルス列変換装置とを有するものとした。

【００３１】即ち、結合係数可変手段と、この結合係数
可変手段の可変結合係数値を教師信号に対する正の誤差
信号と負の誤差信号とに基づいて生成する結合係数生成
手段とを有する自己学習手段を付設した複数の神経細胞
模倣ユニットを網状に接続して回路網を形成した信号処
理装置において、前記正、負の誤差信号の生成のために
神経細胞模倣ユニットからの出力信号に基づき２種類の
神経細胞応答関数の微係数を算出する微係数算出手段を
設けるとともに、結合係数の値を２進数で保存するメモ
リと、リニアフィードバックシフトレジスタよりなる乱
数生成装置及び前記メモリに保存された結合係数の値を
前記乱数生成装置により生成された乱数と比較してパル
ス列表現の結合係数を出力する比較器を備えた数値・パ
ルス列変換装置とを設けた。

【００３２】又は、結合係数可変手段と、この結合係数
可変手段の可変結合係数値を教師信号に対する正の誤差
信号と負の誤差信号とに基づいて生成する結合係数生成
手段とを有する自己学習手段を付設した複数の神経細胞
模倣ユニットを網状に接続して回路網を形成した信号処
理装置において、神経細胞模倣ユニットからの出力信号
をパルス列で表現するものとした上で、この神経細胞模
倣ユニットからの出力信号を所定時間遅延させた遅延信
号と前記出力信号の否定信号との論理積を一方の神経細
胞応答関数の微係数とし、前記神経細胞模倣ユニットか
らの出力信号の否定信号を所定時間遅延させた遅延信号
と前記出力信号との論理積を他方の神経細胞応答関数の
微係数として前記正、負の誤差信号の生成のために神経
細胞模倣ユニットからの出力信号に基づき２種類の神経
細胞応答関数の微係数を算出する微係数算出手段を設け
るとともに、結合係数の値を２進数で保存するメモリ
と、リニアフィードバックシフトレジスタよりなる乱数
生成装置及び前記メモリに保存された結合係数の値を前
記乱数生成装置により生成された乱数と比較してパルス
列表現の結合係数を出力する比較器を備えた数値・パル
ス列変換装置とを設けた。

【００３３】

【作用】学習時の誤差信号の演算には、神経細胞模倣ユ
ニットからの出力信号を内部電位で微分してなる神経細
胞応答関数の微係数が必要となるが、請求項１ないし４
記載の発明においては、正、負の誤差信号に対応させて
微係数算出手段により２種類の微係数を算出して用いる
ようにしたので、適正な誤差信号が得られ、より高い学
習能力を持つものとなる。

【００３４】また、数値演算における神経細胞模倣ユニ
ットの出力関数にはシグモイド関数を用いており、その
微係数は限りなく０に近づくものの、完全に０にはなら
ない。このような点に着目し、請求項５又は６記載の発
明においては、微係数規制手段により微係数算出手段に
よる微係数又はそのパルス密度が０とはならないように
したので、学習が途中で止まってしまうようなことがな
くなり、十分に学習機能を発揮させることができる。

【００３５】このような作用をなす微係数規制手段も、
請求項７ないし９記載の発明のように構成することで容
易に実現できる。

【００３６】また、請求項１０記載の発明においては、
結合係数の値を２進数の形態でメモリに保存し、数値・
パルス列変換装置でパルス列に変換して出力するので、
結合係数の保存が容易であるとともに、処理する段階で
はパルス列で扱うので結合係数の処理も容易であり、よ
り実際の装置に近い形の具体的なものとなる。

【００３７】

【実施例】請求項１ないし４記載の発明の一実施例を図
１ないし図３２に基づいて説明する。本発明における学
習機能付きのニューロン（神経細胞模倣ユニット）の基
本構成としては、前述したような既提案例による構成・
作用を持つものが好適であるので、本発明の要旨を含め
つつ、図１ないし図３０によりその構成・作用から説明
する。既提案例による自己学習機能を持つデジタル論理
回路を用いたニューロン素子構成のニューラルネットワ
ークは、結合係数可変回路とこの結合係数可変回路の可
変結合係数値を教師信号に対する正，負の誤差信号に基
づいて生成する結合係数生成回路とを有する自己学習回
路を付設したデジタル論理回路による複数のニューロン
よりなる信号処理手段を網状に接続して構成される。

【００３８】まず、既提案例におけるニューラルネット
ワークはデジタル構成によりハードウエア化したもので
あるが、基本的な考え方としては、ニューロンに関する入・出力信号、中間信号、結合
係数、教師信号などは全て、「０」「１」の２値で表さ
れたパルス列で表す。ネットワーク内部での信号の量は、パルス密度で表
す（ある一定時間内の「１」の数）。ニューロン内での計算は、パルス列同士の論理演算
で表す。結合係数のパルス列はメモリ上に置く。学習は、このパルス列を書換えることで実現する。学習については、与えられた教師信号パルス列を基
に誤差を計算し、これに基づいて、結合係数パルス列を
変化させる。このとき、誤差の計算、結合係数の変化分
の計算も、全て、「０」「１」のパルス列の論理演算で
行う。ようにしたものである。

【００３９】以下、この思想について説明する。最初
に、デジタル論理回路による信号処理に関し、フォワー
ドプロセスにおける信号処理を説明する。図２は１つの
ニューロン２０に相当する部分を示し、ニューラルネッ
トワーク全体としては例えば図４５に示した場合と同様
に階層型とされる。入出力は、全て、「１」「０」に２
値化され、かつ、同期化されたものが用いられる。入力
信号ｙ_iの強度はパルス密度で表現し、例えば図３に示
すパルス列のようにある一定時間内にある「１」の状態
数で表す。即ち、図３の例は、４／６を表し、同期パル
ス６個中に信号は「１」が４個、「０」が２個である。
つまり、同期パルスの立上り時又は立下り時に入力信号
が「０」か「１」かを判断する。このとき、「１」と
「０」の並び方は、ランダムであることが望ましい。

【００４０】一方、各ニューロン２０間の結合の度合を
示す結合係数Ｔ_ijも同様にパルス密度で表現し、「０」
と「１」とのビット列とする。図４の例は、「１０１０
１０」＝３／６を表す式である。この場合も、同期パル
スの立上り時又は立下り時に入力信号が「０」か「１」
かを判断するものであり、また、「１」と「０」の並び
方はランダムであることが望ましい。

【００４１】そして、このビット列を同期クロックに応
じてメモリ上より順次読出し、図２に示すように各々Ａ
ＮＤゲート２１により入力信号パルス列との論理積をと
る（ｙ_i ∩ Ｔ_ij)。これを、神経細胞ｊへの入力とす
る。上例の場合で説明すると、入力信号が「１０１１０
１」として入力されたとき、これと同期してメモリ上よ
りパルス列を呼出し、順次ＡＮＤをとることにより、図
５に示すような「１０１０００」が得られ、これは入力
ｙ_i が結合係数Ｔ_ijにより変換されパルス密度が２／６
となることを示している。

【００４２】ＡＮＤゲート２１の出力のパルス密度は、
近似的には入力信号のパルス密度と結合係数のパルス密
度との積となり、アナログ方式の結合係数と同様の機能
を有する。これは、信号の列が長いほど、また、「１」
と「０」との並び方がランダムであるほど、数値の積に
近い機能を持つことになる。なお、入力パルス列に比べ
て結合係数のパルス列が短く、読出すべきデータがなく
なったら、再びデータの先頭に戻って読出しを繰返えせ
ばよい。

【００４３】１つのニューロン２０は多入力であるの
で、前述した「入力信号と結合係数とのＡＮＤ」も多数
あり、次にＯＲ回路２２によりこれらの論理和をとる。
入力は同期化されているので、例えば１番目のデータが
「１０１０００」、２番目のデータが「０１００００」
の場合、両者のＯＲをとると、「１１１０００」とな
る。これをｍ個分について多入力同時に計算し出力とす
ると、例えば図６に示すようになる。これは、アナログ
計算における和の計算及び非線形関数（シグモイド関
数）の部分に対応している。

【００４４】パルス密度が低い場合、そのＯＲをとった
もののパルス密度は、各々のパルス密度の和に近似的に
一致する。パルス密度が高くなるにつれ、ＯＲ回路２２
の出力は段々飽和してくるので、パルス密度の和とは一
致せず、非線形性が出てくる。ＯＲの場合、パルス密度
は１よりも大きくなることがなく、かつ、０より小さく
なることもなく、さらには、単調増加関数であり、シグ
モイド関数と近似的に同等となる。

【００４５】ところで、結合には興奮性と抑制性があ
り、数値計算の場合には、結合係数の符号で表し、アナ
ログ回路の場合はＴ_ijが負となる場合（抑制性結合）は
増幅器を用いて出力を反転させてＴ_ijに相当する抵抗値
で他のニューロンに結合させている。この点、デジタル
方式の既提案例にあっては、まず、Ｔ_ijの正負により各
結合を興奮性結合と抑制性結合との２つのグループに分
け、次いで、「入力信号と結合係数のパルス列のＡＮ
Ｄ」同士のＯＲをこのグループ別に計算する。このよう
にして得られた興奮性グループの結果をＦ_jとし、抑制
性グループの結果をＩ_jとする。

【００４６】或いは、１つの入力ｙ_iに対して興奮性を
表す結合係数Ｔ_ij(+)と抑制性を表す結合係数Ｔ_ij(-)
との両方を用意し、各々ＡＮＤをとる（ｙ_i∩
Ｔ_ij(+)、ｙ_i∩Ｔ_ij(-)）。さらに、これら同士のＯＲ
を各々とり（∪（ｙ_i∩Ｔ_ij(+) )、∪（ｙ_i∩Ｔ
_ij(-) ）、興奮性グループの結果をＦ_jとし、抑制性グ
ループの結果をＩ_jとする。

【００４７】これらをまとめると、１つの入力に対して、結合係数を興奮性、抑制性の
どちらか一方のみを持つ場合には、(８)(９)式のように
なる。

【００４８】

【数２】

【００４９】１つの入力に対して、結合係数を興奮
性、抑制性の両方を持つ場合には、(10)(11)式、或い
は、(12)(13)式に示すようになる。

【００５０】

【数３】

【００５１】

【数４】

【００５２】ただし、(12)(13)式において、１つの入力
に対して結合係数を興奮性、抑制性のどちらか一方のみ
持つ場合には、ｙ_Fij，ｙ_Iijは(14)(15)式で示され、ｙ_Fij＝ｙ_i∩ Ｔ_ij （Ｔ∈興奮性）＝０（Ｔ∈抑制性） …………(14) ｙ_Iij＝ｙ_i∩ Ｔ_ij （Ｔ∈抑制性）＝０（Ｔ∈興奮性） …………(15) １つの入力に対して結合係数を興奮性、抑制性の両方を
持つ場合には、ｙ_Fij，ｙ_Iijは(16)(17)式ｙ_Fij＝ｙ_i∩ Ｔ_ij(+) …………………………(16) ｙ_Iij＝ｙ_i∩ Ｔ_ij(-) …………………………(17) で示される。

【００５３】このようにして得られた興奮性グループの
結果Ｆ_jと抑制性グループの結果Ｉ_jが、不一致であれば
興奮性グループの結果を出力する。即ち、興奮性グルー
プの結果Ｆ_jが「０」で抑制性グループの結果Ｉ_jが
「１」であれば、「０」を出力し、興奮性グループの結
果Ｆ_jが「１」で抑制性グループの結果Ｉ_jが「０」で
あれば、「１」を出力する。興奮性グループの結果Ｆ_j
と抑制性グループの結果Ｉ_jが一致したときには、
「０」を出力しても「１」を出力してもよく、或いは、
別個に用意された第２の入力信号Ｅ_jを出力させてもよ
く、又は、このような第２の入力信号Ｅ_jとこの第２の
入力信号Ｅ_jに対して設けたメモリの内容との論理積を
演算したものを出力させるようにしてもよい。このメモ
リも入力信号に対する結合係数と同様、全て読出してし
まったら再び先頭から読出せばよい。

【００５４】この機能を実現するため、まず、「０」を
出力させる例の場合であれば、興奮性グループの出力と
抑制性グループの出力の否定とのＡＮＤをとればよい。
図７はこの例を示すもので、数式で示すと、(18)式のよ
うになる。

【００５５】

【数５】

【００５６】また、「１」を出力させる例の場合であれ
ば、興奮性グループの出力と抑制性グループの出力の否
定とのＯＲをとればよい。図８はこの例を示すもので、
数式で示すと、(19)式のようになる。

【００５７】

【数６】

【００５８】第２の入力信号を出力させる例の場合であ
れば、図９に示すようになり、数式で示すと、(20)式の
ようになる。

【００５９】

【数７】

【００６０】さらに、第４の方式の例であれば、第２の
入力信号Ｅ_jに対して設けられたメモリの内容（係数）
をＴ′_jとすると、図１０に示すようになり、数式で示
すと、(21)式のようになる。

【００６１】

【数８】

【００６２】ニューロン２０のネットワークは、バック
プロパゲーションと同様な階層型（即ち、図４５）とす
る。そして、ネットワーク全体を同期させておけば、各
層とも上述した機能により計算できる。

【００６３】ところで、ここに前述した(１)式の内部電
位に相当する内部電位ｕ_jとして、(22)式ｕ_j＝Σ（ｙ_Fijのパルス密度）−Σ（ｙ_Iijのパルス密度） ………(22) を定義し、学習（バックプロパゲーション）における信
号演算処理について説明する。基本的には、以下のａに
より出力信号の微係数を求めた後、以下のｂ又はｃによ
り誤差信号を求め、次いで、ｄの方法により結合係数の
値を変化させるようにすればよい。

【００６４】ａ．出力信号の微係数学習時における誤差信号の演算には、出力信号を内部電
位で微分した微係数（神経細胞応答関数の微係数）が一
般に必要となる。即ち、一例として２入力時の出力信号
（(18)式参照）と、内部電位（(22)式参照）との関係を
示すと、図１１のような応答関数となる。この関係は一
意的には定まらないが、図では平均を示している。この
ような応答関数を微分したものは、図１２中に示す特性
Ａとなる。一方、この関数の微係数は、近似的には、出
力信号のパルス密度をＯ_j、その微係数をＯ_j′ とする
と、Ｏ_j′ ＝Ｏ_j（１−Ｏ_j ） ……………………………(23) で表される。つまり、図１２中に実線で示す特性Ｂとな
り、(23)式は良好なる近似式であことが分かる。これ
は、出力信号が(18)式でなく、(19)(20)(21)式で表され
る場合も同様である。

【００６５】ところで、(23)式をパルス列同士の論理演
算で表すためには、以下のようにすればよい。まず、Ｏ
_jをｙ_j、（１−Ｏ_j ）をｙ_jの否定で表し、積の部分
はＡＮＤなる論理演算で表すようにすればよい。即ち、
微係数を表す信号をｆ_j′とすると、(24)式のようにな
る。

【００６６】

【数９】

【００６７】もっとも、このままでは、(24)式は常に
“０”となってしまうので、“ｙ_j”又は“ｙ_jの否
定”の何れかに対して遅延処理を施し、常には“０”と
はならないようにする必要がある。即ち、遅延された信
号を“dly'd” で表した場合、(25)式又は(26)式を使い
分ければよい。

【００６８】

【数１０】

【００６９】なお、これらの２式の使い分けについては
後述するものとする。また、遅延処理はレジスタを用い
ることにより容易に実現できる。さらに、その遅延量と
しても、同期クロックの１個分でも複数個分でもよい。

【００７０】ｂ．最終層における誤差信号最終層で各ニューロンにおける誤差信号を計算し、それ
を基にそのニューロンに関わる結合係数を変化させる。
そのための、誤差信号の計算法について述べる。ここ
に、「誤差信号」を以下のように定義する。誤差を数値
で表すと、一般には＋，−の両方をとり得るが、パルス
密度の場合には、正、負の両方を同時に表現できないの
で、＋成分を表す信号と、−成分を表す信号との２種類
を用いて誤差信号を表現する。即ち、ｊ番目のニューロ
ンの誤差信号は、図１３のように示される。つまり、誤
差信号の＋成分は教師信号パルスと出力信号パルスとの
違っている部分（１，０）又は（０，１）の内、教師信
号側に存在するパルスと微係数とのＡＮＤをとったパル
スであり、−成分は同様に出力信号側に存在するパルス
と微係数とのＡＮＤをとったパルスである。即ち、これ
らの正負の誤差信号δ_j(+)，δ_j(-)を論理式で表現する
と、各々(27)(28)式のようになる。これらの式の微係数
には、各々(25)(26)式を用いている。

【００７１】

【数１１】

【００７２】ここで、この組合せが仮に逆であると（即
ち、(27)式に微係数として(26)式を適用し、(28)式に微
係数として(25)式を適用すると）、(27)(28)式の結果が
常に０となってしまい、機能しないので、(25)(26)式で
示される２種類の微係数の使い分けが必要となるもので
ある。

【００７３】このような誤差信号パルスを基に結合係数
を後述するように変化させることになる。

【００７４】ｃ．中間層における誤差信号まず、上記の誤差信号を逆伝播させ、最終層とその１つ
前の層との結合係数だけでなく、さらにその前の層の結
合係数も変化する。そのため、中間層における各ニュー
ロンでの誤差信号を計算する必要がある。中間層のある
ニューロンから、さらに１つ先の層の各ニューロンへ信
号を伝播させたのとは、丁度逆の要領で１つ先の層の各
ニューロンにおける誤差信号を集めてきて、自己の誤差
信号とする。このことは、ニューロン内での前述した演
算式(８)〜(10)や図３〜図８に示した場合と同じような
要領で行うことができる。即ち、結合係数が１入力に対
して興奮性か抑制性かの何れの一方の場合は、まず、結
合を興奮性か抑制性かによって、２つのグループに分
け、掛け算の部分はＡＮＤで、Σの部分はＯＲで表現す
る。ただし、ニューロン内での前述した処理と異なるの
は、ｙ_jが常に正なる１つの信号であるのに対して、δ
_jは正、負を表す信号として２つの信号を持ち、その両
方の信号を考慮する必要があることである。従って、結
合係数Ｔ_ijの正負、誤差信号δ_jの正負に応じて４つの
場合に分ける必要がある。

【００７５】まず、興奮性結合の場合を説明する。この
場合、中間層のあるニューロンについて、１つ先の層の
ｋ番目のニューロンでの誤差信号δ_k(+)と、そのニュー
ロンと自己との結合係数Ｔ_jkのＡＮＤをとったもの（δ
_k(+) ∩ Ｔ_jk）を各ニューロンについて求め、さらに、
これら同士のＯＲをとる（∪（δ_k(+) ∩ Ｔ_jk））。こ
れをこのニューロンの誤差信号δ_j(+)とする。即ち、１
つ先の層のニューロンをｎ個とすると、図１４に示すよ
うになる。これらを数式で示すと、(29)式のようにな
る。

【００７６】

【数１２】

【００７７】同様に、１つ先の層のニューロンでの誤差
信号δ_k(-)と結合係数Ｔ_jkとのＡＮＤをとり、さらにこ
れら同士のＯＲをとることにより、このニューロンの誤
差信号δ_j(-)とする。即ち、図１５に示すようになり、
これらを数式で示すと、（３０）式のようになる。

【００７８】

【数１３】

【００７９】次に、抑制性結合の場合を説明する。この
場合、１つ先の層のニューロンでの誤差信号δ_ｋ（−）
とそのニューロンと自己との結合係数Ｔ_jkのＡＮＤをと
り、さらにこれら同士のＯＲをとる。これを、このニュ
ーロンの誤差信号δ_j(+)とする。即ち、図１６に示すよ
うになり、これらを順に数式で示すと、(31)式のように
なる。

【００８０】

【数１４】

【００８１】また、１つ先の誤差信号δ_k(+)と結合係数
Ｔ_jkとのＡＮＤをとり、さらにこれら同士のＯＲをとる
ことにより、同様に、このニューロンの誤差信号δ_j(-)
とする。即ち、図１７に示すようになり、これらを順に
数式で示すと、(32)式のようになる。

【００８２】

【数１５】

【００８３】１つのニューロンから別のニューロンへは
興奮性で結合しているものもあれば、抑制性で結合して
いるものもあるので、図１４のように求めた誤差信号δ
_j(+)と図１６のように求めた誤差信号δ_j(+)とのＯＲを
とり、最後にこの信号と微係数とのＡＮＤをとることに
よって、それを自分のニューロンの誤差信号δ_j(+)とす
る。同様に、図１５のように求めた誤差信号δ_j(-)と図
１７のように求めた誤差信号δ_j(-)とのＯＲをとり、最
後にこの信号と微係数とのＡＮＤをとることによって、
それを自分のニューロンの誤差信号δ_j(-)とする。

【００８４】以上をまとめると、(33)式、或いは、(34)
式に示すようになる。

【００８５】

【数１６】

【００８６】

【数１７】

【００８７】次に、１つの入力に対して興奮性と抑制性
との両方の結合係数を持つ場合、数式のみを示すと、(3
5)式、或いは、(36)式に示すようになる。

【００８８】

【数１８】

【００８９】

【数１９】

【００９０】さらに、学習のレート（学習定数）に相当
する機能を設けてもよい。数値計算でレートが１以下の
とき、さらに学習能力が高まる。これはパルス列の演算
ではパルス列を間引くことによって実現できる。ここで
は、カウンタ的な考え方をし、図１８、図１９に示すよ
うなものとした。例えば、学習レートη＝０．５では元
の信号のパルス列を１つ置きに間引くが、元の信号のパ
ルスが等間隔でなくても、元のパルス列に対して間引く
ことができる。図１８，図１９中、η＝０．５の場合は
パルスを１つ置きに間引き、η＝０．３３の場合はパル
スを２つ置きに残し、η＝０．６７の場合はパルスを２
つ置きに１回間引くことを示す。

【００９１】ｄ．結合係数を変化させる方法変化させたい結合係数が属しているライン（図４５参
照）を流れる信号と誤差信号のＡＮＤをとる（δ_j∩
ｙ_i）。ただし、ここでは誤差信号には＋，−の２つの
信号があるので、各々演算して図２０，図２１に示すよ
うに求める。即ち、δ_j(+)∩ｙ_i、δ_j(-)∩ｙ_iを各々
正，負の結合係数変化信号としている。

【００９２】このようにして得られた２つの信号を各々
ΔＴ_ij(+)，ΔＴ_ij(-)とする。ついで、今度はこのΔＴ
_ijを基に新しいＴ_ijを求めるが、このＴ_ijは絶対値成分
であるので、元のＴ_ijが興奮性か抑制性かで場合分けす
る。興奮性の場合、元のＴ_ijに対してΔＴ_ij(+)の成分
を増やし、ΔＴ_ij(-)の成分を減らす。即ち、図２２に
示すようになる。逆に、抑制性の場合は元のＴ_ijに対し
ΔＴ_ij(+) の成分を減らし、ΔＴ_ij(-) の成分を増や
す。即ち、図２３に示すようになる。これらの図２２，
図２３の内容を数式で示すと、(37)(38)式のようにな
る。

【００９３】

【数２０】

【００９４】以上の学習則に基づいてネットワークの計
算をする。

【００９５】次に、以上のアルゴリズムに基づく既提案
例方式を含む実際の回路構成を説明する。図１、図２４
ないし図２８にその回路構成例を示すが、ネットワーク
全体の構成は図４５と同様である。図２４ないし図２７
は図４５のような階層型ネットワーク中のライン（結線
＝シナプス）に相当する部分の回路を示し、図１は図４
５中の丸（提案例では、各ニューロン２０）に相当する
部分の回路を示す。また、図２８は最終層の出力と教師
信号から最終層における誤差信号を求める部分の回路を
示す。これらの図２４、図２５ないし図２８構成の３つ
の回路を図４５の場合のようにネットワークにすること
により、自己学習機能を持つデジタル式のニューラルネ
ットワークが実現できる。

【００９６】まず、図２４から説明する。図中、２５は
図３に示したようなニューロンへの入力信号である。図
５に示したような結合係数の値はシフトレジスタ（メモ
リ）２６に保存しておく。このシフトレジスタ２６は取
出し口２６ａと入口２６とを有するが、通常のシフトレ
ジスタと同様の機能を持つものであればよく、例えば、
ＲＡＭとアドレスコントローラとの組合せによるもの等
であってもよい。入力信号２５とシフトレジスタ２６内
の結合係数とはＡＮＤゲート２７を備えて図６に示した
処理を行う論理回路２８によりＡＮＤがとられる。この
論理回路２８の出力は結合が興奮性か抑制性かによって
グループ分けしなければならないが、予め各々のグルー
プへの出力２９，３０を用意し、何れに出力するのかを
切換えるようにした方が汎用性の高いものとなる。この
ため、既提案例では結合が興奮性か抑制性かを表すビッ
トをグループ分け用メモリ３１に保存しておき、その情
報を用いて切換えゲート回路３２により切換える。切換
えゲート回路３２は２つのＡＮＤゲート３２ａ，３２ｂ
と一方の入力に介在されたインバータ３２ｃとよりな
る。

【００９７】切換える必要のない場合には、各々固定し
ても構わない。例えば、興奮性の場合を図２５、抑制性
の場合を図２６に示す。これは、図２４においてグルー
プ分け用メモリ３１を各々「０」「１」に固定したもの
と等価な回路とである。また、１つの入力に対して、興
奮性を表すシフトレジスタと、抑制性を表すシフトレジ
スタとの両方を用意してもよい。図２７はこの例を示
す。図中、２６Ａが興奮性を表す結合係数に対するシフ
トレジスタ、２６Ｂが抑制性を表す結合係数に対するシ
フトレジスタである。

【００９８】また、図１に示すように各入力処理（図６
に相当）をする複数のＯＲゲート構成のゲート回路３３
ａ，３３ｂが設けられている。さらに、同図に示すよう
に図７に示した興奮性結合グループが「１」で、抑制性
結合グループが「０」のときにのみ出力「１」を出すＡ
ＮＤゲート３４ａとインバータ３４ｂとによるゲート回
路３４が設けられている。図６ないし図１０に例示した
ような処理結果とする場合にも同様に論理回路で容易に
実現できる。

【００９９】もっとも、ゲート回路３４としては、図６
方式の場合であれば図２９(ａ)に示すようにインバータ
３４ｂとＯＲゲート３４ｃとの組合せとし、図９方式の
場合であれば図２９(ｂ)に示すように排他的ＯＲゲート
３４ｄとインバータ３４ｅと２つのＡＮＤゲート３４
ｆ，３４ｇとＯＲゲート３４ｈとにより構成してＡＮＤ
ゲート３４ｇに第２入力Ｅ_jを入力させるものとし、図
１０方式の場合であれば図２９(ｃ)に示すように同図
(ｂ)に第２入力Ｅ_jに対する係数Ｔ′を数値表現形態で
記憶したメモリ３４ｉと、ＡＮＤゲート３４ｊとを追加
した構成とすればよい。

【０１００】次に、誤差信号について説明する。最終層
での誤差信号を生成するのが図２８に示すＡＮＤゲー
ト，排他的ＯＲゲートの組合せによる論理回路３５であ
り、(６)(７)式に相当する。即ち、最終層からの出力３
６及び教師信号３７により誤差信号３８，３９を作るも
のである。

【０１０１】中間層における誤差信号を計算する(34)式
の内、Ｅ_j(+)，Ｅ_j(-)を求める処理は、図２４中に示す
ＡＮＤゲート構成のゲート回路４２により行われ、＋，
−に応じた出力４３，４４が得られる。ここでは、結合
係数として学習後のものを用いたが、学習前のものであ
ってもよく、学習前の場合も容易に回路化し得る。ま
た、このように結合が興奮性か抑制性かにより場合分け
する必要があるが、この場合分けはメモリ３１に記憶さ
れた興奮性か抑制性かの情報と、誤差信号の＋，−信号
４５，４６とに応じて、ＡＮＤ，ＯＲゲート構成のゲー
ト回路４７により行われる。なお、結合の興奮性、抑制
性の区別を固定した図２５、図２６方式のものでは、前
記メモリ３１の内容を各々「０」，「１」に固定したも
のと等価な回路となる。一方、１つの入力に対して興奮
性結合を表すシフトレジスタ２６Ａと抑制性結合を表す
シフトレジスタ２６Ｂとの両方を用いる図２７方式のも
のでは、(36)式に相当する回路が、図２７においてゲー
ト回路３５として示されている。

【０１０２】また、誤差信号を集める計算式(８)、即
ち、(34)式の残りの部分は図１に示すＯＲゲート構成の
ゲート回路４８ａ，４８ｂにより行われる。さらに、学
習レートに相当する図１８，１９の処理は図２６中に示
す分周回路４９により行われる。これは、フリップフロ
ップ等を用いることにより容易に実現できる。もっと
も、分周回路４９は不必要であれば特に設けなくてよ
く、設ける場合であっても図２５中に示した例に限ら
ず、図２４〜図２７中に符号４９を付して示すような適
宜位置に設けるようにしてもよい。

【０１０３】このような誤差信号を集める処理におい
て、本実施例では、ゲート回路３４を通して得られる自
己のニューロン２０の出力信号に基づき微係数算出手段
５１により２種類の微係数ｆ_j(+)′，ｆ_j(-)′を算出
し、各ゲート回路４８ａ，４８ｂで集められた誤差信号
Ｅ_j(+)，Ｅ_j(-)との論理積がＡＮＤゲート構成のゲート
回路５２でとられるように構成されている。この論理積
処理は、分周回路４９による分周後でも、分周前であっ
てもよい（このため、図１中において分周回路は４９ａ
として示す位置に設けてもよい）。

【０１０４】ここに、微係数算出手段５１は微係数ｆ
_j(+)′用の処理回路５３と、ｆ_j(-)′用の処理回路５４
とに分けて構成されている。処理回路５３は(25)式を実
行するもので、出力信号ｙ_jを遅延させて遅延信号ｙ
_dly'djを得るシフトレジスタ５３ａと出力信号ｙ_jの否
定信号を得るインバータ５３ｂとこれらの論理積をとる
ＡＮＤゲート５３ｃとにより構成されている。一方、処
理回路５４は(26)式を実行するもので、出力信号ｙ_jを
遅延させて遅延信号ｙ_dly'djを得るシフトレジスタ５４
ａとこの遅延信号の否定信号を得るインバータ５４ｂと
この出力と出力信号ｙ_jとの論理積をとるＡＮＤゲート
５４ｃとにより構成されている。なお、信号を同期クロ
ックに同期させて遅延させるシフトレジスタ５３ａ，５
４ａに関して、同期クロックを幾つ分遅延させるかは固
定してもよく、或いは、外部から可変的に与えるように
してもよい。

【０１０５】最後に、誤差信号より新たな結合係数を計
算する部分、即ち、図２１〜図２３の処理に相当する部
分は、図２４中に示すＡＮＤ、インバータ、ＯＲゲート
構成のゲート回路５０により行なわれ、シフトレジスタ
２６の内容、即ち、結合係数Ｔ_ijの値が書換えられる。
このゲート回路５０も結合の興奮性、抑制性により場合
分けが必要であるが、ゲート回路４７により行なわれ
る。図２５、図２６の場合には、興奮性、抑制性が固定
であるので、ゲート回路４７に相当する回路は不要であ
る。図２７方式の場合は、１つの入力に対して興奮性、
抑制性の両方を持つので、ゲート回路５０Ａが興奮性、
ゲート回路５０Ｂが抑制性の場合に相当する。

【０１０６】ところで、結合係数の値はシフトレジスタ
２６内にパルス列の形で保存されているが、このような
パルス列に関して、そのパルス密度は同じに保ちつつ
（結合係数の値は変更せずに）、そのパルス並びを時々
変更したほうが学習能力が上がることがある。そこで、
結合係数に関して、図３０(ａ)〜(ｃ)の何れかに示すよ
うな処理を施すようにすれば、効果的である。

【０１０７】まず、図３０(ａ)は、結合係数の値をパル
ス列の形で保存するシフトレジスタ２６に対して、パル
ス並び変更手段５５を付加したものである。このパルス
並び変更手段５５はシフトレジスタ２６から読出したパ
ルス列を計数することでパルス数を得るカウンタ５５ａ
と、一様乱数を発生させる乱数発生器５５ｂと、これら
のパルス数と一様乱数とを比較しその大小に応じて
「１」又は「０」を出力する比較器５５ｃと、比較器５
５ｃの比較出力に応じてシフトレジスタ２６に書込み動
作を行う切換器５５ｄとにより構成されている。ここ
に、前記乱数発生器５５ｂはシフトレジスタ２６から読
出すビット数（即ち、同期クロック数）を最大値とし、
０からこの最大値までの間で一様乱数を生成出力するも
のである。また、比較器５５ｃはパルス数のほうが一様
乱数値よりも大きければ「１」、パルス数のほうが一様
乱数値よりも小さい場合には「０」を出力するように設
定されている。これにより、適宜、結合係数のパルス列
のパルス並びが変更されることになる。なお、このよう
な並び変更処理中は、切換器５５ｄが比較器５５ｃ側に
切換えられているので、ニューラルネットワーク本来の
動作は行えない。

【０１０８】図３０(ｂ)は、結合係数の値を演算毎にパ
ルス列表現に変換する変換手段５６を設けたものであ
る。即ち、この例にあっては、結合係数を表すパルス列
のパルス密度を数値（例えば、２進数や電圧値）の形で
メモリ５６ａに記憶させておき、演算の度に乱数発生器
５６ｂにより生成した乱数と比較器５６ｃで比較し、パ
ルス列に変換させるものである。ここに、学習済みの結
合係数を表すパルス列をカウンタ５６ｄを用いて計数し
て数値に変換し、ある一定時間毎にメモリ５６ａの内容
を更新するように構成されている。なお、カウンタ５６
ｄに代えて、積分器を用いて学習済みの結合係数を表す
パルス列を電圧値に変換するようにしてもい。また、乱
数発生器５６ｂは乱数発生器５５ｂの場合と同じく、生
成する乱数の最大値はメモリ５６ａの内容を更新する同
期クロック数に設定されている。

【０１０９】図３０(ｃ)も、結合係数の値を演算毎にパ
ルス列表現に変換する変換手段５７を設けたものであ
る。即ち、この例にあっては、結合係数を表すパルス列
のパルス密度を数値（例えば、２進数）の形でアップ／
ダウンカウンタ５７ａに記憶させておき、演算の度に乱
数発生器５７ｂにより生成した乱数と比較器５７ｃで比
較し、パルス列に変換させるものである。ここに、比較
器５７ｃを通して実際に出力された結合係数のパルス列
はカウンタ５７ａのダウンＤ側に帰還入力され、学習済
みの結合係数のパルス列はカウンタ５７ａのアップＵ側
に入力され、保存される結合係数値が適宜更新されるよ
うに構成されている。

【０１１０】図３０(ａ)〜(ｃ)に示す各例において、乱
数発生器５５ｂ，５６ｂ，５７ｂ及び比較器５５ｃ，５
６ｃ，５７ｃとしてデジタル構成のものを用いればよい
が、カウンタ５６ｄに代えて積分器を用いた場合には、
乱数発生器５６ｂ及び比較器５６ｃとしてアナログ構成
のものを用いればよい。これらは、何れも公知の技術で
容易に実現できる。例えば、デジタル構成の乱数発生器
としてはＭ系列の疑似乱数発生器を用い、アナログ構成
の乱数発生器としてはトランジスタの熱雑音を用いれば
よい。

【０１１１】以上、説明したように信号をパルス密度で
表現する手法は、実際の回路のみならず、計算機上でシ
ミュレートする場合にも有用である。計算機上では、演
算は直列的に行われるが、アナログ値を用いて計算させ
るのに比べて、「０」「１」の２値の論理演算のみであ
るので、計算速度が著しく向上する。一般に、実数値の
四則演算は、１回の計算に多くのマシンサイクルを必要
とするが、論理演算では少なくて済む。また、論理演算
のみであると、高速処理向けの低水準言語が使用しやす
いといった特徴も持つ。また、上述した方式を実施する
に当り、その全部を回路化する必要はなく、一部又は全
部をソフトウエアで行わせるようにしてもよい。また、
回路構成自体も例示したものに限らず、論理が等価な別
の回路で置き換えるようにしてもよく、さらには、負論
理に置き換えるようにしてもよい。これらの点は、以下
の実施例でも同様である。

【０１１２】ところで、具体例を説明する。図４５のよ
うに３層構造にネットワーク構成し、第１層は２５６
個、第２層は２０個、第３層は５個の回路ユニット構成
とした。ここに、第１，２層間、第２，３層間は回路ユ
ニット同士が全て結合されている。このようなネットワ
ークに対して手書き文字を入力し、文字認識を行わせ
た。まず、手書き文字をスキャナで読取り、図３１に示
すように１６×１６のメッシュに分け、文字部分のある
メッシュを「１」、ないメッシュを「０」とした。この
２５６個のデータをネットワーク（第１層）に入力させ
た。出力層の５個の各ニューロン２０を「１」〜「５」
までに対応させ、その数字が入力した時に対応するニュ
ーロンの出力が「１」でその他のニューロンの出力が
「０」になるように学習させた。最初、各結合係数をラ
ンダムに設定しておくと、出力結果は必ずしも所望の値
とはならない。そこで、本実施例の自己学習機能を用い
て、各結合係数を新たに求め、これを何回か繰返すこと
によって所望の出力が得られるようにする。ここに、入
力は、「１」か「０」であるので、入力パルス列は常に
Ｌレベル又はＨレベルなる単調なものである。また、最
終出力はトランジスタを介してＬＥＤと結び、Ｌレベル
の時には消灯、Ｈレベルの時には点灯するようにした。
同期クロックを１０００ｋＨｚとしたので、パルス密度
に応じて、人間の目にはＬＥＤの明るさが変って見え、
従って、一番明るいＬＥＤ部分が答えとなる。十分学習
させた文字に対しては１００％の認識率が得られたもの
である。

【０１１３】さらに、３層構造にネットワーク構成し、
第１層は２個、第２層は２個、第３層は４個の回路ユニ
ット構成とし、ＸＯＲ（排他的論理和）問題を解かせた
ところ、学習回数と残差との関係は図３２に示すように
なったものである。図示結果からも分かるように数学的
に難しい問題に対しても十分学習効果を発揮し得るもの
となる。

【０１１４】つづいて、請求項５ないし９記載の発明の
一実施例を図３３ないし図３８により説明する。前記実
施例で示した部分と同一部分は同一符号を用いて示す
（以下の実施例でも同様とする）。本実施例は、前述し
た実施例をさらに改良したものであり、まず、前述した
実施例について再度検討する。

【０１１５】まず、前述した実施例のニューロン２０で
は学習時に用いる出力信号を内部電圧で微分した微係数
に相当する信号として前述した(25)(26)式を用いている
（下記に再度示す）。

【０１１６】

【数２１】

【０１１７】一方、学習時にはこのような微係数信号ｆ
_j(+)′，ｆ_j(-)′を用いて誤差信号を算出する。出力層
の場合は、前述した(27)(28)式で表され、中間層の場合
は前述した(33)式で表される（下記に再度示す）。

【０１１８】

【数２２】

【０１１９】

【数２３】

【０１２０】ところが、前記実施例構成の場合、微係数
信号ｆ_j(+)′，ｆ_j(-)′のパルス密度が０になってしま
うことがある。これらの微係数信号ｆ_j(+)′又は
ｆ_j(-)′が０になると、誤差信号δ_j(+)，δ_j(-)のパル
ス密度も０となってしまう。よって、このような事態が
学習途中でたまたま発生すると、学習はそこで止まって
しまい、学習機能が充分に発揮されないものとなる。

【０１２１】一方、数値演算におけるニューロンでは出
力関数にシグモイド関数を用いており、その微係数は限
りなく０に近づくものの、完全に０になることはない。
このような点に着目し、本実施例では、出力関数の微係
数が完全に０とはならないようにする微係数規制手段を
設けることを基本として構成したものである。

【０１２２】まず、本実施例中、請求項５ないし７記載
の発明に相当する実施例を図３３及び図３４により説明
する。まず、前述した実施例中の微係数算出手段５１を
構成する処理回路５３（又は、５４）が設けられてい
る。この処理回路５３の出力部分に本実施例の要旨とす
る微係数規制手段６１が付加されている。この微係数規
制手段６１は前記処理回路５３から出力される微係数の
出力パルス列に適宜加工処理を施して最終的な微係数の
出力パルス列のパルス密度が０とはならないようにする
もので、ここでは、パルス列生成装置（パルス列生成手
段）６２と、このパルス列生成装置６２の出力と前記処
理回路５３の出力とを入力とするＯＲゲート（演算手
段）６３とにより構成されている。前記パルス列生成装
置６２は、予め設定されたパルス密度（ただし、完全に
は０ではない密度）のパルス列を生成出力するもので、
例えば、図３４に示すように、クロック信号を入力とし
て計数するカウンタ６４と、このカウンタ６４の計数値
が所定の周期値に達する毎に一定周期の１パルスを出力
する比較器６５とにより構成される。

【０１２３】このような構成によれば、仮に処理回路５
３の微係数の出力パルス列のパルス密度が０となるよう
なことがあっても、パルス列生成装置６２で生成された
パルス列との論理和がＯＲゲート６３によりとられて、
最終的な微係数の出力パルス列が得られるので、この微
係数の出力パルス列のパルス密度が０になるようなこと
はない。よって、学習途中であっても、微係数のパルス
列のパルス密度が０となり学習が止まってしまうような
ことはない。ここに、パルス列生成装置６２で生成出力
するパルス列のパルス密度は処理回路５３からの微係数
の出力パルス列に極力影響を及ぼさないようになるべく
０に近いほうがよい。

【０１２４】また、本実施例中、請求項８記載の発明に
相当する実施例を図３５に示す。これは、パルス列生成
装置６２の構成を変えたもので、アナログ構成の乱数生
成装置６６と比較器６７との組合せ構成としたものであ
る。ここに、乱数生成装置６６には例えばトランジスタ
の熱雑音等による電圧値が利用され、比較器６７におい
て予め設定された一定電圧値と比較され、一定電圧値よ
りも乱数生成装置６６の電圧値の方が大きい時には１
を、小さい時には０を出力させることにより、所望のパ
ルス列が得られるものとなる。この時のパルス列のパル
ス密度は乱数生成装置６６から得られる電圧値の分布と
比較用に与える一定電圧値とにより自由に設定できる。

【０１２５】さらに、本実施例中、請求項９記載の発明
に相当する実施例を図３６及び図３７に示す。これも、
パルス列生成装置６２の構成を変えたもので、デジタル
構成の乱数生成装置６８とデジタル構成の比較器６９と
の組合せ構成としたものである。ここに、乱数生成装置
６８には例えば図３７に示すような７ビットシフトレジ
スタ７０と、その最上位及び最下位ビットのデータを入
力として最下位ビットを順次更新する排他的ＯＲゲート
７１とによるリニアフィードバックシフトレジスタ（Ｌ
ＦＳＲ）７２が用いられている。これにより、乱数生成
装置６８からは７ビット構成で１〜１２７の範囲で一様
乱数が得られる。比較器６９ではこの乱数値と予め設定
された７ビット構成の一定値（例えば、１や２といった
値）とを比較し、乱数値の方が一定値よりも大きければ
１を出力し、小さければ０を出力する。これにより、例
えば１／１２７とか２／１２７といったパルス密度を持
つパルス列が得られることになる。よって、ＯＲゲート
６３からの最終的な微係数の出力パルス列としては少な
くとも１／１２７や２／１２７といったパルス密度のパ
ルス列が出力されることになる。

【０１２６】なお、前記ＬＦＳＲ７２には予め０以外の
値をセットしておく必要がある。このためには、例えば
図３８に示すように、排他的ＯＲゲート７１と７ビット
シフトレジスタ７０との間に切換えスイッチ７３を介在
させ、外部からＬＦＳＲ７２の初期値を設定し得るよう
にすればよい。

【０１２７】なお、本実施例では、例えば処理回路５３
に微係数規制手段６１を付加した構成として説明した
が、実際には、前記実施例で説明したように、微係数と
してはｆ_j(+)′，ｆ_j(-)′の２種類を必要とするので、
何れの微係数も０とはならないように、処理回路５４側
についても同様に微係数規制手段６１が付加して構成さ
れる。この時、処理回路５３，５４に対して乱数生成装
置６６，６８を用意する場合は、各々別の乱数を発生さ
せるものとするのがよい。さらに、ニューラルネットワ
ーク全体で考えた場合には多数の乱数生成装置を用意す
ることになるが、その場合には各々別の乱数を発生させ
るように構成するのがよい。

【０１２８】本実施例に関する具体的構成例について説
明すると、１６個分のニューロン２０を１つのチップ上
に通常のＬＳＩプロセスで作製した。これらの各ニュー
ロン２０のシナプス数は１６とした。また、図３３中の
パルス列生成装置６２としては、図３６及び図３７に示
したように、ＬＦＳＲ７２とデジタル構成の比較器６９
との組合せ構成とし、パルス密度が１／１２７のパルス
列を生成させるものとした。この結果、微係数の最終的
な出力パルス列のパルス密度が最低でも１／１２７とな
るパルス列となり、学習が途中で止まってしまうような
ことがなかったものである。

【０１２９】また、請求項１０記載の発明の一実施例を
図３９ないし図４３により説明する。前述した実施例で
は、ニューロン２０からの出力信号をパルス列で表現す
ることを基本とし、結合係数の値もパルス列で保存する
ようにしたが、本実施例では、結合係数の値を２進数な
る数値表現形態で保存するようにしたものである。即
ち、図３０（ｂ）に示した構成に準じたものであり、本
実施例ではその構成をより明確化したものである。

【０１３０】まず、本実施例の構成として、図２４に対
応するシナプス部分の構成を図３９に示し、図２７に対
応するシナプス部分の構成を図４０に示す。また、図１
に対応するニューロン２０部分の構成の一部を図４１に
示す。

【０１３１】図３９に示すシナプス部分の構成では、シ
フトレジスタ２６に代えて、結合係数Ｔ_ijの値を２進数
なる数値（絶対値）で保存するメモリ７４が設けられて
いる。このメモリ７４の入力側（ゲート回路５０の出力
側）にはパルス列→数値変換回路７５が接続され、出力
側（ＡＮＤゲート２７等の入力側）には数値→パルス列
変換回路（数値・パルス列変換装置）７６が接続されて
いる。ここに、メモリ７４と数値→パルス列変換回路７
６との間は、数値を表すのに必要な本数（ビット幅）ｎ
で結ばれている。さらに、図では省略してあるが、前記
メモリ７４に対しては、アウトプットイネーブル信号や
ライトイネーブル信号などの読み書きに必要な信号が与
えられている。パルス列→数値変換回路７５は図３０
（ｂ）で説明した場合と同様に、カウンタ等を用いるこ
とにより容易に実現できる。この他は、図２４の場合と
同様である。

【０１３２】図４０は、１つの入力に対して、興奮性を
表す結合係数と抑制性を表す結合係数との両方を用意し
た例を示し、興奮性を表す結合係数の値（＋成分）を２
進数なる数値で保存するメモリ７４Ａと、抑制性を表す
結合係数の値（−成分）を２進数なる数値で保存するメ
モリ７４Ｂとが設けられ、各々のメモリ７４Ａ，７４Ｂ
毎にパルス列→数値変換回路７５Ａ，７５Ｂ、数値→パ
ルス列変換回路７６Ａ，７６Ｂが設けられている。この
他は、図２７の場合と同様である。

【０１３３】ここに、数値→パルス列変換回路７６（７
６Ａ，７６Ｂを含む）は、例えば、図４２に示すよう
に、乱数生成装置７７と、メモリ７４からの２進数によ
る結合係数値をこの乱数生成装置７７による乱数と比較
してパルス列表現の結合係数をＡＮＤゲート２７等へ出
力する比較器７８とにより構成されている。前記乱数生
成装置７７は、例えば、図４３に示すように基準クロッ
クに同期して乱数を発生する例えば７ビット構成のシフ
トレジスタ７９とその最上位ビット（ｂ６）のデータと
残りの適宜ビットのデータとを入力として最下位ビット
（ｂ０）を順次更新する排他的ＯＲゲート８０とによる
リニアフィードバックシフトレジスタ（ＬＦＳＲ）８１
により構成されている。これにより、０〜（２＾ｍ−
１）（ｍはシフトレジスタ７９のビット数）までの一様
乱数が得られるものである。このＬＦＳＲ８１の生成多
項式は複数存在し、回路でも適宜切換えられるようにし
ておいたほうがよりランダムな乱数列が得られるので、
ここでは、ｂ０，ｂ１，ｂ４，ｂ５の内、何れのビット
から排他的ＯＲゲート８０に入力させるかを切換える切
換器８２が設けられている。前記比較器７８は乱数生成
装置７７（ＬＦＳＲ８１）により生成された乱数とメモ
リ７４からの結合係数値とを比較し、メモリ７４からの
データのほうが大きい時には「１」、小さい時には
「０」を出力するものである。これにより、パルス密度
が（メモリ７４のデータ／２＾ｍ）となるパルス列によ
る結合係数が得られる。

【０１３４】なお、図４１はニューロン２０中のゲート
回路３３ａ，３３ｂを主体とした部分を示し、これらの
ゲート回路３３ａ，３３ｂの出力側に設けられるゲート
回路３４は図１や図２９に示したものに対して変形した
ものとされている。即ち、外部に設けられたオフセット
入力信号生成器８３からの信号と前記ゲート回路３３
ａ，３３ｂからの信号との論理積をとるＡＮＤゲート３
４ｋと、ゲート回路３３ａからの出力をインバータ３４
ｌで反転させた信号とゲート回路３３ｂからの信号とオ
フセット入力信号生成器８３からの信号との論理積をと
るＡＮＤゲート３４ｍと、ゲート３３ｂからの出力をイ
ンバータ３４ｎで反転させた信号とゲート回路３３ａか
らの信号とオフセット入力信号生成器８３からの信号と
の論理積をとるＡＮＤゲート３４ｏとにより構成されて
いる。ここに、オフセット入力信号生成器８３は数値→
パルス列変換回路７６と同様にＬＦＳＲを利用した構成
のものであり、ここでは、パルス密度（数値）ｙ_Hjとし
て「０．５」を出力するものとされている。この他の部
分は、図１の場合と同様に構成されている。

【０１３５】これにより、本実施例では、(11)〜(21)式
に代えて、(39)式を用いるように構成されている。つま
り、ゲート回路３３ａで得られた興奮性グループの結果
ｙ_Fjとゲート回路３３ｂで得られた抑制性グループの結
果ｙ_Ijとが不一致であれば、興奮性の出力ｙ_Fjをこのニ
ューロンの出力とするものである。即ち、興奮性グルー
プの結果ｙ_Fjが「０」で抑制性グループの結果ｙ_Ijが
「１」であれば、「０」を出力し、興奮性グループの結
果ｙ_Fjが「１」で抑制性グループの結果ｙ_Ijが「０」で
あれば、「１」を出力する。興奮性グループの結果ｙ_Fj
と抑制性グループの結果ｙ_Ijとが一致した時には、パル
ス密度０．５なるオフセット入力信号生成器８３からの
信号ｙ_Hjがニューロンの出力とされる。

【０１３６】

【数２４】

【０１３７】本実施例による場合も、具体例として、図
４５で示したような３層構造のネットワーク構成におい
て、自己学習式文字認識処理を行わせたところ、同じ結
果、即ち、十分学習させた文字に対しては認識率１００
％が得られたものである。

【０１３８】

【発明の効果】請求項１記載の発明によれば、学習時の
誤差信号の演算に必要となる神経細胞模倣ユニットから
の出力信号を内部電位で微分してなる神経細胞応答関数
の微係数に関して、正、負の誤差信号に対応させて微係
数算出手段により２種類の微係数を算出して用いるよう
にしたので、適正な誤差信号を得て、より高い学習能力
を持たせることができる。特に、請求項２記載の発明に
よれば、神経細胞模倣ユニットからの出力信号をパルス
列で表現するものとし、この神経細胞模倣ユニットから
の出力信号を所定時間遅延させた遅延信号と出力信号の
否定信号との論理積を一方の神経細胞応答関数の微係数
とし、神経細胞模倣ユニットからの出力信号の否定信号
を所定時間遅延させた遅延信号と出力信号との論理積を
他方の神経細胞応答関数としたので、微係数の実体が常
に０となってしまうような不都合を回避できる。加え
て、請求項３記載の発明によれば、結合係数の値をパル
ス列表現で保存するメモリと、このメモリ上の結合係数
のパルス列のパルス並びを一定時間毎に変更するパルス
並び変更手段とを有するものとし、請求項４記載の発明
によれば、結合係数の値をパルス列表現に変換する変換
手段を有するものとしたので、より学習能力を向上させ
ることができる。

【０１３９】一方、請求項５，６記載の発明によれば、
微係数規制手段により微係数算出手段による微係数又は
そのパルス密度が０とはならないように構成したので、
学習が途中で止まってしまうようなことがなく、十分に
学習機能を発揮させることができる。

【０１４０】この際、請求項７記載の発明によれば、予
め設定されたパルス密度のパルス列を生成するパルス列
生成手段と、このパルス列生成手段により生成されたパ
ルス列と神経細胞模倣素子の出力パルス列との論理和を
演算する演算手段とよりなる微係数規制手段とし、ま
た、請求項８記載の発明によれば、乱数生成装置と、こ
の乱数生成装置から出力される乱数と所定の閾値とを比
較してパルス列を出力する比較器とよりなるパルス列生
成手段とし、さらに、請求項９記載の発明では、乱数生
成装置をリニアフィードバックシフトレジスタとしたの
で、上記のような効果を発揮する微係数規制手段を、容
易に実現できるものとなる。

【０１４１】請求項１０記載の発明によれば、請求項１
又は２記載の発明において、結合係数の値を２進数で保
存するメモリと、リニアフィードバックシフトレジスタ
よりなる乱数生成装置及び前記メモリに保存された結合
係数の値を前記乱数生成装置により生成された乱数と比
較してパルス列表現の結合係数を出力する比較器を備え
た数値・パルス列変換装置とを有するものとし、結合係
数の値を２進数の形態でメモリに保存し、数値・パルス
列変換装置でパルス列に変換して出力するようにしたの
で、結合係数の保存が容易であるとともに、処理する段
階ではパルス列で扱うので結合係数の処理も容易であ
り、より実際の装置に近い形の具体的な実現容易なもの
とすることができる。

【図面の簡単な説明】

【図１】請求項１ないし４記載の発明の一実施例を示す
論理回路図である。

【図２】既提案例における基本的な信号処理を行なうた
めの論理回路図である。

【図３】論理演算例を示すタイミングチャートである。

【図４】論理演算例を示すタイミングチャートである。

【図５】論理演算例を示すタイミングチャートである。

【図６】論理演算例を示すタイミングチャートである。

【図７】論理演算例を示すタイミングチャートである。

【図８】論理演算例を示すタイミングチャートである。

【図９】論理演算例を示すタイミングチャートである。

【図１０】論理演算例を示すタイミングチャートであ
る。

【図１１】応答関数を示す特性図である。

【図１２】その微分関数を示す特性図である。

【図１３】論理演算例を示すタイミングチャートであ
る。

【図１４】論理演算例を示すタイミングチャートであ
る。

【図１５】論理演算例を示すタイミングチャートであ
る。

【図１６】論理演算例を示すタイミングチャートであ
る。

【図１７】論理演算例を示すタイミングチャートであ
る。

【図１８】論理演算例を示すタイミングチャートであ
る。

【図１９】論理演算例を示すタイミングチャートであ
る。

【図２０】論理演算例を示すタイミングチャートであ
る。

【図２１】論理演算例を示すタイミングチャートであ
る。

【図２２】論理演算例を示すタイミングチャートであ
る。

【図２３】論理演算例を示すタイミングチャートであ
る。

【図２４】各部の構成例を示す論理回路図である。

【図２５】図２４の別の変形例の構成例を示す論理回路
図である。

【図２６】図２４のさらに別の変形例の構成例を示す論
理回路図である。

【図２７】各部の構成例を示す論理回路図である。

【図２８】各部の構成例を示す論理回路図である。

【図２９】変形例を示す論理回路図である。

【図３０】パルス並び変更手段及び変換手段を示すブロ
ック図である。

【図３１】手書き文字の読取り例を示す説明図である。

【図３２】具体例による学習回数と残差との関係を示す
特性図である。

【図３３】請求項５ないし７記載の発明の一実施例を示
すブロック図である。

【図３４】そのパルス列生成装置の構成を示すブロック
図である。

【図３５】請求項８記載の発明の一実施例を示すブロッ
ク図である。

【図３６】請求項９記載の発明の一実施例を示すブロッ
ク図である。

【図３７】その乱数生成装置の構成を示すブロック図で
ある。

【図３８】変形例を示すブロック図である。

【図３９】請求項１０記載の発明の一実施例を示すシナ
プス部分の論理回路図である。

【図４０】図３９の変形例を示す論理回路図である。

【図４１】ニューロン中の一部の構成を示す論理回路図
である。

【図４２】数値→パルス列変換回路の構成を示すブロッ
ク図である。

【図４３】乱数生成装置の構成を示すブロック図であ
る。

【図４４】従来例の１つのユニット構成を示す概念図で
ある。

【図４５】そのニューラルネットワーク構成の概念図で
ある。

【図４６】シグモイド関数を示すグラフである。

【図４７】１つのユニットの具体的構成を示す回路図で
ある。

【図４８】デジタル構成例を示すブロック図である。

【図４９】その一部の回路図である。

【図５０】異なる一部の回路図である。

【符号の説明】

２０神経細胞模倣ユニット２６メモリ５０自己学習手段５１微係数算出手段５５パルス並び変更手段５６，５７変換手段６１微係数規制手段６２パルス列生成手段６３演算手段６６乱数生成装置６７比較器６８乱数生成装置６９比較器７２リニアフィードバックシフトレジスタ＝
乱数生成装置７４メモリ７６数値・パルス列変換回路７７乱数生成装置７８比較器８１リニアフィードバックシフトレジスタ

─────────────────────────────────────────────────────

【手続補正書】

【提出日】平成６年６月１３日

【手続補正１】

【補正対象書類名】図面

【補正対象項目名】図４８

【補正方法】変更

【補正内容】

【図４８】

【手続補正２】

【補正対象書類名】図面

【補正対象項目名】図４９

【補正方法】変更

【補正内容】

【図４９】

【手続補正３】

【補正対象書類名】図面

【補正対象項目名】図５０

【補正方法】変更

【補正内容】

【図５０】

───────────────────────────────────────────────────── フロントページの続き (72)発明者デビッドジイストークアメリカ合衆国カリフォルニア州メンローパークスイート 115 サンドヒルロード 2882 リコーコーポレーションカリフォルニアリサーチセンタ内

Claims

【特許請求の範囲】

【請求項１】結合係数可変手段と、この結合係数可変
手段の可変結合係数値を教師信号に対する正の誤差信号
と負の誤差信号とに基づいて生成する結合係数生成手段
とを有する自己学習手段を付設した複数の神経細胞模倣
ユニットを網状に接続して回路網を形成した信号処理装
置において、前記正、負の誤差信号の生成のために神経
細胞模倣ユニットからの出力信号に基づき２種類の神経
細胞応答関数の微係数を算出する微係数算出手段を設け
たことを特徴とする信号処理装置。
【請求項２】神経細胞模倣ユニットからの出力信号を
パルス列で表現するものとし、この神経細胞模倣ユニッ
トからの出力信号を所定時間遅延させた遅延信号と前記
出力信号の否定信号との論理積を一方の神経細胞応答関
数の微係数とし、前記神経細胞模倣ユニットからの出力
信号の否定信号を所定時間遅延させた遅延信号と前記出
力信号との論理積を他方の神経細胞応答関数の微係数と
したことを特徴とする請求項１記載の信号処理装置。
【請求項３】結合係数の値をパルス列表現で保存する
メモリと、このメモリ上の結合係数のパルス列のパルス
並びを一定時間毎に変更するパルス並び変更手段とを有
するものとしたことを特徴とする請求項２記載の信号処
理装置。
【請求項４】結合係数の値をパルス列表現に変換する
変換手段を有するものとしたことを特徴とする請求項２
記載の信号処理装置。
【請求項５】微係数算出手段により算出される２種類
の微係数がともに０とならないように規制する微係数規
制手段を設けたことを特徴とする請求項１記載の信号処
理装置。
【請求項６】微係数算出手段により算出される２種類
の微係数のパルス密度がともに０とならないように規制
する微係数規制手段を設けたことを特徴とする請求項
２，３又は４記載の信号処理装置。
【請求項７】予め設定されたパルス密度のパルス列を
生成するパルス列生成手段と、このパルス列生成手段に
より生成されたパルス列と神経細胞模倣素子の出力パル
ス列との論理和を演算する演算手段とよりなる微係数規
制手段としたことを特徴とする請求項６記載の信号処理
装置。
【請求項８】乱数生成装置と、この乱数生成装置から
出力される乱数と所定の閾値とを比較してパルス列を出
力する比較器とよりなるパルス列生成手段としたことを
特徴とする請求項７記載の信号処理装置。
【請求項９】乱数生成装置をリニアフィードバックシ
フトレジスタとしたことを特徴とする請求項８記載の信
号処理装置。
【請求項１０】結合係数の値を２進数で保存するメモ
リと、リニアフィードバックシフトレジスタよりなる乱
数生成装置及び前記メモリに保存された結合係数の値を
前記乱数生成装置により生成された乱数と比較してパル
ス列表現の結合係数を出力する比較器を備えた数値・パ
ルス列変換装置とを有するものとしたことを特徴とする
請求項１又は２記載の信号処理装置。