JPH05108598A

JPH05108598A - 信号処理装置

Info

Publication number: JPH05108598A
Application number: JP3269843A
Authority: JP
Inventors: Takashi Kitaguchi; 貴史北口; Hirotoshi Eguchi; 裕俊江口; Toshiyuki Furuta; 俊之古田; Shuji Motomura; 修二本村
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 1991-10-18
Filing date: 1991-10-18
Publication date: 1993-04-30

Abstract

(57)【要約】【目的】動作が確実でハードウエア化が容易なデジタ
ル構成にして、学習レートの設定法を改善し、汎用性を
持たせて学習能力を向上させる。【構成】パルス密度表現の複数の入力信号に対して各
々パルス密度表現の結合係数を保持するメモリと、入力
信号と結合係数との論理積を演算する論理積演算手段
と、その演算結果を興奮性、抑制性結合グループに２分
するグループ分け手段とともに、各々のグループで論理
和を演算する論理和演算手段３３ａ，３３ｂと、これら
の演算結果の論理演算を行ない出力信号を得る論理演算
手段３４とを設け、パルス密度表現の複数の誤差信号の
入力に基づき新たな結合係数を算出してメモリ上の結合
係数を変化させる結合係数可変手段とを設けて自己学習
機能を持たせる構成において、この結合係数可変手段に
入力される誤差信号のパルスを異なるタイミングで間引
く間引き手段３８を設けて、学習レートにランダム性を
持たせた。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、例えば画像や音声の認
識、ロボット等の位置制御、エアコンの温度制御、ロケ
ットの軌道制御等のような各種運動の制御に適用可能
な、神経細胞を模倣したニューラルコンピュータ等の信
号処理装置に関する。

【０００２】

【従来の技術】生体の情報処理の基本的な単位である神
経細胞（ニューロン）の機能を模倣し、さらに、この
「神経細胞模倣素子」（神経細胞ユニット）をネットワ
ークにし、情報の並列処理を目指したのが、いわゆるニ
ューラルネットワークである。文字認識や連想記憶、運
動制御等、生体ではいとも簡単に行われていても、従来
のノイマン型コンピュータではなかなか達成しないもの
が多い。生体の神経系、特に生体特有の機能、即ち並列
処理、自己学習等をニューラルネットワークにより模倣
して、これらの問題を解決しようとする試みが盛んに行
われている。

【０００３】まず、従来のニューラルネットワークのモ
デルについて説明する。図２１はある１つの神経細胞ユ
ニットＡを表す図であり、図２２はこれをネットワーク
にしたものである。Ａ₁，Ａ₂，Ａ₃ は各々神経細胞ユニ
ットを表す。１つの神経細胞ユニットは多数の他の神経
細胞ユニットと結合しており、それらから受けた信号を
処理して出力を出す。図２２の場合、ネットワークは階
層型であり、神経細胞ユニットＡ₂ は１つ前（左側）の
層の神経細胞ユニットＡ₁ より信号を受け、１つ後（右
側）の層の神経細胞ユニットＡ₃ へ出力する。

【０００４】より詳細に説明する。まず、図２１の神経
細胞ユニットＡにおいて、他の神経細胞ユニットと自分
のユニットとの結合の度合いを表すのが結合係数と呼ば
れるもので、ｉ番目の神経細胞ユニットとｊ番目の神経
細胞ユニットの結合係数を一般にＴ_ijで表す。結合に
は、相手のユニット（自己のユニットに信号を送ってく
るユニット）からの信号が大きい程自己のユニット出力
が大きくなる興奮性結合と、相手のユニットからの信号
が大きい程自己のユニット出力が小さくなる抑制性結合
とがあり、Ｔ_ij＞０が興奮性結合、Ｔ_ij＜０が抑制性結
合を表す。今、自分の神経細胞ユニットがｊ番目のユニ
ットであるとし、ｉ番目の神経細胞ユニットの出力をｙ
_i とするとこれに結合係数Ｔ_ijを掛けたＴ_ijｙ_i が、自
分のユニットへの入力となる。前述したように、１つの
神経細胞ユニットは多数の神経細胞ユニットと結合して
いるので、それらのユニットに対するＴ_ijｙ_i を足し合
わせた結果なるΣＴ_ijｙ_i が、ネットワーク内における
自分の神経細胞ユニットへの入力となる。これを内部電
位といい、ｕ_j で表す。

【０００５】

【数１】

【０００６】次に、この入力（内部電位）に対して閾値
を加えて非線形な処理をすることで、その神経細胞ユニ
ットの出力とする。この時に用いる関数を神経細胞応答
関数と呼び、非線形関数として、(２)式及び図２３に示
すようなシグモイド関数を用いる。

【０００７】

【数２】

【０００８】このような神経細胞ユニットを図２２に示
すようにネットワークに構成した時には、各結合係数Ｔ
_ijを与え、(１)(２)式を次々と計算することにより、情
報の並列処理が可能となり、最終的な出力が得られるも
のである。

【０００９】このような階層型ニューラルネットワーク
において、ある入力に対して望ましい結果が出力される
ように、結合係数Ｔ_ijを更新していくような学習を行な
うことにより、所望のニューラルネットワークを構築す
る。このような学習方法として最も広く用いられている
のは誤差逆伝搬法、いわゆるバックプロパゲーション法
である。

【００１０】このようなネットワークを電気回路により
実現したものの一例として、図２４に示すようなものが
ある。これは、特開昭６２−２９５１８８号公報中に示
されるもので、基本的には、Ｓ字形伝達関数を有する複
数の増幅器１と、各増幅器１の出力を他の層の増幅器の
入力に一点鎖線で示すように接続する抵抗性フィードバ
ック回路網２とが設けられている。各増幅器１の入力側
には接地されたコンデンサと接地された抵抗とによるＣ
Ｒ時定数回路３が個別に接続されている。そして、入力
電流Ｉ₁，Ｉ₂，〜，Ｉ_nが各増幅器１の入力に供給さ
れ、出力はこれらの増幅器１の出力電圧の集合から得ら
れる。

【００１１】ここに、ネットワークへの入力や出力の信
号強度を電圧で表し、神経細胞ユニット間の結合の強さ
は、各細胞間の入出力ラインを結ぶ抵抗４（抵抗性フィ
ードバック回路網２中の格子点）の抵抗値で表され、神
経細胞応答関数は各増幅器１の伝達関数で表される。即
ち、図２４において複数の増幅器１は反転出力及び非反
転出力を有し、かつ、各増幅器１の入力には入力電流供
給手段なるＣＲ時定数回路３を有しており、予め選定さ
れた第１の値、又は予め選定された第２の値である抵抗
４（Ｔ_ij）で増幅器３の各々の出力を入力に接続するフ
ィードバック回路網２とされている。抵抗４はｉ番目の
増幅器出力とｊ番目の増幅器入力との間の相互コンダク
タンスを表し、回路網が平衡する複数の極小値を作るよ
うに選定され、複数の極小値を持ったエネルギー関数を
最小にするようにしている。また、神経細胞間の結合に
は、興奮性と抑制性とがあり数学的には結合係数の正負
符号により表されるが、回路上の定数で正負を実現する
のは困難であるので、ここでは、増幅器１の出力を２つ
に分け、一方の出力を反転させることにより、正負の２
つの信号を生成し、これを適当に選択することにより実
現するようにしている。また、図２３に示したシグモイ
ド関数に相当するものとしては増幅器が用いられてい
る。

【００１２】一方、デジタル回路でニューラルネットを
実現したものの例を図２５ないし図２７を参照して説明
する。図２５は単一の神経細胞の回路構成を示し、各シ
ナプス回路６を樹状突起回路７を介して細胞体回路８に
接続してなる。図２６はその内のシナプス回路６の構成
例を示し、係数回路９を介して入力パルスｆに倍率ａ
（フィードバック信号に掛ける倍率で１又は２）を掛け
た値が入力されるレートマルチプライヤ１０を設けてな
り、レートマルチプライヤ１０には重み付けの値ｗを記
憶したシナプス荷重レジスタ１１が接続されている。ま
た、図２７は細胞体回路８の構成例を示し、制御回路１
２、アップ／ダウンカウンタ１３、レートマルチプライ
ヤ１４及びゲート１５を順に接続してなり、さらに、ア
ップ／ダウンメモリ１６が設けられている。

【００１３】これは、神経細胞ユニットの入出力をパル
ス列で表し、そのパルス密度で信号の量を表している。
結合係数は２進数で表し、メモリ１６上に保存してお
く。入力信号をレートマルチプライヤ１４のクロックへ
入力し、結合係数をレート値へ入力することによって、
入力信号のパルス密度をレート値に応じて減らしてい
る。これは、バックプロパゲーションモデルの式のＴ_ij
ｙ_i の部分に相当する。次に、ΣＴ_ijｙ_i のΣの部分
は、樹状突起回路７によって示されるＯＲ回路で実現し
ている。結合には興奮性、抑制性があるので、予めグル
ープ分けしておき、各々のグループ別にＯＲをとる。こ
の２つの出力をカウンタ１３のアップ側、ダウン側に入
力しカウントすることで出力が得られる。この出力は２
進数であるので、再びレートマルチプライヤ１４を用い
て、パルス密度に変換する。このユニットをネットワー
クにすることによって、ニューラルネットワークが実現
できる。

【００１４】

【発明が解決しようとする課題】しかしながら、前者の
アナログ回路方式には、次のような問題点がある。信号の強度を電位や電流などのアナログ値で表し、
内部の演算もアナログ的に行わせる場合、温度特性や電
源投入直後のドリフト等により、その値が変化する。ネットワークであるので、素子の数も多く必要とす
るが、各々の特性を揃えることは困難である。１つの素子の精度や安定性が問題となったとき、そ
れをネットワークにしたとき、新たな問題を生ずる可能
性があり、ネットワーク全体で見たときの動きが予想で
きない。結合係数Ｔ_ijが固定であり、予めシミュレーション
などの他の方法で学習させた値を使うしかなく、自己学
習ができない。

【００１５】また、後者のデジタル回路によるネットワ
ーク構成の場合も、現実にはアップダウンカウンタ１
３、レートマルチプライヤ１４を用いる等、非常に複雑
で大規模な回路となってしまう。

【００１６】このように従来技術による場合、アナログ
回路方式では動作に確実性がなく、数値計算による学習
方法も計算が複雑であり、ハードウエア化に適さず、動
作が確実なデジタル方式のものは回路構成が大規模で複
雑である。

【００１７】このような欠点を解消するため、デジタル
方式の自己学習機能付きニューロンモデルが特願平２−
４１２４４８号、特願平３−２９３４２号等として本出
願人により提案されている。しかし、ニューロンの機能
・柔軟性をより高めるためには自己学習機能における学
習レートの設定の改善が必要といえる。

【００１８】

【課題を解決するための手段】請求項１記載の発明で
は、パルス密度により表現された複数の入力信号に対し
て各々パルス密度により表現された結合係数を保持する
メモリと、前記入力信号と前記結合係数との論理積を演
算する論理積演算手段と、この論理積演算手段による演
算結果を興奮性結合グループと抑制性結合グループとに
２分するグループ分け手段と、各々のグループで論理和
を演算する論理和演算手段と、これらの論理和演算手段
の演算結果の論理演算を行ない出力信号を得る論理演算
手段と、パルス密度により表現された複数の誤差信号の
入力に基づき新たな結合係数を算出して前記メモリ上の
結合係数を変化させる結合係数可変手段と、この結合係
数可変手段に入力される前記誤差信号のパルスを異なる
タイミングで間引く間引き手段とを有する信号処理手段
を設け、この際、請求項２記載の発明では、間引き手段
による異なるタイミングを、パルスの間引き周期による
ものとし、パルスの間引き周期を各誤差信号毎に個別に
設定自在とし、さらに、請求項３記載の発明では、同じ
組の正、負の誤差信号は同じタイミングで間引く間引き
手段とした。

【００１９】

【作用】パルス密度表現の信号を処理する簡単なデジタ
ル論理回路構成にして、自己学習機能を発揮させるため
の結合係数可変手段に入力させる誤差信号のパルスを間
引き手段により異なるタイミングで間引くことにより、
学習レートにランダム性を持たせることができ、より柔
軟で汎用性の高いシステムの構築が可能となる。特に、
タイミング制御を間引き周期によるものとし、さらに
は、同じ組の正、負の誤差信号については同じタイミン
グによるものとすれば、学習レートに関する設定・制御
が容易となる。

【００２０】

【実施例】本発明の一実施例を図１ないし図２０に基づ
いて説明する。まず、自己学習機能を持つデジタル論理
回路を用いた神経細胞ユニット（ニューロン素子）及び
ニューラルネットワークについて説明する。

【００２１】まず、本実施例のニューロン及びニューラ
ルネットワークはデジタル構成によりハードウエア化し
たものであるが、基本的な考え方としては、神経細胞ユニットに関する入出力信号、中間信号、
結合係数、教師信号などは全て、「０」「１」の２値で
表されたパルス列で表す。ネットワーク内部での信号の量は、パルス密度で表
す（ある一定時間内の「１」の数）。神経細胞ユニット内での計算は、パルス列同士の論
理演算で表す。結合係数のパルス列はメモリ上に置く。学習は、このパルス列を書換えることで実現する。学習については、与えられた教師信号パルス列を元
に誤差を計算し、これに基づいて、結合係数パルス列を
変化させる。このとき、誤差の計算、結合係数の変化分
の計算も、全て、「０」「１」のパルス列の論理演算で
行う。ようにしたものである。

【００２２】以下、この思想について説明する。まず、
デジタル論理回路による信号処理に関し、フォワードプ
ロセスにおける信号処理を説明する。図２は１つの神経
細胞ユニット（神経細胞模倣素子）２０に相当する部分
を示し、ニューラルネットワーク全体としては例えば図
３に示すように階層型とされる。入出力は、全て、
「１」「０」に２値化され、かつ、同期化されたものが
用いられる。入力信号ｙ_iの値（強度）はパルス密度で
表現し、例えば図４に示すパルス列のようにある一定時
間内にある「１」の状態数で表す。即ち、図４の例は、
４／６を表し、同期パルス６個中に信号は「１」が４
個、「０」が２個である。このとき、「１」と「０」の
並び方は、ランダムであることが望ましい。

【００２３】一方、各神経細胞ユニット２０間の結合の
度合を示す結合係数Ｔ_ijも同様にパルス密度で表現し、
「０」と「１」とのパルス列として予めメモリ上に用意
しておく。図５の例は、「１０１０１０」＝３／６を表
す式である。この場合も、「１」と「０」の並び方はラ
ンダムであることが望ましい。

【００２４】そして、この結合係数パルス列を同期クロ
ックに応じてメモリ上より順次読出し、図２に示すよう
に各々ＡＮＤゲート２１により入力信号パルス列との論
理積をとる（ｙ_i ∩ Ｔ_ij)。これを、神経細胞ｊへの入
力とする。上例の場合で説明すると、入力信号が「１０
１１０１」として入力されたとき、これと同期してメモ
リ上よりパルス列を呼出し、順次ＡＮＤをとることによ
り、図６に示すような「１０１０００」が得られ、これ
は入力ｙ_i が結合係数Ｔ_ijにより変換されパルス密度が
２／６となることを示している。

【００２５】ＡＮＤゲート２１の出力のパルス密度は、
近似的には入力信号のパルス密度と結合係数のパルス密
度との積となり、アナログ方式の結合係数と同様の機能
を有する。これは、信号の列が長いほど、また、「１」
と「０」との並び方がランダムであるほど、数値の積に
近い機能を持つことになる。なお、入力パルス列に比べ
て結合係数のパルス列が短く、読出すべきデータがなく
なったら、再びデータの先頭に戻って読出しを繰返えせ
ばよい。

【００２６】１つの神経細胞ユニット２０は多入力であ
るので、前述した「入力信号と結合係数とのＡＮＤ」も
多数あり、次にＯＲ回路２２によりこれらの論理和をと
る。入力は同期化されているので、例えば１番目のデー
タが「１０１０００」、２番目のデータが「０１０００
０」の場合、両者のＯＲをとると、「１１１０００」と
なる。これを多入力（ｍ個）同時に計算し出力とする
と、例えば図７に示すようになる。これは、アナログ計
算における和の計算及び非線形関数（シグモイド関数）
の部分に対応している。

【００２７】パルス密度が低い場合、そのＯＲをとった
もののパルス密度は、各々のパルス密度の和に近似的に
一致する。パルス密度が高くなるにつれ、ＯＲ回路２２
の出力は段々飽和してくるので、パルス密度の和とは一
致せず、非線形性が出てくる。ＯＲの場合、パルス密度
は１よりも大きくなることがなく、かつ、０より小さく
なることもなく、さらには、単調増加関数であり、シグ
モイド関数と近似的に同等となる。

【００２８】ところで、結合には興奮性と抑制性がある
が、本実施例でも各ニューロン間の結合においてはその
両方を持ち得るものとする。まず、結合係数が興奮性結
合係数Ｔ_ij(+) か抑制性結合係数Ｔ_ij(-) かにより、各
結合を興奮性結合グループと抑制性結合グループとに２
分する。そして、入力信号と各結合係数のパルス列のＡ
ＮＤ出力同士のＯＲを各グループで計算する。そして、
興奮性結合グループのＯＲ結果が「１」で抑制性結合グ
ループのＯＲ結果が「０」の場合にのみ「１」を出力
し、それ以外の場合には「０」を出力する。

【００２９】論理式で表現すると、次の(３)〜(５)式で
示される。

【００３０】

【数３】

【００３１】神経細胞ユニット２０のネットワークは、
バックプロパゲーションと同様な階層型（即ち、図３）
とする。そして、ネットワーク全体を同期させておけ
ば、各層とも上述した機能により計算できる。

【００３２】次に、学習（バックプロパゲーション）に
おける信号演算処理について説明する。基本的には、以
下のａ又はｂにより誤差信号を求め、次いで、ｃの方法
により結合係数の値を変化させるようにすればよい。

【００３３】まず、ａとして最終層における誤差信号に
ついて説明する。最終層で各神経細胞ユニットにおける
誤差信号を出力信号と教師信号とにより計算する。ここ
に、そのときの入力に対して望ましい出力を、教師信号
としてパルス列で与える。一般に、誤差を数値で表すと
正、負の両方をとり得るが、パルス密度ではそれを同時
に表現できないので、＋成分を表す信号と、−成分を表
す信号との２種類を用いて誤差信号を表現する。即ち、
ｊ番目の神経細胞ユニットの誤差信号は、図９のように
示される。つまり、誤差信号の＋成分は教師信号パルス
と出力パルスとの違っている部分（１，０）又は（０，
１）の内、教師信号側に存在するパルス、他方、−成分
は同様に出力側に存在するパルスである。換言すれば、
出力パルスに誤差信号＋パルスを付け加え、誤差信号−
パルスを取り除くと、教師パルスとなることになる。即
ち、これらの正負の誤差信号δ_j(+)，δ_j(-)を論理式で
表現すると、各々(６)(７)式のようになる。このような
誤差信号パルスを元に結合係数を後述するように変化さ
せることになる。

【００３４】

【数４】

【００３５】次に、ｂとして中間層における誤差信号を
求める方法を説明する。まず、上記の誤差信号を逆伝播
させ、最終層とその１つ前の層との結合係数だけでな
く、さらにその前の層の結合係数も変化する。そのた
め、中間層における各神経細胞ユニットでの誤差信号を
計算する必要がある。中間層のある神経細胞ユニットか
ら、さらに１つ先の層の各神経細胞ユニットへ信号を伝
播させたのとは、丁度逆の要領で１つ先の層の各神経細
胞ユニットにおける誤差信号を集めてきて、自己の誤差
信号とする。このことは、神経細胞ユニット内での前述
した演算式(３)〜(５)や図４〜図８に示した場合と同じ
ような要領で行うことができる。ただし、神経細胞ユニ
ット内での前述した処理と異なるのは、ｙは１つの信号
であるのに対して、δは正、負を表す信号として２つの
信号を持ち、その両方の信号を考慮する必要があること
である。従って、結合係数Ｔの正負に応じて２つの場合
に分ける必要がある。

【００３６】まず、興奮性結合の場合を説明する。この
場合、中間層のある神経細胞ユニットについて、１つ先
の層（図３における最終層）のｊ番目の神経細胞ユニッ
トでの誤差信号＋と、その神経細胞ユニットと自己（図
３における中間層のある神経細胞ユニット）との結合係
数のＡＮＤをとったもの（δ_j(+) ∩ Ｔ_ij）を各神経細
胞ユニットについて求め、さらに、これら同士のＯＲを
とる｛∪（δ_j(+) ∩Ｔ_ij）｝。これをこの神経細胞ユ
ニットの誤差信号＋とする。即ち、図１０に示すように
なる。

【００３７】同様に、１つ先の層の神経細胞ユニットで
の誤差信号−と結合係数とのＡＮＤをとり、さらにこれ
ら同士のＯＲをとることにより、この神経細胞ユニット
の誤差信号−とする。即ち、図１１に示すようになる。

【００３８】次に、抑制性結合の場合を説明する。この
場合、１つ先の層の神経細胞ユニットでの誤差信号−と
その神経細胞ユニットと自己との結合係数のＡＮＤをと
り、さらにこれら同士のＯＲをとる。これを、この神経
細胞ユニットの誤差信号＋とする。即ち、図１２に示す
ようになる。

【００３９】また、１つ先の誤差信号＋と結合係数との
ＡＮＤをとり、さらにこれら同士のＯＲをとることによ
り、同様に、この神経細胞ユニットの誤差信号−とす
る。即ち、図１３に示すようになる。

【００４０】さらに、この神経細胞ユニットの、興奮性
結合の誤差信号＋と抑制性結合の誤差信号＋とのＯＲを
とり、これをこのユニットの誤差信号δ_i(+)とする。同
様に、興奮性結合の誤差信号−と抑制性結合の誤差信号
−とのＯＲをとり、これをこのユニットの誤差信号δ
_i(-)とする。

【００４１】以上をまとめると、(８)式に示すようにな
る。

【００４２】

【数５】

【００４３】さらに、入力してくる誤差信号に対して各
々同じ又は異なる学習のレート（学習定数）を設けても
よい。これは、パルス列を間引くことにより実現でき
る。例えば、カウンタ的な考え方をし、図１４、図１５
に示すようなものとすればよい。この例では、学習レー
トη＝０．５では元の信号のパルス列を１つ置きに間引
くが、元の信号のパルスが等間隔でなくても、元のパル
ス列に対して間引くことができる。図１４，図１５中、
η＝０．５の場合はパルスを１つ置きに間引き、η＝
０．３３の場合はパルスを２つ置きに残し、η＝０．６
７の場合はパルスを２つ置きに１回間引くことを示す。

【００４４】このようにして、誤差信号を間引くことに
より学習レートの機能を持たせる。このような誤差信号
の間引きは、通常市販されているカウンタの出力を論理
演算することやフリップフロップを用いることにより容
易に実現できる。特に、カウンタを用いた場合、学習定
数ηの値を任意、かつ、容易に設定できるので、ネット
ワークの特性を制御することも可能となる。

【００４５】さらに、ｃとして、このような誤差信号に
より各結合係数を変化させる方法について説明する。変
化させたい結合係数が属しているライン（図３参照）に
対応する、１つ前の神経細胞ユニットからの出力ｙ_iと
自己の神経細胞ユニットの誤差信号δ_j(+)又はδ_j(-)と
のＡＮＤをとる（δ_j∩ｙ_i）（図１６，図１７参照）。
このようにして得られた２つの信号を各々ΔＴ_ij(+)，
ΔＴ_ij(-)とする。

【００４６】そして、今度はこのΔＴ_ijを元に新しいＴ
_ijを求めるが、このＴ_ijは絶対値成分であるので、元の
Ｔ_ijが興奮性か抑制性かで場合分けする。興奮性の場
合、元のＴ_ijに対してΔＴ_ij(+)の成分を増やし、ΔＴ
_ij(-)の成分を減らす。即ち、図１８に示すようにな
る。逆に、抑制性の場合は元のＴ_ijに対しΔＴ_ij(+) の
成分を減らし、ΔＴ_ij(-)の成分を増やす。即ち、図１
９に示すようになる。

【００４７】以上をまとめると、(９)式のようになる。

【００４８】

【数６】

【００４９】以上の学習則に基づいてネットワークの計
算をする。

【００５０】次に、以上のアルゴリズムに基づく実際の
回路構成を説明する。図２０及び図１にその回路構成例
を示すが、ネットワーク全体の構成は図３と同様であ
る。図２０は図３中のライン（結線）に相当する部分の
回路を示し、図１は図３中の丸（各神経細胞ユニット２
０）に相当する部分の回路を示す。これらの図２０及び
図１構成の回路を図３のようにネットワークにすること
により、自己学習可能なデジタル式のニューラルネット
ワークが実現できる。

【００５１】まず、図２０から説明する。図中、２５は
神経細胞ユニットへの入力信号であり、図４に相当す
る。図５に示したような結合係数の値はメモリとしての
シフトレジスタ２６に保存しておく。このシフトレジス
タ２６は取出し口２６ａと入口２６ｂとを有するが、通
常のシフトレジスタと同様の機能を持つものであればよ
く、例えば、ＲＡＭとアドレスコントローラとの組合せ
によるもの等であってもよい。入力信号２５とシフトレ
ジスタ２６内の結合係数とは論理積演算手段としてのＡ
ＮＤゲート２７を備えて図６に示した処理を行なう論理
回路２８によりＡＮＤがとられる。この論理回路２８の
出力は結合が興奮性か抑制性かによってグループ分けし
なければならないが、予め各々のグループへの出力２
９，３０を用意し、何れに出力するのかを切換えるよう
にした方が汎用性の高いものとなる。このため、本実施
例では結合が興奮性か抑制性かを表すビットをグループ
分け用メモリ３１に保存しておき、その情報を用いてグ
ループ分け手段となる切換えゲート回路３２により切換
える。切換えゲート回路３２は２つのＡＮＤゲート３２
ａ，３２ｂと一方の入力に介在されたインバータ３２ｃ
とよりなる。

【００５２】また、図１に示すように各入力処理（図７
に相当）をする複数のＯＲゲート構成のゲート回路３３
ａ，３３ｂが設けられている。さらに、同図に示すよう
に図８に示した興奮性結合グループが「１」で、抑制性
結合グループが「０」のときにのみ出力「１」を出すＡ
ＮＤゲート３４ａとインバータ３４ｂとによる論理演算
手段となるゲート回路３４が設けられている。

【００５３】次に、学習処理について説明する。図１に
示す回路には誤差信号３５，３６が入力される。これら
の誤差信号３５，３６は複数のＯＲゲート構成のゲート
回路３７で各々集められた後（(８)式の処理）、１つ前
の層に対する誤差信号３９，４０として出力される。こ
こに、中間層における誤差信号を計算するため図１０〜
図１３に示したような処理は、図２０中に示すＡＮＤゲ
ート構成のゲート回路４１により行われ、＋，−に応じ
て、１つ前の層の神経細胞ユニットへ出力するための誤
差信号４２，４３が得られる。

【００５４】このように結合が興奮性結合か抑制性結合
かによって場合分けが必要であるが、この場合分けはメ
モリ３１に記憶された興奮性か抑制性かを示す情報と、
誤差信号の＋，−信号３９，４０とに応じて、ＡＮＤ，
ＯＲゲート構成のゲート回路４４により行なわれる。

【００５５】しかして、学習レートに相当する処理（図
１４及び図１５の処理）は図１中に示す間引き手段とし
ての分周回路３８により行なわれる。これらの分周回路
３８の間引き周期は各ユニット毎に各々異ならせて設定
してもよい。また、これらの分周回路３８は間引き周期
が同じであってもその間引き位相を異ならせることによ
り、誤差信号のランダム性を確保するようにしてもよ
い。また、これらの分周回路３８については、同じ神経
細胞ユニットから入力してくる同じ組の正、負の誤差信
号は、同じ間引き周期及び位相としてもよい。何れにし
ても、誤差信号３９，４０はこのような分周回路３８に
よる間引き処理を受けたものとなる。

【００５６】このような誤差信号３９，４０を基いて、
新たな結合係数を計算するための図１６ないし図１９に
示した処理を行なうＡＮＤゲート、インバータ、ＯＲゲ
ート構成の結合係数可変回路４５が設けられ、各シフト
レジスタ２６のデータ入口２６ｂ側に接続されている。
これにより、シフトレジスタ２６に格納された結合係数
の更新書替えが行なわれる。このゲート回路４５の場合
も、結合の興奮性、抑制性により場合分けが必要である
が、これはゲート回路４４により行なわれる。

【００５７】なお、本発明を構成する上では、上記の構
成例に限らず、同等の機能を有するものであればよく、
さらには、全てをハードウエア構成することなく、その
一部又は全部をソフトウエアで実現するようにしてもよ
い。

【００５８】

【発明の効果】本発明は、上述したように構成したの
で、請求項１記載の発明によれば、パルス密度表現の信
号を処理する簡単なデジタル論理回路構成にして、自己
学習機能を発揮させるための結合係数可変手段に入力さ
せる誤差信号のパルスを間引き手段により異なるタイミ
ングで間引くことにより、学習レートにランダム性を持
たせることができ、より柔軟で汎用性の高いシステムの
構築が可能となり、特に、請求項２記載の発明のよう
に、間引き周期によるものとし、さらには、請求項３記
載の発明のように、同じ組の正、負の誤差信号について
は同じタイミングによるものとすれば、学習レートに関
する設定・制御を容易にしてランダム性を維持し得るも
のとなる。

【図面の簡単な説明】

【図１】本発明の一実施例を要部を示す論理回路図であ
る。

【図２】基本的な信号処理を行なうための論理回路図で
ある。

【図３】ネットワーク構成例を示す模式図である。

【図４】論理演算例を示すタイミングチャートである。

【図５】論理演算例を示すタイミングチャートである。

【図６】論理演算例を示すタイミングチャートである。

【図７】論理演算例を示すタイミングチャートである。

【図８】論理演算例を示すタイミングチャートである。

【図９】論理演算例を示すタイミングチャートである。

【図１０】論理演算例を示すタイミングチャートであ
る。

【図１１】論理演算例を示すタイミングチャートであ
る。

【図１２】論理演算例を示すタイミングチャートであ
る。

【図１３】論理演算例を示すタイミングチャートであ
る。

【図１４】論理演算例を示すタイミングチャートであ
る。

【図１５】論理演算例を示すタイミングチャートであ
る。

【図１６】論理演算例を示すタイミングチャートであ
る。

【図１７】論理演算例を示すタイミングチャートであ
る。

【図１８】論理演算例を示すタイミングチャートであ
る。

【図１９】論理演算例を示すタイミングチャートであ
る。

【図２０】各部の構成例を示す論理回路図である。

【図２１】従来例を示す１つのユニット構成を示す概念
図である。

【図２２】そのニューラルネットワーク構成の概念図で
ある。

【図２３】シグモイド関数を示すグラフである。

【図２４】１つのユニットの具体的構成を示す回路図で
ある。

【図２５】デジタル構成例を示すブロック図である。

【図２６】その一部の回路図である。

【図２７】異なる一部の回路図である。

【符号の説明】

２０信号処理手段２６メモリ２７論理積演算手段３２グループ分け手段３３ａ，３３ｂ論理和演算手段３４論理演算手段３８間引き手段４５結合係数可変手段

───────────────────────────────────────────────────── フロントページの続き (72)発明者本村修二東京都大田区中馬込１丁目３番６号株式会社リコー内

Claims

【特許請求の範囲】

【請求項１】パルス密度により表現された複数の入力
信号に対して各々パルス密度により表現された結合係数
を保持するメモリと、前記入力信号と前記結合係数との
論理積を演算する論理積演算手段と、この論理積演算手
段による演算結果を興奮性結合グループと抑制性結合グ
ループとに２分するグループ分け手段と、各々のグルー
プで論理和を演算する論理和演算手段と、これらの論理
和演算手段の演算結果の論理演算を行ない出力信号を得
る論理演算手段と、パルス密度により表現された複数の
誤差信号の入力に基づき新たな結合係数を算出して前記
メモリ上の結合係数を変化させる結合係数可変手段と、
この結合係数可変手段に入力される前記誤差信号のパル
スを異なるタイミングで間引く間引き手段とを有する信
号処理手段を設けたことを特徴とする信号処理装置。
【請求項２】間引き手段による異なるタイミングを、
パルスの間引き周期によるものとし、パルスの間引き周
期を各誤差信号毎に個別に設定自在としたことを特徴と
する請求項１記載の信号処理装置。
【請求項３】同じ組の正、負の誤差信号は同じタイミ
ングで間引く間引き手段としたことを特徴とする請求項
１又は２記載の信号処理装置。