JPH03294979A - 信号処理装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 （イ）産業上の利用分野 本発明は、神経細胞回路網を模倣したニューラルコンピ
ュータ等の信号処理装置に関する。

（ロ）従来の技術 生体の情報処理の基本的な単位である神経細胞にューロ
ン）の機能を模倣し、さらに、この「神経細胞模倣素子
」即ち、「神経細胞ユニット」をネットワークに構成す
ることで情報の並行処理を目指したのが、いわゆるニュ
ーラルネットワークである。文字認識や連想記憶、運動
制御等、生体ではいとも簡単に行われていても、従来の
ノイマン型コンピュータではなかなか達成しないものが
多い。生体の神経系、特に生体特有の機能、即ち並列処
理、自己学習等を模倣して、これらの問題を解決しよう
とする試みが盛んに行われている。これらの試みは、計
算機シミュレーションで行われているものが多く、本来
の機能を発揮するためには、並列処理が必要であり、そ
のためにはニューラルネットワークのハードウェア化が
必要である。一部では、既にハードウェア化の試みも行
われているが、ニューラルネットワークの特徴の一つで
ある自己学習機能が実現できず、大きなネックとなって
いる。

まず、従来のニューラルネットワークのモデルについて
説明する。第７図はある１つの神経細胞ユニット１を表
す図であり、第６図はこれをネットワークにしたもので
ある。１つの神経細胞ユニットは多数の他の神経細胞ユ
ニットと結合し信号を受け、それを処理して出力を出す
。第６図の場合、ネットワークは階層型であり、１つ前
の層のユニットより信号を受け、１つ後の層のユニット
へ出力する。

まず、第７図の神経細胞ユニットについて説明する。第
７図の神経細胞ユニット１において、他の神経細胞ユニ
ットと自分のユニットとの結合の度合いを表すのが結合
係数（Ｔ）と呼ばれるもので、ｉ番目のユニットとｊ番
目のユニットの結合係数を、一般にＴＩＪで表す。結合
には、相手のニューロンからの信号が大きいほど自分の
出力が大きくなる興奮性結合と、逆に、相手のニューロ
ンからの信号が大きいほど自分の出力が小さくなる抑制
性結合があり、Ｔ　、、＞　Ｏが興奮性結合、Ｔ　Ｉ　
Ｊ　＜　Ｏが抑制性結合を表す。いま、自分のユニット
がｊ番目のユニットであるとすると、ｉ番目のユニット
の出力をｙ、とするとこれに結合係数Ｔ１．を掛けたＴ
　＋　Ｊ３’　ｔが、自分のユニット（ｊ番目）への入
力となる。前述したように、１つのユニットは多数のユ
ニットと結合しているので、それらのユニットに対する
Ｔ　；　＝　３’　；を足し合わせた結果なるΣＴ　１
ｊｙｉが、ネットワーク内における１つのユニットへの
入力となる。これを内部電位といい、ｕＪで表す。

ｕＪ＝ΣＴ　；Ｊ３’、　・・・・・・・・（１）次に
、この入力（内部電位）に対して、非線形処理をするこ
とで、そのユニットの出力とする。

この時の関数を神経細胞応答関数と呼び、非線形関数と
して、（２）式及び第８図に示すようなシグモイド関数
を用いる。

ｆ（ｘ）＝１／（１＋ｅ−”）　　−−・−＋、・（２
）第５図に示すようにネットワークにした時には、各結
合係数Ｔ８Ｊを与え、（１）（２）式を次々と計算する
ことにより、最終的な出力が得られるものである。

一方、このようなネットワークを電気回路により実現し
たものの一例として、第１４図に示すようなものがある
。これは、特開昭６２−２９５１８８号公報中に示され
るもので、基本的には、Ｓ字形伝達関数を有する複数の
増幅器２と、各増幅器２の出力を他の層の増幅器の入力
に一点鎖線で示すように接続する抵抗性フィードバック
回路網３とが設けられている。各増幅器２の入力側には
接地されたコンデンサと接地された抵抗とによるＣＲ時
定数回路４が個別に接続されている。そして、入力電流
Ｉ＋、Ｉｚ、〜、ＩＮが各増幅器２の入力に供給され、
出力はこれらの増幅器２の出力電圧の集合から得られる
。

ここに、入力や出力の信号の強度を電圧で表し、神経細
胞間の結合の強さは、各細胞間の入出カラインを結ぶ抵
抗５（抵抗性フィードバック回路網３中の格子点）の抵
抗値で表され、神経細胞応答関数は各増幅器２の伝達関
数で表される。また、神経細胞間の結合には、前述のよ
うに興奮性と抑制性とがあり数学的には結合係数の正負
符合により表される。しかし、回路上の定数で正負を実
現するのは困難であるので、ここでは、増幅器２の出力
を２つに分け、一方の出力を反転させることにより、正
負の２つの信号を生成し、これを適当に選択することに
より実現するようにしている。また、第８図に示したシ
グモイド関数に相当するものとしては増幅器が用いられ
ている。

しかしながら、これらの回路には、次のような問題点が
ある。

■　結合係数Ｔ　ｉｊが固定であり、予めシミニレ−ジ
ョンなどの他の方法で学習させた値を使うしかなく、自
己学習ができない。

■　信号の強度を電位や電流などのアナログ値で表し、
内部の演算もアナログ的に行わせる場合、温度特性や電
源投入直後のドリフト等により、その値が変化する。

■゛ネツトワークあるので、素子の数も多く必要とする
が、各々の特性を揃えることは困難である。

■　１つの素子の精度や安定性が間頚となったとき、そ
れをネットワークにしたとき、新たな問題を生ずる可能
性があり、ネットワーク全体で見たときの動きが予想で
きない。

一方、数値計算で用いられる学習法則としては、パック
プロパゲーションと呼ばれる下記のようなものがある。

まず、各結合係数は最初にランダムに与えておく。この
状態で、入力を与えると、出力結果は必ずしも望ましい
ものではない。例えば、文字認識の場合、手書きの「１
」の文字を与えたとすると、出力結果として「この文字
はＩｒ１Ｊである」と出るのが望ましい結果であるが、
結合係数がランダムであると必ずしも望ましい結果とは
ならない。そこで、このネットワークに正解（教師信号
）を与えて、再び、同じ入力があったとき正解となる、
即ち望ましい出力結果が得られるように各結合係数を変
化させる。このとき、結合係数を変化させる量を求める
アルゴリズムが、バックプロパゲーションと呼ばれてい
るものである。

まず、最終層のｊ番目のニューロン出力をｙ。

とし、そのニューロンに対する教師信号をｄ、とすると
、 Ｅ＝Σ（ｄＪ　　ｙＪ）”　　・・・・・・・・（３）
で表される。Ｅが最小となるように、 ΔＴ、Ｊ＝ａＥ／ａＴ、Ｊ　　　−−−・・−・（４）
を用いで、結合係数Ｔ１４を変化させる。さらに具体的
には、まず、出力層と、その１つ前の層は、δ、＝　（
ａＪ−ｙｉ　）ｘ’ｒ’　　（ｕＪ）・・・（５）とな
り、それよりさらに前の層（中間層）は、δ１＝ΣδＪ
Ｔ、、ｘ　ｆ’　　（ｕ、）　　’＝・・（６１を用い
て、δ（誤差信号）を求め、 Δ丁、＝η（δＪｙＪ）＋αΔＴ、Ｊ（前回の学習時） Ｔ　、、＝　Ｔ　ｔＪ＋ΔＴ　ｉＪ　　　　　　　・・
・・・（７）を求めて、Ｔ、Ｊを変化させる。ここに、
ｎは学習定数、αは安定化定数と呼ばれるものである。

各々論理的には求められないので、経験的に求める。−
船釣には、これらの数値が小さいほど収束が遅く、また
、大きいと振動してしまう傾向にある。オーダ的には１
程度のものである。

このようにして学習をし、その後、再び入力を与えて出
力を計算し、学習をする。この操作を何回も繰返すうち
に、やがて、与えられた入力に対して望ましい結果が得
られるような結合係数Ｔ３、が決定される。

さて、このような学習方法を何らかの方法でハードウェ
ア化しようとした場合、学習には、多重の四則演算が必
要であり、実現が困難である。

学習方法そのものもハードウェア化に対しては不向きで
ある。

一方、デジタル回路でニューラルネットを実現したもの
の例を第１５図ないし第１７図を参照して説明する。第
１５図は単一の神経細胞の回路構成を示し、各シナプス
回路６を樹状突起回路７を介して細胞体回路８に接続し
てなる。第１６図はその内のシナプス回路６の構成例を
示し、係数回路９を介して入力パルスｆに倍率ａ（フィ
ードバック信号に掛ける倍率で１又は２）を掛けた値が
入力されるレートマルチプライヤ１０を設けてなり、レ
ートマルチプライヤ１０には重み付けの値Ｗを記憶した
シナプス荷重レジスタ１１が接続されている。また、第
１７図は細胞体回路８の構成例を示し、制御回路１２、
アップ／ダウンカウンタ１３、レートマルチプライヤ１
４及びゲート１５を順に接続してなり、さらに、アップ
／ダウンメモリ１６が設けられている。

これは、神経細胞ユニットの入出力をパルス列で表し、
そのパルス密度で信号の量を表している。結合係数は２
進数で表し、メモリ１６上に保存しておく。入力信号を
レートマルチプライヤ１４のクロックへ入力し、結合係
数をレート値へ入力することによって、入力信号のパル
ス密度をレート値に応じて減らしている。これは、パッ
クプロパゲーションモデルの式のＴｉｊｙ＋の部分に相
当する。次に、ΣＴ　ｉ、ｙ、のΣの部分は、ＯＲ回路
で実現している。結合には興奮性、抑制性があるので、
予めグループ分けしておき、各々のグループ別にＯＲを
とる。この２つの出力をカウンタ１３のアップ側、ダウ
ン側に入力しカウントすることで出力が得られる。この
出力は２進数であるので、再びレートマルチプライヤ１
４を用いて、パルス密度に変換する。このユニットをネ
ットワークにすることによって、ニューラルネットワー
クが実現できる。学習については、最終出力を外部のコ
ンピュータに入力して、コンピュータ内部で数値計算を
行い、その結果を結合係数のメモリ１６に書込むことに
より実現している。従って、自己学習機能は全くない。

また１回路構成もパルス密度の信号をカウンタを用いて
一旦数値に直し、その後、再びパルス密度に直しており
、複雑なものになっている。

そこで、このような従来の問題に鑑み、自己学習機能を
含めて神経細胞網の機能をハードウェア上で並列的に行
わせ、且つ自己学習機能を備えたデジタル回路構成の信
号処理回路を本出願人は先に提案した（特願平１−３４
３８９１号に詳しい。）。

第９図ないし第１３図は上述したデジタル回路構成の信
号処理回路網を示す。ネットワーク全体は第６図の場合
と同様である。第１０図は第６図の中の線（結線）に相
当する部分の回路を示し、第１１図及び第１２図は第６
図中の丸（神経細胞ユニット１）に相当する部分の回路
を示す。また第１３図は、最終層の出力と教師信号から
最終層における誤差信号を求める部分の回路を示す。第
９図はこれら第１０図ないし第１３図の構成を第６図の
如く、ネットワークにした回路例を示す。

第９図に示すネットワーク化された回路において、２０
０は第１０図の回路例に示す第６図におけるネットワー
クの線（結線）を示すブロック、２０１は第１１図及び
第１２図の回路例に示す、第６図における丸（神経細胞
ユニット１）を示すブロックである。３８〜３Ｃはフォ
ワードプロセスにおける入力信号で、神経網における外
部からの刺激入力に相当し、３ａはネットワークの前段
から次段への信号線である。３ｂ、３ｃは夫々神経細胞
ユニット２０１で入力信号の緩和を求める際に必要な中
間信号に相当し、３ｂは興奮性、３ｃは抑制性の信号線
である。

また４８〜４ｄはバックワードプロセス（学習プロセス
）における学習誤差信号であり、４ａ、４ｃは興奮性、
４ｂ、４ｄは抑制性の信号線である。第９図において、
３ａ〜３ｃ及び４ａ〜４ｄの結線は一部図示を省略して
いるが、図中ＡとＡ、Ａ’　とＡｏのように同じ記号で
示す箇所が結線される。

このように結線を施して、ネットワークを構成すること
により、自己学習が可能なデジタル方式のニューラルネ
ットワークを実現することができる。

次に、上述した各部分回路につき、図面に従い説明する
。

まず、第１Ｏ図から説明する。図中５５はニューロンへ
の入力信号であり、３ａに相当する。結合係数の値はシ
フトレジスタ５６に保存しておく。このシフトレジスタ
５６は取出し口５６ａと入口５６ｂとを有するが、通常
のシフトレジスタと同様の機能を持つものであればよ（
、例えば、ＲＡＭとアドレスコントローラとの組合せに
よるもの等であってもよい。入力信号５５とシフトレジ
スタ５６内の結合係数とはＡＮＤゲート５７を備えて論
理回路５８によりＡＮＤがとられる。この論理回路５８
の出力は結合は興奮性か抑制性かによってグループ分け
しなければならないが、予め興奮性のグループ３ｂへの
出力５９と抑制性のグループ３ｃへの出力６０を用意し
、何れに出力するのかを切換えるようにした方が汎用性
の高いものとなる。このため、本実施例では結合が興奮
性か抑制性かを表すビットをメモリ６１に保存しておき
、その情報を用いて切換えゲート回路６２により切換え
る。

また、第１１図に示すように、各入力が多入力同時に入
力され、この各入力を処理する複数の多入力ＯＲゲート
構成のゲート回路６３が設けられている。更に、同図に
示すように、「興奮性グループが１」で、且つ「抑制性
グループがＯ」のときのみ「１」を出力するＡＮＤゲー
トとインバータとによるゲート回路６４が設けられてい
る。

次に、誤差信号について説明する。最終層での誤差信号
を生成するのが第１３図に示すＡＮＤ、排他的ＯＲの組
合せによる論理回路６５である。即ち、最終層からの出
力３ａ及び教師信号６７により誤差信号４ａ、４ｂを作
るものである。

中間層における誤差信号を計算する（２０）〜（２３）
式は、第１０図中に示すＡＮＤゲート構成のゲート回路
７２により行われ、＋、−に応じた出カフ３　（４ａ）
　、　７４　（４ｂ）が得られる。このように結合が興
奮性か抑制性かにより場合分けする必要があるが、この
場合分けはメモリ６１に記憶された興奮性か抑制性かの
情報と、誤差信号の＋、−信号７５（４ｃ）　、　７６
　（４ｄ）とに応じて、ＡＮＤ、ＯＲゲート構成のゲー
ト回路７７により行われる。

また、誤差信号を集める演算は、第１２図中に示す複数
の多入力ＯＲゲート構成のゲート回路６８により行われ
る。

さらに、学習レートに相当する演算は、同図中に示す分
周回路７９により行われる。最後に、誤差信号より新た
な結合係数を計算する部分は、第１０図中に示すＡＮＤ
、インバータ、ＯＲゲート構成のゲート回路８０により
行われる。このゲート回路８０も結合の間髪性、抑制性
によって場合分けが必要であるが、ゲート回路７７によ
り行われる。

（ハ）発明が解決しようとする課題 上述したデジタル回路構成においては、各神経細胞模倣
素子間では、前段の出力信号と次段の入力部とを個別に
結線する必要があり、その結線数が多（回路的にも複雑
になる。これはフォワードプロセス時の結線であるが、
同様にバックワードプロセスにおいても次段からの出力
信号を前段の入力部に結線する必要があり、やはり複数
な結線が必要となり、回路的にも規模が大きくなるとい
う難点がある。

また、各神経細胞模倣素子をハードウェア化した場合、
各素子の入力信号数は一定となり、入力信号数の上限が
固定になるため、より多く人力信号数を結線する必要の
ある神経網を構成できない、また、逆に入力信号数の結
線数が少なくても良い場合、冗長な神経網回路となるな
どの問題があった。

本発明は上述した問題点に鑑みなされたものにして、神
経細胞模倣素子間の結線の簡略化を図り、回路構成の簡
単な神経細胞回路を提供することをその課題とする。

（ニ）課題を解決するための手段 本発明は、自己学習回路を神経細胞模倣素子に付設して
なる神経細胞回路をデジタル論理回路で構成し、この神
経細胞回路を網状に接続してなる信号処理装置であって
、フォワードプロセス右よび／またはバックワードプロ
セスにおける各神経細胞模倣素子の出力信号線をハイイ
ンピーダンスにする手段を備え、この出力信号線を複数
本結合して、次段の神経細胞模倣素子に入力することを
特徴とする。

更に、複数の出力信号線の結合出力をオア回路の一入力
とし、このオア回路の一入力分のデータ出力を遅延させ
てオア回路の他入力に帰還させると共に、このオア回路
の出力を次段の神経細胞模倣素子の入力にすると良い。

（ホ）作用 フォワードプロセスおよび／またはバックワードプロセ
スにおける出力信号線をハイインピーダンスにする手段
を備えることで、その出力信号線を複数本結合して一本
の結合出力線とすることができ、次段への結線数を大幅
に減少させることができる。従って、神経網回路の集積
度を著しく向上させることができる。

（へ）実施例 以下、本発明の実施例を第１図ないし第５図に基づいて
説明する。

まず、本発明の基本部分、即ちデジタル論理回路を用い
た自己学習機能を備えた神経細胞ユニットとそれを用い
て構成したネットワーク回路について説明する。尚、こ
の部分は基本的には、前述した特願平１−３４３８９１
号のものと同一であり、同一部分には同一符合を付す。

本発明はデジタル論理回路を用いたもので、基本的には
、 ■　入出力、中間信号、結合係数、教師信号などは、全
て「０」　「１」の２値で表されたパルス列で表す。

■　信号の量は、パルス密度で表す（ある一定時間内の
「１」の数）。

■　神経細胞ユニット内での計算は、パルス列同士の論
理演算で表す。

■　結合係数のパルス列はメモリ上に置（。

■　学習は、このパルス列を書換えることで実現する。

■　学習については、与えられた教師信号パルス列を元
に誤差を計算し、これに基づいて、結合係数パルス列を
変化させる。このとき、誤差の計算、結合係数の変化分
の計算も、全て、「０」　「１」のパルス列の論理演算
で行う。

ようにしたものである。

以下、この思想を具体化した例に基づき説明する。

まず、フォワードプロセスの信号演算部分の構成を第５
図を参照して説明する。第５図は１つの神経細胞模倣回
路５０に相当する部分を示し、ネットワーク構成したも
のは第６図の場合のように階層型とされる。入出力は、
全て、ｒｌＪ　　ｒＯＪに２値化され、且つ、同期化さ
れたものが用いられる。入力ｊの信号の強度は、パルス
密度で表現し、例えばある一定時間内にある、「１」の
状態数で表す。即ち、 入力信号　　　　　　　　＝４／６　　・・・（８）同
期信号　Ｌ」−Ｌ」−上」− の例は、４／６を表す式であり、同期パルス６個中に信
号は「１」が４個、「０」が２個である。

このとき、「１」と「０」の並び方は、後述するように
ランダムであることが望ましい。

一方、結合係ＨｉＴ、ｊも同様にパルス密度で表現し、
「０」と「１」とのビット列として予めメモＪ上に用意
しておく。

結合係’Ｉａ　　　　　　　　　＝３／６　　＝１９）
同期信号　ＬＬＬＬ［［− の例は、ｒｌｏｌｏｌｏＪ　＝３／６を表す式である。

この場合も、「１」と「０」の並び方はランダムである
ことが望ましい。具体的にどのように決定するかは後述
する。

そして、このビット列を同期クロックに応じてメモリ上
より順次読出し、第５図に示すように各々ＡＮＤゲート
５１により入力信号パルス列との論理積をとる（ｙ、ｎ
　　Ｔｚ）。これを、神経細胞ｊへの入力とする。上側
の場合で説明すると、入力信号がｒｌ　Ｏ１１０１Ｊと
して入力されたとき、これと同期してメモリ上よりビッ
ト列を呼出し、順次ＡＮＤをとることにより、 入力信号　　　　　　　　　＝４／６ 結合係数　　　　　　　　　＝　３／６Ｙ＋ｌ”ｌ　Ｔ
ｔＪ＝　２　／　６　＝ｌｌＯ１に示すようなｒｌｏｌ
ｏｏｏＪが得られ、これは入力ｙ、が結合係数Ｔ　ｉｊ
により変換されパルス密度が２／６となることを示して
いる。

ＡＮＤゲート５１の出力のパルス密度は、近似的には入
力信号のパルス密度と結合係数とのパルス密度との積と
なり、アナログ方式の結合係数と同様の機能を有する。

これは、信号の列（パルス列）が長いほど、また、「１
」と「０」との並び方がランダムであるほど、積に近い
機能を持つことになる。ランダムでないとは、「１」ま
たは「０」が密集（密接）していることを意味する。

尚、入力パルス列に比べて結合係数のパルス列が短く、
読出すべきデータがなくなってしまった場合には、再び
結合係数のパルス列の先頭に戻って読出しを繰返せばよ
い。

１つの神経細胞ユニットは多入力であるので、前述した
［入力信号と結合係数とのＡＮＤＪも多数あり、次にＯ
Ｒ回路５２によりこれらの論理和をとる。入力は同期化
されているので、例えば１番目のデータがｒｌｏｌｏｏ
ｏＪ、２番目のデータがｒｏｌｏｏｏｏＪの場合、両者
のＯＲをとると、ｒｌ　１１０００Ｊとなる。これを多
入力同時に計算し出力とする。即ち、 ｙＩｎ　　Ｔ　＋　Ｊ　　Ｌ−一 ｙ、ｎ”ｒ＋、　　−り一一一一一− Ｕ　（ｙ＋　ｆ”Ｉ　　ＴＩＪ）　　　　、　−一−−
−・・１１１）のようになる。これは、アナログ計算に
おける和の計算及び非線形関数（シグモイド関数）の部
分に対応している。

一般的なパルスの演算において、パルス密度が低い場合
、そのＯＲをとったもののパルス密度は、各々のパルス
密度の和に近似的に一致する。

パルス密度が高くなるにつれて、ＯＲ回路５２の出力は
段々飽和してくるので、パルス密度の和とは一致せず、
非線形性が出て（る、ＯＲの場合、パルス密度は１より
も大きくなることがなく、且つ、０より小さ（なること
もなく、更には、単調増加関数であり、シグモイド関数
と近似的に同様となる。

ところで、結合には興奮性と抑制性とがあり、数値計算
の場合には結合係数の符合で表し、アナログ回路の場合
にはＴｉ、が負となる場合（抑制性結合）には増幅器を
用いて出力を反転させてＴＩ。

に相当する抵抗値で他の神経細胞に結合させることにな
る。この点、デジタル方式の本発明にあっては、まず、
ＴＩＪの正負により各結合を興奮性結合と抑制性結合と
の２つのグループに分け、次いで、［入力信号と結合係
数のパルス列のＡＮＤＪ同士のＯＲをこのグループ別に
計算し、その後、興奮性結合グループの出力が「ｌ」で
抑制性結合グループの出力が「０」のときのみ出力を出
すようにする。この機能を実現するためには、（抑制性
結合グループの出力のＮ０Ｔ）と（興菖性結合グループ
の出力）とのＡＮＤをとればよい。即ち、 嬰児竺鰺危ヵ　　ローー止土− 叩型Ｐ鴎ヵ　−ローー丁− 出　　力　　　　　　　　　Ｌ−一一一一−Ｌ−−−−
　　　　・・・（１２）論理式で表現すると、 Ｂ＝Ｊ　（ｙ＋　ｎ　　Ｔ、Ｊ）（Ｔ＝興ピ性）・・１
１３）ｂ＝ｌＪ　（ｙ＋　ｎ　ＴＩＪ）（Ｔ＝抑制性）
−・（１４）ｙ、＝ａ　　ｎｂ　　　　　　　　　　　
・・１１５１で示される。神経細胞ユニットのネットワ
ークは、パックプロパゲーションと同様な階層型（即ち
、第５図）とする。そして、ネットワーク全体を同期さ
せておけば、各層とも上述した機能により計算できる。

次に、学習時の処理、即ちパックプロパゲーションにお
ける信号演算処理について説明する。

ａ、最終層における誤差信号 最終層第５図の右側の層に属するで各ニューロンにおけ
る誤差信号を計算し、それを元にそのニューロンに関わ
る結合係数を変化させる。そのための、誤差信号の計算
法について述べる。ここに、本発明では、「誤差信号」
を以下のように定義する６誤差を数値で表すと、一般に
は＋、−の両方をとり得るが、パルス密度の場合には、
正、負の両方を同時に表現できないので、生成分を表す
信号と、−成分を表す信号との２種類を用いて誤差信号
を表現する。即ち、 出力結果　　　　　　　　　　ｙ　　　・・・（１６）
教師信号　　Ｌ−一上一−１−一」−ｄ　　・・・（１
７）誤差信号子　−−Ｌ−Ｌ−一一 δ＋＝（ｙ　　ＥＸＯＲｄ）　ＡＮＤ　　ｄ　・１１８
１誤差信号−−■−■−一一一 δ−＝　　（ｙ　　　ＥＸＯＲｄ）ＡＮＤ　　　ｙ　　
・・（１９１で示される。つまり、誤差信号の生成分は
教師信号パルスと出力パルスとの違っている部分（１、
０）又は（０，１）の内、教師信号側に存在するパルス
、他方、−成分は同様に出力側に存在するパルスである
。換言すれば、出力パルスに誤差信号十パルスを付は加
え、誤差信号−パルスを取り除くと、教師パルスとなる
ことになる。このような誤差信号パルスを元に結合係数
を後述するように変化させることになる。

ｂ、中間層における誤差信号 更に、誤差信号を逆伝播させ、最終層とその１つ前の層
との結合係数だけでなく、更にその前の層との結合係数
も変化する。そのため、中間層（第５図の中央の層）に
おける各ニューロンでの誤差信号を計算する必要がある
。中間層のあるニューロンから、更に１つ先の層の各ニ
ューロンへ信号を伝播させたのとは、丁度逆の要領で１
つ先ノ層の各ニューロンにおける誤差信号を集めてきて
、自己の誤差信号とする。このことは、神経細胞ユニッ
ト内での演算式（８）〜（１９）と同じような要領で行
うことができる。即ち、まず、結合を興奮性か抑制性か
により２つのグループに分け、乗算の部分はＡＮＤ、Σ
の部分はＯＲで表現する。ただし、神経細胞ユニット内
での（８）〜（１９）式と異なるのは、ｙは１つの信号
であるのに対して、δ（誤差信号）は正、負を表す信号
として２つの信号を持ち、その両方の信号を考慮する必
要がある。従って、Ｔ（結合係数）の正負、δの正負に
応じて４つの場合に分ける必要がある。

まず、間髪性結合の場合を説明する。この場合、１つ先
の層のニューロンでの誤差信号十とそのニューロンと自
己との結合係数のＡＮＤをとったもの（δ”、　　ｎ　
Ｔ、、）を各二ニーロンについて求め、更にこれた同士
のＯＲをとる（＝Ｕ（δ０．ｎＴＩＪ））。これを、こ
の層の誤差信号十とする。即ち、 δ　中＋　　　ｎ　　　ＴＩＪ　　　Ｑ−１−ｍδ′″
　　ｎ　　Ｔ、、　　−土」−一」−ｍ−δ°・　　　
　　　　ＬＬＬ止−」」−・・・（２０）となる。

また、１つ先の誤差信号−と結合係数とのＡＮＤをとり
、更にこれら同士のＯＲをとることにより、同様に、こ
の層の誤差信号−とする。

即ち、 δ−１ｎ　　Ｔ＋　　−ｍ−−■［−−５−、ｌ”ｌ　
　Ｔ、、　し−一一一−「−δ−ｍ−土」−・・・（２
１） となる。

次に、抑制性結合の場合を説明する。この場合、１つ先
の層のニューロンでの誤差信号−とそのニューロンと自
己との結合係数のＡＮＤをとり、更にこれら同士のＯＲ
をとる。これを、この層の誤差信号十とする。即ち。

δ−＋　　ｎ　Ｔ＋＝　　ＬＬ−」−ｍ−」−一δ・、
　　　　　■ｍ−・・・（２２）となる。

また、１つ先の誤差信号十と結合係数とのＡＮＤをとり
、さらにこれら同士のＯＲをとることにより、同様に、
この層の誤差信号−とする。

即ち、 δ”、　　ｎ　　Ｔ、、　　■−−−止一一δ−・　　
　　　■−ユ」」−一−１２３＋となる。

１つのニューロンから別のニューロンへハ興奮性で結合
しているものもあれば、抑制性で結合しているものもあ
るので、（２０）式により求めた誤差信号δ°と（２２
）式によりもとめた誤差信号δ゛とのＯＲをとり、それ
を自分のニューロンの誤差信号δ゛とする。同様に、（
２１）式で求めたδ”、　　ｎ　　Ｔ・・　−ＬＰ−−
［−一誤差信号δ−と（２３）式で求めた誤差信号δ−
どのＯＲをとり、それを自分のニューロンの誤差信号δ
−とする。

以上をまとめると、 δ”＝（Ｕ（δ＋、１”＋　ｙ、））Ｕ　（Ｕ（δ−１
ｎｙｌ）興奮性の場合　　　　抑制性の場合 δ−＝（Ｕ（δ−１ｎｙｌ）　Ｕ　（Ｕ（δ＋、ｎ　ｙ
ｌ）興奮性の場合　　　　抑制性の場合 ・・・・・（２４） となる。

更に、学習定数（学習レート）に相当する機能を設けて
もよい。数値計算でレートが１以下のとき、更に学習能
力が高まる。これはパルス列の演算ではパルス列を間引
くことで実現できる。これはカウンタ的な考え方をし、
次の例１）、例２）のようなものとした。例えば、学習
レート（η）＝０．５では元の信号のパルス列を１つ置
きに間引く。元の信号のパルスが等間隔でなくても、元
のパルス列に対して１つ置きに間引く方式（く例２）〉
の方式）とした。

例１） 元の信号 η＝０．５の場合 （パルスを１つ置きに間引く） η＝０．３３の場合 （パルスを２つ置きに残す） η＝　０．６７の場合 （パルスを２つ置きに間引く） 例２） 元の信号 η＝０．５の場合 （パルスを１つ置きに間引（） η＝　０．３３の場合 （パルスを２つ置きに残す） η＝０．６７の場合 （パルスを２つ置きに間引く） ・・（２５ このようにして、誤差信号を間引くことにより学習レー
トの機能を持たせる。

Ｃ１誤差信号より各結合係数を変化 上述した方法により誤差信号を求め、各結合係数を変化
させるが、その変化のさせ方について説明する。変化さ
せたい結合係数が属しているラインを流れる信号と誤差
信号のＡＮＤをとる（δｎｙ）。ただし、本実施例では
誤差信号には＋、の２つの信号があるので、各々計算す
る。

る。

ついで、今度はこのΔＴを元に新しいＴを求めるが、本
実施例におけるＴは、絶対値成分であるので、元のＴが
興奮性か抑制性かにより場合分けする。

まず、興奮性の場合、元のＴに対してΔＴ＋の成分を増
やし、ΔＴ−の成分を減らす。即ち、δ”ｎ　　ｙ　　
−■−−■−−−−ΔＴ　”・−（２６１学習後のＴＬ
ＬＬ−土」−・・・（２８）となる。抑制性の場合には
、元のＴに対して八Ｔ＋の成分を減らし、Δ丁−の成分
を増やす。

即ち、 δ−ｆ”１．ｙ　　−−Ｌ−−−り一−ΔＴ　−・−（
２７）このようにして得られた２つの信号を６丁とすΔ
　Ｔ　− 一一一一一■−■− 学習後のＴ　　−Ｌ−ｍ−」−土」−・・・（２９）と
なる。

以上の学習前に基づいてネットワークの計算をする。

次に、以上のアルゴリズムに基づく実際の回路構成を説
明する。第１図ないし第４図にその回路例を示す。ネッ
トワーク全体は第６図の場合と同様である。第２図は本
発明の特徴であるところの第６図中の線（結線）に相当
する部分の回路を示し、第３図及び第４図は本発明の特
徴であるところの第６図中の丸（神経細胞ユニット１）
に相当する部分の回路を示す。尚、最終層の出力信号と
教師信号から最終層における部分の回路は前述の第１３
図と同じ回路を用いているので、ここでは説明を省略す
る。

第１図は本発明のデジタル回路の全体構成を示し、これ
ら第２図ないし第４図の構成を第６図の如くネットワー
クにしたものである。第１図に示す本発明の回路図にお
いて、１００は第２図の回路例に示す第６図におけるネ
ットワークの線（結線）を示すブロック、１０１は第３
図及び第４図の回路例に示す第６図における丸（神経細
胞ユニット１）を示すブロックである。３ａ、３ｄ、３
ｅはフォワードプロセスにおける入力信号で、神経網に
おける外部からの刺激入力に相当し、３ａはネットワー
クの前段から次段への信号線である。３ｄ、３ｅは夫々
神経細胞ユニット１０１で入力信号の総和を求める際に
必要な中間信号である。この信号は、後述するよう、制
御信号により信号を出力したり、信号線をハイインピー
ダンスにして信号出力を遮断したり、制御される。この
信号は、複数の信号線が結合された一本の信号線に、制
御信号により逐次出力される。３ｄは興奮性、３ｅは抑
制性の信号であり、３ｄが前述の３ｂのトライステート
出力に、３ｅが３０のトライステート出力に変更した信
号に相当する。

また、４ｅ、４ｆはバックワードプロセスにおける学習
誤差信号であり、上述の中間信号と同様に、４ｅが４ａ
のトライステート出力に、４ｆが４ｂのトライステート
出力に変更した信号に相当する。

このように、フォワードプロセス及びバックワードプロ
セスにおいて、従来複数の信号線を結線していたのに対
し、本発明は、複数の出力信号線を一本の信号線で結合
し、−本の信号線で結線を行い、各出力信号線に夫々ハ
イインピーダンスにする手段を設けることにより、逐次
その信号を結合した信号線に出力することで、結線数を
第１図に示すように、大幅に減少できる。

以下、本発明の詳細につき、第２図ないし第４図に従い
更に説明する。

まず、第２図から説明する。図中、５５はニューロンへ
の入力信号であり、（８）式に相当する。

（９）式の結合係数の値はシフトレジスタ５６に保存し
ておく。このシフトレジスタ５６は取出し口５６ａと入
口５６ｂとを有するが、通常のシフトレジスタと同様の
機能を持つものであればよい。シフトレジスタ５６内の
結合係数とはＡＮＤゲート５７を備えて（１０）式に相
当する論理回路５８によりＡＮＤがとられる。この論理
回路５８の出力は結合が興奮性か抑制性かによってグル
ープ分けしなければならないが、予め各々のグループへ
の出力を用意し、何れに出力するのかを切換えるように
している。このため、本実施例では結合が興り性か抑制
性かを表すビットをメモリ６１に保存しておき、その情
報を用いて切換えゲート回路６２により切換える。この
各出力はトライステートバッファ１１０・・・を介して
出力される。このトライステートバッファ１１０・・・
は制御信号１２０により制御され、制御信号１２０にて
信号１１１（３ｄｌ　、　１１２（３ｅｌを出力したり
、ハイインピーダンスにして信号出力を遮断する。また
、第３図に示すように、各入力を処理する（１１）式に
相当する複数の２人力ＯＲゲト１１３・・・及びシフト
レジスタ１１４・−・からなるゲート回路１１５が設け
られている。このＯＲゲート１１３の一入力として、上
述した信号１１１（３ｄ）１１２　（３ｅ）が入力され
、他入力としてシフトレジスタ１１４を介して帰還接続
されている。このシフトレジスタ１１４は出力信号の長
さｎピッ８分必要である。このシフトレジスタ１１４に
より、信号の−人力分遅延させてＯＲゲート１１３に帰
還させることにより、トライステートバッファ１１０を
介して、逐次出力される信号１１１　、１１２が順次加
算されてＯＲゲート１１３より出力される。このシフト
レジスタ１１４は、通常のシフトレジスタと同様の機能
を持つものであればよく、例えば、ＦＩＦＯメモノ等で
あってもよい。更に、同図に示すように（１２）式の興
奮性結合グループが「１」で、抑制性結合グループが「
０」のときにのみ出力を出すＡＮＤゲートとインバータ
とによるゲート回路６４が設けられている。

次に、誤差信号について説明する。最終層での誤差信号
を生成するのが前述した第１３図に示すＡＮＤ、排他的
ＯＲの組合せによる論理回路６５であり、（１６）〜（
１９）式に相当する。即ち、最終層からの出力６６及び
教師信号６７により誤差信号６８、６９を作るものであ
る。中間層における誤差信号を計算する（２０）〜（２
３）式は、第２図中に示すＡＤＮゲート構成のゲート回
路７２により行われ、＋、−に応じた出カフ３．７４が
得られる。このように結合が興奮性か抑制性かにより場
合分けする必要があるが、この場合分けはメモリ６１に
記憶された興奮性か抑制性かの情報と、誤差信号の＋、
−信号４ｃ、４ｄとに応じて、ＡＮＤ、ＯＲゲート構成
のゲート回路７７により行われる。誤差出カフ３．７４
は前述の各グループ出力と同様にトライステートバッフ
ァ１１０・・・を介して出力される。このトライステー
トバッファ１１０・・・は、制御信号１２０により信号
７３　（４ｅ）、７４　［４ｆｌを出力したり、ハイイ
ンピーダンスにして出力を遮断する。

また、誤差信号を集める計算式（２４）式は第４図に示
す、複数の２人力ＯＲゲート１１６・・・及びシフトレ
ジスタ１１７・・・からなるゲート回路１１８により行
われる。このシフトレジスタ１１７は前述と同様に出力
信号の長さｎビワ８分必要である。このＯＲゲート１１
６の一入力として、誤差信号４ｅ、４ｆが入力され、他
入力としてシフトレジスタ１１７により、−信号入力分
遅延された信号が帰還入力される。従って、トライステ
ートバッファ１１０を介して逐次出力される誤差信号４
ｅ、４ｆが順次加算されてＯＲゲート１１３より出力さ
れる。このシフトレジスタ１１７も前述の１１４と同様
の機能、を有するものであれば、どのようなものを用い
てもよい。

更に、学習レートに相当する（２５）式は同図中に示す
分周回路７９により行われる。最後に、誤差信号より新
たな結合係数を計算する部分、即ち、（２６）〜（２９
）式に相当する部分は、第２図中に示すＡＮＤ、インバ
ータ、ＯＲゲート構成のゲート回路８０により行われる
。このゲート回路８０も結合の興奮性、抑制性によって
場合分けが必要であるが、ゲート回路７７により行われ
る。

今、前述したネットワークを用いた自己学習式文字認識
装置の場合により、具体例について説明する。まず、手
書き文字をスキャナで読取り、１６Ｘ　１６のメツシュ
に分け、文字部分のあるメツシュをｒｌＪ、ないメツシ
ュをｒＱＪとした。

このデータ（２５６個）をネットワークに入力し、出力
は５つあるユニットの内で一番大きい出力のものの位置
が、認識結果となるように学習させた。次に、ネットワ
ークの構成は、第１層目が２５６個、第２層目が２０個
、第３層目が５個の神経細胞ユニットからなる。このと
き、接続されない入力部はグランドに接続する。最初、
各結合係数はランダムとしておくと、出力結果は必ずし
も所望のものとはならない。そこで、この回路の自己学
習機能を用いて、各結合係数を新たに求め、これを何回
か繰返すことにより、所望の結果が得られるようにする
。本実施例では、入力が「ｏ」か「１」であるので、入
カバルス列は常にＬレベル又はＨレベルの単純なもので
ある。また、出力はトランジスタを介してＬＥＤと結び
、Ｌレベルのときに消灯、Ｈレベルのときに点灯するよ
うに構成し、同期クロックを１０００ｋＨｚとすること
により、パルス密度に応じて、人間の目にはＬＥＤの明
るさが変り、従って、一番明るいＬＥＤ部分が答えにな
る。十分学習させた文字に対しては認識率１００％を得
たものである。

さて、神経網において、前段Ｎ個の神経細胞模倣素子か
ら次段Ｎ個に信号が伝えられるようにネットワークを接
続する場合、第９図で示した従来例と第１図に示した本
発明の実施例では信号線数は、第１表に示すようになる
。

第１表 上表よりＮ２２において、本発明の方が従来例に比べ信
号線数を少なくすることができる。即ち、ｎ≧２で信号
線数が少なくなり、ｎ≧４で半分以下、Ｎ２２でｌ／４
以下となり、Ｎが大きくなればなるほど、その効果が顕
著となる。

本発明は、信号線３ａにも適用可能で、その場合、更に
信号数を減少させることが可能である。

尚、本実施例においては、フォワードプロセス及びバッ
クワードプロセスの両方にハイインピーダンス手段を設
けたが、上述したように、ハイインピーダンス手段によ
り逐次出力される信号をシフトレジスタ等にて遅延させ
ているので、その遅延時間だけ処理速度が遅くなる。従
って、回路構成上、処理速度を重要視する場合などには
、フォワードプロセス、バックワードプロセスの内、処
理速度に影響の少ないどちらか一方のプロセスに本発明
を適用すればよい。

（ト）発明の詳細 な説明したように、本発明はフォワードプロセスおよび
／またはバックワードプロセスにおける出力信号線をハ
イインピーダンスにする手段を備えることで、複数の出
力信号線を一本の信号線に結合することが可能となり、
次段への結線数を大幅に減少させることができ、神経網
回路の集積度を大幅に向上させることができる。

【図面の簡単な説明】

第１図ないし第５図は本発明の一実施例を示すもので、
第１図は全体構成を示す回路図、第２図ないし第４図は
各部の構成例を示す論理回路図、第５図は信号演算部分
の構成例を示す回路図である。 第６図はニューラルネットワークの概念図、第７図はそ
の１つのユニット構成を示す概念図、第８図はシグモイ
ド関数を示すグラフである。 第９図ないし第１３図は本発明の前提となる神経細胞模
倣回路をデジタル論理回路構成にした例を示し、第９図
は全体構成を示す回路図、第１０図ないし第１３図は各
部の構成例を示す論理回路図である。 第１４図は従来装置の１つのユニットの具体的回路図、
第１５図は従来のデジタル構成例を示すブロック図、第
１６図および第１７図はその一部の回路図である。 １００・・・ネットワークの線を示すブロック、１０１
・・・神経細胞ユニットを示すブロック、１１０・・・
トライステートバッファ、１２０・・・制御信号。 第 ７ 図 第 図 第１４ 図 第１１ 図 第１２ 図 第１５ 図 ワ 第１６ 図

Claims (3)

【特許請求の範囲】
1. （１）結合係数可変回路と、この結合係数可変回路の可
   変結合係数値を教師信号に対する誤差信号に基づいて生
   成される結合係数生成回路と、からなる自己学習回路を
   神経細胞模倣素子に付設してなる神経細胞回路をデジタ
   ル論理回路で構成し、この神経細胞回路を網状に接続し
   てなる信号処理装置であって、フォワードプロセスにお
   ける各神経細胞模倣素子の出力信号線をハイインピーダ
   ンスにする手段を備え、この出力信号線を複数本結合し
   て、次段の神経細胞模倣素子に入力することを特徴とす
   る信号処理装置。
2. （２）結合係数可変回路と、この結合係数可変回路の可
   変結合係数値を教師信号に対する誤差信号に基づいて生
   成される結合係数生成回路と、からなる自己学習回路を
   神経細胞模倣素子に付設してなる神経細胞回路をデジタ
   ル論理回路で構成し、この神経細胞回路を網状に接続し
   てなる信号処理装置であって、バックワードプロセスに
   おける各神経細胞模倣素子の出力信号線をハイインピー
   ダンスにする手段を備え、この出力信号線を複数本結合
   して、次段の神経細胞模倣素子に入力することを特徴と
   する信号処理装置。
3. （３）前記複数の出力信号線の結合出力をオア回路の一
   入力とし、このオア回路の一入力分のデータ出力を遅延
   させてオア回路の他入力に帰還させると共に、このオア
   回路の出力を次段の神経細胞模倣素子の入力にすること
   を特徴とする請求項第１または第２に記載の信号処理装
   置。