JPH04245389A - 信号処理方法及びその装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、神経細胞回路網を模倣
したニューラルコンピュータにおける信号処理方法及び
その装置に関する。

【０００２】

【従来の技術】生体の情報処理の基本的な単位である神
経細胞（ニューロン）の機能を模倣し、さらに、この「
神経細胞模倣素子」をネットワークにし、情報の並列処
理を目指したのが、いわゆるニューラルネットワークで
ある。

【０００３】以下、従来方式を順に検討する。まず、従
来のニューラルネットワークのモデルについて説明する
。図１３はある１つの神経細胞ユニット（神経細胞模倣
素子）１を表す図であり、図１２はこれをネットワーク
にしたものである。１つの神経細胞ユニットは多数の他
の神経細胞ユニットと結合し信号を受け、それを処理し
て出力を出す。図１２の場合、ネットワークは階層型で
あり、１つ前（左側）の層のユニットより信号を受け、
１つ後（右側）の層のユニットへ出力する。

【０００４】より詳細に説明する。まず、図１３の神経
細胞ユニット１において、他の神経細胞ユニットと自分
のユニットとの結合の度合いを表すのが結合係数と呼ば
れるもので、ｉ番目のユニットとｊ番目のユニットの結
合係数を、一般にＴｉｊで表す。いま、自分のユニット
がｊ番目のユニットであるとし、ｉ番目のユニットの出
力をｙｉ　とするとこれに結合係数Ｔｉｊを掛けたＴｉ
ｊｙｉ　が、自分のユニットへの入力となる。前述した
ように各ユニットは多数のユニットと結合しているので
それらのユニットに対するＴｉｊｙｉ　を足し合わせた
結果なるΣＴｉｊｙｉ　が、自分のユニットへの入力と
なる。これを内部電位といい、（１）式のようにｕｊ　
で表す。

【０００５】 ｕｊ　＝ΣＴｉｊｙｉ　　　　　　　……………………
……………（１）

【０００６】次に、この入力に対して、非線形な処理を
して出力とする。この時の関数を神経細胞応答関数と呼
び、非線形関数として、（２）式及び図１４に示すよう
なシグモイド関数を用いる。

【０００７】

【数１】

【０００８】図１２に示すようにネットワークにした時
には、各結合係数Ｔｉｊを与え、（１）（２）式を次々
と計算することにより、最終的な出力が得られるもので
ある。

【０００９】つぎに、このようなネットワークの学習機
能について説明する。数値計算で用いられる学習法則と
しては、バックプロパゲーション学習則と呼ばれる下記
のようなものがある。

【００１０】まず、各結合係数は最初にランダムに与え
ておく。この状態で、入力を与えると、出力結果は必ず
しも望ましいものではない。例えば、文字認識の場合、
手書きの「１」の文字を与えたとすると、出力結果とし
て「この文字は『１』である」と出るのが望ましい結果
であるが、結合係数がランダムであると必ずしも望まし
い結果とはならない。そこで、このネットワークに正解
（教師信号）を与えて、再び、同じ入力があったとき正
解となるように各結合係数を変化させる。このとき、結
合係数を変化させる量を求めるアルゴリズムが、バック
プロパゲーションと呼ばれているものである。

【００１１】例えば、図１２に示したような階層型のネ
ットワークにおいて、最終層のｊ番目の神経細胞ユニッ
ト出力をｙｊ　とし、その神経細胞ユニットに対する教
師信号をｄｊ　とすると、 Ｅ＝Σ（ｄｊ　−ｙｊ　）２　　　　　　………………
…………（３）で表されるＥが最小となるように、 ΔＴｉｊ∝−∂Ｅ／∂Ｔｉｊ　　　　……………………
……（４）を用いて、結合係数Ｔｉｊを変化させる。

【００１２】さらに具体的には、まず、出力層と、その
１つ前の層との結合係数を求める場合には、δｊ＝（ｄ
ｊ−ｙｊ）×ｆ′（ｕｊ）　　……………………（５）
を用いて、δ（誤差信号）を求め、それよりさらに前の
層同士の結合係数を求める場合には、 δｊ＝ΣδｉＴｊｉ×ｆ′（ｕｊ）　　　　　…………
…………（６）を用いて、δ（誤差信号）を求め、 ΔＴｉｊ＝η（δｊｙｉ）＋αΔＴｉｊ′Ｔｉｊ＝Ｔｉ
ｊ′＋ΔＴｉｊ　　　　　　　　……………………（７
）を求めて、Ｔｉｊを変化させる。ここに、ηは学習定
数、αは安定化定数と呼ばれるものである。各々論理的
には求められないので、経験的に求める。一般的には、
これらの数値が小さいほど収束が遅く、また、大きいと
振動してしまう傾向にある。オーダ的には１程度のもの
である。また、ｆ′はシグモイド関数ｆの１階微分関数
、ΔＴｉｊ′、Ｔｉｊ′は前回学習時の値である。

【００１３】このようにして学習をし、その後、再び入
力を与えて出力を計算し、学習をする。この操作を何回
も繰返すうちに、やがて、与えられた入力に対して望ま
しい結果が得られるような結合係数Ｔｉｊが決定される
。

【００１４】ところで、文字認識や連想記憶、運動制御
等、生体ではいとも簡単に行われていても、従来のノイ
マン型コンピュータではなかなか達成しないものが多い
。生体の神経系、特に生体特有の機能、即ち並列処理、
自己学習等を模倣して、これらの問題を解決しようとす
る試みが盛んに行われている。これらの試みは、計算機
シミュレーションで行われているものが多く、本来の機
能を発揮するには、並列処理が必要であり、そのために
はニューラルネットワークのハードウエア化が必要であ
る。一部では、既にハードウエア化の試みも行われてい
るが、ニューラルネットワークの特徴の一つである自己
学習機能が実現できず、大きなネックとなっている。ま
た、殆どのものがアナログ回路で実現されており、次に
述べるように動作の点で問題がある。

【００１５】まず、このようなネットワークを電気回路
により実現したものの一例として、図１５に示すような
ものがある。これは、特開昭６２−２９５１８８号公報
中に示されるもので、基本的には、Ｓ字形伝達関数を有
する複数の増幅器２と、各増幅器２の出力を他の層の増
幅器の入力に一点鎖線で示すように接続する抵抗性フィ
ードバック回路網３とが設けられている。各増幅器２の
入力側には接地されたコンデンサと接地された抵抗とに
よるＣＲ時定数回路４が個別に接続されている。そして
、入力電流Ｉ１，Ｉ２，〜，ＩＮ　が各増幅器２の入力
に供給され、出力はこれらの増幅器２の出力電圧の集合
から得られる。

【００１６】ここに、入力や出力の信号の強度を電圧で
表し、神経細胞間の結合の強さは、各細胞間の入出力ラ
インを結ぶ抵抗５（抵抗性フィードバック回路網３中の
格子点）の抵抗値で表され、神経細胞応答関数は各増幅
器２の伝達関数で表される。また、神経細胞間の結合に
は、前述のように興奮性と抑制性とがあり数学的には結
合係数の正負符号により表される。しかし、回路上の定
数で正負を実現するのは困難であるので、ここでは、増
幅器２の出力を２つに分け、一方の出力を反転させるこ
とにより、正負の２つの信号を生成し、これを適当に選
択することにより実現するようにしている。また、図１
４に示したシグモイド関数に相当するものとしては増幅
器が用いられている。

【００１７】しかしながら、これらの回路には、次のよ
うな問題点 ■　　ネットワーク内部での信号の強度を電位や電流な
どのアナログ値で表し、内部の演算もアナログ的に行わ
せるため、温度特性や電源投入直後のドリフト等により
、その値が変化する。■　　ネットワークであるので、
素子の数も多く必要とするが、各々の特性を揃えること
は困難である。■　　１つの素子の精度や安定性が問題
となったとき、それをネットワークにしたとき、新たな
問題を生ずる可能性があり、ネットワーク全体で見たと
きの動きが予想できない。■　　結合係数Ｔｉｊの値が
固定であり、予めシミュレーションなどの他の方法で学
習させた値を使うしかなく、自己学習ができない。があ
る。

【００１８】一方、デジタル回路でニューラルネットを
実現したものの例を図１６ないし図１８を参照して説明
する。図１６は単一の神経細胞の回路構成を示し、各シ
ナプス回路６を樹状突起回路７を介して細胞体回路８に
接続してなる。図１７はその内のシナプス回路６の構成
例を示し、係数回路９を介して入力パルスｆに倍率ａ（
フィードバック信号に掛ける倍率で１又は２）を掛けた
値が入力されるレートマルチプライヤ１０を設けてなり
、レートマルチプライヤ１０には重み付けの値ｗを記憶
したシナプス荷重レジスタ１１が接続されている。また
、図１８は細胞体回路８の構成例を示し、制御回路１２
、アップ／ダウンカウンタ１３、レートマルチプライヤ
１４及びゲート１５を順に接続してなり、さらに、アッ
プ／ダウンメモリ１６が設けられている。

【００１９】これは、神経細胞ユニットの入出力をパル
ス列で表し、そのパルス密度で信号の量を表している。 結合係数は２進数で表し、メモリ１６上に保存しておく
。入力信号をレートマルチプライヤ１４のクロックへ入
力し、結合係数をレート値へ入力することによって、入
力信号のパルス密度をレート値に応じて減らしている。 これは、バックプロパゲーションモデルの式のＴｉｊｙ
ｉ　の部分に相当する。次に、ΣＴｉｊｙｉ　のΣの部
分は、樹状突起回路７によって示されるＯＲ回路で実現
している。結合には興奮性、抑制性があるので、予めグ
ループ分けしておき、各々のグループ別にＯＲをとる。 この２つの出力をカウンタ１３のアップ側、ダウン側に
入力しカウントすることで出力が得られる。この出力は
２進数であるので、再びレートマルチプライヤ１４を用
いて、パルス密度に変換する。このユニットをネットワ
ークにすることによって、ニューラルネットワークが実
現できる。学習については、最終出力を外部のコンピュ
ータに入力して、コンピュータ内部で数値計算を行い、
その結果を結合係数のメモリ１６に書込むことにより実
現している。従って、自己学習機能は全くない。また、
回路構成もパルス密度の信号をカウンタを用いて一旦数
値に直し、その後、再びパルス密度に直しており、複雑
なものになっている。

【００２０】デジタル回路によるニューラルネットワー
クには、この他にも幾つかの方式があるが、一般に、デ
ジタル回路により構成されパルス密度を信号として使用
するようにしたニューラルネットワークにおいては、次
のような欠点を持ち、自己学習能力がない。

【００２１】まず、ネットワークの最終出力と教師信号
とから出力層の神経細胞ユニットの誤差信号を算出する
のに、パルス同士の簡単な論理演算回路で誤差信号を生
成することができず、結局、外部のコンピュータによる
数値計算を必要とする。また、このように算出した誤差
信号を基にして中間層の神経細胞ユニットの誤差信号を
算出して結合係数を変更するのにも、やはり、外部のコ
ンピュータによる数値計算を必要とするものである。

【００２２】

【発明が解決しようとする課題】このように、デジタル
回路によるニューラルネットワークにおいても、自己学
習機能を持たないためその対策が必要となる。具体的に
、自己学習機能を持たせるためには各神経細胞ユニット
の誤差信号を簡単な方法ないしは回路により生成できる
ようにする必要があり、そのためには、各神経細胞ユニ
ットの誤差信号を簡単に生成できるようにする必要があ
り、このためには、適切に定義された出力層の誤差信号
をネットワークの最終出力と教師信号とを使って簡単に
生成することができるようにする必要がある。

【００２３】

【課題を解決するための手段】ビット列表現の入力信号
をデジタル論理回路により処理してビット列表現の出力
信号を出す複数個の神経細胞模倣素子を階層型に連結し
てニューラルネットワークを形成し、ある神経細胞模倣
素子が他の神経細胞模倣素子からの出力信号を入力信号
として受け取る時にその入力信号に重み付けを行なうた
めの結合係数を格納した格納手段と、ニューラルネット
ワーク内の神経細胞模倣素子の結合係数値をこれらの神
経細胞模倣素子に対する誤差信号に基づいて変更する変
更手段と、各神経細胞模倣素子に対する誤差信号を出力
層の神経細胞模倣素子に対する誤差信号に基づいて生成
する誤差信号生成手段とを設け、出力層の神経細胞模倣
素子に対する誤差信号をこれらの神経細胞模倣素子から
の出力信号と教師信号とに基づいて生成するようにした
ニューラルネットワークの信号処理方法において、前記
出力層の神経細胞模倣素子に対する誤差信号の正成分を
教師信号の論理否定と出力信号との論理積により算出し
、前記出力層の神経細胞模倣素子に対する誤差信号の負
成分を教師信号と出力信号の論理否定との論理積により
算出するようにした。

【００２４】そのための装置として、出力層の神経細胞
模倣素子に対する誤差信号の正成分を教師信号の論理否
定と出力信号との論理積により算出するゲート回路と、
前記出力層の神経細胞模倣素子に対する誤差信号の負成
分を教師信号と出力信号の論理否定との論理積による演
算値により算出するゲート回路とを設けた。

【００２５】

【作用】誤差は正の値だけでなく負の値も取り得るが、
ビット列表現による場合、一つの信号で正負両方の値を
とり得る量を表現させることができないので、誤差信号
を正成分と負成分とに分けて何れも正の量として表現す
る必要があり、例えば両者の差として表現できる。この
ような正負成分の表現につき、両者間には任意性が残り
、一意に決めることができず、学習能力の点で問題が残
る。これらの点について、教師信号の論理否定をとった
ビット列と出力信号との論理積をとってできたビット列
を誤差信号の正成分とし、教師信号と出力信号の論理否
定との論理積をとってできたビット列を誤差信号の負成
分とすれば、正成分と負成分とによる誤差信号の表現形
態の内で、学習能力が最も高くなる誤差信号の表現形態
となる。よって、出力層の誤差信号の正成分と負成分と
を別々のビット列に荷わせることができ、パルス密度を
信号として使うような負の値を表現することが困難なハ
ードウエアに対しても容易に適用できる。また、出力層
の誤差信号の正成分と負成分のパルス密度を大きく減ら
すことができ、中間層の誤差信号を論理代数で生成する
際の誤差も減り、学習能力の高いものとなる。このよう
な誤差信号は簡単な論理回路で生成でき、簡単な構成で
済むものともなる。

【００２６】本発明の一実施例を図１ないし図１１に基
づいて説明する。まず、図２ないし図９により本実施例
の前提的な構成・作用を説明する。本実施例は、パルス
密度型階層ニューラルネットワークに適用したもので、
図２は各神経細胞ユニット（以下、ニューロンという）
２０における入力信号の処理方法を示すブロック図であ
る。パルス密度型階層ニューラルネットワークにおいて
は、入力信号及び出力信号は全て同期化されたビット列
よりなる。ビット列中の各ビットは「０」又は「１」の
何れかの値をとるが、信号の値は、ビット列のパルス密
度で表現し、例えばある一定時間内にある、「１」の状
態数で表す。即ち、ｉ番目の入力信号をＯｉ　とすると
、図３に示すビット列の例は４／６を表し、同期パルス
６個中に信号は「１」が４個、「０」が２個である。こ
のとき、「１」と「０」の並び方は、ランダムであるこ
とが望ましい。

【００２７】一方、ニューロン２０間の結合の度合を示
す結合係数Ｔｉｊも同様にパルス密度で表現し、「０」
と「１」とのビット列として予めメモリ上に用意してお
く。図４は、「１０１０１０」＝３／６の例を表す。こ
の場合も、「１」と「０」の並び方はランダムであるこ
とが望ましい。

【００２８】そして、各ニューロン２０は、結合係数の
ビット列を同期クロックに応じてメモリ上より順次読出
し、図２に示すようにＡＮＤゲート２１により入力信号
のビット列との論理積をとる（Ｏｉ∩Ｔｉｊ）　。これ
を、神経細胞ｊへの入力とする。上例の場合で説明する
と、入力信号が「１０１１０１」として入力されたとき
、これと同期してメモリ上よりパルス列を呼出し、順次
ＡＮＤをとることにより、図５に示すようなビット列「
１０１０００」が得られ、これは入力ｙｉ　が結合係数
Ｔｉｊにより重み付けられてパルス密度が２／６となる
ことを示している。

【００２９】ＡＮＤゲート２１の出力のパルス密度は、
近似的には入力信号のパルス密度と結合係数とのパルス
密度との積となり、アナログ方式の結合係数と同様の機
能を有する。これは、信号の列が長いほど、また、「１
」と「０」との並び方がランダムであるほど、積に近い
機能を持つことになる。なお、入力ビット列に比べて結
合係数のビット列が短く、読出すべきデータがなくなっ
たら、再びデータの先頭に戻って読出しを繰返えせばよ
い。

【００３０】１つのニューロン２０は多入力であるので
、前述した「入力信号と結合係数とのＡＮＤ」も多数あ
り、次にＯＲ回路２２によりこれらの論理和をとる。 入力は同期化されているので、例えば１番目のデータが
「１０１０００」、２番目のデータが「０１００００」
の場合、両者のＯＲをとると、「１１１０００」となる
。これをｌ（エル）個の多入力について計算すると、図
６に示すようになる。これは、アナログ計算における和
の計算及び非線形関数（シグモイド関数）の部分に対応
している。

【００３１】パルス密度が低い場合、そのＯＲをとった
もののパルス密度は、各々のパルス密度の和に近似的に
一致する。パルス密度が高くなるにつれ、ＯＲ回路２２
の出力は段々飽和してくるので、パルス密度の和とは一
致せず、非線形性が出てくる。ＯＲの場合、パルス密度
は「１」よりも大きくなることがなく、かつ、「０」よ
り小さくなることもなく、さらには、単調増加関数であ
り、シグモイド関数と近似的に同様となる。

【００３２】ところで、ニューラルネットワークの機能
を実用的なものにするためには、結合係数を、正値のみ
でなく、負値もとれるようにすることが望ましい。結合
係数が正である結合を興奮性結合、負である結合を抑制
性結合と呼ぶ。数値計算の場合には、結合係数の符号で
表し、アナログ回路の場合は前述の如くＴｉｊが負とな
る場合（抑制性結合）は増幅器を用いて出力を反転させ
てＴｉｊに相当する抵抗値で他のニューロンに結合させ
る。 この点、本実施例のようなビット列表現のパルス密度は
常に正であるが、以下の３種類の何れかの方法を用いれ
ば、結合係数をパルス密度で表している場合でも結合の
興奮性と抑制性への対応が可能となる。

【００３３】まず、第１に、各結合に対して興奮性か抑
制性かを予め設定しておき、興奮性結合グループと抑制
性結合グループとで別々に上述した論理和をとる。又は
、各入力に対して予め興奮性か抑制性かを設定しておき
、興奮性の入力グループと抑制性の入力グループとで別
々に論理和をとる。例えば、図７に示すように入力段階
では予め興奮性結合グループａと抑制性結合グループｂ
とにグループ分けしておき、各入力に対し結合係数Ｔｉ
ｊを記憶したシフトレジスタ２３ａ，２３ｂを設ければ
よい。入力信号と結合係数Ｔｉｊのビット列の論理積は
ＡＮＤゲート２４ａ，２４ｂによりとられる。そして、
グループａ，ｂ別にＯＲゲート２５ａ，２５ｂにより論
理和がとられる。

【００３４】このようにして得られた興奮性グループａ
のＯＲ結果（ＯＲゲート２５ａ出力）と抑制性グループ
ｂのＯＲ結果（ＯＲゲート２５ｂ出力）とを、ゲート回
路２６により以下のように組合せることにより、ニュー
ロンからの出力値を算出する。まず、両ＯＲゲート２５
ａ，２５ｂのＯＲ結果が不一致であれば、興奮性グルー
プａのＯＲゲート２５ａからの出力ビット列をニューロ
ン、即ちゲート回路２６からの出力値とする。つまり、
興奮性グループａのＯＲ結果が「０」で抑制性グループ
ｂのＯＲ結果が「１」であれば「０」を出力し、興奮性
グループａのＯＲ結果が「１」で抑制性グループｂのＯ
Ｒ結果が「０」であれば「１」を出力する。また、両Ｏ
Ｒゲート２５ａ，２５ｂのＯＲ結果が一致した場合には
、別に用意された別入力信号をそのまま出力する。

【００３５】第２に、図８に示すように、結合毎に、そ
の結合が興奮性であるか抑制性であるかを表すメモリ２
７を持ち、その内容によって結合の興奮性、抑制性をゲ
ート回路２８により任意に設定できるようにする。この
メモリ２７の内容によって決まる興奮性の結合のグルー
プと抑制性の結合のグループとでＯＲゲート２９ａ，２
９ｂにより別々に論理和をとる。このようにして得られ
たグループ別の論理和結果を、図７の場合と同様にゲー
ト回路２６による処理を経てニューロンからの出力とす
る。

【００３６】第３に、結合毎に興奮性の結合係数と抑制
性の結合係数とを持たせ、図９に示すように、両者を各
々メモリ３０，３１上に置く。これは、結合係数を正成
分の量と負成分の量との和の形に分解して表したことに
相当する。そして、全ての入力信号とメモリ３０に記憶
された興奮性の結合係数との論理積をＡＮＤゲート３２
によりとり、これらのＡＮＤゲート３２の出力同士の論
理和をＯＲゲート３３ａによりとる。一方、全ての入力
信号とメモリ３１に記憶された抑制性の結合係数との論
理積をＡＮＤゲート３４によりとり、これらのＡＮＤゲ
ート３４の出力同士の論理和をＯＲゲート３３ｂにより
とる。このようにして得られたグループ別の論理和結果
を、図７の場合と同様にゲート回路２６により処理を経
てニューロンからの出力とする。

【００３７】何れにしても、本発明が適用されるパルス
密度型階層ニューラルネットワークは、このような出力
機能を持つニューロンを組合せて、図１２に示すような
階層型ネットワークとして構成したものである。ネット
ワーク全体を同期させておけば、各層とも、上述したよ
うな機能で並列的に演算処理することが可能となる。

【００３８】次に、パルス密度型階層ニューラルネット
ワークにおける学習について説明する。学習は、まず、
各ニューロンに対する誤差信号を求め、次いで、この誤
差信号を使って結合係数の値を変更する、という手順に
従って実行される。この際、まず、出力層のニューロン
について誤差信号を求め、次に今求めた出力層の誤差信
号を使ってその一つ前の層のニューロンについて誤差信
号を求め、次いで、今求めた層の誤差信号を使ってさら
にその一つ前の層のニューロンについて誤差信号を求め
る、という具合に、出力層から前の方に層を順に遡って
各ニューロンの誤差信号を求める。出力層のニューロン
の誤差信号は教師信号を使って導出する。教師信号は、
ネットワークがとるべき値をネットワークに与えるため
の信号である。教師信号も入出力信号と同様にビット列
よりなり、教師信号の値はそのビット列のパルス密度で
表現される。

【００３９】この学習過程は、 ａ．結合係数の変更量と誤差信号との関係を与える式ｂ
．ある層の誤差信号と、その一つ前の層の誤差信号との
関係を与える式 ｃ．出力層における誤差信号を与える式なる３式によっ
て規定される。

【００４０】これらの式は、誤差信号をどのように定義
するかによって違ってくるが、これらの式を具体的な手
続きに変換して回路化すれば、学習機能を持つニューラ
ルネットワークのハードウエアを作ることができる。

【００４１】パルス密度型階層ニューラルネットワーク
の場合は、出力層における誤差信号の値は、教師信号の
値と出力信号の値との差として与えることが多い。即ち
、出力層におけるｊ番目のニューロンの誤差信号の値を
δｊ　、教師信号をｋｊ　とすると、δｊ＝ｏｊ−ｋｊ
　　　　　　　　　　　　　……………（８）となる。 本実施例では、この方式の学習に適用することを想定し
ているものの、出力層における誤差信号の値が、教師信
号の値と出力信号の値との差として与えられている場合
に限らず、出力層における誤差信号の値が２つの信号の
パルス密度の差として与えられていれば適用できる。

【００４２】このような基本的構成及び学習方式を前提
として、本実施例の特徴とする誤差信号の算出方式につ
いて説明する。まず、誤差信号についても正の値だけで
なく、負の値もとり得るが、パルス密度型階層ネットワ
ークの場合、信号のとる値をパルス密度で表現している
ため、信号のとる値は常に正となり、一つの信号で正負
両方の値をとり得る量を表現することはできない。従っ
て、本実施例では、誤差の正成分を表す誤差信号（以下
、誤差正信号という）と、誤差の負成分を表す誤差信号
（以下、誤差負信号という）との２種類の誤差信号を用
い、誤差正信号の値（パルス密度）をδ（＋）ｊ（ただ
し、１≧δ（＋）ｊ≧０）、誤差負信号の値（パルス密
度）をδ（−）ｊ（ただし、１≧δ（−）ｊ≧０）とし
たとき、誤差δｊ　は δｊ　＝　δ（＋）ｊ　−　δ（−）ｊ　　……………
（９）のように表現する。こうすれば、δｊ　の負の値
は、δ（−）ｊ＞δ（＋）ｊとすることによって実現で
きる。もっとも、このように正成分及び負成分による誤
差の表現方法では、一意には決まらない。即ち、δ（＋
）ｊとδ（−）ｊとが（９）式を満たすとき、δ（＋）
ｊ≧Ｘ≧δ（＋）ｊ−１、δ（−）ｊ≧Ｘ≧δ（−）ｊ
−１を満たす任意のＸを使って、δ（＋）ｊ＝δ（＋）
ｊ−Ｘ、δ（−）ｊ＝δ（−）ｊ−Ｘとすると、これら
のδ（＋）ｊ，δ（−）ｊもまた、δｊ＝δ（＋）ｊ−
δ（−）ｊ　を満たす。 このように、誤差の正成分及び負成分による表現方法に
は、量Ｘの任意性が残る。

【００４３】この点につき、本実施例では、単に正負の
値をとり得る誤差信号を誤差正信号と誤差負信号とを使
って正の量のみで表せるようにしたというだけでなく、
さらに、上述の任意性Ｘの範囲内で、最も学習能力が高
くなるように、誤差正信号と誤差負信号との最適な表現
方法を見出したものである。

【００４４】まず、誤差正信号と誤差負信号とによる誤
差信号の最適な表現方法を見出すに当り、下記のような
点 ａ　　回路を複雑なものとしないためには、誤差正信号
と誤差負信号とは、教師信号及び出力信号のビット列の
論理演算のみで生成できることが望ましい。 ｂ　　パルス密度型階層ニューラルネットワークの学習
過程においては、出力層のニューロンの誤差正信号と誤
差負信号とから各層のニューロンの誤差正信号と誤差負
信号とを求めていく過程において、これらの信号から生
成される２つの信号のパルス密度の和のパルス密度を持
つ信号を生成する必要性がある。これは、２つの信号の
パルス密度が小さいときにはそれら２つの信号のビット
の論理和演算により表現できるが、２つの信号のパルス
密度が大きいときには論理和演算によって生成される信
号のパルス密度は、２つの信号のパルス密度の和から大
きくずれてしまう。従って、誤差正信号と誤差負信号の
パルス密度はなるべく小さくすることが望ましい。を考
慮する必要がある。

【００４５】そこで、本発明者らは、教師信号の否定（
ＮＯＴ）をとったビット列と出力信号との論理積をとっ
てできたビット列を誤差正信号とし、出力信号の否定（
ＮＯＴ）をとったビット列と教師信号との論理積をとっ
てできたビット列を誤差負信号とすることが、誤差信号
の誤差正信号と誤差負信号とによる、上記ａ，ｂの２つ
の条件にあった最適な表現であることを見出したもので
ある。これを、式で表すと、出力層におけるｊ番目のニ
ューロンの誤差正信号をΔ（＋）ｊと表し、出力層にお
けるｊ番目のニューロンの誤差負信号をΔ（−）ｊと表
し、出力層におけるｊ番目のニューロンの出力信号をＯ
ｊ　と表し、出力層におけるｊ番目のニューロンの教師
信号をＫｊ　と表すものとすると、 　　Δ（＋）ｊ　＝（　Ｏｊ　　　ＡＮＤ　　（ＮＯＴ
　　Ｋｊ　））　　　　　…………（１０）　　Δ（−
）ｊ　＝（　Ｋｊ　　　ＡＮＤ　　（ＮＯＴ　　Ｏｊ　
））　　　　　…………（１１） となる。

【００４６】 　　或いは、 　　Δ（＋）ｊ　＝（　Ｏｊ　　　ＡＮＤ　　（Ｏｊ　
　　ＸＯＲ　　Ｋｊ　））　　　……（１２）　　Δ（
−）ｊ　＝（　Ｋｊ　　　ＡＮＤ　　（Ｏｊ　　　ＸＯ
Ｒ　　Ｋｊ　））　　　……（１３） としても同じである。ただし、ＸＯＲは排他的論理和を
意味する。

【００４７】このとき、各誤差正信号と誤差負信号の値
（パルス密度）は、 δ（＋）ｊ　＝　ｏｊ　−　ｋｊ　×　ｏｊδ（−）ｊ
　＝　ｋｊ　−　ｋｊ　×ｏｊとなることから、これは
、上述した表現の任意性Ｘがｋｊ×ｏｊである場合に相
当しており、誤差正信号と誤差負信号のパルス密度を大
きく減らし得ることが判る。

【００４８】この方式に従って誤差正信号と誤差負信号
とを生成する回路を図１に示す。同図（ａ）は（１０）
（１１）式方式を示し、（１０）式の論理処理を行なう
ためのＮＯＴゲート３５とＡＮＤゲート３６とによるゲ
ート回路３７と、（１１）式の論理処理を行なうための
ＮＯＴゲート３８とＡＮＤゲート３９とによるゲート回
路４０とよりなる。また、同図（ｂ）は（１２）（１３
）式方式を示し、共通とする排他的ＯＲゲート４１と各
々のＡＮＤゲート３６，３９によりゲート回路４２，４
３が構成されている。

【００４９】このような出力層における誤差正信号と誤
差負信号とから、出力層より前の中間層におけるニュー
ロンの誤差正信号と誤差負信号とを生成するには、幾つ
かの方法が考えられるが、図１０に示す誤差信号生成手
段としての誤差信号生成回路４４を参照して一例を説明
する。今、注目しているニューロンｉとこのニューロン
ｉが属している層（第Ｌ層とする）の一つ出力層寄りの
層（第Ｌ＋１層とする）におけるｊ番目のニューロンと
の間の結合係数をＴｉｊとする。

【００５０】第Ｌ＋１層にあってニューロンｉと興奮性
結合をしている全ニューロンについて、それらのニュー
ロンの誤差正信号とそれらのニューロンとニューロンｉ
との間の結合係数との論理積をＡＮＤゲート４５により
とり、さらにその結果同士の論理和をＯＲゲート４６に
よりとる。今、これをΔ（＋）ｉとすると、　　Δ′（
＋）ｉ＝（（Ｔｉ１　ＡＮＤ　Δ（＋）１）ＯＲ（Ｔｉ
２　ＡＮＤ　Δ（＋）２）ＯＲ〜）となる。

【００５１】また、第Ｌ＋１層にあってニューロンｉと
抑制性結合をしている全ニューロンについて、それらの
ニューロンの誤差負信号とそれらのニューロンとニュー
ロンｉとの間の結合係数との論理積をＡＮＤゲート４７
によりとり、さらにその結果同士の論理和をＯＲゲート
４６によりとり、この結果と先程のΔ′（＋）ｉの論理
和をＯＲゲート４６によりとり、これをニューロンｉの
誤差正信号Δ（＋）ｉとする。

【００５２】同様に、第Ｌ＋１層にあってニューロンｉ
と興奮性結合をしている全ニューロンについて、それら
のニューロンの誤差負信号とそれらのニューロンとニュ
ーロンｉとの間の結合係数との論理積をＡＮＤゲート４
７によりとり、さらにその結果同士の論理和をＯＲゲー
ト４８によりとる。今、これをΔ（−）ｉとすると、　
　Δ′（−）ｉ＝（（Ｔｉ１　ＡＮＤ　Δ（−）１）Ｏ
Ｒ（Ｔｉ２　ＡＮＤ　Δ（−）２）ＯＲ〜）となる。

【００５３】 　　Δ（＋）ｉ＝（Δ′（＋）ｉ　ＯＲ（Ｔｉ１　ＡＮ
Ｄ　Δ（−）１）ＯＲ（Ｔｉ２　ＡＮＤ　Δ（−）２）
ＯＲ〜）

【００５４】また、第Ｌ＋１層にあってニュー
ロンｉと抑制性結合をしている全ニューロンについて、
それらのニューロンの誤差正信号とそれらのニューロン
とニューロンｉとの間の結合係数との論理積をＡＮＤゲ
ート４５によりとり、さらにその結果同士の論理和をＯ
Ｒゲート４８によりとり、この結果と先程のΔ′（−）
ｉとの論理和をＯＲゲート４８によりとり、これをニュ
ーロンｉの誤差負信号Δ（−）ｉとする。

【００５５】 　　Δ（−）ｉ＝（Δ′（−）ｉ　ＯＲ（Ｔｉ１　ＡＮ
Ｄ　Δ（＋）１）ＯＲ（Ｔｉ２　ＡＮＤ　Δ（＋）２）
ＯＲ〜）

【００５６】なお、図１０にあっては、結合が
興奮性か抑制性かの区別を示す１ビットのフラグ４９（
図８のメモリ２７と同様）により、上述した興奮性結合
と抑制性結合との処理の切換えを切換えゲート回路５０
により行なうようにしている。また、算出された誤差正
信号と誤差負信号とのパルス密度を分周回路５１で減少
させることにより、学習能力を高めるようにしているが
、この処理は必須ではない。

【００５７】次に、このように得られた誤差正信号と誤
差負信号とを用いて、結合係数の大きさを変える方法に
ついて、図１１に示す変更手段としての係数変更回路５
２を参照して説明する。まず、興奮性結合の場合、着目
しているニューロンｉより一つ入力層側の層のｋ番目の
ニューロンからこのニューロンｉへの入力信号Ｏｋ　と
誤差正信号Δ（＋）ｉとの論理積をＡＮＤゲート５３に
よりとり、ＮＯＴゲート５４により否定したものと、結
合係数との論理積をＡＮＤゲート５５によりとり、さら
に、その結果と、入力信号Ｏｋ　と誤差負信号Δ（−）
ｉとのＡＮＤゲート５６による論理積結果との論理和を
、ＯＲゲート５７によりとり、この結果を新しい結合係
数Ｔｋｉとし、メモリ５８を書換える。

【００５８】即ち、新しいＴｋｉ＝（（（ＮＯＴ　（Ｏ
ｋ　ＡＮＤ　Δ（＋）ｉ））　ＡＮＤ　Ｔｋｉ）ＯＲ（
Ｏｋ　ＡＮＤ　Δ（−）ｋ））として表すことができる
。

【００５９】次に、抑制性結合の場合、着目しているニ
ューロンｉより一つ入力層側の層のｋ番目のニューロン
からこのニューロンｉへの入力信号Ｏｋ　と誤差負信号
Δ（−）ｉとの論理積をＡＮＤゲート５３によりとり、
ＮＯＴゲート５４により否定したものと、結合係数との
論理積をＡＮＤゲート５５によりとり、さらに、その結
果と、入力信号Ｏｋ　と誤差正信号Δ（＋）ｉとのＡＮ
Ｄゲート５６による論理積結果との論理和を、ＯＲゲー
ト５７によりとり、この結果を新しい結合係数Ｔｋｉと
し、メモリ５８を書換える。

【００６０】即ち、新しいＴｋｉ＝（（（ＮＯＴ　（Ｏ
ｋ　ＡＮＤ　Δ（−）ｉ））　ＡＮＤ　Ｔｋｉ）ＯＲ（
Ｏｋ　ＡＮＤ　Δ（＋）ｉ））として表すことができる
。

【００６１】なお、図１１にあっても、図１０の場合と
同様に、結合が興奮性か抑制性かの区別を示す１ビット
のフラグ５９により、上述した興奮性結合と抑制性結合
との処理の切換えを切換えゲート回路６０により行なう
ようにしている。

【００６２】図１（ａ）に示すような回路を含む上述し
た学習回路を持つパルス密度型階層ニューラルネットワ
ークに学習を行なわせたところ、優れた学習能力のある
ことが確認されたものである。

【００６３】ちなみに、誤差正信号と誤差負信号とを最
も簡単に生成する方式として次のような比較例１、即ち
誤差正信号として出力信号そのものを用い、誤差負信号
として教師信号そのものを用い、Δ（＋）ｊ＝Ｏｊ、Δ
（−）ｊ＝Ｋｊ を想定したところ、 δ（＋）ｊ＝ｏｊ、δ（−）ｊ＝ｋｊ であり、誤差正信号と誤差負信号とを生成するために特
別な処理部を必要とせず、最も実現容易なものとなる。 しかし、誤差正信号のパルス密度δ（＋）ｊと誤差負信
号のパルス密度δ（−）ｊが、実際の誤差ｏｊ−ｋｊに
比べて大きな値を持つことになり、前述したように好ま
しくない。 実際にこの方式で学習を試みたところ、全く学習させる
ことができなかったものである。

【００６４】また、パルス密度δ（＋）ｊ、δ（−）ｊ
を最も小さくする方式として次のような比較例２、即ち
、ｏｊ≧ｋｊのときには、δ（＋）ｊ＝ｏｊ−ｋｊ、δ
（−）ｊ＝０とし、ｋｊ＞ｏｊのときには、逆に、δ（
＋）ｊ＝０、δ（−）ｊ＝ｋｊ−ｏｊとなるように誤差
正信号と誤差負信号とを生成する方式を想定した。この
場合、誤差正信号と誤差負信号とが最も小さくなり、好
ましい。しかし、この方式は、誤差正信号と誤差負信号
とをビット列の論理演算のみでは生成できない、という
致命的な欠点を持つ。即ち、この方式を実現するために
は、ｏｊとｋｊとの大きさを比較する手段及びｏｊとｋ
ｊとの差をパルス密度とする信号を生成する手段とが必
要となるが、これらは、ビット列の論理演算のみでは実
現できない。

【００６５】

【発明の効果】本発明は、上述したように出力層の神経
細胞模倣素子に対する誤差信号の正成分を教師信号の論
理否定と出力信号との論理和により算出し、前記出力層
の神経細胞模倣素子に対する誤差信号の負成分を教師信
号と出力信号の論理否定との論理和により算出するよう
にしたので、出力層の誤差信号の正成分と負成分を別々
のビット列に荷わせることができ、パルス密度を信号と
して使用するようなビット列表現で負の値の表現が困難
なハードウエアに対しても適用可能な最適な誤差信号と
なり、かつ、簡単な論理回路で算出生成できるものであ
る。

【図面の簡単な説明】

【図１】本発明の一実施例を示す出力層の誤差信号生成
用の論理回路図である。

【図２】信号演算部の基本的構成を示す論理回路図であ
る。

【図３】パルス密度信号処理例を示すタイミングチャー
トである。

【図４】パルス密度信号処理例を示すタイミングチャー
トである。

【図５】パルス密度信号処理例を示すタイミングチャー
トである。

【図６】パルス密度信号処理例を示すタイミングチャー
トである。

【図７】興奮性／抑制性対応の処理例を示す回路図であ
る。

【図８】興奮性／抑制性対応の処理例を示す回路図であ
る。

【図９】興奮性／抑制性対応の処理例を示す回路図であ
る。

【図１０】中間層における誤差信号生成回路の回路図で
ある。

【図１１】結合係数変更回路の回路図である。

【図１２】従来例を示すニューラルネットワークの概念
図である。

【図１３】その１つのユニット構成を示す概念図である
。

【図１４】シグモイド関数を示すグラフである。

【図１５】１つのネットワークの具体的回路図である。

【図１６】デジタル構成例を示すブロック図である。

【図１７】その一部の回路図である。

【図１８】その一部の他の回路図である。

【符号の説明】

２３，３０，３１　　　　格納手段 ３７，４０，４２，４３　　　　ゲート回路４４　　　
　誤差信号生成手段 ５２　　　　変更手段

Claims (2)

【特許請求の範囲】
1. 【請求項１】　　ビット列表現の入力信号をデジタル論
   理回路により処理してビット列表現の出力信号を出す複
   数個の神経細胞模倣素子を階層型に連結してニューラル
   ネットワークを形成し、ある神経細胞模倣素子が他の神
   経細胞模倣素子からの出力信号を入力信号として受け取
   る時にその入力信号に重み付けを行なうための結合係数
   を格納した格納手段と、ニューラルネットワーク内の神
   経細胞模倣素子の結合係数値をこれらの神経細胞模倣素
   子に対する誤差信号に基づいて変更する変更手段と、各
   神経細胞模倣素子に対する誤差信号を出力層の神経細胞
   模倣素子に対する誤差信号に基づいて生成する誤差信号
   生成手段とを設け、出力層の神経細胞模倣素子に対する
   誤差信号をこれらの神経細胞模倣素子からの出力信号と
   教師信号とに基づいて生成するようにしたニューラルネ
   ットワークの信号処理方法において、前記出力層の神経
   細胞模倣素子に対する誤差信号の正成分を教師信号の論
   理否定と出力信号との論理積により算出し、前記出力層
   の神経細胞模倣素子に対する誤差信号の負成分を教師信
   号と出力信号の論理否定との論理積により算出するよう
   にしたことを特徴とする信号処理方法。
2. 【請求項２】　　ビット列表現の入力信号をデジタル論
   理回路により処理してビット列表現の出力信号を出す複
   数個の神経細胞模倣素子を階層型に連結してニューラル
   ネットワークを形成し、ある神経細胞模倣素子が他の神
   経細胞模倣素子からの出力信号を入力信号として受け取
   る時にその入力信号に重み付けを行なうための結合係数
   を格納した格納手段と、ニューラルネットワーク内の神
   経細胞模倣素子の結合係数値をこれらの神経細胞模倣素
   子に対する誤差信号に基づいて変更する変更手段と、各
   神経細胞模倣素子に対する誤差信号を出力層の神経細胞
   模倣素子に対する誤差信号に基づいて生成する誤差信号
   生成手段とを設け、出力層の神経細胞模倣素子に対する
   誤差信号をこれらの神経細胞模倣素子からの出力信号と
   教師信号とに基づいて生成するようにしたニューラルネ
   ットワークの信号処理装置において、前記出力層の神経
   細胞模倣素子に対する誤差信号の正成分を教師信号の論
   理否定と出力信号との論理積により算出するゲート回路
   と、前記出力層の神経細胞模倣素子に対する誤差信号の
   負成分を教師信号と出力信号の論理否定との論理積によ
   る演算値により算出するゲート回路とを設けたことを特
   徴とする信号処理装置。