JPH04336656A - ニューラルネットワークの学習方法及びこの方法を用いた信号処理装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、神経細胞回路網の情報
処理機能を人工的に実現することを目指した並列分散型
情報処理装置なるニューロコンピュータ用のニューラル
ネットワークの学習方法及びこの方法を用いた信号処理
装置に関する。

【０００２】

【従来の技術】生物の神経回路網を模倣して開発された
情報処理装置がニューラルネットワークである。このよ
うなニューラルネットワークはニューロンと呼ばれる構
成単位を、これらのニューロン同士の間に信号を伝達す
る手段を設けることにより、ニューロン同士が互いに信
号を授受できるように結合したものである。ここに、ニ
ューロンは生物の神経回路網における神経細胞に相当す
る。ここに、ニューラルネットワーク内の幾つかのニュ
ーロンは入力層に位置してニューラルネットワーク外部
からの信号を受取る。また、ニューラルネットワーク内
の幾つかのニューロンは出力層に位置してニューラルネ
ットワーク外部へ信号を出力する。即ち、ニューラルネ
ットワークは外部から信号を受取り、その信号をネット
ワーク内部で変換して外部に信号を出力する情報処理装
置として機能する。ある種のニューラルネットワークで
は、ネットワークに信号を入力してネットワークから出
力させる都度、出力信号のあるべき値をネットワークに
与えてやることにより、何回かこの操作を繰返していく
うちに、出力信号の値をあるべき値に近付けさせること
ができるようにしたものがある。これを、ニューラルネ
ットワークの「学習」と呼んでいる。この時、ネットワ
ークに出力信号のあるべき値を与える信号を「教師信号
」と呼ぶ。このような学習能力があるため、既存のコン
ピュータで必要なプログラムが不要となり、プログラム
の費用がかからない上に、使用環境に応じてプログラム
に調整を加える必要もなくなる。

【０００３】このようなニューラルネットワークの入出
力処理機能について説明する。ニューラルネットワーク
内の各ニューロンはネットワーク内の他の幾つかのニュ
ーロン又はネットワーク外から信号を受取り、ネットワ
ーク内の他の幾つかのニューロン又はネットワーク外へ
信号を出力する。ニューロンはそのニューロンに結合し
ているニューロンから信号を受取る時、結合毎に異なる
受容効率を持って信号を受取る。例えば、あるニューロ
ン１から結合１を通して信号を受取り、他のニューロン
２から結合２を通して信号を受取るニューロンにおいて
、結合１の受容効率が０．８で結合２の受容効率が０．
５の場合、結合１と結合２に各々１．０の強さの入力信
号が入ってきたとき、ニューロンが結合１を通してニュ
ーロン１から受取る入力信号の値は０．８であり、結合
２を通してニューロン２から受取る入力信号の値は０．
５である。こうして受取った入力信号に基づいてニュー
ロンは信号を出力する。以後、このような結合の受容効
率を「結合係数」と呼ぶ。ニューロンが入力信号に基づ
いて信号を出力する方式には、幾つかの方式があるが、
ここでは最も一般的なものを例示する。

【０００４】まず、ｋ個のニューロンから信号を受取る
ニューロンｊを考える。ｋ個の内のｉ番目のニューロン
から入ってくる入力信号をＯｉ　として表す。また、ｉ
番目のニューロンとニューロンｊとの間の結合係数をＴ
ｊｉ　　として表す。最初に、ニューロンｊに結合係数
Ｔｊｉで重み付けられて入ってくる入力信号Ｏｉ　（ｉ
＝１，２，…，ｋ）の総和をとる。その総和をｎｅｔｊ
　という記号で表すと（１）式のようになる。

【０００５】 　　ｎｅｔｊ　＝　ΣＴｊｉＯｉ　　　　　　　　　　
　　　　　　　　　　……………………（１） 　　ついで、この総和ｎｅｔｊ　を単調増加飽和関数ｆ
により変換してニューロンｊの出力Ｏｊ　とすると、（
２）式に示すようになる。

【０００６】 　　Ｏｊ　＝　ｆ（ｎｅｔｊ　）　　　　　　　　　　
　　　　　　　　　……………………（２） 　　ここに、関数ｆとしてはロジスティック関数又はシ
グモイド関数と呼ばれる（３）式及び図５に示されるよ
うな関数がよく用いられる。

【０００７】

【数１】

【０００８】このような機能をなすニューラルネットワ
ークを作る方法には種々のものがある。最も簡単には、
通常のコンピュータで動くソフトウエアとして作ること
ができる。この場合、種々の構成のニューラルネットワ
ークを条件をいろいろ変えて動かすことが比較的容易に
できる。しかし、動作速度が遅く、かつ、小さくできな
いため、他の機器に組込んで使うことが難しい欠点があ
る。よって、ニューラルネットワークの研究用には適し
ているが、実用には適さない場合が多い。

【０００９】このようなコンピュータ上のソフトウエア
としてのニューラルネットワークの欠点を克服するもの
として、ニューラルネットワークをチップ化する方法が
ある。これには、アナログ回路で作る方法とデジタル回
路で作る方法とがある。アナログ回路で作る場合、結合
係数を可変抵抗で、ニューロンをアンプで作ることが多
い。しかし、アナログ回路の場合、温度等の使用環境に
よって特性が変化し、ノイズに弱く、また、素子毎に特
性がばらつくという欠点がある。また、可変以降をＬＳ
Ｉ化するのが難しい。

【００１０】一方、デジタル回路で作る場合、アナログ
回路で作るよりも回路が複雑化するものの、アナログ回
路方式の欠点は克服できる。デジタル回路方式の内、回
路が簡単でアナログ回路の場合に迫る集積度が得られる
ものとして、下記のようなパルス密度型ニューラルネッ
トワークがある。これは、例えば特願平２−１７８７８
４号や、特願平２−４１２４４８号として本出願人によ
り提案されているものである。また、別方式のパルス密
度型ニューラルネットワークとしては、米国特許第４８
９３２５５号明細書や、「ＳＰＩＫＥ　ＴＲＡＮＳＭＩ
ＳＳＩＯＮ　ＦＯＲ　ＮＥＵＲＡＬＬ　ＮＥＴＷＯＲＫ
Ｓ」（Ｍａｘ　Ｓ．Ｔｏｍｌｉｎｓｏｎ，Ｊｒ）や、「
ディジタル神経回路モデル」（電子情報通信学会技術研
究報告，論文番号　　ＭＢＥ８７−１５７，ｐｐ．４１
５−４２２，１９８８年３月、鎌田，平井）がある。

【００１１】このようなパルス密度型ニューラルネット
ワークについて、まず、入出力処理機能について説明す
る。図６はパルス密度型ニューラルネットワーク内の一
つのニューロン（神経細胞模倣素子）に相当する部分を
示し、この図によりニューロンにおける入力信号の処理
方法を説明する。入力信号及び出力信号は全て同期化さ
れたビット列よりなり、ビツト列中の各ビットは「１」
又は「０」の何れかをとる。ここに、信号の量はビット
列のパルス密度で表現し、例えばある一定時間内にある
「１」の状態数で表す。ｉ番目の入力信号をＯｉ　とす
ると、図７は４／６なる信号を示し、同期パルス６個中
に入力信号Ｏｉは「１」が４個、「０」が２個である。 このとき、「１」と「０」との並び方はランダムである
ことが望ましい。

【００１２】一方、ニューロン間の結合の度合を示す結
合係数Ｔｊｉも同様に「１」と「０」とのビット列表現
のパルス密度で表現し、予めメモリ上に用意しておく。 図８は「１０１０１０」＝３／６の例を示す。この場合
も、「１」と「０」との並び方はランダムであることが
望ましい。

【００１３】しかして、各ニューロンでは、結合係数Ｔ
ｊｉ　　のビット列を同期クロックに応じてメモリ上よ
り順次読出し、ＡＮＤゲート１により入力信号のビット
列との論理積をとる（Ｏｉ　∩Ｔｊｉ　）。これを、ニ
ューロンｊへの入力とする。上例の場合で説明すると、
入力信号が「１０１１０１」として入力された時、これ
と同期してメモリ上よりビット列を呼出し、順次論理積
をとることにより、図９に示すような「１０１０００」
なるビット列が得られる。これは、入力信号Ｏｉ　が結
合係数Ｔｊｉ　　により重み付けられてパルス密度が２
／６になったことを示している。

【００１４】ＡＮＤゲート１の出力のパルス密度は、近
似的には、入力信号のパルス密度と結合係数のパルス密
度との積になり、アナログ方式の結合係数と同様の機能
を有する。これは、信号の列が長いほど、また、「１」
と「０」との並び方がランダムであるほど、数値の積に
近い機能を持つことになる。ランダムであるとは、ビッ
トが「１」であるか「０」であるかが、そのビットの直
前のビットと無関係に決まることを意味する。なお、入
力ビット列に比べて結合係数のビット列が短くて、読出
すべきデータがなくなってしまったら、再びデータの先
頭に戻って読出しを繰返せばよい。

【００１５】ここに、一つのニューロンは多入力である
ので、前述した「入力信号と結合係数とのＡＮＤ」も多
数あるので、次に、ＯＲゲート２によりこれらの論理和
をとる。入力は同期化されているので、例えば、１番目
のデータが「１０１０００」、２番目のデータが「０１
００００」の場合、両者の論理和をとると、「１１１０
００」となる。これをｍ個分の多入力について同時に計
算し出力とすると、例えば図１０に示すようになる。こ
れは、アナログ計算における和の計算及び非線形関数（
シグモイド関数）の部分に対応する。

【００１６】パルス密度が低い場合、その論理和をとっ
たもののパルス密度は、各々のパルス密度の和に近似的
に一致する。また、論理和をとったもののパルス密度は
パルス密度の和の単調増加関数である。パルス密度は１
より大きくなることがないので、パルス密度が高くなる
につれて、ＯＲゲート２の出力はパルス密度の和とは一
致せずにだんだん飽和してくる。従って、このＯＲゲー
ト２により論理和をとる操作は、前述した入力信号の総
和を単調増加飽和関数ｆで変換する操作に対応している
。

【００１７】ところで、上述した説明は、結合係数Ｔｊ
ｉ　　が正である場合を想定したものであるが、ニュー
ラルネットワークの機能を実用的なものにするためには
、結合係数を、正値のみでなく負値もとれるようにして
、負の入力により出力を抑制できるようにすることが望
ましい。ここに、結合係数が正である結合を「興奮性結
合」、結合係数が負である結合を「抑制性結合」と呼ぶ
ものとする。アナログ回路では、抑制性結合の場合、ア
ンプを用いて出力を反転させ、結合係数に相当する抵抗
値で他のニューロンへ結合させればよい。この点、パル
ス密度は常に正であるので負表現はできないが、下記の
ａ，ｂ，ｃの何れかの方法により、ニューロンの出力信
号を生成するようにすれば、結合係数の値をパルス密度
で表現している場合であっても、結合の興奮性及び抑制
性への対応が可能である。

【００１８】まず、第１の方法ａについて図１１を参照
して説明する。各結合に対して興奮性結合か抑制性結合
かを予め設定しておき、興奮性結合のグループ３ａと抑
制性結合のグループ３ｂとで別々に、上述した入力信号
とメモリ４ａ，４ｂに各々格納された結合係数との論理
積をＡＮＤゲート５ａ，５ｂ（図６中のＡＮＤゲート１
に相当）によりとり、その結果をＯＲゲート６ａ，６ｂ
（図６中のＯＲゲート２に相当）によりとる。又は、各
入力に対して予め興奮性か抑制性かを設定しておき、興
奮性の入力のグループ３ａと抑制性の入力のグループ３
ｂとで別々に上述の論理和をとるようにしてもよい。次
に、抑制性結合のグループ３ｂのＯＲゲート６ｂの出力
の否定をＮＯＴゲート７によりとり、この否定結果と興
奮性結合のグループ３ａのＯＲゲート６ａの出力との論
理積をＡＮＤゲート８によりとり、このゲート回路９に
よる結果をニューロン出力とする方法である。

【００１９】ついで、第２の方法ｂについて図１２を参
照して説明する。この方法では、結合毎にその結合が興
奮性であるか抑制性であるかを表すメモリ１０を有し、
その内容によって、ゲート回路１１により結合の興奮性
、抑制性を任意に設定できるようにしたものである。 そこで、このメモリ９の内容によって決まる興奮性の結
合のグループと抑制性の結合のグループとでＯＲゲート
６ａ，６ｂにより別々に論理和をとる。後は、ゲート回
路９により第１の方法ａの場合と同じ処理をしてニュー
ロンからの出力とする方法である。

【００２０】また、第３の方法ｃについて図１３を参照
して説明する。この方法では、結合毎に興奮性の結合係
数Ｔ（＋）ｉｊ　と抑制性の結合係数Ｔ（−）ｉｊ　と
の両方を持たせて各々メモリ１２，１３に格納しておく
。これは、結合係数を正の量と負の量との和の形に分解
して表したことに相当する。そして、入力信号と興奮性
の結合係数Ｔ（＋）ｉｊ　との論理積をＡＮＤゲート１
４ａによりとり、これらのＡＮＤゲート１４ａによる結
果の論理和をＯＲゲート６ａによりとる。同様に、入力
信号と抑制性の結合係数Ｔ（−）ｉｊ　との論理積をＡ
ＮＤゲート１４ｂによりとり、これらのＡＮＤゲート１
４ｂによる結果の論理和をＯＲゲート６ｂによりとる。 後は、ゲート回路９により第１の方法ａの場合と同じ処
理をしてニューロンからの出力とする方法である。

【００２１】これらの３つの方法では、入力信号の値が
「０」のとき、出力信号の値が「０」になってしまうと
か、及び、興奮性結合グループからの入力信号よりも抑
制性結合グループからの入力信号のほうが出力信号に強
い影響を持つといった特徴を持つ。

【００２２】一方、これらの方式に対して、出力レベル
を調整できるようにすることにより、ニューロンの能力
を高めるようにしたものが、特願平２−３１６５０５号
として本出願人により提案されている。この方法にも３
種類あり、前述した方法ａ，ｂ，ｃに各々対応させて方
法ｄ，ｅ，ｆがある。

【００２３】まず、方法ｄについて図１４を参照して説
明する。この方法では、方法ａで示したゲート回路９に
代えて、ゲート回路１５をＯＲゲート６ａ，６ｂの出力
側に設けて出力信号生成手段となる出力信号生成回路１
６を形成したものである。ここに、興奮性、抑制性のＯ
Ｒゲート６ａ，６ｂの出力の一致／不一致を排他的ＯＲ
ゲート１７により検出し、不一致であれば、興奮性結合
グループのＯＲゲート６ａの結果をＡＮＤゲート１８、
ＯＲゲート１９を通してニューロン出力とする。即ち、
興奮性結合グループの論理和が「０」で抑制性結合グル
ープの論理和が「１」であれば、「０」を出力し、興奮
性結合グループの論理和が「１」で抑制性結合グループ
の論理和が「０」であれば、「１」を出力する。一方、
興奮性、抑制性のＯＲゲート６ａ，６ｂの出力が一致す
るときには、別に用意した入力信号をＮＯＴゲート２０
、ＡＮＤゲート２１、ＯＲゲート１９を通してそのまま
ニューロン出力とするようにしたものである。

【００２４】方法ｅにあっては、図１５に示すように、
方法ｂに対して上記のゲート回路１５を設けて出力信号
生成回路１６を形成したもので、方法ｆにあっては、図
１６に示すように、方法ｃに対して上記のゲート回路１
５を設けて出力信号生成回路１６を形成したものである
。

【００２５】これらの方法ｄ，ｅ，ｆにおいて、興奮性
結合グループのＯＲゲート６ａによる論理和結果と抑制
性結合グループのＯＲゲート６ｂによる論理和結果とが
一致したときに出力する別の入力信号の値が常に「０」
である場合、即ち、別入力の信号のパルス密度が０であ
る場合は、方法ｄにおけるニューロン出力は方法ａにお
けるニューロン出力、方法ｅにおけるニューロン出力は
方法ｂにおけるニューロン出力、方法ｆにおけるニュー
ロン出力は方法ｃにおけるニューロン出力に各々等しく
なる。

【００２６】しかるに、方法ｄ，ｅ，ｆにおいて、別入
力の信号の値が「１」をとる確率が０．５（従って、「
０」をとる確率も０．５）の場合、即ち、別入力の信号
のパルス密度が０．５である場合には、興奮性結合グル
ープからの入力信号と、抑制性結合グループからの入力
信号との、出力信号に対する影響度が等しくなり、ニュ
ーロンの出力関数が興奮性と抑制性とでバランスのとれ
たものとなり、かつ、出力関数の形が、通常の階層型ニ
ューラルネットワークで広く使われている出力関数であ
るシグモイド関数の形に近くなるため、特に好ましいも
のとなる。

【００２７】上述したように入出力機能を持つニューロ
ンを組合せてネットワーク構成したものが、パルス密度
型ニューラルネットワークであり、特に、図１７や図１
８に示すように複数層に構成したものがパルス密度型階
層ニューラルネットワークである。３層構造を示す図１
７において、Ａ１　は入力層に属するニューロン、Ａ２
は中間層に属するニューロン、Ａ３　は出力層に属する
ニューロンを示す。入力層のニューロンＡ１　ではニュ
ーラルネットワークの外部から入力信号を結合係数で重
み付けされることなくそのまま受取り、受取った入力信
号と同じ強さの出力信号を、中間層で自分に結合されて
いる何個かのニューロンＡ２　に送る。中間層に属する
ニューロンＡ２　は前述したような入出力機能により、
入力層で自分と結合されている何個かのニューロンＡ１
　から入力信号を受取り、出力層で自分と結合されてい
る何個かのニューロンＡ３　へ出力信号を送る。出力層
に属するニューロンＡ３　では前述したような入出力機
能により、中間層で自分と結合されている何個かのニュ
ーロンＡ２　から入力信号を受取り、ニューラルネット
ワークの外部に出力信号を送る。

【００２８】中間層の数は一つに限らず、例えば図１８
に示すように、中間層を２層とし、全体で４層構造とし
てもよい。図１８においては、Ａ１　は入力層に属する
ニューロン、Ａ２　，Ａ３　は中間層に属するニューロ
ン、Ａ４　は出力層に属するニューロンを示す。もちろ
ん、中間層を３層以上としてもよい。

【００２９】このようなニューラルネットワーク構成に
おいて、ネットワーク全体を同期させておけば、各層と
も、上述したような機能で並列的に演算することが可能
となる。

【００３０】ついで、このような階層型ニューラルネッ
トワークの学習アルゴリズムについて説明する。ここに
、この学習アルゴリズムとしては、バックプロパゲーシ
ョン学習則が最も広く使われており、このバックプロパ
ゲーション学習則について説明する。

【００３１】まず、各ニューロン間の結合係数をランダ
ムな値に設定しておく。この状態でニューラルネットワ
ークに入力信号を与えると、ニューラルネットワークか
らの出力信号の値は、必ずしも望ましいものとはならな
い。そこで、このニューラルネットワークに望ましい出
力信号を教師信号として与えて、次に再び同じ入力信号
が与えられたとき、出力信号が望ましい出力信号に近づ
くように、メモリ上の各結合係数の値を変化させる。例
えば、出力層のｎ番目のニューロンの出力信号の強さを
Ｏｎ　とし、そのニューロンに対する教師信号の強さを
Ｋｎ　とすると、（４）式で定義される誤差

【００３２
】

【数２】

【００３３】が減少するように、（５）式で示されるΔ
Ｔｊｉ　∝　−∂Ｅ／∂Ｔｊｉ　　　　…………………
…（５）変化量ΔＴｊｉ　　分だけ結合係数Ｔｊｉの値
を変える。この操作をニューラルネットワークに入力信
号を与える度に繰返していくことにより、ニューラルネ
ットワークは遂には、入力信号を与えると望ましい出力
信号を出力するようになる。

【００３４】ここに、結合係数の変化量ΔＴｊｉ　　を
求めるには、下記のようにする。ただし、ニューロンの
入出力処理については前述した（２）式及び（１）式で
示したものとする。まず、誤差Ｅを結合係数Ｔｊｉ　　
で偏微分すると、（６）式に示すように 　　∂Ｅ／∂Ｔｊｉ　＝（∂Ｅ／∂ｎｅｔｊ　）（∂ｎ
ｅｔｊ　／∂Ｔｊｉ　）　　………（６） となる。ここに、（１）式より ∂ｎｅｔｊ　／∂Ｔｊｉ　＝Ｏｉ　　　　　　…………
…………（７）であるので、（６）式は（８）式に示す
ように∂Ｅ／∂Ｔｊｉ　＝（∂Ｅ／∂ｎｅｔｊ　）・Ｏ
ｉ　……（８）となる。

【００３５】さらに、次の（９）式 δｊ　＝　−∂Ｅ／∂ｎｅｔｊ　　　　　　……………
………（９）で定義される誤差信号δｊ　を導入すると
、（８）式は（１０）式 ∂Ｅ／∂Ｔｊｉ　＝−δｊ　・Ｏｉ　　　　……………
………（１０）に示すようになる。

【００３６】従って、（５）式より結合係数の変化量Δ
Ｔｊｉは（１１）式 ΔＴｊｉ　＝　η・δｊ　・Ｏｉ　　　　　　　………
……………（１１）として求められる。ここに、ηは学
習率と称される定数であり、通常、０．５以下の小さい
値をとる。

【００３７】なお、誤差信号δｊ　は（１２）〜（１４
）式により求められる。まず、 　　δｊ　＝−∂Ｅ／∂ｎｅｔｊ　 　　　　　　＝−（∂Ｅ／∂Ｏｊ　）（∂Ｏｊ　／∂ｎ
ｅｔｊ　）　　…………（１２） であり、また、（２）式より 　　∂Ｏｊ　／∂ｎｅｔｊ　＝ｆ′（ｎｅｔｊ　）　　
　　　　…………………（１３） であるので、 　　δｊ　＝−（∂Ｅ／∂Ｏｊ　）・ｆ′（ｎｅｔｊ　
）　　　………………（１４） となる。

【００３８】特に、ニューロンｊが出力層のニューロン
の場合、（４）式より 　　∂Ｅ／∂Ｏｊ　＝−（Ｋｊ　−Ｏｊ　）　　　　　
　　　　　…………………（１５） であるので、誤差信号δｊ　は 　　δｊ　＝（Ｋｊ　−Ｏｊ　）ｆ′（ｎｅｔｊ　）　
　　　　　…………………（１６） となる。

【００３９】また、ニューロンｊが中間層のニューロン
の場合、

【００４０】

【数３】

【００４１】となる。ただし、ｋについてのΣはニュー
ロンｊの出力信号を入力信号として受取るニューロンに
ついての和をとることを意味する。ここで、（１）式よ
り、 　　∂ｎｅｔｋ　／∂Ｏｊ　＝Ｔｋｊ　　　　　　　　
……………………………（１８） であるので、（１７）式は

【００４２】

【数４】

【００４３】となり、（１６）式は

【００４４】

【数５】

【００４５】となる。

【００４６】即ち、中間層のニューロンｊの誤差信号δ
ｊ　はニューロンｊの出力信号を入力信号として受取る
ニューロンの誤差信号δｋ　を用いて算出することがで
きる。

【００４７】以上より、結合係数の変更は、下記の手順
に従って行えばよいことになる。

【００４８】■　　まず、出力層のニューロンについて
（１６）式により誤差信号を求める。

【００４９】■　　次に、今求めた出力層のニューロン
の誤差信号を使って（２０）式により出力層より１つ前
の層のニューロンについて誤差信号を求める。

【００５０】■　　ついで、今求めた層のニューロンの
誤差信号を使って（２０）式によりさらに１つ前の層の
ニューロンについて誤差信号を求める。

【００５１】■　　以下、この手順を繰返して、出力層
側から入力層側に向かって、各層のニューロンの誤差信
号を入力層を除く全ての層について求める。

【００５２】■　　次に、全ての結合係数について（１
１）式により結合係数の変更量を求めて、結合係数を変
更する。

【００５３】つづいて、前出した既提案例等に示される
パルス密度型階層ニューラルネットワークにおける学習
アルゴリズムについて説明する。この場合の学習の手順
は、基本的には、上記のバックプロパゲーション学習則
と同様である。

【００５４】この学習は、まず、各ニューロンに対する
誤差信号を求め、ついで、その誤差信号を用いて結合係
数の値を変更する、という手順に従って実行される。そ
の際、まず、出力層のニューロンについて誤差信号を求
め、ついで、その誤差信号を用いて出力層よりも１つ前
の層のニューロンについて誤差信号を求め、次に、今求
めた層の誤差信号を用いてさらに１つ前の層のニューロ
ンについて誤差信号を求める、という具合に、出力層か
ら前の方に層を順に遡って各ニューロンの誤差信号を求
めていく。出力層の誤差信号は、教師信号を用いて算出
する。教師信号はネットワークの出力がとるべき値をニ
ューラルネットワークに与えるための信号であり、この
教師信号も入出力信号と同じくビット列よりなり、その
値をビット列のパルス密度で表現するものとする。

【００５５】また、誤差は正の値だけでなく、負の値も
とり得るが、パルス密度型階層ニューラルネットワーク
の場合、信号のとる値をパルス密度で表現しているため
、信号のとる値は常に正であり、一つの信号で正負両方
の値をとり得る量を表現することはできない。そこで、
このようなパルス密度型階層ニューラルネットワークに
おいては、誤差の正成分を表す誤差信号（以下、「誤差
正信号」という）と、誤差の負成分を表す誤差信号（以
下、「誤差負信号」という）との２種類の誤差信号を用
いて、（２１）式に示すように誤差を表現するものとす
る。ただし、δ（＋）ｊは誤差正信号の値（パルス密度
）を示し、δ（−）ｊ　　は誤差正信号の値（パルス密
度）を示し、１≧δ（＋）ｊ　≧０，１≧δ（−）ｊ　
≧０とする。

【００５６】 　　δｊ　＝δ（＋）ｊ　−δ（−）ｊ　　　　　　　
　　……………………………（２１） 　　このように表現するものとすれば、誤差信号δｊ　
の負の値はδ（＋）ｊ　＜δ（−）ｊとすることで表現
し得るものとなる。

【００５７】このような前提において、まず、出力層で
は、教師信号のＮＯＴ（論理否定）をとったビット列と
出力信号とのＡＮＤ（論理積）をとってできたビット列
を誤差正信号とし、出力信号のＮＯＴをとったビット列
と教師信号とのＡＮＤをとってできたビット列を誤差負
信号とする。式で示すと、出力層におけるｊ番目のニュ
ーロンの誤差正信号、誤差負信号、出力信号及び教師信
号を各々Δ（＋）ｊ　，Δ（−）ｊ　，Ｏｊ　，Ｋｊ　
　と表すものとすると、各々（２２）（２３）式に示す
ようになる。

【００５８】 　　Δ（＋）ｊ　＝（Ｏｊ　　ＡＮＤ　　（ＮＯＴ　　
Ｋｊ　））　　　　　……………（２２）　　Δ（−）
ｊ　＝（Ｋｊ　　ＡＮＤ　　（ＮＯＴ　　Ｏｊ　））　
　　　　……………（２３） 　　或いは、（２４）（２５）式に示すようにしても同
じである。 ただし、ＸＯＲは排他的論理和を意味する。

【００５９】 　　Δ（＋）ｊ　＝（Ｏｊ　　ＡＮＤ　　（Ｏｊ　　Ｘ
ＯＲ　　Ｋｊ　））　　　　………（２４）　　Δ（−
）ｊ　＝（Ｋｊ　　ＡＮＤ　　（Ｏｊ　　ＸＯＲ　　Ｋ
ｊ　））　　　　………（２５） 　　このような出力層における誤差正信号Δ（＋）ｊ　
と誤差負信号Δ（−）ｊ　とは、図１９に示すような出
力層誤差信号生成手段となる誤差信号生成回路２２によ
り生成できる。即ち、ニューロンからの出力信号Ｏｊ　
と教師信号Ｋｊ　とを排他的ＯＲゲート２３に入力させ
るとともに、この排他的ＯＲゲート２３出力を各々の信
号とともにＡＮＤゲート２４，２５に入力させることに
より、誤差正信号Δ（＋）ｊ　　及び誤差負信号Δ（−
）ｊ　　を生成するようにしたものである。これは、（
２４）（２５）式方式を示す。

【００６０】ついで、このような出力層の誤差正信号と
誤差負信号とから、出力層より１つ前の中間層における
ニューロンの誤差正信号と誤差負信号とを生成する方法
について説明する。このための方法としても、幾つかの
方法が提案されているが、その一つの方法を図２０を参
照して説明する。ここに、中間層において、注目してい
るあるニューロンｊとそのニューロンｊが属している層
（第Ｌ層）の１つ出力層寄りの層（第Ｌ＋１層）におけ
るｉ番目のニューロンとの間の結合係数をＴｉｊと表す
ものとする。

【００６１】まず、第Ｌ＋１層にあってニューロンｊと
興奮性結合をしている全ニューロンについて、それらの
ニューロンの誤差正信号Δ（＋）ｉ　　とそれらのニュ
ーロンとニューロンｊとの間の結合係数Ｔｉｊ　　との
論理積をゲート回路２６中のＡＮＤゲート２７によりと
り、さらに、その結果同士の論理和をＯＲゲート２８に
よりとる。ここで、この結果を、例えばΔ（１＋）ｊ　
と表すものとすると、（２６）式に示すようになる。

【００６２】 Δ（１＋）ｊ　＝（（Ｔ１ｊ　ＡＮＤ　Δ（＋）１　）
　ＯＲ　（Ｔ２ｊ　ＡＮＤ　Δ（＋）２　）　ＯＲ　〜
）　　……（２６） 　　また、第Ｌ＋１層にあってニューロンｊと抑制性結
合をしている全ニューロンについて、それらのニューロ
ンの誤差負信号Δ（−）ｉ　　とそれらのニューロンと
ニューロンｊとの間の結合係数Ｔｉｊ　　との論理積を
ゲート回路２６中のＡＮＤゲート２７によりとり、さら
に、その結果同士の論理和をＯＲゲート２８によりとる
。ここで、この結果を、例えばΔ（２＋）ｊ　と表すも
のとすると、（２７）式に示すようになる。

【００６３】 Δ（２＋）ｊ　＝（（Ｔ１ｊ　ＡＮＤ　Δ（−）１　）
　ＯＲ　（Ｔ２ｊ　ＡＮＤ　Δ（−）２　）　ＯＲ　〜
）　　……（２７） 　　このΔ（２＋）ｊ　と先程求めたΔ（１＋）ｊ　と
の論理和をＯＲゲート２８によりとり、これをニューロ
ンｊの誤差正信号Δ（＋）ｊ　　とする。即ち、（２８
）式に示すようになる。

【００６４】 Δ（＋）ｊ　＝（Δ（１＋）ｊ　　ＯＲ　　Δ（２＋）
ｊ　）　　　　…………………………………（２８） 　　同様に、第Ｌ＋１層にあってニューロンｊと興奮性
結合をしている全ニューロンについて、それらのニュー
ロンの誤差負信号Δ（−）ｉ　　とそれらのニューロン
とニューロンｊとの間の結合係数Ｔｉｊ　　との論理積
をゲート回路２６中のＡＮＤゲート２９によりとり、さ
らに、その結果同士の論理和をＯＲゲート３０によりと
る。ここで、この結果を、例えばΔ（１−）ｊ　と表す
ものとすると、（２９）式に示すようになる。

【００６５】 Δ（１−）ｊ　＝（（Ｔ１ｊ　ＡＮＤ　Δ（−）１　）
　ＯＲ　（Ｔ２ｊ　ＡＮＤ　Δ（−）２　）　ＯＲ　〜
）　　……（２９） 　　また、第Ｌ＋１層にあってニューロンｊと抑制性結
合をしている全ニューロンについて、それらのニューロ
ンの誤差正信号Δ（＋）ｉ　　とそれらのニューロンと
ニューロンｊとの間の結合係数Ｔｉｊ　　との論理積を
ゲート回路２６中のＡＮＤゲート２９によりとり、さら
に、その結果同士の論理和をＯＲゲート３０によりとる
。ここで、この結果を、例えばΔ（２−）ｊ　と表すも
のとすると、（３０）式に示すようになる。

【００６６】 Δ（２−）ｊ　＝（（Ｔ１ｊ　ＡＮＤ　Δ（＋）１　）
　ＯＲ　（Ｔ２ｊ　ＡＮＤ　Δ（＋）２　）　ＯＲ　〜
）　　……（３０） 　　このΔ（２−）ｊ　と先程求めたΔ（１−）ｊ　と
の論理和をＯＲゲート３０によりとり、これをニューロ
ンｊの誤差負信号Δ（−）ｊ　　とする。即ち、（３１
）式に示すようになる。

【００６７】 Δ（−）ｊ　＝（Δ（１−）ｊ　　ＯＲ　　Δ（２−）
ｊ　）　　　　…………………………………（３１） 　　なお、図２０に示した回路の場合、結合が興奮性か
抑制性かの区別を示す１ビットのフラグ３１を用いて、
ゲート回路３２により、上述した興奮性結合の場合と抑
制性結合の場合との処理の切換えを行うようにしている
。

【００６８】ついで、このように算出された誤差正信号
と誤差負信号とを用いて、結合係数の大きさを変更する
方法について、図２１に示す結合係数可変手段なる結合
係数可変回路３５を参照して説明する。まず、興奮性結
合の場合、着目しているニューロンｊより１つ入力層側
の層のｋ番目のニューロンからこのニューロンｊへの入
力信号Ｏｋ　と誤差正信号Δ（＋）ｊ　　との論理積を
ＡＮＤゲート３６によりとった結果をＮＯＴゲート３７
で論理否定し、この結果とメモリ３８（メモリ４等に相
当）に記憶された結合係数との論理積をＡＮＤゲート３
９によりとる。一方、入力信号Ｏｋ　と誤差負信号Δ（
−）ｊ　　との論理積をＡＮＤゲート４０によりとる。 これらのＡＮＤゲート３９，４０の結果同士の論理和を
ＯＲゲート４１によりとり、この結果を新しい結合係数
Ｔｊｋ　　とし、メモリ３８の内容を書換える。

【００６９】 新Ｔｊｋ　＝（（（ＮＯＴ　（Ｏｋ　ＡＮＤ　Δ（＋）
ｊ　））　ＡＮＤ　旧Ｔｊｋ　）　ＯＲ　（Ｏｋ　ＡＮ
Ｄ　Δ（−）ｊ　））　　　　　　　　　　　　　　　
　　　　　　　　　　　　　　　　　　　　　　　　　
…………………………………（３２） 　　次に、抑制性結合の場合、着目しているニューロン
ｊより１つ入力層側の層のｋ番目のニューロンからこの
ニューロンｊへの入力信号Ｏｋ　と誤差負信号Δ（−）
ｊとの論理積をＡＮＤゲート３６によりとった結果をＮ
ＯＴゲート３７で論理否定し、この結果とメモリ３８（
メモリ４等に相当）に記憶された結合係数との論理積を
ＡＮＤゲート３９によりとる。一方、入力信号Ｏｋ　と
誤差正信号Δ（＋）ｊ　　との論理積をＡＮＤゲート４
０によりとる。これらのＡＮＤゲート３９，４０の結果
同士の論理和をＯＲゲート４１によりとり、この結果を
新しい結合係数Ｔｊｋとし、メモリ３８の内容を書換え
る。

【００７０】 新Ｔｊｋ　＝（（（ＮＯＴ　（Ｏｋ　ＡＮＤ　Δ（−）
ｊ　））　ＡＮＤ　旧Ｔｊｋ　）　ＯＲ　（Ｏｋ　ＡＮ
Ｄ　Δ（＋）ｊ　））　　　　　　　　　　　　　　　
　　　　　　　　　　　　　　　　　　　　　　　　　
…………………………………（３３） 　　この図２１に示す回路においても、図２０の場合と
同様に、結合が興奮性か抑制性かの区別を示す１ビット
のフラグ４２を用いて、ゲート回路４３により、上述し
た興奮性結合の場合と抑制性結合の場合との処理の切換
えを行うようにしている。

【００７１】

【発明が解決しようとする課題】前述したような誤差信
号Δ（＋）ｊ　やΔ（−）ｊ　の算出方法は、誤差信号
Δ（＋）ｉ　　やΔ（−）ｉ　と結合係数Ｔｉｊ　との
論理積をとったもの同士の論理和をとったものとなって
いる。

【００７２】ここに、あるビット列Ａとあるビット列Ｂ
との論理積は、それらのビット列内のビット配置によっ
て結果が異なるが、平均としては、ビット列Ａのパルス
密度とビット列Ｂのパルス密度との積のパルス密度を持
ったビット列となる。また、あるビット列Ａとあるビッ
ト列Ｂとの論理和は、ビット列Ａのパルス密度とビット
列Ｂのパルス密度とが小さいときには、平均としては、
ビット列Ａのパルス密度とビット列Ｂのパルス密度との
和のパルス密度を持ったビット列となる。従って、誤差
信号或いは結合係数が小さいときには、前述したような
誤差信号Δ（＋）ｊ，Δ（−）ｊ　　の算出方法は、通
常のバックプロパゲーション学習則における誤差信号δ
ｊ　の算出式である（２０）式において、ニューロン出
力関数の微分ｆ′を１と置いたものに相当する。

【００７３】しかし、パルス密度型ニューラルネットワ
ーク内のニューロンの出力の生成法によっては、ｆ′を
１と置くことが必ずしも適切ではない場合もある。よっ
て、ｆ′を１とするのが不適切となるような形の出力を
生成するニューロンからなるパルス密度型ニューラルネ
ットワーク、具体的には、方法ｄ，ｅ，ｆに示したよう
に、興奮性結合グループの論理和結果と抑制性結合グル
ープの論理和結果とが一致する場合には別入力信号を出
力する方式であって、この別入力信号のパルス密度を０
．５としたようなものでは、前述したような誤差信号Δ
（＋）ｊ　，Δ（−）ｊの算出方法をそのまま適用した
のでは、十分な学習能力が得られなくなってしまう。

【００７４】

【課題を解決するための手段】請求項１記載の発明では
、ビット列表現の入力信号を受取りビット列表現の出力
信号を出力する多入力１出力のニューロンを複数個設け
て、ネットワーク外部から信号を受取るニューロンを含
む入力層とネットワーク外部へ信号を出力するニューロ
ンを含む出力層とネットワーク内のニューロンから信号
を受取りネットワーク内のニューロンへ信号を出力する
ニューロンを含む１層以上の中間層とを階層型に連結す
るとともに、各ニューロン間の結合状態を興奮性結合と
抑制性結合とで表し各々の結合に付随させてビット列表
現の興奮性結合係数と抑制性結合係数とをメモリに格納
しておき、あるニューロンの出力信号をそのニューロン
に興奮性結合を通して入力された入力信号より生成され
るビット列のパルス密度とそのニューロンに抑制性結合
を通して入力された入力信号より生成されるビット列の
パルス密度との差の半分のパルス密度に任意の定数を加
算した値のパルス密度を持つビット列として生成するニ
ューラルネットワークを形成し、出力層のニューロンに
対してはその出力信号と教師信号とに基づき誤差正信号
と誤差負信号とを算出し、中間層の注目ニューロンに対
してはこの注目ニューロンと興奮性結合で結合された一
つ出力層寄りの相手ニューロンの各々について、各結合
係数と相手ニューロンの誤差正信号との論理積をとって
これらの論理積結果のビット列同士の論理和をとり第１
のビット列を得るとともに、前記注目ニューロンと抑制
性結合で結合された一つ出力層寄りの相手ニューロンの
各々について、各結合係数と相手ニューロンの誤差負信
号との論理積をとってこれらの論理積結果のビット列同
士の論理和をとり第２のビット列を得、パルス密度半減
処理を伴うこれらの第１のビット列と第２のビット列と
の論理和処理により得られたビット列を注目ニューロン
の誤差正信号とし、前記注目ニューロンと興奮性結合で
結合された一つ出力層寄りの相手ニューロンの各々につ
いて、各結合係数と相手ニューロンの誤差負信号との論
理積をとってこれらの論理積結果のビット列同士の論理
和をとり第３のビット列を得るとともに、前記注目ニュ
ーロンと抑制性結合で結合された一つ出力層寄りの相手
ニューロンの各々について、各結合係数と相手ニューロ
ンの誤差正信号との論理積をとってこれらの論理積結果
のビット列同士の論理和をとり第４のビット列を得、パ
ルス密度半減処理を伴うこれらの第３のビット列と第４
のビット列との論理和処理により得られたビット列を注
目ニューロンの誤差負信号とし、出力層側から入力層側
に遡って順次各ニューロンの誤差正信号と誤差負信号と
を算出し、算出された誤差正信号と誤差負信号とに基づ
き各ニューロンのメモリに格納された結合係数を可変さ
せて学習するようにした。

【００７５】この際、パルス密度半減処理を伴う論理和
処理を、請求項２記載の発明では、一方のビット列のパ
ルス密度と他方のビット列のパルス密度との和の半分の
パルス密度を持つビット列を得る処理とし、請求項３記
載の発明では、一方のビット列と他方のビット列との論
理和をとって得られたビット列のパルス密度を半分にし
たビット列を得る処理とした。

【００７６】また、このような学習方法を用いた信号処
理装置として、請求項４記載の発明では、ビット列表現
の入力信号を受取りビット列表現の出力信号を出力する
多入力１出力のニューロンを複数個設けて、ネットワー
ク外部から信号を受取るニューロンを含む入力層とネッ
トワーク外部へ信号を出力するニューロンを含む出力層
とネットワーク内のニューロンから信号を受取りネット
ワーク内のニューロンへ信号を出力するニューロンを含
む１層以上の中間層とを階層型に連結してニューラルネ
ットワークを形成し、各ニューロン間の結合状態を興奮
性結合と抑制性結合とで表し各々の結合に付随させてビ
ット列表現の興奮性結合係数と抑制性結合係数とを格納
したメモリを設け、あるニューロンの出力信号をそのニ
ューロンに興奮性結合を通して入力された入力信号より
生成されるビット列のパルス密度とそのニューロンに抑
制性結合を通して入力された入力信号より生成されるビ
ット列のパルス密度との差の半分のパルス密度に任意の
定数を加算した値のパルス密度を持つビット列として生
成する出力信号生成手段を設け、出力層のニューロンに
対してその出力信号と教師信号とに基づき誤差正信号と
誤差負信号とを算出する出力層誤差信号生成手段を設け
、中間層の注目ニューロンに対してこの注目ニューロン
と興奮性結合で結合された一つ出力層寄りの相手ニュー
ロンの各々について、各結合係数と相手ニューロンの誤
差正信号との論理積をとってこれらの論理積結果のビッ
ト列同士の論理和をとり第１のビット列を得る第１の論
理和回路と、前記注目ニューロンと抑制性結合で結合さ
れた一つ出力層寄りの相手ニューロンの各々について、
各結合係数と相手ニューロンの誤差負信号との論理積を
とってこれらの論理積結果のビット列同士の論理和をと
り第２のビット列を得る第２の論理和回路と、これらの
第１のビット列と第２のビット列とをパルス密度半減処
理を伴って論理和処理する論理和回路とを有して注目ニ
ューロンの誤差正信号を出力する中間層誤差正信号生成
手段を設け、中間層の注目ニューロンに対してこの注目
ニューロンと興奮性結合で結合された一つ出力層寄りの
相手ニューロンの各々について、各結合係数と相手ニュ
ーロンの誤差負信号との論理積をとってこれらの論理積
結果のビット列同士の論理和をとり第３のビット列を得
る第３の論理和回路と、前記注目ニューロンと抑制性結
合で結合された一つ出力層寄りの相手ニューロンの各々
について、各結合係数と相手ニューロンの誤差正信号と
の論理積をとってこれらの論理積結果のビット列同士の
論理和をとり第４のビット列を得る第４の論理和回路と
、これらの第３のビット列と第４のビット列とをパルス
密度半減処理を伴って論理和処理する論理和回路とを有
して注目ニューロンの誤差負信号を出力する中間層誤差
負信号生成手段を設け、算出された誤差正信号と誤差負
信号とに基づき各ニューロンの前記メモリに格納された
結合係数を可変させる結合係数可変手段を設けた。

【００７７】

【作用】請求項１記載の発明において、中間層のニュー
ロンで誤差正信号と誤差負信号とを算出する処理として
、論理和結果なる２組のビット列についてパルス密度半
減処理を伴う論理和処理を行うことは、ニューロンの出
力関数の微分、即ち、結合係数や入力信号の変化が、ニ
ューロンの出力信号の変化に及ぼす影響の大きさを考慮
したものとなり、パルス密度論理演算型のニューラルネ
ットワークの学習アルゴリズムの学習能力が大幅に向上
することになる。

【００７８】この場合のパルス密度半減処理を伴う論理
和処理は、請求項２記載の発明の方法又は請求項３記載
の発明の方法により、容易に実現できる。

【００７９】また、そのための装置としても請求項４記
載の発明によれば、装置の主要部を論理演算回路のみで
構成でき、ＬＳＩ上で高集積化できるものとなる。

【００８０】

【実施例】本発明の一実施例を図１ないし図４に基づい
て説明する。本実施例は、図１４ないし図１６に示した
方法ｄ，ｅ，ｆにより出力信号を生成する入出力機能を
持つニューロンによるニューラルネットワークを前提と
するものであり、まず、この出力について再検討する。 ここで、興奮性結合グループの論理和結果（ＯＲゲート
６ａ出力）として得られるビット列をＸｊ　と表し、抑
制性結合グループの論理和結果（ＯＲゲート６ｂ出力）
として得られるビット列をＹｊ　と表し、別入力として
ゲート回路１５に与えられる信号をＥｊ　と表すものと
すると、ニューロンｊからの出力信号Ｏｊ　は、Ｏｊ　
＝（（Ｘｊ　ＡＮＤ　（ＮＯＴ　Ｙｊ　））　ＯＲ　（
Ｘｊ　ＡＮＤ　Ｙｊ　ＡＮＤ　Ｅｊ　）　　　　　　　
　　　　　　　　　ＯＲ　（（ＮＯＴ　Ｘｊ　）　ＡＮ
Ｄ　（ＮＯＴ　Ｙｊ　）　ＡＮＤ　Ｅｊ　））　………
…（３４） となる。これより、別入力信号Ｅｊ　のパルス密度が０
．５の場合、出力信号Ｏｊ　のパルス密度は、簡単な計
算により、（３５）式 （Ｏｊ　のパルス密度）＝０．５（１＋Ｘｊ　のパルス
密度−Ｙｊ　のパルス密度）　　　　　　　　　　　　
　　　　　　　　　　　　　　　　　　　　　　　　　
　　　　　　　　　　　　　　　　　　　…………（３
５） となることが判る。

【００８１】ところで、結合係数Ｔｊｉ　　が小さいと
きには、 Ｘｊ　のパルス密度≒Σ（Ｔｊｉ　のパルス密度）×（
Ｏｉ　のパルス密度）……（３６）Ｙｊ　のパルス密度
≒Σ（Ｔｊｉ　のパルス密度）×（Ｏｉ　のパルス密度
）……（３７） として表せるので、 ｎｅｔｊ　＝Σ（Ｔｊｉ　のパルス密度）×（Ｏｉ　の
パルス密度）　　　　　　　　　　　　　　−Σ（Ｔｊ
ｉ　のパルス密度）×（Ｏｉ　のパルス密度）　　……
（３８） を用いれば、出力信号Ｏｊ　のパルス密度は（３５）式
より、（Ｏｊ　のパルス密度）＝０．５（１＋ｎｅｔｊ
　）　　　　　　　　　…………………（３９） として表すことができる。このＯｊ　　のパルス密度が
ｆ（ｎｅｔｊ　）に相当しているので、 ｆ（ｎｅｔｊ　）＝０．５（１＋ｎｅｔｊ　）　　　　
　　　　　　　　　　　…………………（４０） であり、従って、その微分関数は ｆ′（ｎｅｔｊ　）＝０．５　　　　　　　　　　　　
　　　　　　　　　　　　　　　　　…………………（
４１） となる。

【００８２】故に、ｆ′＝１に相当していた提案例方式
のパルス密度型ニューラルネットワークの学習方法を、
このようにｆ′＝０．５に相当するように変更すること
により、学習能力の高い学習方法となる。

【００８３】ここに、ｆ′が関係しているのは、（１６
）式で表される出力層の誤差信号を生成する部分と、（
２０）式で表される中間層の誤差信号を生成する部分で
ある。この内、出力層の誤差信号を生成する際のｆ′は
、（１１）式中に現れる学習率ηの中に組込んでしまえ
るので、考慮する必要はない。即ち、δｊ　／ｆ′（ｎ
ｅｔｊ　）を改めてδｊ　と表し、δｋ　／ｆ′（ｎｅ
ｔｋ　）を改めてδｋ　と表すものとすると、いま、ｆ
′（ｎｅｔｋ　）＝０．５であり、ｋに依存しないので
、（２０）式は、δｊ　＝Σｆ′（ｎｅｔｋ　）δｋ　
Ｔｋｊ　＝ｆ′Σδｋ　Ｔｋｊ　となって形が変わらず
、（１６）式は δｊ　＝Ｋｊ　−Ｏｊ　 となってｆ′がなくなる。また、（１１）式はΔＴｊｉ
　＝ηｆ′（ｎｅｔｊ　）δｊ　Ｏｊ　＝０．５ηδｊ
　Ｏｊ　 となるので、０．５ηを改めてηと表すものとすれば、
（１１）式は変わらないものとなる。

【００８４】従って、パルス密度型階層ニューラルネッ
トワークにおける学習方法で、ｆ′＝０．５に相当する
ように変えるには、（２０）式でｆ′＝１と置いた式に
相当しているパルス密度型階層ニューラルネットワーク
の学習方法中の（２８）式と（３１）式とを、ｆ′＝０
．５に対応する式に変更するだけでよい、即ち、（２８
）（３１）式の右辺により生成されるビット列のパルス
密度を半分に減らす半減処理を行うようにすればよい。 この半減処理方法として、次の方法■■の２通りがある
。

【００８５】まず、方法■について説明する。（２８）
式は（２６）式により得られるΔ（１＋）ｊ　と（２７
）式により得られるΔ（２＋）ｊ　との足算を論理和を
とる操作に置き換えたものであり、（３１）式は（２９
）式により得られるΔ（１−）ｊ　と（３０）式により
得られるΔ（２−）ｊとの足算を論理和をとる操作に置
き換えたものである。ここに、パルス密度が０．５とさ
れたビット列Ｅを用いれば、（４２）式に示すように、
あるビット列Ａのパルス密度とあるビット列Ｂのパルス
密度の和の半分となるパルス密度を持つビット列Ｃを生
成できる。

【００８６】 Ｃ＝（（Ａ　　ＡＮＤ　　Ｂ）ＯＲ（Ａ　　ＡＮＤ　　
Ｅ）ＯＲ（Ｂ　　ＡＮＤ　　Ｅ））　　　　………（４
２） 　　従って、（２８）式を（４３）式のように置き換え
、（３１）式を（４４）式のように置き換えればよい。

【００８７】 Δ（＋）ｊ　＝（（Δ（１＋）ｊ　　ＡＮＤ　　Δ（２
＋）ｊ　）ＯＲ（Δ（１＋）ｊ　　ＡＮＤ　　Ｅ　）　
　　　　　　　　　　　　　　　　　　　　　　　　　
ＯＲ（Δ（２＋）ｊ　　ＡＮＤ　　Ｅ　））　　　　　
……………（４３）Δ（−）ｊ　＝（（Δ（１−）ｊ　
　ＡＮＤ　　Δ（２−）ｊ　）ＯＲ（Δ（１−）ｊ　　
ＡＮＤ　　Ｅ　）　　　　　　　　　　　　　　　　　
　　　　　　　　　ＯＲ（Δ（２−）ｊ　　ＡＮＤ　　
Ｅ　））　　　　　……………（４４） 　　また、方法■としては、（２８）式の右辺によりビ
ット列を生成した後、そのビット列のパルス密度を例え
ば分周回路等により半分に減らして、このビット列をΔ
（＋）ｊ　　とし、同様に、（３１）式の右辺によりビ
ット列を生成した後、そのビット列のパルス密度を例え
ば分周回路等により半分に減らして、このビット列をΔ
（−）ｊ　　とするものである。

【００８８】このような変更に伴う、本実施例の学習ア
ルゴリズムを方法■■各々について説明する。なお、（
２８）（３１）式以外は、前述した提案例中の学習アル
ゴリズムで説明した手順と同じであり、必要な部分のみ
重複して説明するものとする。

【００８９】まず、方法■による学習アルゴリズムにつ
いて説明する。この場合も、学習は、前述したように各
ニューロンに対する誤差信号を求め、求められた誤差信
号を用いて結合係数を変更するという手順に従って、出
力層側より入力層側へ１層ずつ遡る方式により行われる
。出力層における処理は、図１９の回路により（２２）
〜（２５）式によって算出される。

【００９０】ついで、中間層における誤差正信号Δ（＋
）ｊ　及び誤差負信号Δ（−）ｊ　の生成について図１
を参照して説明する。ここでも、注目ニューロンをｊ、
この注目ニューロンｊが属している層を第Ｌ層、１つ出
力層寄りの層第Ｌ＋１層におけるｉ番目のニユーロンと
の結合係数をＴｉｊ　　と表すものとする。

【００９１】まず、第Ｌ＋１層にあってニューロンｊと
興奮性結合をしている全ニューロンについて、それらの
ニューロンの誤差正信号Δ（＋）ｉ　　とそれらのニュ
ーロンとニューロンｊとの間の結合係数Ｔｉｊ　　（メ
モリ５１に格納）との論理積をＡＮＤゲート５２により
とり、さらに、その結果同士の論理和をＯＲゲート５３
によりとる。ここで、この結果を、例えば第１のビット
列Δ（１＋）ｊ　と表すものとすると、前述した（２６
）式に示すようになる。また、第Ｌ＋１層にあってニュ
ーロンｊと抑制性結合をしている全ニューロンについて
、それらのニューロンの誤差負信号Δ（−）ｉ　　とそ
れらのニューロンとニューロンｊとの間の結合係数Ｔｉ
ｊ　　（メモリ５４に格納）との論理積をＡＮＤゲート
５５によりとり、さらに、その結果同士の論理和をＯＲ
ゲート５６によりとる。ここで、この結果を、例えば第
２のビット列Δ（２＋）ｊ　と表すものとすると、前述
した（２７）式に示すようになる。即ち、ＯＲゲート５
３群が第１の論理和回路５７を形成し、ＯＲゲート５６
群が第２の論理和回路５８を形成している。

【００９２】このように求められた第１，２のビット列
Δ（１＋）ｊ　，Δ（２＋）ｊ　に対して０．５なるパ
ルス密度のビット列Ｅを論理和回路５９により組合せて
前述した（４３）式の処理を行うことにより、このニュ
ーロンｊの誤差正信号Δ（＋）ｉ　　を得る。論理和回
路５９は３つのＡＮＤゲート６０，６１，６２とこれら
の出力を入力とするＯＲゲート６３とにより形成されて
いる。これらの論理和回路５７，５８，５９により中間
層誤差正信号生成手段６４が構成されている。

【００９３】同様に、第Ｌ＋１層にあってニューロンｊ
と興奮性結合をしている全ニューロンについて、それら
のニューロンの誤差負信号Δ（−）ｉ　　とそれらのニ
ューロンとニューロンｊとの間の結合係数Ｔｉｊ　　（
メモリ５１に格納）との論理積をＡＮＤゲート６５によ
りとり、さらに、その結果同士の論理和をＯＲゲート６
６によりとる。ここで、この結果を、例えば第３のビッ
ト列Δ（１−）ｊ　と表すものとすると、前述した（２
９）式に示すようになる。また、第Ｌ＋１層にあってニ
ューロンｊと抑制性結合をしている全ニューロンについ
て、それらのニューロンの誤差正信号Δ（＋）ｉ　　と
それらのニューロンとニューロンｊとの間の結合係数Ｔ
ｉｊ　　（メモリ５４に格納）との論理積をＡＮＤゲー
ト６７によりとり、さらに、その結果同士の論理和をＯ
Ｒゲート６８によりとる。ここで、この結果を、例えば
第４のビット列Δ（２−）ｊ　と表すものとすると、前
述した（３０）式に示すようになる。即ち、ＯＲゲート
６６群が第３の論理和回路６９を形成し、ＯＲゲート６
８群が第４の論理和回路７０を形成している。

【００９４】このように求められた第３，４のビット列
Δ（１−）ｊ　，Δ（２−）ｊ　に対して０．５なるパ
ルス密度のビット列Ｅを論理和回路７１により組合せて
前述した（４４）式の処理を行うことにより、このニュ
ーロンｊの誤差負信号Δ（−）ｉ　　を得る。論理和回
路７１は３つのＡＮＤゲート７２，７３，７４とこれら
の出力を入力とするＯＲゲート７５とにより形成されて
いる。これらの論理和回路６９，７０，７１により中間
層誤差負信号生成手段７６が構成されている。

【００９５】ついで、このように算出された誤差正信号
と誤差負信号とを用いて、結合係数の大きさを変更する
方法について説明する。第１の方法としては、図２１に
示した結合係数可変回路３５により前述したように行え
ばよい。第２の方法としては、図２に示すように興奮性
結合用と抑制性結合用とで別個の回路構成により処理す
るようにしてもよい。まず、興奮性結合の場合、図２（
ａ）に示すように、注目しているニューロンｊより１つ
入力層側の層のｋ番目のニューロンからこのニューロン
ｊへの入力信号Ｏｋ　と誤差正信号Δ（＋）ｊ　　との
論理積をＡＮＤゲート８１によりとった結果をＮＯＴゲ
ート８２で論理否定し、この結果とメモリ５１に記憶さ
れた結合係数との論理積をＡＮＤゲート８３によりとる
。一方、入力信号Ｏｋ　と誤差負信号Δ（−）ｊ　　と
の論理積をＡＮＤゲート８４によりとる。これらのＡＮ
Ｄゲート８３，８４の結果同士の論理和をＯＲゲート８
５によりとり、（３２）式に示したように、この結果を
新しい結合係数Ｔｊｋ　　とし、メモリ５１の内容を書
換える。

【００９６】次に、抑制性結合の場合、図２（ｂ）に示
すように、着目しているニューロンｊより１つ入力層側
の層のｋ番目のニューロンからこのニューロンｊへの入
力信号Ｏｋ　と誤差負信号Δ（−）ｊとの論理積をＡＮ
Ｄゲート８６によりとった結果をＮＯＴゲート８７で論
理否定し、この結果とメモリ５４に記憶された結合係数
との論理積をＡＮＤゲート８８によりとる。一方、入力
信号Ｏｋ　と誤差正信号Δ（＋）ｊとの論理積をＡＮＤ
ゲート８９によりとる。これらのＡＮＤゲート８８，８
９の結果同士の論理和をＯＲゲート９０によりとり、（
３３）式に示したように、この結果を新しい結合係数Ｔ
ｊｋ　　とし、メモリ５４の内容を書換える。

【００９７】ついで、方法■による学習アルゴリズムに
ついて説明する。この場合も、出力層における処理は、
図１９の回路により（２２）〜（２５）式によって算出
される。 ついで、中間層での誤差信号の生成について図３を参照
して説明する。図１に示した方法■用の構成と異なるの
は、論理和回路５９，７１に代えて、各々ＯＲゲート９
１，９２と分周回路９３，９４とよりなる論理和回路９
５，９６を設けたものである。まず、第１，２のビット
列Δ（１＋）ｊ　，Δ（２＋）ｊ　同士の論理和をＯＲ
ゲート９１によりとり、このＯＲゲート９１から出力さ
れるビット列のパルス密度を分周回路９３により半分に
減らして、そのニューロンｊの誤差正信号Δ（＋）ｊ　
　とする。また、第３，４のビット列Δ（１−）ｊ　，
Δ（２−）ｊ　同士の論理和をＯＲゲート９２によりと
り、このＯＲゲート９２から出力されるビット列のパル
ス密度を分周回路９４により半分に減らして、そのニュ
ーロンｊの誤差負信号Δ（−）ｊ　　とするものである
。これらの誤差信号に基づく結合係数の変更は方法■の
場合と同様に行えばよい。

【００９８】なお、上例は、結合が興奮性であるか抑制
性であるかが予め決まっている場合であるが、興奮性か
抑制性かの区別を示す１ビットのフラグ９５により興奮
性結合の場合と抑制性結合の場合とで処理の切換えを行
う場合であれば、図４に示すように構成すればよい。即
ち、図２０に示した回路に対して分周回路９３，９４を
付加したものである。この場合、図２０により説明した
ように、ＯＲゲート２８群が第１，２の論理和回路を兼
用し、ＯＲゲート群２８と分周回路９３とが論理和回路
を構成し、同様に、ＯＲゲート３０群が第３，４の論理
和回路を兼用し、ＯＲゲート群３０と分周回路９４とが
論理和回路を構成するものとなる。

【００９９】

【発明の効果】本発明は、上述したように構成したので
、請求項１記載の発明によれば、中間層のニューロンで
誤差正信号と誤差負信号とを算出する処理として、論理
和結果なる２組のビット列についてパルス密度半減処理
を伴う論理和処理を行うことにより、結合係数や入力信
号の変化がニューロンの出力信号の変化に及ぼす影響の
大きさを考慮した誤差信号の算出となり、パルス密度論
理演算型のニューラルネットワークの学習アルゴリズム
の学習能力を大幅に向上させることができ、この場合の
学習アルゴリズムをビット列の論理演算のみで表現でき
、ハードウエア化も容易となり、このようなパルス密度
半減処理を伴う論理和処理も、請求項２記載の発明又は
請求項３記載の発明の論理処理により、容易に実現でき
、また、そのための装置としても請求項４記載の発明に
よれば、装置の主要部を論理演算回路のみで構成でき、
ＬＳＩ上で高集積化できるものとなる。

【図面の簡単な説明】

【図１】本発明の一実施例を示す請求項２記載の発明対
応の誤差信号生成用の回路図である。

【図２】結合係数可変回路を示す回路図である。

【図３】請求項３記載の発明対応の誤差信号生成用の回
路図である。

【図４】請求項３記載の発明対応の誤差信号生成用の変
形例を示す回路図である。

【図５】シグモイド関数を示す特性図である。

【図６】ニューロンにおける信号処理の基本を模式的に
示す回路図である。

【図７】パルス密度信号処理例を示すタイミングチャー
トである。

【図８】パルス密度信号処理例を示すタイミングチャー
トである。

【図９】パルス密度信号処理例を示すタイミングチャー
トである。

【図１０】パルス密度信号処理例を示すタイミングチャ
ートである。

【図１１】方法ａの出力信号生成用の回路図である。

【図１２】方法ｂの出力信号生成用の回路図である。

【図１３】方法ｃの出力信号生成用の回路図である。

【図１４】方法ｄの出力信号生成用の回路図である。

【図１５】方法ｅの出力信号生成用の回路図である。

【図１６】方法ｆの出力信号生成用の回路図である。

【図１７】ニューラルネットワーク構成例を示す結線図
である。

【図１８】ニューラルネットワーク構成例を示す結線図
である。

【図１９】出力層の誤差信号生成用の回路図である。

【図２０】中間層の誤差信号生成用の回路図である。

【図２１】結合係数可変回路を示す回路図である。

【符号の説明】

１６　　　　出力信号生成手段 ２２　　　　出力層誤差信号生成手段 ３５　　　　結合係数可変手段 ５１，５４　　　　メモリ ５７　　　　第１の論理和回路 ５８　　　　第２の論理和回路 ５９　　　　論理和回路 ６４　　　　誤差正信号生成手段 ６９　　　　第３の論理和回路 ７０　　　　第４の論理和回路 ７１　　　　論理和回路 ７６　　　　誤差負信号生成手段 ９５，９６　　　　論理和回路

Claims (4)

【特許請求の範囲】
1. 【請求項１】　　ビット列表現の入力信号を受取りビッ
   ト列表現の出力信号を出力する多入力１出力のニューロ
   ンを複数個設けて、ネットワーク外部から信号を受取る
   ニューロンを含む入力層とネットワーク外部へ信号を出
   力するニューロンを含む出力層とネットワーク内のニュ
   ーロンから信号を受取りネットワーク内のニューロンへ
   信号を出力するニューロンを含む１層以上の中間層とを
   階層型に連結するとともに、各ニューロン間の結合状態
   を興奮性結合と抑制性結合とで表し各々の結合に付随さ
   せてビット列表現の興奮性結合係数と抑制性結合係数と
   をメモリに格納しておき、あるニューロンの出力信号を
   そのニューロンに興奮性結合を通して入力された入力信
   号より生成されるビット列のパルス密度とそのニューロ
   ンに抑制性結合を通して入力された入力信号より生成さ
   れるビット列のパルス密度との差の半分のパルス密度に
   任意の定数を加算した値のパルス密度を持つビット列と
   して生成するニューラルネットワークを形成し、出力層
   のニューロンに対してはその出力信号と教師信号とに基
   づき誤差正信号と誤差負信号とを算出し、中間層の注目
   ニューロンに対してはこの注目ニューロンと興奮性結合
   で結合された一つ出力層寄りの相手ニューロンの各々に
   ついて、各結合係数と相手ニューロンの誤差正信号との
   論理積をとってこれらの論理積結果のビット列同士の論
   理和をとり第１のビット列を得るとともに、前記注目ニ
   ューロンと抑制性結合で結合された一つ出力層寄りの相
   手ニューロンの各々について、各結合係数と相手ニュー
   ロンの誤差負信号との論理積をとってこれらの論理積結
   果のビット列同士の論理和をとり第２のビット列を得、
   パルス密度半減処理を伴うこれらの第１のビット列と第
   ２のビット列との論理和処理により得られたビット列を
   注目ニューロンの誤差正信号とし、前記注目ニューロン
   と興奮性結合で結合された一つ出力層寄りの相手ニュー
   ロンの各々について、各結合係数と相手ニューロンの誤
   差負信号との論理積をとってこれらの論理積結果のビッ
   ト列同士の論理和をとり第３のビット列を得るとともに
   、前記注目ニューロンと抑制性結合で結合された一つ出
   力層寄りの相手ニューロンの各々について、各結合係数
   と相手ニューロンの誤差正信号との論理積をとってこれ
   らの論理積結果のビット列同士の論理和をとり第４のビ
   ット列を得、パルス密度半減処理を伴うこれらの第３の
   ビット列と第４のビット列との論理和処理により得られ
   たビット列を注目ニューロンの誤差負信号とし、出力層
   側から入力層側に遡って順次各ニューロンの誤差正信号
   と誤差負信号とを算出し、算出された誤差正信号と誤差
   負信号とに基づき各ニューロンのメモリに格納された結
   合係数を可変させるようにしたことを特徴とするニュー
   ラルネットワークの学習方法。
2. 【請求項２】　　パルス密度半減処理を伴う論理和処理
   を、一方のビット列のパルス密度と他方のビット列のパ
   ルス密度との和の半分のパルス密度を持つビット列を得
   る処理としたことを特徴とする請求項１記載のニューラ
   ルネットワークの学習方法。
3. 【請求項３】　　パルス密度半減処理を伴う論理和処理
   を、一方のビット列と他方のビット列との論理和をとっ
   て得られたビット列のパルス密度を半分にしたビット列
   を得る処理としたことを特徴とする請求項１記載のニュ
   ーラルネットワークの学習方法。
4. 【請求項４】　　ビット列表現の入力信号を受取りビッ
   ト列表現の出力信号を出力する多入力１出力のニューロ
   ンを複数個設けて、ネットワーク外部から信号を受取る
   ニューロンを含む入力層とネットワーク外部へ信号を出
   力するニューロンを含む出力層とネットワーク内のニュ
   ーロンから信号を受取りネットワーク内のニューロンへ
   信号を出力するニューロンを含む１層以上の中間層とを
   階層型に連結してニューラルネットワークを形成し、各
   ニューロン間の結合状態を興奮性結合と抑制性結合とで
   表し各々の結合に付随させてビット列表現の興奮性結合
   係数と抑制性結合係数とを格納したメモリを設け、ある
   ニューロンの出力信号をそのニューロンに興奮性結合を
   通して入力された入力信号より生成されるビット列のパ
   ルス密度とそのニューロンに抑制性結合を通して入力さ
   れた入力信号より生成されるビット列のパルス密度との
   差の半分のパルス密度に任意の定数を加算した値のパル
   ス密度を持つビット列として生成する出力信号生成手段
   を設け、出力層のニューロンに対してその出力信号と教
   師信号とに基づき誤差正信号と誤差負信号とを算出する
   出力層誤差信号生成手段を設け、中間層の注目ニューロ
   ンに対してこの注目ニューロンと興奮性結合で結合され
   た一つ出力層寄りの相手ニューロンの各々について、各
   結合係数と相手ニューロンの誤差正信号との論理積をと
   ってこれらの論理積結果のビット列同士の論理和をとり
   第１のビット列を得る第１の論理和回路と、前記注目ニ
   ューロンと抑制性結合で結合された一つ出力層寄りの相
   手ニューロンの各々について、各結合係数と相手ニュー
   ロンの誤差負信号との論理積をとってこれらの論理積結
   果のビット列同士の論理和をとり第２のビット列を得る
   第２の論理和回路と、これらの第１のビット列と第２の
   ビット列とをパルス密度半減処理を伴って論理和処理す
   る論理和回路とを有して注目ニューロンの誤差正信号を
   出力する中間層誤差正信号生成手段を設け、中間層の注
   目ニューロンに対してこの注目ニューロンと興奮性結合
   で結合された一つ出力層寄りの相手ニューロンの各々に
   ついて、各結合係数と相手ニューロンの誤差負信号との
   論理積をとってこれらの論理積結果のビット列同士の論
   理和をとり第３のビット列を得る第３の論理和回路と、
   前記注目ニューロンと抑制性結合で結合された一つ出力
   層寄りの相手ニューロンの各々について、各結合係数と
   相手ニューロンの誤差正信号との論理積をとってこれら
   の論理積結果のビット列同士の論理和をとり第４のビッ
   ト列を得る第４の論理和回路と、これらの第３のビット
   列と第４のビット列とをパルス密度半減処理を伴って論
   理和処理する論理和回路とを有して注目ニューロンの誤
   差負信号を出力する中間層誤差負信号生成手段を設け、
   算出された誤差正信号と誤差負信号とに基づき各ニュー
   ロンの前記メモリに格納された結合係数を可変させる結
   合係数可変手段を設けたことを特徴とする信号処理装置
   。