JPH06301665A

JPH06301665A - 信号処理装置

Info

Publication number: JPH06301665A
Application number: JP5089701A
Authority: JP
Inventors: Takashi Kitaguchi; 貴史北口; Hiroyasu Mifune; 博庸三船; Shinichi Suzuki; 伸一鈴木
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 1993-04-16
Filing date: 1993-04-16
Publication date: 1994-10-28

Abstract

(57)【要約】【目的】入力信号や出力信号を２値で扱ってよいケー
スへの適用を考慮し、柔軟性及び汎用性を高めること。【構成】２値で表現された複数の入力信号Ｙを入力さ
せる入力手段３４と、各々の前記入力信号Ｙに対して２
値で表現された結合係数Ｔ_ij及び興奮性結合か抑制性結
合かを示す２値で表現された係数符号を保存する記憶手
段３５，４０ａと、前記入力信号Ｙと前記各結合係数Ｔ
_ijとを論理演算する論理演算手段３７と、この論理演算
手段３７により得られる２値で表現された単数の出力信
号を出力させる出力手段とを有する信号処理手段を設け
て、信号処理手段が全て２値表現の信号を扱うようにし
た。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、例えば画像や音声の認
識、ロボット等の適応制御、株価や地震等の予測、連想
記憶等のような各種制御に適用可能な、神経細胞を模倣
したニューロコンピュータ等の信号処理装置に関する。

【０００２】

【従来の技術】生体の情報処理の基本的な単位である神
経細胞（ニューロン）の機能を模倣し、さらに、この
「神経細胞模倣素子」（神経細胞ユニット）をネットワ
ークにし、情報の並列処理を目指したのが、いわゆるニ
ューラルネットワークである。文字認識や連想記憶、運
動制御等、生体ではいとも簡単に行われていても、従来
のノイマン型コンピュータではなかなか達成しないもの
が多い。生体の神経系、特に生体特有の機能、即ち並列
処理、自己学習等をニューラルネットワークにより模倣
して、これらの問題を解決しようとする試みが盛んに行
われている。

【０００３】このようなニューラルネットワークをハー
ドウエアにより作製する試みが、近年、多くなされてい
るが、このようなハードウエア化については、アナログ
型とデジタル型とに大別される。しかし、アナログ型の
ものでは動作に確実性がなく、数値計算による学習方法
も計算が複雑であり、ハードウエア化に適さず、動作が
確実なデジタル型のものは回路構成が大規模で複雑とな
る欠点がある。

【０００４】このような欠点を解消するため、デジタル
型の一つとして、信号をパルス列で表現する方式とした
パルス密度型で自己学習機能付きのニューラルネットワ
ークが本出願人により多数提案されている。このような
パルス密度型ニューラルネットワークに関する多数の提
案は、例えば特開平４−５４９号公報に示される提案を
フォワードプロセスの基本とし、特開平４−１１１１８
５号公報に示される提案を学習プロセスの基本とし、種
々改良したものである。

【０００５】このようなパルス密度型の信号処理につい
て簡単に説明すると、パルス列としては、実際にはビッ
ト列を用いる。即ち、値として“０”又は“１”をとる
ビットの列（２値化された情報単位）でパルス列を表
し、値が“１”であるビットでパルスを表し、値が
“０”であるビットでパルスがないことを表す。信号の
値は、パルスの密度、即ち、ビット列中の値“１”のビ
ットの密度で表す。換言すると、信号の値はビット列中
のビットの値が“１”である確率に等しい。例えば、ビ
ット列の長さを１０ビットとすると、このニューラルネ
ットワークに値“０．６”の信号を入力した時、このニ
ューラルネットワークには、１０個のビットの内、６個
が値“１”であり残りの４個が値“０”であるビット列
が入力されることになる。

【０００６】ここに、この特開平４−１１１１８５号公
報に示されるパルス密度型ニューラルネットワークにつ
いて、図４ないし図７を参照して説明する。まず、その
基本的な考え方としては、神経細胞ユニットに関する入力信号、出力信号、中
間信号、結合係数、教師信号、誤差信号などは全て、
“０”“１”の２値で表されたパルス列で表す。ネットワーク内部での信号の量は、パルス密度で表
す（ある一定時間内の“１”の数）。神経細胞ユニット内での計算は、パルス列同士の論
理演算で表す。結合係数のパルス列は神経細胞ユニット内のメモリ
上に格納する。学習は、この結合係数のパルス列を書換えることで
実現する。学習については、与えられた教師信号パルス列を基
に誤差を計算し、これに基づいて、結合係数パルス列を
変化させる。このとき、誤差の計算、結合係数の変化分
の計算も、全て、“０”“１”のパルス列の論理演算で
行う。ようにしたものである。

【０００７】このような前提の下、任意の神経細胞ユニ
ット内部における演算は、次の(１)〜(３)式で表され
る。

【０００８】

【数１】

【０００９】ここに、各変数は、“０”又は“１”の１
パルスを表している。ｙ_iはある神経細胞ユニットｉか
らの入力信号のパルス、ｙ_jはある神経細胞ユニットｊ
からの出力信号のパルスである。また、ｔ_ij(+) は神経
細胞ユニットｉ，ｊ間の結合が興奮性結合の場合の結合
係数のパルス、ｔ_ij(-)は神経細胞ユニットｉ，ｊ間の
結合が抑制性結合の場合の結合係数のパルスである。よ
って、ｙ_jが当該神経細胞ユニットの出力値となる。

【００１０】次に、学習における信号演算処理について
説明する。この学習方法は、階層型ニューラルネットワ
ークで広く用いられているバックプロパゲーション法
（誤差逆伝播法）に準じたものである。基本的には、以
下の(Ａ)又は(Ｂ)により誤差信号を求め、次いで、(Ｃ)
の方法により結合係数の値を変化させる。

【００１１】(Ａ) 最終層における誤差信号最終層の各神経細胞ユニットにおける誤差信号を出力信
号と教師信号とにより計算する。ここに、そのときの入
力に対して望ましい出力を、教師信号ｄ_jとしてパルス
列で与える。また、誤差信号を考えた場合、数値で表す
と、一般に正、負の両方をとり得るが、パルス密度表現
の場合、正、負の両方を同時に表現できないので、パル
ス密度型のものでは、＋成分を表す信号ｅ_j(+)と−成分
を表す信号ｅ_j(-)との２種類を用いて誤差信号を表現す
る。具体的には、教師信号のパルス列と出力信号のパル
ス列とで違っている部分（１，０）又は（０，１）の
内、教師信号側に存在するパルス分が誤差信号ｅ_j(+)と
され、出力信号側に存在するパルス分が誤差信号ｅ_j(-)
とされる。つまり、出力信号のパルス列に誤差信号ｅ
_j(+)のパルスを付け加え、誤差信号ｅ_j(-)を取り除く
と、教師信号のパルス列となることになる。これらの
正、負の誤差信号ｅ_j(+)，ｅ_j(-)を論理式で表現する
と、各々(４)(５)式のようになる。このような誤差信号
のパルスを基に結合係数を後述するように変化させるこ
とになる。

【００１２】

【数２】

【００１３】(Ｂ) 中間層における誤差信号まず、上記の最終層の誤差信号を逆伝播させ、最終層と
その１つ前の層との結合係数だけでなく、さらにその前
の層の結合係数も変化させる。そのため、中間層におけ
る各神経細胞ユニットでの誤差信号を計算する必要があ
る。中間層のある神経細胞ユニットから、さらに１つ先
の層の各神経細胞ユニットへ信号を伝播させたのとは、
丁度逆の要領で１つ先の層の各神経細胞ユニットにおけ
る誤差信号を集めてきて、自己の誤差信号とする。ここ
に、ｙは１つの信号であるのに対して、ｅは正、負を表
す誤差信号として２種の信号を持ち、その両方の誤差信
号を考慮する必要があるので、結合係数ｔの正、負（興
奮性と抑制性）に応じて２つの場合に分ける必要があ
る。

【００１４】まず、興奮性結合の場合を説明する。この
場合、中間層のある神経細胞ユニットについて、１つ先
の層（例えば、最終層）のｊ番目の神経細胞ユニットで
の誤差信号ｅ_j(+)と、その神経細胞ユニットと自己との
結合係数ｔ_ij(+) のＡＮＤをとったもの（ｅ_j(+)∩ ｔ
_ij(+)）を各神経細胞ユニットについて求め、さらに、
これら同士のＯＲをとる｛∪（ｅ_j(+)∩ ｔ_ij(+)）｝。
これをこの神経細胞ユニットの誤差信号ｅ_i(+)とする。
同様に、１つ先の層の神経細胞ユニットの誤差信号ｅ
_j(-)と結合係数ｔ_ij(+)とのＡＮＤをとり（ｅ_j(-)∩ ｔ
_ij(+)）、さらにこれら同士のＯＲをとる｛∪（ｅ_j(-)
∩ ｔ_ij(+)）｝。これをこの神経細胞ユニットの誤差信
号ｅ_i(-)とする。

【００１５】次に、抑制性結合の場合を説明する。この
場合、１つ先の層の神経細胞ユニットでの誤差信号ｅ
_j(-)とその神経細胞ユニットと自己との結合係数ｔ
_ij(-) のＡＮＤをとり（ｅ_j(-)∩ ｔ_ij(-)）、さらにこ
れら同士のＯＲをとる｛∪（ｅ_j(-)∩ ｔ_ij(-)）｝。こ
れを、この神経細胞ユニットの誤差信号ｅ_i(+)とする。
また、１つ先の層の誤差信号ｅ_j(-)と結合係数ｔ_ij(-)
とのＡＮＤをとり（ｅ_j(+)∩ ｔ_ij(-)）、さらにこれら
同士のＯＲをとることにより｛∪（ｅ_j(+)∩
ｔ_ij(-)）｝、同様に、この神経細胞ユニットの誤差信
号ｅ_i(+)とする。

【００１６】さらに、この神経細胞ユニットの、興奮性
結合の誤差信号ｅ_i(+)と抑制性結合の誤差信号ｅ_i(+)と
のＯＲをとり、これをこのユニットの誤差信号ｅ_i(+)と
する。同様に、興奮性結合の誤差信号ｅ_i(-)と抑制性結
合の誤差信号ｅ_i(-)とのＯＲをとり、これをこのユニッ
トの誤差信号ｅ_i(-)とする。

【００１７】以上をまとめると、(６)式に示すようにな
る。

【００１８】

【数３】

【００１９】 (Ｃ) 誤差信号に基づく各結合係数の更新変化させたい結合係数が属しているラインに対応する、
１つ前の層の神経細胞ユニットからの出力ｙ_iと自己の
神経細胞ユニットの誤差信号ｅ_j(+)又はｅ_j(-)とのＡＮ
Ｄをとる（ｅ_j(+)∩ｙ_i、又は、ｅ_j(-)∩ｙ_i）。このよ
うにして得られた２つの信号を各々Δｔ_ij(+)，Δｔ
_ij(-)とする。

【００２０】そして、今度はこれらのΔｔ_ijを基に新し
いｔ_ijを求めるが、このｔ_ijは絶対値成分であるので、
元のｔ_ijが興奮性か抑制性かで場合分けする。興奮性の
場合、元のｔ_ijに対してΔｔ_ij(+)の成分を増やし、Δ
ｔ_ij(-)の成分を減らす。逆に、抑制性の場合は元のｔ
_ijに対しΔｔ_ij(+) の成分を減らし、Δｔ_ij(-)の成分
を増やす。以上をまとめると、(７)式のようになる。

【００２１】

【数４】

【００２２】以上の学習則に基づいてネットワークの計
算が行われる。

【００２３】次に、以上のアルゴリズムに基づく実際の
回路構成を説明する。まず、パルス密度型のニューラル
ネットワーク全体の構成は、例えば図４に示すような階
層型（図示例は、３層）とされ、１つ前（左側）の層の
神経細胞ユニット１より信号を受け、１つ後（右側）の
層の神経細胞ユニット１へ出力する。図５は１つの神経
細胞ユニット１に相当する部分を示し、前述した(１)
(２)式等の処理を行うＡＮＤゲート２や、(３)式の処理
を行うＯＲゲート処理部３等を含んで構成されている。

【００２４】また、図６は図４中のライン（結線）に相
当する部分の回路を示し、図７は図４中の丸（各神経細
胞ユニット１）に相当する部分の回路を示す。これらの
図６及び図７構成の回路を図４のようにネットワークに
することにより、自己学習可能なパルス密度型のニュー
ラルネットワークが実現できる。

【００２５】まず、図６から説明する。図中、４は神経
細胞ユニットへの入力信号ｙである。また、結合係数ｔ
_ijの値はメモリ、例えばシフトレジスタ５に保存してお
く。このシフトレジスタ５はデータ取出し口５ａとデー
タ入口５ｂとを有する。なお、結合係数がコード化され
て保存されている場合、シフトレジスタ５に代えて、メ
モリとパルス列発生装置との組合せ構成とされる。入力
信号４とシフトレジスタ５内の結合係数ｔ_ijとはＡＮＤ
ゲート６を備えた論理回路７によりＡＮＤがとられる。
この論理回路７の出力は結合が興奮性か抑制性かによっ
てグループ分けしなければならないが、予め各々のグル
ープへの出力８，９を用意し、何れに出力するのかを切
換えるようにした方が汎用性の高いものとなる。このた
め、ここでは結合が興奮性か抑制性かを表すビットをグ
ループ分け用メモリ１０ａに保存しておき、その情報を
用いて切換えゲート回路１０により切換える。

【００２６】また、図７に示すように各入力処理をする
複数のＯＲゲート構成のゲート回路１１ａ，１１ｂが設
けられている。また、図７では例えば興奮性結合グルー
プが“１”で、抑制性結合グループが“０”のときにの
み出力“１”を出すＡＮＤゲートとインバータとによる
ゲート回路１２が設けられている。これにより、次層に
対する入力信号１３が得られる。

【００２７】次に、学習処理について説明する。図７に
示す回路には最終層で出力信号と教師信号とに基づき生
成された誤差信号１４，１５が入力される。これらの誤
差信号１４，１５は複数のＯＲゲート構成のゲート回路
１６ａ，１６ｂで各々集められた後（(６)式の処理）、
分周回路１７により学習レートに相当する処理を受け、
１つ前の層に対する誤差信号１８，１９として出力され
る。ここに、中間層における誤差信号を計算するための
処理は、図６中に示すＡＮＤゲート構成のゲート回路２
０により行われ、＋，−に応じて、１つ前の層の神経細
胞ユニットへ出力するための誤差信号２１，２２が得ら
れる。

【００２８】このように結合が興奮性結合か抑制性結合
かによって場合分けが必要であるが、この場合分けはメ
モリ１０に記憶された興奮性か抑制性かを示す情報と、
正、負の誤差信号１８，１９とに応じてゲート回路２３
により行なわれる。

【００２９】このような誤差信号１８，１９に基づい
て、新たな結合係数を計算するための処理を行なうＡＮ
Ｄゲート、インバータ、ＯＲゲート構成の結合係数可変
回路２４が設けられ、各シフトレジスタ５のデータ入口
５ｂ側に接続されている。これにより、シフトレジスタ
５に格納された結合係数の更新書換えが行なわれる。こ
の結合係数可変回路２４の場合も、結合の興奮性、抑制
性により場合分けが必要であるが、これはゲート回路２
３により行なわれる。

【００３０】

【発明が解決しようとする課題】このような既提案のパ
ルス密度型のニューラルネットワークによれば、その構
成がシンプルであるため、ハードウエア化が容易で、高
速処理も可能となる。ところが、ニューラルネットワー
クの実際問題への適用においては、入力信号や出力信号
が単なる２値でよい場合がある。即ち、入力信号等が
“０”“１”を組合せたパルス列ではなく、単に“０”
又は“１”のみの２値表現の信号でよい場合があり、パ
ルス密度型構成が必ずしも適切でない場合がある。ま
た、学習則を考えた場合も、結合係数の符号、即ち、興
奮性結合であるか抑制性結合であるかに関しては、これ
を学習する機能がないため、学習能力が制約を受けるも
のとなっている。つまり、柔軟性及び汎用性に欠けるも
のである。

【００３１】

【課題を解決するための手段】請求項１記載の発明で
は、２値で表現された複数の入力信号を入力させる入力
手段と、各々の前記入力信号に対して２値で表現された
結合係数及び興奮性結合か抑制性結合かを示す２値で表
現された係数符号を保存する記憶手段と、前記入力信号
と前記各結合係数とを論理演算する論理演算手段と、こ
の論理演算手段により得られる２値で表現された単数の
出力信号を出力させる出力手段とを有する信号処理手段
を設けた。

【００３２】加えて、請求項２記載の発明では、２値で
表現された誤差信号の入力に基づき新たな結合係数を算
出して各記憶手段に保存された各結合係数を更新させる
結合係数更新手段と、各記憶手段に保存された各係数符
号を更新させる係数符号更新手段とを有する信号処理手
段とした。

【００３３】また、請求項３記載の発明では、複数の信
号処理手段を網状に接続した。

【００３４】

【作用】請求項１記載の発明においては、信号処理手段
が全て２値表現の信号を扱うので、結合係数やその係数
符号を保存するための記憶手段としても１ビット分のも
ので済み、かつ、パルス密度型では必要となることがあ
るパルス列生成装置が不要になり、よって、信号処理手
段の集積度を向上させ得るものとなる。

【００３５】加えて、請求項２記載の発明においては、
信号処理手段が結合係数更新手段とともに係数符号更新
手段を有するので、パルス密度型のものでは不可能であ
った結合係数の符号の学習も含めた自己学習が可能とな
り、学習における制約が緩和される。よって、学習の柔
軟性が向上するとともに、学習能力も向上する。

【００３６】請求項３記載の発明においては、このよう
な作用をなす信号処理手段を網状に接続することによ
り、大規模化が容易で柔軟性の高いニューラルネットワ
ークを構築できるものとなる。

【００３７】

【実施例】本発明の一実施例を図１ないし図３に基づい
て説明する。まず、本実施例の場合のニューラルネット
ワークないしは神経細胞ユニットに関する基本的な考え
方としては、神経細胞ユニットに関する入力信号、出力信号、中
間信号、結合係数、教師信号、誤差信号などは全て、
“０”又は“１”の２値で表現する。神経細胞ユニット内での計算は、２値同士の論理演
算で表す。結合係数の値は神経細胞ユニット内の１ビットメモ
リ上に格納する。学習は、この結合係数の値を書換えることで実現す
る。学習については、与えられた教師信号の値を基に誤
差を計算し、これに基づいて、結合係数の値及びその係
数符号を変化させる。このとき、誤差の計算、結合係数
の変化分の計算も、全て“０”又は“１”の２値の論理
演算で行う。ようにしたものである。

【００３８】このような前提に基づく複数の神経細胞ユ
ニットを、例えば、既提案例と同様に、図４に示したよ
うに階層型に接続してニューラルネットワークを構築
し、以下のように学習を行わせる。即ち、本実施例の学
習方法も階層型ニューラルネットワークで広く用いられ
ているバックプロパゲーション法に準じたものである。
基本的には、以下の(Ｄ)又は(Ｅ)により誤差信号を求
め、次いで、(Ｆ)の方法により結合係数の値及びその係
数符号を変化させればよい。

【００３９】(Ｄ) 最終層における誤差信号最終層の各神経細胞ユニットにおける誤差信号Ｅ_j の値
を出力信号Ｙ_j と教師信号Ｄ_jとにより計算する。ここ
に、そのときの入力に対して望ましい出力を教師信号Ｄ
_jとして２値で与える。また、誤差信号は＋成分を表す
信号Ｅ_j(+)と−成分を表す信号Ｅ_j(-)との２種類を用い
て２値で表現する。具体的には、教師信号の値が“１”
で出力信号の値が“０”の場合、誤差信号Ｅ_j(+)が
“１”とされ、教師信号の値が“０”で出力信号の値が
“１”の場合、誤差信号Ｅ_j(-)が“１”とされる。これ
らの正、負の誤差信号Ｅ_j(+)，Ｅ_j(-)を論理式で表現す
ると、各々(８)(９)式のようになる。このような誤差信
号の値を基に結合係数の値を後述するように変化させる
ことになる。

【００４０】

【数５】

【００４１】(Ｅ) 中間層における誤差信号まず、上記の最終層の誤差信号を逆伝播させ、最終層と
その１つ前の層との結合係数だけでなく、さらにその前
の層の結合係数も変化させる。そのため、中間層におけ
る各神経細胞ユニットでの誤差信号を計算する必要があ
る。中間層のある神経細胞ユニットから、さらに１つ先
の層の各神経細胞ユニットへ信号を伝播させたのとは、
丁度逆の要領で１つ先の層の各神経細胞ユニットにおけ
る誤差信号を集めてきて、自己の誤差信号とする。ここ
に、Ｙは１つの信号であるのに対して、Ｅは正、負を表
す誤差信号として２種の信号を持ち、その両方の誤差信
号を考慮する必要があるので、結合係数Ｔの正、負なる
係数符号（興奮性と抑制性）に応じて２つの場合に分け
る必要がある。

【００４２】まず、興奮性結合の場合を説明する。この
場合、中間層のある神経細胞ユニットについて、１つ先
の層（例えば、最終層）のｊ番目の神経細胞ユニットで
の誤差信号Ｅ_j(+)と、その神経細胞ユニットと自己との
結合係数Ｔ_ij(+) のＡＮＤをとったもの（Ｅ_j(+)∩ Ｔ
_ij(+)）を各神経細胞ユニットについて求め、さらに、
これら同士のＯＲをとる｛∪（Ｅ_j(+)∩ Ｔ_ij(+)）｝。
これをこの神経細胞ユニットの誤差信号Ｅ_i(+)とする。
同様に、１つ先の層の神経細胞ユニットの誤差信号Ｅ
_j(-)と結合係数Ｔ_ij(+)とのＡＮＤをとり（Ｅ_j(-)∩ Ｔ
_ij(+)）、さらにこれら同士のＯＲをとる｛∪（Ｅ_j(-)
∩ Ｔ_ij(+)）｝。これをこの神経細胞ユニットの誤差信
号Ｅ_i(-)とする。

【００４３】次に、抑制性結合の場合を説明する。この
場合、１つ先の層の神経細胞ユニットでの誤差信号Ｅ
_j(-)とその神経細胞ユニットと自己との結合係数Ｔ
_ij(-) のＡＮＤをとり（Ｅ_j(-)∩ Ｔ_ij(-)）、さらにこ
れら同士のＯＲをとる｛∪（Ｅ_j(-)∩ Ｔ_ij(-)）｝。こ
れを、この神経細胞ユニットの誤差信号Ｅ_i(+)とする。
また、１つ先の層の誤差信号Ｅ_j(-)と結合係数Ｔ_ij(-)
とのＡＮＤをとり（Ｅ_j(+)∩ Ｔ_ij(-)）、さらにこれら
同士のＯＲをとることにより｛∪（Ｅ_j(+)∩
Ｔ_ij(-)）｝、同様に、この神経細胞ユニットの誤差信
号Ｅ_i(+)とする。

【００４４】さらに、この神経細胞ユニットの、興奮性
結合の誤差信号Ｅ_i(+)と抑制性結合の誤差信号Ｅ_i(+)と
のＯＲをとり、これをこのユニットの誤差信号Ｅ_i(+)と
する。同様に、興奮性結合の誤差信号Ｅ_i(-)と抑制性結
合の誤差信号Ｅ_i(-)とのＯＲをとり、これをこのユニッ
トの誤差信号Ｅ_i(-)とする。

【００４５】以上をまとめると、(１０)式に示すように
なる。

【００４６】

【数６】

【００４７】(Ｆ) 誤差信号に基づく各結合係数及びそ
の係数符号の更新変化させたい結合係数が属しているラインに対応する、
１つ前の層の神経細胞ユニットからの出力Ｙ_iと自己の
神経細胞ユニットの誤差信号Ｅ_j(+)又はＥ_j(-)とのＡＮ
Ｄをとる（Ｅ_j(+)∩Ｙ_i、又は、Ｅ_j(-)∩Ｙ_i）。このよ
うにして得られた２つの信号を各々ΔＴ_ij(+)，ΔＴ
_ij(-)とする。

【００４８】そして、今度はこれらのΔＴ_ijを基に新し
いＴ_ijを求めるが、このＴ_ijは絶対値成分であるので、
元のＴ_ijが興奮性か抑制性かで場合分けする。興奮性の
場合、元のＴ_ijに対してΔＴ_ij(+)の成分を増やし、Δ
Ｔ_ij(-)の成分を減らす。逆に、抑制性の場合は元のＴ
_ijに対しΔＴ_ij(+)の成分を減らし、ΔＴ_ij(-)の成分を
増やす。以上をまとめると、(１１)式のようになる。

【００４９】

【数７】

【００５０】さらに、(１１)式の演算処理後、(１２)式
により結合係数Ｔ_ijの係数符号の変更を行う。

【００５１】

【数８】

【００５２】(１２)式中、“sgn” は対応する結合係数
Ｔ_ijの係数符号の値を示し、“０”の場合には興奮性結
合、“１”の場合には抑制性結合であることを示す。
(１２)式は、係数符号が“０”で結合係数値自体が
“０”の場合において結合係数値を減らしたい時には係
数符号を“１”に変更し、係数符号が“１”で結合係数
値自体が“０”の場合において結合係数値を増やしたい
時には係数符号を“０”に変更させることを意味する。

【００５３】以上の学習則に基づいてネットワークの計
算が行われる。

【００５４】次に、以上のアルゴリズムに基づく実際の
回路構成を説明する。まず、ニューラルネットワーク全
体の構成は、例えば図４に示した場合と同様に階層型と
される。各部の構成自体は、既提案例と同様であるが、
扱う信号がパルス密度表現によるものでなく、２値表現
によるものであり、以下のように構成されている。

【００５５】まず、図１は例えば図４中のライン（結
線）に相当する部分の回路を示し、図２は図４中の丸に
相当する部分の回路を示す。さらに、図３に示すような
係数符号更新手段を構成する回路も付加されている。こ
れらの図１ないし図３の構成による信号処理手段を例え
ば図４のようにネットワークにすることにより、２値表
現信号を扱う自己学習可能なニューラルネットワークが
実現できる。

【００５６】まず、図１から説明する。図中、３４は神
経細胞ユニットへの入力信号Ｙであり、入力手段を構成
するものとなる。また、２値表現の結合係数Ｔ_ijの値は
１ビット構成のメモリ（記憶手段）３５に保存してお
く。このメモリ３５はデータ取出し口３５ａとデータ入
口３５ｂとを有する。入力信号３４とメモリ３５内の結
合係数Ｔ_ijとはＡＮＤゲート３６を備えた論理回路（論
理演算手段）３７によりＡＮＤがとられる。この論理回
路３７の出力は結合が興奮性か抑制性かによってグルー
プ分けしなければならないが、予め各々のグループへの
出力３８，３９を用意し、何れに出力するのかを切換え
るようにした方が汎用性の高いものとなる。このため、
ここでは既提案例と同様に、結合が興奮性結合か抑制性
結合かを表す２値表現の係数符号を１ビットのメモリ
（記憶手段）４０ａに保存しておき、この係数符号を用
いて切換えゲート回路４０により切換える。

【００５７】また、図２に示すように各入力処理をする
複数のＯＲゲート構成のゲート回路４１ａ，４１ｂが設
けられている。また、図２では例えば興奮性結合グルー
プが“１”で、抑制性結合グループが“０”のときにの
み出力“１”を出すＡＮＤゲートとインバータとによる
ゲート回路４２が設けられている。これにより、次層に
対する２値表現の入力信号４３が得られる。よって、符
号４３は自己の信号処理手段から見た場合には、次層の
信号処理手段に対する出力手段となる。

【００５８】次に、学習処理について説明する。図２に
示す回路には最終層で算出された２値表現の誤差信号４
４，４５が入力される。これらの誤差信号４４，４５は
複数のＯＲゲート構成のゲート回路４６ａ，４６ｂで各
々集められた後（(１０)式の処理）、分周回路４７によ
り学習レートに相当する処理を受け、１つ前の層に対す
る２値表現の誤差信号４８，４９として出力される。こ
こに、中間層における誤差信号を計算するための処理
は、図１中に示すＡＮＤゲート構成のゲート回路５０に
より行われ、＋，−に応じて、１つ前の層の神経細胞ユ
ニットへ出力するための誤差信号５１，５２が得られ
る。

【００５９】このように結合が興奮性結合か抑制性結合
かによって場合分けが必要であるが、この場合分けはメ
モリ４０ａに記憶された興奮性か抑制性かを示す係数符
号と、正、負の誤差信号４８，４９とに応じてゲート回
路５３により行なわれる。

【００６０】このような誤差信号４８，４９に基づい
て、新たな結合係数の値を計算するための処理を行なう
ＡＮＤゲート、インバータ、ＯＲゲート構成の結合係数
可変回路（結合係数更新手段）５４が設けられ、各メモ
リ３５のデータ入口３５ｂ側に接続されている。これに
より、メモリ３５に格納された結合係数の値の更新書換
えが行なわれる。この結合係数可変回路５４の場合も、
結合の興奮性、抑制性により場合分けが必要であるが、
これはゲート回路５３により行なわれる。

【００６１】さらに、図３に示すように、ＡＮＤゲー
ト、インバータ、ＯＲゲート構成とされて、メモリ３５
内の結合係数、入力信号３４、誤差信号４８，４９に基
づき、(１２)式の論理演算処理を行い、メモリ４０ａに
保存されている係数符号の更新書換えを行うための係数
符号可変回路（係数符号更新手段）５５が設けられてい
る。

【００６２】

【発明の効果】請求項１記載の発明によれば、２値で表
現された複数の入力信号を入力させる入力手段と、各々
の前記入力信号に対して２値で表現された結合係数及び
興奮性結合か抑制性結合かを示す２値で表現された係数
符号を保存する記憶手段と、前記入力信号と前記各結合
係数とを論理演算する論理演算手段と、この論理演算手
段により得られる２値で表現された単数の出力信号を出
力させる出力手段とを有する信号処理手段を設けて、信
号処理手段が全て２値表現の信号を扱うようにしたの
で、結合係数やその係数符号を保存するための記憶手段
としても１ビット分のもので済み、かつ、パルス密度型
では必要となることがあるパルス列生成装置も不要にな
り、よって、信号処理手段の集積度を向上させることが
できる。

【００６３】加えて、請求項２記載の発明によれば、結
合係数更新手段とともに係数符号更新手段を有する信号
処理手段としたので、パルス密度型のものでは不可能で
あった結合係数の符号の学習も含めた自己学習が可能と
なり、学習における制約を緩和し、よって、学習の柔軟
性を向上させ得るとともに、学習能力も向上させること
ができる。

【００６４】また、請求項３記載の発明によれば、この
ような効果を発揮する複数の信号処理手段を網状に接続
したので、大規模化が容易で柔軟性の高いニューラルネ
ットワークを構築できる。

【図面の簡単な説明】

【図１】本発明の一実施例を示す一部の論理回路構成を
示す回路図である。

【図２】他部の論理回路構成を示す回路図である。

【図３】さらに他部の論理回路構成を示す回路図であ
る。

【図４】既提案例のニューラルネットワーク構成例を模
式図である。

【図５】その１つの神経細胞ユニットの構成を示す模式
図である。

【図６】その一部の論理回路構成を示す回路図である。

【図７】その他部の論理回路構成を示す回路図である。

【符号の説明】

３４入力手段３５記憶手段３７論理演算手段４０ａ記憶手段４３出力手段５４結合係数更新手段５５係数符号更新手段

Claims

【特許請求の範囲】

【請求項１】２値で表現された複数の入力信号を入力
させる入力手段と、各々の前記入力信号に対して２値で
表現された結合係数及び興奮性結合か抑制性結合かを示
す２値で表現された係数符号を保存する記憶手段と、前
記入力信号と前記各結合係数とを論理演算する論理演算
手段と、この論理演算手段により得られる２値で表現さ
れた単数の出力信号を出力させる出力手段とを有する信
号処理手段を設けたことを特徴とする信号処理装置。
【請求項２】２値で表現された誤差信号の入力に基づ
き新たな結合係数を算出して各記憶手段に保存された各
結合係数を更新させる結合係数更新手段と、各記憶手段
に保存された各係数符号を更新させる係数符号更新手段
とを有する信号処理手段としたことを特徴とする請求項
１記載の信号処理装置。
【請求項３】複数の信号処理手段を網状に接続したこ
とを特徴とする請求項１又は２記載の信号処理装置。