JPH07121497A

JPH07121497A - 信号処理装置

Info

Publication number: JPH07121497A
Application number: JP26847493A
Authority: JP
Inventors: Takashi Kitaguchi; 貴史北口; Hiroyasu Mifune; 博庸三船; Shinichi Suzuki; 伸一鈴木
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 1993-10-27
Filing date: 1993-10-27
Publication date: 1995-05-12

Abstract

(57)【要約】【目的】パルス密度型神経回路網に対するデータの持
つ過剰な情報を削減して学習効率を上げること。【構成】神経回路網６に入力する入力データベトクル
の要素毎の平均を算出して保持する平均化手段５と、こ
の平均化手段５に保持された値を閾値として入力データ
を２値化する２値化手段８とを有するものとした。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、例えば、画像や音声等
の認識、ロボット等の適応制御、振動等の時系列信号の
予測制御、地震等の予測等のような各種運動の制御に適
用可能な、神経細胞を模倣したニューラルコンピュータ
等の信号処理装置に関する。

【０００２】

【従来の技術】生体の情報処理の基本的な単位である神
経細胞（ニューロン）の機能を模倣し、さらに、この
「神経細胞模倣素子」（神経細胞ユニット）をネットワ
ークに構成することで、情報の並列処理を目指したの
が、いわゆるニューラルネットワークである。文字認識
や連想記憶、運動制御等、生体ではいとも簡単に行われ
ていても、従来のノイマン型コンピュータではなかなか
達成しないものが多い。生体の神経系、特に生体特有の
機能、即ち並列処理、自己学習等をニューラルネットワ
ークにより模倣して、これらの問題を解決しようとする
試みが盛んに行われている。

【０００３】ここに、このようなニューラルネットワー
クをハードウエアにより作製する上で、デジタル型の一
つとして、ニューロン及びネットワーク内部の演算にパ
ルス列で表現された信号を扱うようにしたパルス密度型
で自己学習機能付きのニューラルネットワークの基本と
して、例えば、特開平４−１１１１８５号公報が本出願
人により提案されている。

【０００４】この方式の概要について、以下に説明す
る。まず、この提案例のおけるニューロン素子及びニュ
ーラルネットワークのの基本的な考え方としては、神経細胞ユニットに関する入力信号、出力信号、中
間信号、結合係数、教師信号、誤差信号などは全て、
“０”“１”の２値で表されたパルス列で表現する。ネットワーク内部での信号の量は、パルス密度で表
す（ある一定時間内の“１”の数）。神経細胞ユニット内での計算は、パルス列同士の論
理演算で表す。結合係数のパルス列は神経細胞ユニット内のメモリ
上に格納する。学習は、この結合係数のパルス列を書換えることで
実現する。学習については、与えられた教師信号パルス列を元
に誤差を計算し、これに基づいて、結合係数パルス列を
変化させる。このとき、誤差の計算、結合係数の変化分
の計算も、全て、“０”“１”のパルス列の論理演算で
行う。というものである。

【０００５】このような前提の下、任意の神経細胞ユニ
ット内部における演算は、次の（１）〜（３）式で表さ
れる。

【０００６】

【数１】

【０００７】ここに、各変数は、“０”又は“１”の１
パルスを表している。ｙ_iはある神経細胞ユニットｉか
らの入力パルス、ｙ_jはある神経細胞ユニットｊからの
出力パルスである。また、Ｔ_ij(+) は神経細胞ユニット
ｉ，ｊ間の結合が興奮性結合の場合の結合係数パルス、
Ｔ_ij(-)は神経細胞ユニットｉ，ｊ間の結合が抑制性結
合の場合の結合係数パルスである。よって、ｙ_jが当該
神経細胞ユニットｊの出力値となる。

【０００８】次に、学習における信号演算処理について
説明する。この学習方法は、階層型ニューラルネットワ
ークで広く用いられている誤差逆伝播法（バックプロパ
ゲーション法＝ＢＰ法）に準じたものである。基本的に
は、以下の(Ａ)又は(Ｂ)により誤差信号を求め、次い
で、(Ｃ)の方法により結合係数の値を変化させる。

【０００９】(Ａ) 最終層における誤差信号最終層の各神経細胞ユニットにおける誤差信号を出力信
号と教師信号とにより計算する。ここに、そのときの入
力に対して望ましい出力パルス、即ち、教師信号ｄ_jと
してパルス列で与える。また、パルス密度表現によるた
め、＋成分を表す信号δ_j(+)と、−成分を表す信号δ
_j(-)との２種類を用いて誤差信号を表現する。即ち、こ
れらの正、負の誤差信号δ_j(+)，δ_j(-)を論理式で表現
すると、各々(４)(５)式のようになる。このような誤差
パルスを基に結合係数を変化させることになる。

【００１０】

【数２】

【００１１】(Ｂ) 中間層における誤差信号まず、上記の最終層の誤差信号を逆伝播させ、最終層と
その１つ前の層との結合係数だけでなく、さらにその前
の層の結合係数も変化させる。そのため、中間層におけ
る各神経細胞ユニットでの誤差信号を計算する必要があ
る。中間層のある神経細胞ユニットから、さらに１つ先
の層の各神経細胞ユニットへ信号を伝播させたのとは、
丁度逆の要領で１つ先の層の各神経細胞ユニットにおけ
る誤差信号を集めてきて、自己の誤差信号とする。ここ
に、ｙは１つの信号であるのに対して、δは正、負を表
す誤差信号として２種の信号を持ち、その両方の誤差信
号を考慮する必要があるので、結合係数Ｔの正、負（興
奮性と抑制性）に応じて２つの場合に分ける必要があ
る。

【００１２】まず、興奮性結合の場合を説明する。この
場合、中間層のある神経細胞ユニットについて、１つ先
の層（例えば、最終層）のｊ番目の神経細胞ユニットで
の誤差信号δ_j(+)と、その神経細胞ユニットと自己との
結合係数Ｔ_ij(+) のＡＮＤをとったもの（δ_j(+)∩ Ｔ
_ij(+)）を各神経細胞ユニットについて求め、さらに、
これら同士のＯＲをとる｛Σ（δ_j(+)∩ Ｔ_ij(+)）｝。
これをこの神経細胞ユニットの誤差信号δ_i(+)とする。

【００１３】同様に、１つ先の層の神経細胞ユニットの
誤差信号δ_j(-)と結合係数Ｔ_ij(+)とのＡＮＤをとり
（δ_j(-)∩ Ｔ_ij(+)）、さらにこれら同士のＯＲをとる
｛Σ（δ_j(-)∩ Ｔ_ij(+)）｝。これをこの神経細胞ユニ
ットの誤差信号δ_i(-)とする。

【００１４】次に、抑制性結合の場合を説明する。この
場合、１つ先の層の神経細胞ユニットでの誤差信号δ
_j(-)とその神経細胞ユニットと自己との結合係数Ｔ
_ij(-) のＡＮＤをとり（δ_j(-)∩ Ｔ_ij(-)）、さらにこ
れら同士のＯＲをとる｛Σ（δ_j(-)∩ Ｔ_ij(-)）｝。こ
れを、この神経細胞ユニットの誤差信号δ_i(+)とする。

【００１５】また、１つ先の層の誤差信号δ_j(+)と結合
係数Ｔ_ij(-) とのＡＮＤをとり（δ_j(+)∩ Ｔ_ij(-)）、
さらにこれら同士のＯＲをとることにより｛Σ（δ_j(+)
∩ Ｔ_ij(-)）｝、同様に、この神経細胞ユニットの誤差
信号δ_i(+)とする。

【００１６】さらに、この神経細胞ユニットの、興奮性
結合の誤差信号δ_i(+)と抑制性結合の誤差信号δ_i(+)と
のＯＲをとり、これをこのユニットの誤差信号δ_i(+)と
する。同様に、興奮性結合の誤差信号δ_i(-)と抑制性結
合の誤差信号δ_i(-)とのＯＲをとり、これをこのユニッ
トの誤差信号δ_i(-)とする。

【００１７】以上をまとめると、(６)式に示すようにな
る。

【００１８】

【数３】

【００１９】(Ｃ) 誤差信号に基づく各結合係数の更新変化させたい結合係数が属しているラインに対応する、
１つ前の層の神経細胞ユニットからの出力パルスｙ_iと
自己の神経細胞ユニットの誤差信号δ_j(+)又はδ_j(-)と
のＡＮＤをとる（δ_j(+)∩ｙ_i、又は、δ_j(-)∩ｙ_i）。
このようにして得られた２つの信号を各々ΔＴ_ij(+)，
ΔＴ_ij(-)とする。

【００２０】そして、今度はこれらのΔＴ_ijを基に新し
いＴ_ijを求めるが、このＴ_ijは絶対値成分であるので、
元のＴ_ijが興奮性か抑制性かで場合分けする。興奮性の
場合、元のＴ_ijに対してΔＴ_ij(+)の成分を増やし、Δ
Ｔ_ij(-)の成分を減らす。逆に、抑制性の場合は元のＴ
_ijに対しΔＴ_ij(+) の成分を減らし、ΔＴ_ij(-)の成分
を増やす。以上をまとめると、(７)式のようになる。

【００２１】

【数４】

【００２２】以上の学習則に基づいてネットワークの計
算をする。

【００２３】

【発明が解決しようとする課題】上記提案例のようなパ
ルス密度型ニューラルネットワークによれば、構成がシ
ンプルであるためハードウエア化が容易であり、高速処
理も可能となる。しかし、このようなニューラルネット
ワークにあっても、その入力テータや教師データ等が過
剰な情報を有する等の理由から、その学習、認識をより
効率的に行うには改良の余地がある。

【００２４】

【課題を解決するための手段】請求項１記載の発明で
は、神経回路網に入力する入力データベトクルの要素毎
の平均を算出して保持する平均化手段と、この平均化手
段に保持された値を閾値として入力データを２値化する
２値化手段とを有するものとした。

【００２５】請求項２記載の発明では、神経回路網に入
力する教師データベクトルの要素毎の平均を算出して保
持する平均化手段と、この平均化手段に保持された値を
閾値として教師データを２値化する２値化手段とを有す
るものとした。

【００２６】請求項３記載の発明では、請求項１記載の
発明と請求項２記載の発明とを組合せて構成した。

【００２７】請求項４記載の発明では、神経回路網に入
力する学習用入力データベトクルとこの学習用入力デー
タベクトルを２値化した時の２値データとの距離を計数
して保持する計数手段と、この計数手段に保持された値
を要素毎に平均化する平均化手段と、この平均化手段に
より平均化された値だけ入力データを加算する加算手段
とを有するものとした。

【００２８】請求項５記載の発明では、神経回路網に入
力する教師データベクトルとこの教師データベクトルを
２値化した時の２値データとの距離を計数して保持する
計数手段と、この計数手段に保持された値を要素毎に平
均化する平均化手段と、この平均化手段により平均化さ
れた値だけ前記神経回路網からの出力データを加算する
加算手段とを有するものとした。

【００２９】請求項６記載の発明では、請求項４記載の
発明と請求項５記載の発明とを組合せて構成した。

【００３０】

【作用】請求項１記載の発明においては、平均化手段に
より算出保持された神経回路網に入力する入力データベ
トクルの要素毎の平均値を閾値として２値化手段により
入力データを２値化するので、過剰な情報が削減された
ものとなり、神経回路網を効率よく処理させることがで
き、かつ、教師データとしては多値のものを用い得るも
のとなる。

【００３１】請求項２記載の発明においては、平均化手
段により算出保持された神経回路網に入力する教師デー
タベトクルの要素毎の平均値を閾値として２値化手段に
より教師データを２値化するので、過剰な情報が削減さ
れたものとなり、神経回路網を効率よく処理させること
ができ、かつ、入力データとしては多値のものを用い得
るものとなる。

【００３２】請求項３記載の発明においては、入力デー
タと教師データとをともに２値化するので、神経回路網
の学習効率を極めて高めることができる。

【００３３】請求項４記載の発明においては、神経回路
網に入力する学習用入力データを、計数手段、平均化手
段及び加算手段を通して２値化するので、過剰な情報が
削減されたものとなる上に多値の教師データを利用し得
ることにより、神経回路網を効率よく学習させることが
でき、学習後には多値入力を用い得るものとなる。

【００３４】請求項５記載の発明においては、神経回路
網に入力する教師データを、計数手段、平均化手段及び
加算手段を通して２値化するので、過剰な情報が削減さ
れたものとなる上に多値の入力データを利用し得ること
により、神経回路網を効率よく学習させることができ
る。

【００３５】請求項６記載の発明においては、学習用入
力データと教師データとをともに２値化することによ
り、過剰な情報が削減されたものとなり、神経回路網の
学習効率を極めて高めることができ、学習後には多値入
力を用い得るものとなる。

【００３６】

【実施例】請求項１記載の発明の一実施例を図１に基づ
いて説明する。本実施例は、前述した提案例に示される
ようなパルス密度型ニューラルネットワーク（神経回路
網）における入力データを、前処理として、後述するよ
うな所定の閾値を用いて２値化することを基本とする。
即ち、入力データベクトルの要素Ｘ（ただし、０≦Ｘ≦
１）を、閾値Ｔ（ただし、０≦Ｔ≦１）と比較し、閾値
Ｔより大きければ“１”、閾値Ｔより小さければ“０”
とすることにより２値化を行うものである。

【００３７】ここに、このような閾値Ｔの決定方法につ
いて説明する。まず、入力データベクトルの個数をｎ、
１個の入力データベクトルの要素をｍとすると、入力デ
ータは、（Ｘ_1,1，Ｘ_1,2，…，Ｘ_1,m）（Ｘ_2,1，Ｘ_2,2，…，Ｘ_1,m） … （Ｘ_n,1，Ｘ_n,2，…，Ｘ_n,m）として表される。

【００３８】そして、各要素Ｘ_i毎に閾値Ｔ_i（ただ
し、ｉ＝１，２，…，ｍ）を（８）式の通りに定める。

【００３９】

【数５】

【００４０】（８）式は、閾値Ｔ_iが各要素Ｘ_iの平均
値であることを示している。

【００４１】図１はこの方法を実現するための構成例を
示すものである。まず、トレーニングデータである要素
ｉを格納するｎ段のシフトレジスタ１をｍ個用意して、
全要素を格納する。そして、各シフトレジスタ１からの
出力を順次加算器２に出力して格納されたｎ個の要素の
和を求める。次いで、加算器２の出力を乗算器３に出力
して１／ｎを乗ずる。この乗算器３による演算結果をラ
ッチ４に保持する。このラッチ４に保持された値が閾値
となる。また、これらの加算器２、乗算器３及びラッチ
４が平均化手段５を構成するものとなる。

【００４２】一方、ニューラルネットワーク（神経回路
網）６を学習させる時、選択器７を経由した前記シフト
レジスタ１からの入力データと、前記ラッチ４に保持さ
れた閾値とを比較器（２値化手段）８において大小比較
し、上記のように、閾値より大きければ“１”、閾値よ
り小さければ“０”とする２値化を行って、ニューラル
ネットワーク６に入力させる。

【００４３】このようなトレーニングデータ後の認識過
程では、入力データは入力端子９より入力される。即
ち、選択器７によりトレーニングデータからの信号線を
切離し、入力端子９を接続する。

【００４４】よって、本実施例によれば、ニューラルネ
ットワーク６に入力データを入力させる前処理として平
均化手段５と比較器８とを用いて２値化してから入力さ
せるので、入力データの持つ過剰な情報が削減された形
でニューラルネットワーク６に与えれて処理に供される
ので、このニューラルネットワーク６を効率よく処理さ
せることができる。この場合、教師データとしては多値
情報をそのまま用い得るものとなる。

【００４５】なお、図１に示した構成において、入力デ
ータと教師データとを置換えれば、請求項２記載の発明
に相当するものとなる。即ち、パルス密度型ニューラル
ネットワーク６における教師データを、前処理として、
所定の閾値を用いて２値化するものであり、ニューラル
ネットワーク６に入力する教師データベクトルの要素毎
の平均を平均化手段５より算出して保持するとともに、
保持された値を閾値として比較器７において教師データ
を２値化すればよい。

【００４６】また、これらに準じて、入力データ、教師
データの双方について、このような２値化処理を行って
ニューラルネットワーク６に入力させるようにしてもよ
い（請求項３記載の発明に相当する）。これによれば、
ニューラルネットワーク６における学習効率が極めて高
くなる。

【００４７】つづいて、請求項４記載の発明の一実施例
を図２により説明する。本実施例で扱う入力データは、
“０”から“１”までにおいて量子化されているものと
する。図２において、入力データは加算器１１において
１段階だけインクリメントされた後、比較器１２によっ
て閾値“１”と大小比較される。ここに、加算器１１で
インクリメントされた入力データが閾値“１”以下であ
れば比較器１２はカウンタ１３をカウントアップさせる
とともに、制御器１４からの加算命令により加算器１１
をさらにインクリメント動作させる。そして、インクリ
メントされた入力データが閾値“１”を越えるまでカウ
ンタ１３をカウントアップさせる。

【００４８】同様に、同図中の右側に示すように、加算
器１１を減算器１５に置換えた構成により、入力データ
をデクリメントし、これが“０”になるまでの回数をカ
ウンタ１６によりカウントする。即ち、入力データは減
算器１５において１段階だけデクリメントされた後、比
較器１７によって閾値“０”と大小比較される。ここ
に、減算器１５でデクリメントされた入力データが閾値
“０”以上であれば比較器１７はカウンタ１６をカウン
トダウンさせるとともに、制御器１８からの減算命令に
より減算器１３をさらにデクリメント動作させる。そし
て、デクリメントされた入力データが閾値“０”に達す
るまでカウンタ１６をカウントダウンさせる。

【００４９】よって、これらのカウンタ１３，１６が学
習用入力データベトクルとこの学習用入力データベクト
ルを２値化した時の２値データとの距離を計数して保持
する計数手段を構成する。

【００５０】このように得られる加算側のカウンタ１３
のカウント値と、減算側のカウンタ１６のカウント値と
を、比較器１９で大小比較し、カウント値の小さいほう
のカウンタ１３又は１６のカウント値を選択器２０を通
してメモリ２１に格納する。この場合、加算側のカウン
タ１３であれば、正（＋）の符号付きで格納され、減算
側のカウンタ１６であれば、負（−）の符号付きで格納
される。

【００５１】以上の処理操作を全トレーニングデータの
全要素に対して実施する。

【００５２】また、ニューラルネットワークの学習時に
は、このようなトレーニングデータの各データ要素は、
“１”又は“０”の何れかに近いほうの値に置換えて入
力する。

【００５３】このような学習後のニューラルネットワー
クに、入力データを入力する場合には、特に図示しない
が、前記メモリ２１に格納された値（カウンタ１３，１
６の何れかのカウント値）は、前記実施例で説明した場
合と同様に、平均化手段によって各要素毎に平均値を求
め、保持し、この平均値の分（回数）だけ入力データを
加算して、ニューラルネットワークに入力させる。

【００５４】よって、本実施例によれば、学習用入力デ
ータを２値化してニューラルネットワークに入力させる
ので、過剰な情報が削減されたものとなり、かつ、教師
データとしては多値のものを利用し得るので、ニューラ
ルネットワークを効率よく学習させることができる。ま
た、学習後には入力データにも多値のものを用いること
ができる。

【００５５】なお、図２に示した構成において、学習用
入力データに代えて、教師データ（或いは出力データ）
を用いるようにすれば、請求項５記載の発明に相当する
ものとなる。即ち、学習用入力データに代えて、教師デ
ータを用い、図２で説明した場合と同様の処理を経てメ
モリ２１に格納する値を算出し、図２の場合とは逆の
正，負の符号を付けて格納すればよい。学習時には上記
のようにして教師データを２値化する。学習後には、ニ
ューラルネットワークからの出力値をメモリ２１に格納
された値の分だけ加算する。

【００５６】さらに、これらに準じて、学習用入力デー
タ、教師データの双方について、このような処理を行っ
てから、ニューラルネットワークに入力させるようにし
てもよい（請求項６記載の発明に相当する）。これによ
れば、ニューラルネットワークにおける学習効率が極め
て高くなる上に、学習後には、多値入力を用い得るもの
となる。

【００５７】

【発明の効果】請求項１記載の発明によれば、神経回路
網に入力する入力データベトクルの要素毎の平均を算出
して保持する平均化手段と、この平均化手段に保持され
た値を閾値として入力データを２値化する２値化手段と
を有するものとし、入力データを２値化するようにした
ので、過剰な情報を削減し、神経回路網を効率よく処理
させることができ、かつ、教師データとして多値のもの
を用いることができる信号処理装置を提供できる。

【００５８】請求項２記載の発明によれば、神経回路網
に入力する教師データベクトルの要素毎の平均を算出し
て保持する平均化手段と、この平均化手段に保持された
値を閾値として教師データを２値化する２値化手段とを
有するものとし、教師データを２値化するようにしたの
で、過剰な情報を削減し、神経回路網を効率よく処理さ
せることができ、かつ、入力データとして多値のものを
用いることができる信号処理装置を提供できる。

【００５９】請求項３記載の発明によれば、これらの請
求項１記載の発明と請求項２記載の発明とを組合せて構
成し、入力データと教師データとをともに２値化するよ
うにしたので、神経回路網の学習効率を極めて高めるこ
とができる。

【００６０】請求項４記載の発明によれば、神経回路網
に入力する学習用入力データベトクルとこの学習用入力
データベクトルを２値化した時の２値データとの距離を
計数して保持する計数手段と、この計数手段に保持され
た値を要素毎に平均化する平均化手段と、この平均化手
段により平均化された値だけ入力データを加算する加算
手段とを有するものとし、学習用入力データを２値化す
るようにしたので、過剰な情報を削減できる上に多値の
教師データを利用することができるため、神経回路網を
効率よく学習させることができ、かつ、学習後には多値
入力を用いることができる信号処理装置を提供できる。

【００６１】請求項５記載の発明によれば、神経回路網
に入力する教師データベクトルとこの教師データベクト
ルを２値化した時の２値データとの距離を計数して保持
する計数手段と、この計数手段に保持された値を要素毎
に平均化する平均化手段と、この平均化手段により平均
化された値だけ前記神経回路網からの出力データを加算
する加算手段とを有するものとし、教師データを２値化
するようにしたので、過剰な情報を削減できる上に多値
の入力データを利用することができるため、神経回路網
を効率よく学習させることができる信号処理装置を提供
できる。

【００６２】請求項６記載の発明によれば、請求項４記
載の発明と請求項５記載の発明とを組合せて構成し、学
習用入力データと教師データとをともに２値化するよう
にしたので、過剰な情報を削減できるため、神経回路網
の学習効率を極めて高めることができ、かつ、学習後に
は多値入力を用いることができる信号処理装置を提供で
きる。

【図面の簡単な説明】

【図１】請求項１記載の発明の一実施例を示すブロック
図である。

【図２】請求項４記載の発明の一実施例を示すブロック
図である。

【符号の説明】５平均化手段６神経回路網８２値化手段１３，１６計数手段

Claims

【特許請求の範囲】

【請求項１】神経回路網に入力する入力データベトク
ルの要素毎の平均を算出して保持する平均化手段と、こ
の平均化手段に保持された値を閾値として入力データを
２値化する２値化手段とを有することを特徴とする信号
処理装置。
【請求項２】神経回路網に入力する教師データベクト
ルの要素毎の平均を算出して保持する平均化手段と、こ
の平均化手段に保持された値を閾値として教師データを
２値化する２値化手段とを有することを特徴とする信号
処理装置。
【請求項３】神経回路網に入力する入力データベトク
ルの要素毎の平均を算出して保持する第１の平均化手段
と、この第１の平均化手段に保持された値を閾値として
入力データを２値化する第１の２値化手段と、前記神経
回路網に入力する教師データベクトルの要素毎の平均を
算出して保持する第２の平均化手段と、この第２の平均
化手段に保持された値を閾値として教師データを２値化
する第２の２値化手段とを有することを特徴とする信号
処理装置。
【請求項４】神経回路網に入力する学習用入力データ
ベトクルとこの学習用入力データベクトルを２値化した
時の２値データとの距離を計数して保持する計数手段
と、この計数手段に保持された値を要素毎に平均化する
平均化手段と、この平均化手段により平均化された値だ
け入力データを加算する加算手段とを有することを特徴
とする信号処理装置。
【請求項５】神経回路網に入力する教師データベクト
ルとこの教師データベクトルを２値化した時の２値デー
タとの距離を計数して保持する計数手段と、この計数手
段に保持された値を要素毎に平均化する平均化手段と、
この平均化手段により平均化された値だけ前記神経回路
網からの出力データを加算する加算手段とを有すること
を特徴とする信号処理装置。
【請求項６】神経回路網に入力する学習用入力データ
ベトクルとこの学習用入力データベクトルを２値化した
時の２値データとの距離を計数して保持する第１の計数
手段と、この第１の計数手段に保持された値を要素毎に
平均化する第１の平均化手段と、この第１の平均化手段
により平均化された値だけ入力データを加算する第１の
加算手段と、前記神経回路網に入力する教師データベク
トルとこの教師データベクトルを２値化した時の２値デ
ータとの距離を計数して保持する第２の計数手段と、こ
の第２の計数手段に保持された値を要素毎に平均化する
第２の平均化手段と、この第２の平均化手段により平均
化された値だけ前記神経回路網からの出力データを加算
する第２の加算手段とを有することを特徴とする信号処
理装置。