JPH05210650A

JPH05210650A - 信号処理装置

Info

Publication number: JPH05210650A
Application number: JP4016209A
Authority: JP
Inventors: Takashi Kitaguchi; 貴史北口; Hiroyasu Mifune; 博庸三船; Shinichi Suzuki; 伸一鈴木
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 1992-01-31
Filing date: 1992-01-31
Publication date: 1993-08-20

Abstract

(57)【要約】【目的】自己学習機能を有するニューロンモデルとし
て既提案の信号処理装置をベースとして、従来型計算機
を用いる必要のない完全並列システムを提供し、容易に
実機に搭載し得るシステムを構築すること。【構成】複数の入力信号に対し各々結合係数を保持す
るメモリと、入力信号と結合係数の論理積を演算する論
理積演算手段と、この演算結果を興奮性、抑制性結合の
グループに２分するグループ分け手段と、各グループで
論理和を演算する論理和演算手段と、この演算結果の論
理演算を行い出力信号を得る論理演算手段と、複数の誤
差信号の入力に基づき新たな結合係数を算出しメモリ上
の結合係数を変化させる結合係数可変手段とを有する複
数の信号処理手段を網状に接続した信号処理回路網５４
と、外部機器５１からの信号を信号処理回路網５４に伝
達する入力装置５３と、信号処理回路網５４からの出力
信号を外部機器５１へ送信する出力装置５７とにより構
成した。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、例えば画像や音声の認
識、ロボット等の位置制御、エアコンの温度制御、ロケ
ットの軌道制御等のような各種運動の制御に適用可能
な、神経細胞を模倣したニューロコンピュータ等の信号
処理装置に関する。

【０００２】

【従来の技術】生体の情報処理の基本的な単位である神
経細胞（ニューロン）の機能を模倣し、さらに、この
「神経細胞模倣素子」（神経細胞ユニット）をネットワ
ークにし、情報の並列処理を目指したのが、いわゆるニ
ューラルネットワークである。文字認識や連想記憶、運
動制御等、生体ではいとも簡単に行われていても、従来
のノイマン型コンピュータではなかなか達成しないもの
が多い。生体の神経系、特に生体特有の機能、即ち並列
処理、自己学習等をニューラルネットワークにより模倣
して、これらの問題を解決しようとする試みが盛んに行
われている。

【０００３】まず、従来のニューラルネットワークのモ
デルについて説明する。図２５はある１つの神経細胞ユ
ニットＡを表す図であり、図２６はこれをネットワーク
にしたものである。Ａ₁，Ａ₂，Ａ₃ は各々神経細胞ユニ
ットを表す。１つの神経細胞ユニットは多数の他の神経
細胞ユニットと結合しており、それらから受けた信号を
処理して出力を出す。図２６の場合、ネットワークは階
層型であり、神経細胞ユニットＡ₂ は１つ前（左側）の
層の神経細胞ユニットＡ₁ より信号を受け、１つ後（右
側）の層の神経細胞ユニットＡ₃ へ出力する。

【０００４】より詳細に説明する。まず、図２５の神経
細胞ユニットＡにおいて、他の神経細胞ユニットと自分
のユニットとの結合の度合いを表すのが結合係数と呼ば
れるもので、ｉ番目の神経細胞ユニットとｊ番目の神経
細胞ユニットの結合係数を一般にＴ_ijで表す。結合に
は、相手のユニット（自己のユニットに信号を送ってく
るユニット）からの信号が大きい程自己のユニット出力
が大きくなる興奮性結合と、相手のユニットからの信号
が大きい程自己のユニット出力が小さくなる抑制性結合
とがあり、Ｔ_ij＞０が興奮性結合、Ｔ_ij＜０が抑制性結
合を表す。今、自分の神経細胞ユニットがｊ番目のユニ
ットであるとし、ｉ番目の神経細胞ユニットの出力をｙ
_i とするとこれに結合係数Ｔ_ijを掛けたＴ_ijｙ_i が、自
分のユニットへの入力となる。前述したように、１つの
神経細胞ユニットは多数の神経細胞ユニットと結合して
いるので、それらのユニットに対するＴ_ijｙ_i を足し合
わせた結果なるΣＴ_ijｙ_i が、ネットワーク内における
自分の神経細胞ユニットへの入力となる。これを内部電
位といい、ｕ_j で表す。

【０００５】

【数１】

【０００６】次に、この入力（内部電位）に対して閾値
を加えて非線形な処理をすることで、その神経細胞ユニ
ットの出力とする。この時に用いる関数を神経細胞応答
関数と呼び、非線形関数として、(２)式及び図２７に示
すようなシグモイド関数を用いる。

【０００７】

【数２】

【０００８】このような神経細胞ユニットを図２６に示
すようにネットワークに構成した時には、各結合係数Ｔ
_ijを与え、(１)(２)式を次々と計算することにより、情
報の並列処理が可能となり、最終的な出力が得られるも
のである。

【０００９】このような階層型ニューラルネットワーク
において、ある入力に対して望ましい結果が出力される
ように、結合係数Ｔ_ijを更新していくような学習を行な
うことにより、所望のニューラルネットワークを構築す
る。このような学習方法として最も広く用いられている
のは誤差逆伝播法、いわゆるバックプロパゲーション法
である。

【００１０】このようなネットワークを電子回路により
実現してシステム化した、いわゆるニューロコンピュー
タの一例として特開平２−２３６６５８号公報に示され
るものがある。図２８はその概要を示すもので、メモリ
１と乗算器２とよりなるシナプス相当部３と、加算器４
と制御装置５とよりなる神経細胞相当部６とにより構成
されている。

【００１１】このシステムは、ニューロン、シナプス一
つ当りのハード量は大規模、複雑であるが、物理的には
少数のシナプスやニューロンを用いて仮想的に多数のニ
ューロン、シナプスを実現している。即ち、ワークステ
ーションのような高度な処理ができる従来型の計算機を
制御装置として、各ニューロンやシナプスを逐次的に動
作させているものである。

【００１２】

【発明が解決しようとする課題】このようにニューラル
ネットワークの試みは、現状では、大部分が計算機シミ
ュレーションで行われており、本来の機能を発揮させる
には並列処理が必要であり、ネットワークのハードウエ
ア化が必要である。上記のように特開平２−２３６６５
８号公報に示されたシステムは、一部は並列処理とされ
ているものの、基本的には、従来型計算機が介在した逐
次処理である。従って、生体のような完全並列機構を実
現することはできない。また、従来型計算機を必要とす
るため、容易に実機へこのシステムを搭載することはで
きない。

【００１３】しかして、本発明は、自己学習機能を有す
るニューロンモデルとして、特願平２−４１２４４８
号、特願平３−２９３４２号等として本出願人により提
案されている信号処理装置をベースとして、従来型計算
機を用いる必要のない完全並列システムを提供し、容易
に実機に搭載し得るニューロコンピュータシステムの構
築を目的としている。

【００１４】

【課題を解決するための手段】請求項１記載の発明で
は、複数の入力信号に対して各々結合係数を保持するメ
モリと、前記入力信号と前記結合係数との論理積を演算
する論理積演算手段と、この論理積演算手段による演算
結果を興奮性結合グループと抑制性結合グループとに２
分するグループ分け手段と、各々のグループで論理和を
演算する論理和演算手段と、これらの論理和演算手段の
演算結果の論理演算を行い出力信号を得る論理演算手段
と、複数の誤差信号の入力に基づき新たな結合係数を算
出して前記メモリ上の結合係数を変化させる結合係数可
変手段とを有する複数の信号処理手段を網状に接続した
信号処理回路網と、外部機器からの信号を入力してこの
信号処理回路網に伝達する入力装置と、前記信号処理回
路網から出力される信号を外部機器へ送信する出力装置
とにより構成した。

【００１５】また、請求項２記載の発明では、複数の入
力信号に対して各々結合係数を保持するメモリと、前記
入力信号と前記結合係数との論理積を演算する論理積演
算手段と、この論理積演算手段による演算結果を興奮性
結合グループと抑制性結合グループとに２分するグルー
プ分け手段と、各々のグループで論理和を演算する論理
和演算手段と、これらの論理和演算手段の演算結果の論
理演算を行い出力信号を得る論理演算手段と、複数の誤
差信号の入力に基づき新たな結合係数を算出して前記メ
モリ上の結合係数を変化させる結合係数可変手段とを有
する複数の信号処理手段を網状に接続した信号処理回路
網と、外部機器からのアナログ信号をデジタル信号に変
換するＡ／Ｄ変換手段とデジタル信号をパルス列信号に
変換するパルス列変換手段とを有してこの信号処理回路
網に伝達する入力装置と、前記信号処理回路網から出力
されるパルス列信号を計数する計数手段と計数されたデ
ジタル信号をアナログ信号に変換するＤ／Ａ変換手段を
有してアナログ信号を外部機器へ送信する出力装置とに
より構成した。

【００１６】ここに、これらの発明に加え、請求項３記
載の発明では、信号処理回路網と入力装置と出力装置と
を制御するメモリを有する制御装置を設け、請求項４記
載の発明では、外部装置により書換えられるメモリとし
た。

【００１７】

【作用】自己学習機能付きで内部の演算においてハード
ウエア化が容易でシンプルな信号処理手段を網状に接続
し信号処理回路網をベースとして、入力装置と出力装置
とを組合せてシステム構成したので、従来型計算機を用
いる必要がなく、実機に容易に搭載し得るニューロコン
ピュータシステムを構築できる。

【００１８】

【実施例】本発明の一実施例を図１ないし図２４に基づ
いて説明する。まず、自己学習機能を持つデジタル論理
回路を用いた神経細胞ユニット（ニューロン素子）及び
ニューラルネットワークについて説明する。

【００１９】まず、本実施例のニューロン及びニューラ
ルネットワークはデジタル構成によりハードウエア化し
たものであるが、基本的な考え方としては、神経細胞ユニットに関する入出力信号、中間信号、
結合係数、教師信号などは全て、「０」「１」の２値で
表されたパルス列で表す。ネットワーク内部での信号の量は、パルス密度で表
す（ある一定時間内の「１」の数）。神経細胞ユニット内での計算は、パルス列同士の論
理演算で表す。結合係数のパルス列はメモリ上に置く。学習は、このパルス列を書換えることで実現する。学習については、与えられた教師信号パルス列を元
に誤差を計算し、これに基づいて、結合係数パルス列を
変化させる。このとき、誤差の計算、結合係数の変化分
の計算も、全て、「０」「１」のパルス列の論理演算で
行う。ようにしたものである。

【００２０】以下、この思想について説明する。まず、
デジタル論理回路による信号処理に関し、フォワードプ
ロセスにおける信号処理を説明する。図５は１つの神経
細胞ユニット（神経細胞模倣素子）２０に相当する部分
を示し、ニューラルネットワーク全体としては例えば図
６に示すように階層型とされる。入出力は、全て、
「１」「０」に２値化され、かつ、同期化されたものが
用いられる。入力信号ｙ_iの値（強度）はパルス密度で
表現し、例えば図７に示すパルス列のようにある一定時
間内にある「１」の状態数で表す。即ち、図７の例は、
４／６を表し、同期パルス６個中に信号は「１」が４
個、「０」が２個である。このとき、「１」と「０」の
並び方は、ランダムであることが望ましい。

【００２１】一方、各神経細胞ユニット２０間の結合の
度合を示す結合係数Ｔ_ijも同様にパルス密度で表現し、
「０」と「１」とのパルス列として予めメモリ上に用意
しておく。図８の例は、「１０１０１０」＝３／６を表
す式である。この場合も、「１」と「０」の並び方はラ
ンダムであることが望ましい。

【００２２】そして、この結合係数パルス列を同期クロ
ックに応じてメモリ上より順次読出し、図５に示すよう
に各々ＡＮＤゲート２１により入力信号パルス列との論
理積をとる（ｙ_i ∩ Ｔ_ij)。これを、神経細胞ｊへの入
力とする。上例の場合で説明すると、入力信号が「１０
１１０１」として入力されたとき、これと同期してメモ
リ上よりパルス列を呼出し、順次ＡＮＤをとることによ
り、図９に示すような「１０１０００」が得られ、これ
は入力ｙ_i が結合係数Ｔ_ijにより変換されパルス密度が
２／６となることを示している。

【００２３】ＡＮＤゲート２１の出力のパルス密度は、
近似的には入力信号のパルス密度と結合係数のパルス密
度との積となり、アナログ方式の結合係数と同様の機能
を有する。これは、信号の列が長いほど、また、「１」
と「０」との並び方がランダムであるほど、数値の積に
近い機能を持つことになる。なお、入力パルス列に比べ
て結合係数のパルス列が短く、読出すべきデータがなく
なったら、再びデータの先頭に戻って読出しを繰返えせ
ばよい。

【００２４】１つの神経細胞ユニット２０は多入力であ
るので、前述した「入力信号と結合係数とのＡＮＤ」も
多数あり、次にＯＲ回路２２によりこれらの論理和をと
る。入力は同期化されているので、例えば１番目のデー
タが「１０１０００」、２番目のデータが「０１０００
０」の場合、両者のＯＲをとると、「１１１０００」と
なる。これを多入力（ｍ個）同時に計算し出力とする
と、例えば図１０に示すようになる。これは、アナログ
計算における和の計算及び非線形関数（シグモイド関
数）の部分に対応している。

【００２５】パルス密度が低い場合、そのＯＲをとった
もののパルス密度は、各々のパルス密度の和に近似的に
一致する。パルス密度が高くなるにつれ、ＯＲ回路２２
の出力は段々飽和してくるので、パルス密度の和とは一
致せず、非線形性が出てくる。ＯＲの場合、パルス密度
は１よりも大きくなることがなく、かつ、０より小さく
なることもなく、さらには、単調増加関数であり、シグ
モイド関数と近似的に同等となる。

【００２６】ところで、結合には興奮性と抑制性がある
が、本実施例でも各神経細胞ユニット２０間の結合にお
いてはその両方を持ち得るものとする。まず、結合係数
が興奮性結合係数Ｔ_ij(+) か抑制性結合係数Ｔ_ij(-) か
により、各結合を興奮性結合グループと抑制性結合グル
ープとに２分する。そして、入力信号と各結合係数のパ
ルス列のＡＮＤ出力同士のＯＲを各グループで計算す
る。そして、興奮性結合グループのＯＲ結果が「１」で
抑制性結合グループのＯＲ結果が「０」の場合にのみ
「１」を出力し、それ以外の場合には「０」を出力す
る。この出力をこの神経細胞ユニット２０の出力パルス
とする（図１１参照）。

【００２７】論理式で表現すると、次の(３)〜(５)式で
示される。

【００２８】

【数３】

【００２９】神経細胞ユニット２０のネットワークは、
バックプロパゲーションと同様な階層型（即ち、図６）
とする。そして、ネットワーク全体を同期させておけ
ば、各層とも上述した機能により計算できる。

【００３０】次に、学習（バックプロパゲーション）に
おける信号演算処理について説明する。基本的には、以
下のａ又はｂにより誤差信号を求め、次いで、ｃの方法
により結合係数の値を変化させるようにすればよい。

【００３１】ａ．最終層における誤差信号最終層で各神経細胞ユニットにおける誤差信号を出力信
号と教師信号とにより計算する。ここに、そのときの入
力に対して望ましい出力を、教師信号としてパルス列で
与える。一般に、誤差を数値で表すと正、負の両方をと
り得るが、パルス密度ではそれを同時に表現できないの
で、＋成分を表す信号と、−成分を表す信号との２種類
を用いて誤差信号を表現する。即ち、ｊ番目の神経細胞
ユニットの誤差信号は、図１２のように示される。つま
り、誤差信号の＋成分は教師信号パルスと出力パルスと
の違っている部分（１，０）又は（０，１）の内、教師
信号側に存在するパルス、他方、−成分は同様に出力側
に存在するパルスである。換言すれば、出力パルスに誤
差信号＋パルスを付け加え、誤差信号−パルスを取り除
くと、教師パルスとなることになる。即ち、これらの正
負の誤差信号δ_j(+)，δ_j(-)を論理式で表現すると、各
々(６)(７)式のようになる。このような誤差信号パルス
を基に結合係数を後述するように変化させることにな
る。

【００３２】

【数４】

【００３３】ｂ．中間層における誤差信号まず、上記の誤差信号を逆伝播させ、最終層とその１つ
前の層との結合係数だけでなく、さらにその前の層の結
合係数も変化する。そのため、中間層における各神経細
胞ユニットでの誤差信号を計算する必要がある。中間層
のある神経細胞ユニットから、さらに１つ先の層の各神
経細胞ユニットへ信号を伝播させたのとは、丁度逆の要
領で１つ先の層の各神経細胞ユニットにおける誤差信号
を集めてきて、自己の誤差信号とする。このことは、神
経細胞ユニット内での前述した演算式(３)〜(５)や図７
〜図１１に示した場合と同じような要領で行うことがで
きる。

【００３４】ただし、神経細胞ユニット内での前述した
処理と異なるのは、ｙは１つの信号であるのに対して、
δは正、負を表す信号として２つの信号を持ち、その両
方の信号を考慮する必要があることである。従って、結
合係数Ｔの正負に応じて２つの場合に分ける必要があ
る。

【００３５】まず、興奮性結合の場合を説明する。この
場合、中間層のある神経細胞ユニットについて、１つ先
の層（図６における最終層）のｊ番目の神経細胞ユニッ
トでの誤差信号＋と、その神経細胞ユニットと自己（図
６における中間層のある神経細胞ユニット）との結合係
数のＡＮＤをとったもの（δ_j(+) ∩ Ｔ_ij）を各神経細
胞ユニットについて求め、さらに、これら同士のＯＲを
とる｛∪（δ_j(+) ∩Ｔ_ij）｝。これをこの神経細胞ユ
ニットの誤差信号＋とする。即ち、図１３に示すように
なる。

【００３６】同様に、１つ先の層の神経細胞ユニットで
の誤差信号−と結合係数とのＡＮＤをとり、さらにこれ
ら同士のＯＲをとることにより、この神経細胞ユニット
の誤差信号−とする。即ち、図１４に示すようになる。

【００３７】次に、抑制性結合の場合を説明する。この
場合、１つ先の層の神経細胞ユニットでの誤差信号−と
その神経細胞ユニットと自己との結合係数のＡＮＤをと
り、さらにこれら同士のＯＲをとる。これを、この神経
細胞ユニットの誤差信号＋とする。即ち、図１５に示す
ようになる。

【００３８】また、１つ先の誤差信号＋と結合係数との
ＡＮＤをとり、さらにこれら同士のＯＲをとることによ
り、同様に、この神経細胞ユニットの誤差信号−とす
る。即ち、図１６に示すようになる。

【００３９】さらに、この神経細胞ユニットの、興奮性
結合の誤差信号＋と抑制性結合の誤差信号＋とのＯＲを
とり、これをこのユニットの１つ前の層の神経細胞ユニ
ットへ出力される誤差信号δ_i(+)とする。同様に、興奮
性結合の誤差信号−と抑制性結合の誤差信号−とのＯＲ
をとり、これをこのユニットの１つ前の層の神経細胞ユ
ニットへ出力される誤差信号δ_i(-)とする。

【００４０】以上をまとめると、(８)式に示すようにな
る。

【００４１】

【数５】

【００４２】さらに、入力してくる誤差信号に対して各
々同じ又は異なる学習のレート（学習定数）を設けても
よい。これは、パルス列を間引くことにより実現でき
る。例えば、カウンタ的な考え方をし、図１７、図１８
に示すようなものとすればよい。この例では、学習レー
トη＝０．５では元の信号のパルス列を１つ置きに間引
くが、元の信号のパルスが等間隔でなくても、元のパル
ス列に対して間引くことができる。図１７、図１８中、
η＝０．５の場合はパルスを１つ置きに間引き、η＝
０．３３の場合はパルスを２つ置きに残し、η＝０．６
７の場合はパルスを２つ置きに１回間引くことを示す。
このようにして、誤差信号を間引くことにより学習レー
トの機能を持たせる。

【００４３】ｃ．結合係数の更新以上のような処理による誤差信号により各結合係数を変
化させる。変化させたい結合係数が属しているライン
（図６参照）に対応する、１つ前の神経細胞ユニットか
らの出力ｙ_iと自己の神経細胞ユニットの誤差信号δ
_j(+)又はδ_j(-)とのＡＮＤをとる（δ_j∩ｙ_i）（図１
９，図２０参照）。このようにして得られた２つの信号
を各々ΔＴ_ij(+)，ΔＴ_ij(-)とする。

【００４４】そして、今度はこのΔＴ_ijを元に新しいＴ
_ijを求めるが、このＴ_ijは絶対値成分であるので、元の
Ｔ_ijが興奮性か抑制性かで場合分けする。興奮性の場
合、元のＴ_ijに対してΔＴ_ij(+)の成分を増やし、ΔＴ
_ij(-)の成分を減らす。即ち、図２１に示すようにな
る。逆に、抑制性の場合は元のＴ_ijに対しΔＴ_ij(+) の
成分を減らし、ΔＴ_ij(-)の成分を増やす。即ち、図２
２に示すようになる。

【００４５】以上をまとめると、(９)式のようになる。

【００４６】

【数６】

【００４７】以上の学習則に基づいてネットワークの計
算をする。

【００４８】次に、以上のアルゴリズムに基づく実際の
回路構成を説明する。図２３及び図２４にその回路構成
例を示すが、ネットワーク２全体の構成は図６と同様で
ある。図２３は図６中のライン（結線）に相当する部分
の回路を示し、図２４は図６中の丸（各神経細胞ユニッ
ト２０）に相当する部分の回路を示す。これらの図２
３、図２４構成の回路を図６のようにネットワークにす
ることにより、自己学習可能なデジタル式のニューラル
ネットワークが実現できる。

【００４９】まず、図２３から説明する。図中、２５は
神経細胞ユニットへの入力信号であり、図７に相当す
る。図８に示したような結合係数の値はシフトレジスタ
２６に保存しておく。このシフトレジスタ２６は取出し
口２６ａと入口２６ｂとを有するが、通常のシフトレジ
スタと同様の機能を持つものであればよく、例えば、Ｒ
ＡＭとアドレスコントローラとの組合せによるもの等で
あってもよい。入力信号２５とシフトレジスタ２６内の
結合係数とはＡＮＤゲート２７を備えて図９に示した処
理を行なう論理回路２８によりＡＮＤがとられる。この
論理回路２８の出力は結合が興奮性か抑制性かによって
グループ分けしなければならないが、予め各々のグルー
プへの出力２９，３０を用意し、何れに出力するのかを
切換えるようにした方が汎用性の高いものとなる。この
ため、本実施例では結合が興奮性か抑制性かを表すビッ
トをグループ分け用メモリ３１に保存しておき、その情
報を用いて切換えゲート回路３２により切換える。切換
えゲート回路３２は２つのＡＮＤゲート３２ａ，３２ｂ
と一方の入力に介在されたインバータ３２ｃとよりな
る。

【００５０】また、図２４に示すように各入力を処理
（図１０に相当）をする複数のＯＲゲート構成のゲート
回路３３ａ，３３ｂが設けられている。さらに、同図に
示すように図１１に示した興奮性結合グループが「１」
で、抑制性結合グループが「０」のときにのみ出力
「１」を出すＡＮＤゲート３４ａとインバータ３４ｂと
によるゲート回路３４が設けられている。

【００５１】次に、誤差信号について説明する。最終層
からの出力及び教師信号により作成された誤差信号３
８，３９を図２４に示す回路に入力させる。この中間層
における誤差信号を計算するため図１３〜図１６に示し
たような処理は、図２３中に示すＡＮＤゲート構成のゲ
ート回路４２により行われ、＋，−に応じた出力４３，
４４が得られる。このように結合が興奮性か抑制性かに
より場合分けする必要があるが、この場合分けはメモリ
３１に記憶された興奮性か抑制性かの情報と、誤差信号
の＋，−信号４５，４６とに応じて、ＡＮＤ，ＯＲゲー
ト構成のゲート回路４７により行われる。また、誤差信
号を集める計算式(６)は図２４に示すＯＲゲート構成の
ゲート回路４８により行われる。さらに、学習レートに
相当する図１７，１８の処理は図２４中に示す分周回路
４９により行われる。最後に、誤差信号より新たな結合
係数を計算する部分、即ち、図１９〜図２２の処理に相
当する部分は、図２３中に示すＡＮＤ，インバータ、Ｏ
Ｒゲート構成のゲート回路５０により行われ、シフトレ
ジスタ２６の内容、即ち、結合係数の値が書換えられ
る。このゲート回路５０も結合の興奮性、抑制性によっ
て場合分けが必要であるが、ゲート回路４７により行わ
れる。

【００５２】このような構成・機能を持つニューロン素
子を用いたスタンドアロン型のニューロコンピュータ構
成について説明する。まず、図１は請求項１記載の発明
に相当する信号処理装置全体を示す概念図であり、ニュ
ーラルネットワークを応用したい実機５１からの信号を
入力し、実機５１へ信号を出力するのがニューロコンピ
ュータ（信号処理装置）５２である。このニューロコン
ピュータ５２は、実機５１からの信号に対する入力イン
ターフェース（入力装置）５３と、前述したような理論
に基づきハードウエアニューロンにより構成されたニュ
ーラルネットワーク（信号処理回路網）５４と、このニ
ューラルネットワーク５４の駆動及びデータ入出力を周
辺部５５とによるニューラルネット処理部５６と、実機
５１へ信号を出力する出力インターフェース（出力装
置）５７とにより構成されている。

【００５３】ここに、入力インターフェース５３は例え
ば図２に示すように実機５１からのアナログ信号をデジ
タルデータに変換するＡ／Ｄ変換器（Ａ／Ｄ変換手段）
５８と、変換されたデジタルデータをさらにパルス列に
変換するパルス列発生器（パルス列変換手段）５９とを
付加したものとし、パルス列データをニューラルネット
ワーク５４へ入力させるように構成するのがよい。この
時、実機５１又は他の装置（図示せず）からアナログ教
師信号を入力し、Ａ／Ｄ変換器６０によりデジタル信号
に変換し、パルス列発生器６１でパルス列データに変換
して、先のパルス列発生器５９からのパルス列データと
同時にニューラルネットワーク５４へ入力させる。そし
て、ニューラルネットワーク５４の出力（パルス列デー
タ）をカウンタ（計数手段）６２で計数し、そのデジタ
ルデータをＤ／Ａ変換器（Ｄ／Ａ変換手段）６３でアナ
ログ信号に変換し、実機５１へ出力する。

【００５４】ところで、このようなニューロコンピュー
タ５２を駆動させる制御装置６４の構成例を図３に示
す。これは、請求項３記載の発明に相当するもので、コ
ントローラ６５とメモリ６６と外部装置、例えばパーソ
ナルコンピュータ６７とにより構成されている。コント
ローラ６５はシステムの状態を決定するのみで、図１及
び図２に示した各ユニットは専用のハードウエアのみに
より高精査されたシーケンサにより制御される。ハード
ウエアのみによりシーケンサを構成するのは、システム
の高速化のためである。コントローラ６５自体はハード
ウエア構成のみによるシーケンサであってもＣＰＵを用
いたようなものであってもよい。メモリ６６はシステム
の状態、例えば、ネットワーク構造や実行回数、学習処
理を行うか行わないか等の情報を記憶したものであり、
パーソナルコンピュータ６７により書換え自在とされて
いる。ニューロン素子の結合係数等の書換えも、このパ
ーソナルコンピュータ６７により行うようにしてもよ
い。

【００５５】ついで、このような構成によるニューロコ
ンピュータシステムの処理手順について、図４に模式的
に示す状態遷移図を参照して説明する。まず、電源を投
入すると（パワーオン）、メモリ６６内のＲＯＭに記憶
されていた結合係数データを各ニューロンのメモリ（シ
フトレジスタ２６）へ書込むことで、アイドリング状態
となる。この状態から、パーソナルコンピュータ６７に
アクセスしてメモリ６６を書換える状態に遷移するか、
実機５１からデータを入力してニューラルネットワーク
処理（ＮＮ処理）を行う状態に遷移する。

【００５６】なお、本発明を構成するに当り、前述した
回路例に限らず、同等の機能を発揮するものであれば他
の回路構成によるものであってもよい。

【００５７】

【発明の効果】本発明は、上述したように、自己学習機
能付きで内部の演算においてハードウエア化が容易でシ
ンプルな信号処理手段を網状に接続した信号処理回路網
をベースとして、入力装置と出力装置、さらには、Ａ／
Ｄ変換手段やＤ／Ａ変換手段等とを組合せてシステム構
成したので、従来型計算機を用いる必要なく、実機に容
易に搭載し得るニューロコンピュータシステムを構築で
きるものとなる。

【図面の簡単な説明】

【図１】請求項１記載の発明に相当する一実施例を示す
概略ブロック図である。

【図２】請求項２記載の発明に相当する一実施例を示す
部分的な概略ブロック図である。

【図３】請求項３及び４記載の発明に相当する一実施例
を示す部分的な概略ブロック図である。

【図４】ニューロコンピュータシステムの処理手順を模
式的に示す説明図である。

【図５】基本的な信号処理を行なうための論理回路図で
ある。

【図６】ネットワーク構成例を示す模式図である。

【図７】論理演算例を示すタイミングチャートである。

【図８】論理演算例を示すタイミングチャートである。

【図９】論理演算例を示すタイミングチャートである。

【図１０】論理演算例を示すタイミングチャートであ
る。

【図１１】論理演算例を示すタイミングチャートであ
る。

【図１２】論理演算例を示すタイミングチャートであ
る。

【図１３】論理演算例を示すタイミングチャートであ
る。

【図１４】論理演算例を示すタイミングチャートであ
る。

【図１５】論理演算例を示すタイミングチャートであ
る。

【図１６】論理演算例を示すタイミングチャートであ
る。

【図１７】論理演算例を示すタイミングチャートであ
る。

【図１８】論理演算例を示すタイミングチャートであ
る。

【図１９】論理演算例を示すタイミングチャートであ
る。

【図２０】論理演算例を示すタイミングチャートであ
る。

【図２１】論理演算例を示すタイミングチャートであ
る。

【図２２】論理演算例を示すタイミングチャートであ
る。

【図２３】各部の構成例を示す論理回路図である。

【図２４】各部の構成例を示す論理回路図である。

【図２５】従来例を示す１つのユニット構成を示す概念
図である。

【図２６】そのニューラルネットワーク構成の概念図で
ある。

【図２７】シグモイド関数を示すグラフである。

【図２８】異なる従来例を示すブロック図である。

【符号の説明】

２０信号処理手段２６メモリ２７論理積演算手段３２グループ分け手段３３ａ，３３ｂ論理和演算手段３４論理演算手段４５結合係数可変手段５１外部機器５３入力装置５４信号処理回路網５７出力装置５８Ａ／Ｄ変換手段５９パルス列変換手段６２計数手段６３Ｄ／Ａ変換手段６４制御装置６６メモリ６７外部装置

Claims

【特許請求の範囲】

【請求項１】複数の入力信号に対して各々結合係数を
保持するメモリと、前記入力信号と前記結合係数との論
理積を演算する論理積演算手段と、この論理積演算手段
による演算結果を興奮性結合グループと抑制性結合グル
ープとに２分するグループ分け手段と、各々のグループ
で論理和を演算する論理和演算手段と、これらの論理和
演算手段の演算結果の論理演算を行い出力信号を得る論
理演算手段と、複数の誤差信号の入力に基づき新たな結
合係数を算出して前記メモリ上の結合係数を変化させる
結合係数可変手段とを有する複数の信号処理手段を網状
に接続した信号処理回路網と、外部機器からの信号を入
力してこの信号処理回路網に伝達する入力装置と、前記
信号処理回路網から出力される信号を外部機器へ送信す
る出力装置とよりなることを特徴とする信号処理装置。
【請求項２】複数の入力信号に対して各々結合係数を
保持するメモリと、前記入力信号と前記結合係数との論
理積を演算する論理積演算手段と、この論理積演算手段
による演算結果を興奮性結合グループと抑制性結合グル
ープとに２分するグループ分け手段と、各々のグループ
で論理和を演算する論理和演算手段と、これらの論理和
演算手段の演算結果の論理演算を行い出力信号を得る論
理演算手段と、複数の誤差信号の入力に基づき新たな結
合係数を算出して前記メモリ上の結合係数を変化させる
結合係数可変手段とを有する複数の信号処理手段を網状
に接続した信号処理回路網と、外部機器からのアナログ
信号をデジタル信号に変換するＡ／Ｄ変換手段とデジタ
ル信号をパルス列信号に変換するパルス列変換手段とを
有してこの信号処理回路網に伝達する入力装置と、前記
信号処理回路網から出力されるパルス列信号を計数する
計数手段と計数されたデジタル信号をアナログ信号に変
換するＤ／Ａ変換手段を有してアナログ信号を外部機器
へ送信する出力装置とよりなることを特徴とする信号処
理装置。
【請求項３】信号処理回路網と入力装置と出力装置と
を制御するメモリを有する制御装置を設けたことを特徴
とする請求項１又は２記載の信号処理装置。
【請求項４】外部装置により書換えられるメモリとし
たことを特徴とする請求項３記載の信号処理装置。