JPH05290014A

JPH05290014A - 信号処理装置

Info

Publication number: JPH05290014A
Application number: JP4094601A
Authority: JP
Inventors: Shinichi Suzuki; 伸一鈴木; Takashi Kitaguchi; 貴史北口; Hiroyasu Mifune; 博庸三船
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 1992-04-15
Filing date: 1992-04-15
Publication date: 1993-11-05

Abstract

(57)【要約】【目的】パルス密度表現の入力信号を用いて処理する
ニューラルネットワークにおいて、情報として意味を持
たなくなる全てがＬレベルのパルス列の入力を避けるこ
と。【構成】自己学習手段を備えてパルス密度表現による
少なくとも１つ以上の入力信号が入力される複数の神経
細胞模倣素子を網状に接続してニューラルネットワーク
を形成した信号処理装置において、前記ニューラルネッ
トワークの入力部に、前記ニューラルネットワークに対
するパルス密度表現による入力信号３１と、別個に用意
されて少なくともＨレベルのパルスを含むパルス列３２
との論理和をとる論理和演算手段３３を設けた。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、例えば画像や音声の認
識、ロボット等の位置制御、エアコンの温度制御、ロケ
ットの軌道制御等のような各種運動の制御に適用可能
な、神経細胞を模倣したニューロコンピュータ等の信号
処理装置に関する。

【０００２】

【従来の技術】生体の情報処理の基本的な単位である神
経細胞（ニューロン）の機能を模倣し、さらに、この
「神経細胞模倣素子」（神経細胞ユニット）をネットワ
ークにし、情報の並列処理を目指したのが、いわゆるニ
ューラルネットワークである。文字認識や連想記憶、運
動制御等、生体ではいとも簡単に行われていても、従来
のノイマン型コンピュータではなかなか達成しないもの
が多い。生体の神経系、特に生体特有の機能、即ち並列
処理、自己学習等をニューラルネットワークにより模倣
して、これらの問題を解決しようとする試みが、計算機
シミュレーションを中心として、盛んに行われている。

【０００３】まず、従来のニューラルネットワークのモ
デルについて説明する。図６はある１つの神経細胞ユニ
ットＡを表す図であり、図７はこれをネットワークにし
たものである。Ａ₁，Ａ₂，Ａ₃ は各々神経細胞ユニット
を表す。１つの神経細胞ユニットは多数の他の神経細胞
ユニットと結合しており、それらから受けた信号を処理
して出力を出す。図７の場合、ネットワークは階層型で
あり、神経細胞ユニットＡ₂ は１つ前（左側）の層の神
経細胞ユニットＡ₁ より信号を受け、１つ後（右側）の
層の神経細胞ユニットＡ₃ へ出力する。

【０００４】より詳細に説明する。まず、図６の神経細
胞ユニットＡにおいて、他の神経細胞ユニットと自分の
ユニットとの結合の度合いを表すのが結合係数と呼ばれ
るもので、ｉ番目の神経細胞ユニットとｊ番目の神経細
胞ユニットの結合係数を一般にＴ_ijで表す。結合には、
相手のユニット（自己のユニットに信号を送ってくるユ
ニット）からの信号が大きい程自己のユニット出力が大
きくなる興奮性結合と、相手のユニットからの信号が大
きい程自己のユニット出力が小さくなる抑制性結合とが
あり、Ｔ_ij＞０が興奮性結合、Ｔ_ij＜０が抑制性結合を
表す。今、自分の神経細胞ユニットがｊ番目のユニット
であるとし、ｉ番目の神経細胞ユニットの出力をｙ_i と
するとこれに結合係数Ｔ_ijを掛けたＴ_ijｙ_i が、自分の
ユニットへの入力となる。前述したように、１つの神経
細胞ユニットは多数の神経細胞ユニットと結合している
ので、それらのユニットに対するＴ_ijｙ_i を足し合わせ
た結果なるΣＴ_ijｙ_i が、ネットワーク内における自分
の神経細胞ユニットへの入力となる。これを内部電位と
いい、ｕ_j で表す。

【０００５】

【数１】

【０００６】次に、この入力（内部電位）に対して閾値
を加えて非線形な処理をすることで、その神経細胞ユニ
ットの出力とする。この時に用いる関数を神経細胞応答
関数と呼び、非線形関数として、(２)式及び図８に示す
ようなシグモイド関数を用いる。

【０００７】

【数２】

【０００８】このような神経細胞ユニットを図７に示す
ようにネットワークに構成した時には、各結合係数Ｔ_ij
を与え、(１)(２)式を次々と計算することにより、情報
の並列処理が可能となり、最終的な出力が得られるもの
である。

【０００９】このような階層型ニューラルネットワーク
において、ある入力に対して望ましい結果が出力される
ように、結合係数Ｔ_ijを更新していくような学習を行な
うことにより、所望のニューラルネットワークを構築す
る。このような学習方法として最も広く用いられている
のは誤差逆伝播法、いわゆるバックプロパゲーション法
である。

【００１０】このようなネットワークを電子回路により
実現してシステム化した、いわゆるニューロコンピュー
タの一例として特開平２−２３６６５８号公報に示され
るものがある。これらでは、出力パルスの密度の数を数
えて出力値としている。

【００１１】ここに、その一例として、デジタル方式の
自己学習機能付きニューロンモデルとして、特願平２−
４１２４４８号、特願平３−２９３４２号等として本出
願人により提案されている信号処理方式を図９ないし図
２６により説明する。提案例の前提とするニューラルネ
ットワークは、結合係数可変回路とこの結合係数可変回
路の可変結合係数値を教師信号に対する誤差信号に基づ
いて生成する結合係数生成回路とを有する自己学習回路
を付設したデジタル論理回路による複数の神経細胞模倣
素子よりなる信号処理手段を網状に接続して構成され
る。

【００１２】まず、提案例におけるニューラルネットワ
ークはデジタル構成によりハードウエア化したものであ
るが、基本的な考え方としては、神経細胞ユニットに関する入出力信号、中間信号、
結合係数、教師信号などは全て、「０」「１」の２値で
表されたパルス列で表す。ネットワーク内部での信号の量は、パルス密度で表
す（ある一定時間内の「１」の数）。神経細胞ユニット内での計算は、パルス列同士の論
理演算で表す。結合係数のパルス列はメモリ上に置く。学習は、このパルス列を書換えることで実現する。学習については、与えられた教師信号パルス列を基
に誤差を計算し、これに基づいて、結合係数パルス列を
変化させる。このとき、誤差の計算、結合係数の変化分
の計算も、全て、「０」「１」のパルス列の論理演算で
行う。ようにしたものである。

【００１３】以下、この思想について説明する。まず、
デジタル論理回路による信号処理に関し、フォワードプ
ロセスにおける信号処理を説明する。図９は１つの神経
細胞ユニット（神経細胞模倣素子）２０に相当する部分
を示し、ニューラルネットワーク全体としては例えば図
１０に示すように階層型とされる。入出力は、全て、
「１」「０」に２値化され、かつ、同期化されたものが
用いられる。入力信号ｙ_iの強度はパルス密度で表現
し、例えば図１１に示すパルス列のようにある一定時間
内にある「１」の状態数で表す。即ち、図１１の例は、
４／６を表し、同期パルス６個中に信号は「１」が４
個、「０」が２個である。このとき、「１」と「０」の
並び方はランダムであることが望ましい。

【００１４】一方、各神経細胞ユニット２０間の結合の
度合を示す結合係数Ｔ_ijも同様にパルス密度で表現し、
「０」と「１」とのパルス列として予めメモリ上に用意
しておく。図１２の例は、「１０１０１０」＝３／６を
表す式である。この場合も、「１」と「０」の並び方は
ランダムであることが望ましい。

【００１５】そして、このパルス列を同期クロックに応
じてメモリ上より順次読出し、図９に示すように各々Ａ
ＮＤゲート２１により入力信号パルス列との論理積をと
る（ｙ_i ∩ Ｔ_ij)。これを、神経細胞ｊへの入力とす
る。上例の場合で説明すると、入力信号が「１０１１０
１」として入力されたとき、これと同期してメモリ上よ
りパルス列を呼出し、順次ＡＮＤをとることにより、図
１３に示すような「１０１０００」が得られ、これは入
力ｙ_i が結合係数Ｔ_ijにより変換されパルス密度が２／
６となることを示している。

【００１６】ＡＮＤゲート２１の出力のパルス密度は、
近似的には入力信号のパルス密度と結合係数のパルス密
度との積となり、アナログ方式の結合係数と同様の機能
を有する。これは、信号の列が長いほど、また、「１」
と「０」との並び方がランダムであるほど、数値の積に
近い機能を持つことになる。ランダムでないとは、
「１」（又は、「０」）が密集（密接）していることを
意味する。なお、入力パルス列に比べて結合係数のパル
ス列が短く、読出すべきデータがなくなったら、再びデ
ータの先頭に戻って読出しを繰返えせばよい。

【００１７】１つの神経細胞ユニット２０は多入力であ
るので、前述した「入力信号と結合係数とのＡＮＤ」も
多数あり、次にＯＲ回路２２によりこれらの論理和をと
る。入力は同期化されているので、例えば１番目のデー
タが「１０１０００」、２番目のデータが「０１０００
０」の場合、両者のＯＲをとると、「１１１０００」と
なる。これを多入力同時に計算し出力とすると、例えば
入力数がｍ個の場合、図１４に示すようになる。これ
は、アナログ計算における和の計算及び非線形関数（シ
グモイド関数）の部分に対応している。

【００１８】パルス密度が低い場合、そのＯＲをとった
もののパルス密度は、各々のパルス密度の和に近似的に
一致する。パルス密度が高くなるにつれ、ＯＲ回路２２
の出力は段々飽和してくるので、パルス密度の和とは一
致せず、非線形性が出てくる。ＯＲの場合、パルス密度
は１よりも大きくなることがなく、かつ、０より小さく
なることもなく、さらには、単調増加関数であり、シグ
モイド関数と近似的に同等となる。

【００１９】ところで、結合には興奮性と抑制性があ
り、数値計算の場合には、結合係数の符号で表し、アナ
ログ回路の場合はＴ_ijが負となる場合（抑制性結合）は
増幅器を用いて出力を反転させてＴ_ijに相当する抵抗値
で他の神経細胞ユニットに結合させている。この点、デ
ジタル方式の提案例にあっては、まず、Ｔ_ijの正負によ
り各結合を興奮性結合と抑制性結合との２つのグループ
に分け、次いで、「入力信号と結合係数のパルス列のＡ
ＮＤ」同士のＯＲをこのグループ別に計算する。そし
て、興奮性結合グループの出力のみが「１」のとき、
「１」を出力し、それ以外の場合には、「０」を出力す
る。このような機能を実現するためには、（抑制性結合
グループの出力のＮＯＴ）と（興奮性結合グループの出
力）とのＡＮＤをとればよい。即ち、図１５に示すよう
になる。論理式で表現すると、次の(３)〜(５)式で示さ
れる。

【００２０】

【数３】

【００２１】神経細胞ユニット２０のネットワークは、
バックプロパゲーションと同様な階層型（即ち、図１
０）とする。そして、ネットワーク全体を同期させてお
けば、各層とも上述した機能により計算できる。

【００２２】次に、学習（バックプロパゲーション）に
おける信号演算処理について説明する。基本的には、以
下のａ又はｂにより誤差信号を求め、次いで、ｃの方法
により結合係数の値を変化させるようにすればよい。

【００２３】ａ．最終層における誤差信号最終層で各神経細胞ユニットにおける誤差信号を計算
し、それを基にその神経細胞ユニットに関わる結合係数
を変化させる。そのための、誤差信号の計算法について
述べる。ここに、「誤差信号」を以下のように定義す
る。誤差を数値で表すと、一般には正、負の両方をとり
得るが、パルス密度の場合には、正、負の両方を同時に
表現できないので、＋成分を表す信号と、−成分を表す
信号との２種類を用いて誤差信号を表現する。即ち、ｊ
番目の神経細胞ユニットの誤差信号は、図１６のように
示される。つまり、誤差信号の＋成分は教師信号パルス
と出力パルスとの違っている部分（１，０）又は（０，
１）の内、教師信号側に存在するパルス、他方、−成分
は同様に出力側に存在するパルスである。換言すれば、
出力パルスに誤差信号＋パルスを付け加え、誤差信号−
パルスを取り除くと、教師パルスとなることになる。即
ち、これらの正負の誤差信号δ_j(+)，δ_j(-)を論理式で
表現すると、各々(６)(７)式のようになる。式中、ＥＸ
ＯＲは排他的論理和を表す。このような誤差信号パルス
を基に結合係数を後述するように変化させることにな
る。

【００２４】

【数４】

【００２５】ｂ．中間層における誤差信号まず、上記の誤差信号を逆伝播させ、最終層とその１つ
前の層との結合係数だけでなく、さらにその前の層の結
合係数も変化する。そのため、中間層における各神経細
胞ユニットでの誤差信号を計算する必要がある。中間層
のある神経細胞ユニットから、さらに１つ先の層の各神
経細胞ユニットへ信号を伝播させたのとは、丁度逆の要
領で１つ先の層の各神経細胞ユニットにおける誤差信号
を集めてきて、自己の誤差信号とする。このことは、神
経細胞ユニット内での前述した演算式(３)〜(５)や図１
１〜図１５に示した場合と同じような要領で行うことが
できる。ただし、神経細胞ユニット内での前述した処理
と異なるのは、ｙは１つの信号であるのに対して、δは
正、負を表す信号として２つの信号を持ち、その両方の
信号を考慮する必要があることである。従って、結合係
数Ｔの正負、誤差信号δの正負に応じて４つの場合に分
ける必要がある。

【００２６】まず、興奮性結合の場合を説明する。この
場合、中間層のある神経細胞ユニットについて、１つ先
の層（図１０における最終層）のｊ番目の神経細胞ユニ
ットでの誤差信号＋と、その神経細胞ユニットと自己ユ
ニット（図１０における中間層のあるｊ番目の神経細胞
ユニット）との結合係数のＡＮＤをとったもの（δ_j(+)
∩ Ｔ_ij）を各神経細胞ユニットについて求め、さら
に、これら同士のＯＲをとる｛∪（δ_j(+) ∩
Ｔ_ij）｝。これを自己ユニットの誤差信号δ_j(+)とす
る。即ち、１つ先の層の神経細胞ユニット数をｎ個とす
ると、図１７に示すようになる。

【００２７】同様に、１つ先の層の神経細胞ユニットで
の誤差信号−と結合係数とのＡＮＤをとり、さらに、こ
れら同士のＯＲをとることにより、自己ユニットの誤差
信号δ_j(-)とする。即ち、図１８に示すようになる。

【００２８】次に、抑制性結合の場合を説明する。この
場合、１つ先の層の神経細胞ユニットでの誤差信号−と
その神経細胞ユニットと自己との結合係数のＡＮＤをと
り、さらにこれら同士のＯＲをとる。これを、自己ユニ
ットの層の誤差信号δ_j(+)とする。即ち、図１９に示す
ようになる。

【００２９】また、１つ先の誤差信号＋と結合係数との
ＡＮＤをとり、さらにこれら同士のＯＲをとることによ
り、同様に、自己ユニットの誤差信号δ_j(-)とする。即
ち、図２０に示すようになる。

【００３０】１つの神経細胞ユニットから別の神経細胞
ユニットへは興奮性で結合しているものもあれば、抑制
性で結合しているものもあるので、図１７のように求め
た誤差信号δ_j(+)と図１９のように求めた誤差信号δ
_j(+)とのＯＲをとり、それを自己ユニットから１つ前の
層の神経細胞ユニットへ出力される誤差信号δ_j(+)とす
る。同様に、図１８のように求めた誤差信号δ_j(-)と図
２０のように求めた誤差信号δ_j(-)とのＯＲをとり、そ
れを自己ユニットから１つ前の層の神経細胞ユニットへ
出力される誤差信号δ_j(-)とする。以上をまとめると、
(８)式に示すようになる。

【００３１】

【数５】

【００３２】さらに、学習のレート（学習定数）に相当
する機能を設けてもよい。数値計算でレートが１以下の
とき、さらに学習能力が高まる。これはパルス列の演算
ではパルス列を間引くことによって実現できる。ここで
は、カウンタ的な考え方をし、図２１、図２２に示すよ
うなものとした。例えば、学習レートη＝０．５では元
の信号のパルス列を１つ置きに間引くが、元の信号のパ
ルスが等間隔でなくても、元のパルス列に対して間引く
ことができる。図２１，図２２中、η＝０．５の場合は
パルスを１つ置きに間引き、η＝０．３３の場合はパル
スを２つ置きに残し、η＝０．６７の場合はパルスを２
つ置きに１回間引くことを示す。このようにして、誤差
信号を間引くことにより学習レートの機能を持たせる。

【００３３】ｃ．誤差信号により各結合係数を変化させ
る方法変化させたい結合係数が属しているライン（図１０参
照）を流れる信号と誤差信号のＡＮＤをとる（δ_j∩
ｙ_i）。ただし、ここでは誤差信号には＋，−の２つの
信号があるので、各々演算して図２３、図２４に示すよ
うに求める。このようにして得られた２つの信号を各々
ΔＴ_ij(+)，ΔＴ_ij(-)とする。

【００３４】ついで、今度はこのΔＴ_ijを基に新しいＴ
_ijを求めるが、このＴ_ijは絶対値成分であるので、元の
Ｔ_ijが興奮性か抑制性かで場合分けする。興奮性の場
合、元のＴ_ijに対してΔＴ_ij(+)の成分を増やし、ΔＴ
_ij(-)の成分を減らす。即ち、図２５に示すようにな
る。逆に、抑制性の場合は元のＴ_ijに対しΔＴ_ij(+) の
成分を減らし、ΔＴ_ij(-)の成分を増やす。即ち、図２
６に示すようになる。

【００３５】以上、まとめると、(９)式のようになる。

【００３６】

【数６】

【００３７】以上の学習則に基づいてネットワークの計
算をする。

【００３８】

【発明が解決しようとする課題】ところが、このような
提案例のようにパルス密度を用いて数値を表現している
場合において、神経細胞応答関数にシグモイド関数を用
いると、全ての入力信号が「０」の場合でも出力に
「０．５」が出てくる。ところが、最初に入力信号パル
ス列は結合係数パルス列との論理積をとっているため、
入力信号パルス列が全て「Ｌレベル」となると結合係数
との論理積結果も全て「Ｌレベル」となる。この結果、
ニューラルネットワークに対する入力信号パルス列が全
て「Ｌレベル」の状態で表されていると、ニューラルネ
ットワークの出力は「０」としかならない。このような
出力結果は、ネットワークの動作が止まっていると同じ
ことを意味し、好ましくない。

【００３９】

【課題を解決するための手段】請求項１記載の発明で
は、自己学習手段を備えてパルス密度表現による少なく
とも１つ以上の入力信号が入力される複数の神経細胞模
倣素子を網状に接続してニューラルネットワークを形成
した信号処理装置において、前記ニューラルネットワー
クの入力部に、前記ニューラルネットワークに対するパ
ルス密度表現による入力信号と、別個に用意されて少な
くともＨレベルのパルスを含むパルス列との論理和をと
る論理和演算手段を設けた。

【００４０】請求項２記載の発明では、自己学習手段を
備えて変換装置により数値表現デジタルコードからパル
ス密度表現に変換された少なくとも１つ以上の入力信号
が入力される複数の神経細胞模倣素子を網状に接続して
ニューラルネットワークを形成した信号処理装置におい
て、前記変換装置の入力側に入力されるデジタルコード
の値を所定値以上とする入力制限装置を設けた。

【００４１】請求項３記載の発明では、自己学習手段を
備えて変換装置により数値表現デジタルコードからパル
ス密度表現に変換された少なくとも１つ以上の入力信号
が入力される複数の神経細胞模倣素子を網状に接続して
ニューラルネットワークを形成した信号処理装置におい
て、前記デジタルコードに対して別個に用意された別の
デジタルコードを加算してパルス密度表現に変換させる
加算装置を設けた。

【００４２】請求項４記載の発明では、自己学習手段を
備えて変換装置によりアナログ信号からパルス密度表現
に変換された少なくとも１つ以上の入力信号が入力され
る複数の神経細胞模倣素子を網状に接続してニューラル
ネットワークを形成した信号処理装置において、前記変
換装置の入力側に入力されるアナログ信号の値を所定値
以上とする入力制限装置を設けた。

【００４３】請求項５記載の発明では、自己学習手段を
備えて変換装置によりアナログ信号からパルス密度表現
に変換された少なくとも１つ以上の入力信号が入力され
る複数の神経細胞模倣素子を網状に接続してニューラル
ネットワークを形成した信号処理装置において、前記ア
ナログ信号に対して別個に用意された別のアナログ信号
を加算してパルス密度表現に変換させる加算装置を設け
た。

【００４４】

【作用】請求項１記載の発明によれば、入力信号をその
まま入力させず、論理和演算手段により、別個に用意さ
れてＨレベルを含むパルス列との論理和をとって入力さ
せているので、ニューラルネットワークに対して入力さ
れるパルス列の全てがＬレベルとなることが避けられ
る。

【００４５】請求項２記載の発明によれば、入力制限装
置により入力信号の値がある値以下とはならないように
制限しているので、ニューラルネットワークに対して入
力されるパルス列の全てがＬレベルとなることが避けら
れる。

【００４６】請求項３記載の発明によれば、入力信号を
そのまま入力させず、加算装置により別個に用意された
別のデジタルコードと加算してからパルス密度変換させ
ているので、ニューラルネットワークに対して入力され
るパルス列の全てがＬレベルとなることが避けられる。

【００４７】請求項４記載の発明によれば、入力制限装
置により入力信号の値がある値以下とはならないように
制限しているので、ニューラルネットワークに対して入
力されるパルス列の全てがＬレベルとなることが避けら
れる。

【００４８】請求項５記載の発明によれば、入力信号を
そのまま入力させず、加算装置により別個に用意された
別のアナログ信号と加算してからパルス密度変換させて
いるので、ニューラルネットワークに対して入力される
パルス列の全てがＬレベルとなることが避けられる。

【００４９】

【実施例】請求項１記載の発明の一実施例を図１に基づ
いて説明する。なお、パルス密度表現の数値信号を扱う
デジタル方式のニューラルネットワークの構成・作用の
基本は、前述した提案例に準ずるものとする。本実施例
は、ニューラルネットワークの入力部に関するものであ
り、ニューラルネットワークに対するパルス密度表現の
入力信号３１と、別個に設けられたパルス密度表現のオ
フセット信号３２との論理和をとるＯＲゲート（論理和
演算手段）３３を設け、このＯＲゲート３３の出力信号
３４をオフセットがかかったニューラルネットワークに
対する新たな入力信号とするようにしたものである。即
ち、前記オフセット信号３２は全てがＬレベルではない
パルス列、即ち、少なくとも「Ｈレベル」のパルスを含
む任意のパルス列として設定されたものが用いられい
る。

【００５０】このような構成によれば、ニューラルネッ
トワークに対する入力信号３１が全てＬレベルであって
も、全てがＬレベルではないオフセット信号３２との論
理和によりオフセットがかかった信号３４としてニュー
ラルネットワークに入力されることになる。よって、入
力値「０」という値に対してもニューラルネットワーク
が所定の処理を施せるものとなる。

【００５１】なお、入力信号３１はもちろん、オフセッ
ト信号３２側も複数あってもよい。

【００５２】つづいて、請求項２記載の発明の一実施例
を図２に基づいて説明する。本実施例は、例えば最上位
桁（ＭＳＢ）から最下位桁（ＬＳＢ）まで８ビットのバ
イナリな数値表現によるデジタルコード３５を入力と
し、これを変換装置３６によりパルス密度データに変換
してパルス列信号３７として、ニューラルネットワーク
に入力させるようにしたものに適用したもので、変換装
置３６の前段に入力制限装置３８を設けたものである。
この入力制限装置３８は上位側ビット２〜７の負論理出
力論理和をとる演算回路３９と、この演算回路３９の出
力と下位側ビット０，１との論理和を別個にとるＯＲゲ
ート４０，４１とにより構成されている。これにより、
デジタルコード３５中のビット２〜７が全て全てＬレベ
ルになると、演算回路３９の出力はＨレベルとなり、Ｏ
Ｒゲート４０，４１の出力は必ずＨレベルとなる。この
結果、変換装置３６に対しては「３」という数値データ
が入力されることになる。つまり、本実施例の入力制限
装置３８は変換装置３６に対して入力されるバイナリコ
ードが「３」未満とはならないように制限していること
になる。

【００５３】このように入力されるバイナリコードに制
限を加えることにより、ニューラルネットワークに入力
されるパルス密度信号列が全てＬレベルとなるようなこ
とが避けられる。また、入力のバイナリコードは必要な
らば入力制限装置３８により制限されない範囲の値を用
い、全ての入力値に対してニューラルネットワークが処
理を施せるようにする。

【００５４】なお、本実施例ではバイナリコードが
「３」未満とはならないように制限を課したが、制限値
は「３」に限らず、適宜設定すればよい。また、入力さ
れるデジタルコード３５にしても８ビットデータに限ら
ず、適宜ビット数のデータでよい。さらに、バイナリデ
ータに限らず、他の数値表現コードを用いた場合も、同
様に、「０」という値を避け得るように制限を課し得
る。

【００５５】さらに、請求項３記載の発明の一実施例を
図３により説明する。本実施例も、前記実施例と同様
に、例えば８ビットのバイナリな数値表現によるデジタ
ルコード３５を入力とし、これを変換装置３６によりパ
ルス密度データに変換してパルス列信号３７として、ニ
ューラルネットワークに入力させるようにしたものに適
用したもので、変換装置３６の前段に別個に用意された
８ビットのバイナリな数値表現によるデジタルコード４
２との加算処理を行う加算装置４３を設けたものであ
る。

【００５６】このような構成により、本来の入力信号で
あるデジタルコード３５を、加算装置４３で別個のデジ
タルコード４２と加算してから、変換装置３６で変換す
ることにより、ニューラルネットワークに対して入力さ
れるパルス密度信号列の全てがＬレベルとはならないよ
うにしたものである。また、入力のバイナリコードは必
要ならば加算装置４３の演算によりオーバフローしない
範囲の値を用い、全ての入力値に対してニューラルネッ
トワークが処理を施せるようにする。

【００５７】なお、本実施例ではデジタルコード３５，
４２を８ビットデータにしたが、これに限らず、適宜ビ
ット数のデータでよい。さらに、バイナリデータに限ら
ず、他の数値表現コードを用いた場合も、同様に、
「０」という値を避け得るように制限を課し得る。

【００５８】また、請求項４記載の発明の一実施例を図
４により説明する。本実施例は、アナログ信号４４をＡ
／Ｄ変換器（変換装置）４５及び変換装置３６を通して
パルス密度データに変換してパルス列信号３７として、
ニューラルネットワークに入力させるようにしたものに
適用したもので、Ａ／Ｄ変換器４５の前段に入力制限装
置４６を設けたものである。ここに、入力制限装置４６
は抵抗４７と制限値信号４８が入力されるダイオード４
９とにより構成されている。

【００５９】このような構成において、基本的には、ア
ナログ電圧０〜５Ｖなるアナログ信号４４はＡ／Ｄ変換
器４５によりデジタル信号に変換された後、変換装置３
６によりパルス密度データに変換されるものであり、０
Ｖの時にパルス列がＬレベルとなる。

【００６０】しかして、アナログ信号４４の値が制限値
信号４８の値（電圧）よりも大きい場合には、Ａ／Ｄ変
換器４５の入力はアナログ信号４４の電圧値となる。一
方、アナログ信号４４の値が制限値信号４８の電圧値未
満となると、ダイオード４９が導通状態となり、Ａ／Ｄ
変換器４５の入力はアナログ信号４４に代えて、制限値
信号４８の電圧値となる。

【００６１】いま、制限値信号４８の電圧値を０．５Ｖ
とすると、アナログ信号４４は０．５Ｖ以上の電圧値に
制限されることになる。よって、ニューラルネットワー
クに入力されるパルス密度信号列が全てＬレベルとなる
ことはない。

【００６２】このように入力されるアナログ信号４４に
制限を加えることにより、ニューラルネットワークに入
力されるパルス密度信号列が全てＬレベルとなるような
ことが避けられる。また、入力のアナログ信号４４は必
要ならば入力制限装置４６により制限されない範囲の値
を用い、全ての入力値に対してニューラルネットワーク
が処理を施せるようにする。

【００６３】また、本実施例では０Ｖ入力時にパルス列
がＬレベルとなるものとして説明したが、他の電圧値に
てＬレベルのパルス列が生成されるものであっても同様
に適用でき、同様の制限を課すことにより、全てＬレベ
ルとなるようなパルス列が生成されるのを避けることが
できる。

【００６４】ついで、請求項５記載の発明の一実施例を
図５により説明する。本実施例も、前記実施例と同様
に、アナログ信号４４を入力とし、これをＡ／Ｄ変換器
４５及び変換装置３６によりパルス密度データに変換し
てパルス列信号３７として、ニューラルネットワークに
入力させるようにしたものに適用したもので、Ａ／Ｄ変
換器４５の前段に、別個に用意された加算値なるアナロ
グ信号５０との加算処理を行う加算装置５１を設けたも
のである。

【００６５】このような構成において、本来のアナログ
信号４４は予め用意された別個のアナログ信号５０を加
算値として加算装置５１により加算されてＡ／Ｄ変換器
４５に入力される。いま、アナログ信号４４に０〜２．
５Ｖの信号が入力したとし、アナログ信号５０の電圧値
を０．５Ｖとすると、アナログ信号４４は０．５Ｖシフ
トされた形でＡ／Ｄ変換器４５に入力される。これによ
り、ニューラルネットワークに対して入力されるパルス
列信号３７は全てがＬレベルとなるようなことがなくな
る。また、入力のアナログ信号４４は必要ならば加算装
置５１の演算によりＡ／Ｄ変換器４５の変換範囲を越え
ない範囲の値を用い、全ての入力値に対してニューラル
ネットワークが処理を施せるようにする。

【００６６】また、本実施例では０Ｖ入力時にパルス列
がＬレベルとなるものとして説明したが、他の電圧値に
てＬレベルのパルス列が生成されるものであっても同様
に適用でき、同様の加算処理を施すことにより、全てＬ
レベルとなるようなパルス列が生成されるのを避けるこ
とができる。

【００６７】

【発明の効果】本発明は、上述したように構成し、論理
和演算手段や入力制限装置や加算装置を用いて、入力信
号に所定の処理を施してからニューラルネットワークに
入力させるようにしたので、ニューラルネットワークへ
入力されるパルス列が情報として意味を持たないような
全てＬレベルとなることを避けることができる。

【図面の簡単な説明】

【図１】請求項１記載の発明の一実施例を示す論理回路
図である。

【図２】請求項２記載の発明の一実施例を示すブロック
図である。

【図３】請求項３記載の発明の一実施例を示すブロック
図である。

【図４】請求項４記載の発明の一実施例を示すブロック
図である。

【図５】請求項５記載の発明の一実施例を示すブロック
図である。

【図６】従来例を示す１つのユニット構成を示す概念図
である。

【図７】そのニューラルネットワーク構成の概念図であ
る。

【図８】シグモイド関数を示すグラフである。

【図９】既提案例における基本的な信号処理を行なうた
めの論理回路図である。

【図１０】ネットワーク構成例を示す模式図である。

【図１１】論理演算例を示すタイミングチャートであ
る。

【図１２】論理演算例を示すタイミングチャートであ
る。

【図１３】論理演算例を示すタイミングチャートであ
る。

【図１４】論理演算例を示すタイミングチャートであ
る。

【図１５】論理演算例を示すタイミングチャートであ
る。

【図１６】論理演算例を示すタイミングチャートであ
る。

【図１７】論理演算例を示すタイミングチャートであ
る。

【図１８】論理演算例を示すタイミングチャートであ
る。

【図１９】論理演算例を示すタイミングチャートであ
る。

【図２０】論理演算例を示すタイミングチャートであ
る。

【図２１】論理演算例を示すタイミングチャートであ
る。

【図２２】論理演算例を示すタイミングチャートであ
る。

【図２３】論理演算例を示すタイミングチャートであ
る。

【図２４】論理演算例を示すタイミングチャートであ
る。

【図２５】論理演算例を示すタイミングチャートであ
る。

【図２６】論理演算例を示すタイミングチャートであ
る。

【符号の説明】

２０神経細胞模倣素子３１入力信号３２別個に用意されたパルス列３３論理和演算手段３５デジタルコード３６変換装置３８入力制限装置４２別個に用意されたデジタルコード４３加算装置４４アナログ信号４５変換装置４８入力制限装置５０別個に用意されたアナログ信号５１加算装置

Claims

【特許請求の範囲】

【請求項１】自己学習手段を備えてパルス密度表現に
よる少なくとも１つ以上の入力信号が入力される複数の
神経細胞模倣素子を網状に接続してニューラルネットワ
ークを形成した信号処理装置において、前記ニューラル
ネットワークの入力部に、前記ニューラルネットワーク
に対するパルス密度表現による入力信号と、別個に用意
されて少なくともＨレベルのパルスを含むパルス列との
論理和をとる論理和演算手段を設けたことを特徴とする
信号処理装置。
【請求項２】自己学習手段を備えて変換装置により数
値表現デジタルコードからパルス密度表現に変換された
少なくとも１つ以上の入力信号が入力される複数の神経
細胞模倣素子を網状に接続してニューラルネットワーク
を形成した信号処理装置において、前記変換装置の入力
側に入力されるデジタルコードの値を所定値以上とする
入力制限装置を設けたことを特徴とする信号処理装置。
【請求項３】自己学習手段を備えて変換装置により数
値表現デジタルコードからパルス密度表現に変換された
少なくとも１つ以上の入力信号が入力される複数の神経
細胞模倣素子を網状に接続してニューラルネットワーク
を形成した信号処理装置において、前記デジタルコード
に対して別個に用意された別のデジタルコードを加算し
てパルス密度表現に変換させる加算装置を設けたことを
特徴とする信号処理装置。
【請求項４】自己学習手段を備えて変換装置によりア
ナログ信号からパルス密度表現に変換された少なくとも
１つ以上の入力信号が入力される複数の神経細胞模倣素
子を網状に接続してニューラルネットワークを形成した
信号処理装置において、前記変換装置の入力側に入力さ
れるアナログ信号の値を所定値以上とする入力制限装置
を設けたことを特徴とする信号処理装置。
【請求項５】自己学習手段を備えて変換装置によりア
ナログ信号からパルス密度表現に変換された少なくとも
１つ以上の入力信号が入力される複数の神経細胞模倣素
子を網状に接続してニューラルネットワークを形成した
信号処理装置において、前記アナログ信号に対して別個
に用意された別のアナログ信号を加算してパルス密度表
現に変換させる加算装置を設けたことを特徴とする信号
処理装置。