JPH05324599A - 非線形シナプスニューロン、そのデバイス及びそれを用いた予測方法 - Google Patents

Abstract

(57)【要約】 【目的】 既知の時系列信号あるいは空間座標信号から
将来の信号値あるいは未知座標の値を予測する非線形シ
ナプスニューロン。 【構成】 入力信号に対して、非線形重み付けが与えら
れ、これらの重み付けが付与された信号を加算して予測
値を出力する。非線形シナプスの重み付けは複数回の学
習によって定められ、このために、非線形シナプスは多
次多項式あるいはファジィ推論回路から構成される。多
次多項式はｆ（ｘ）＝ａ₀ ＋ａ₁ ｘ＋ａ₂ ｘ² ＋ａ₃ ｘ
³ … ａ_n ｘⁿ で示される可変関数からなる。また、
非線形シナプスをファジィ推論で決定する場合、複数の
相補型メンバシップ関数手段と各メンバシップ関数のグ
レードによって重み付けの度合いが決定される重み付け
回路が用いられる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は非線形シナプスニューロ
ン、特に音声信号、画像信号等の信号予測を効果的に実
行するための非線形シナプスニューロンに関するもので
ある。

【０００２】

【従来の技術】人間の脳を真似たネットワークを電気的
な信号処理として用いるニューラルネットワークがパタ
ーン認識、信号処理あるいは知識処理等に利用され、脳
のニューロンに対応したユニットが複数個複雑に接続さ
れ、各ユニットの動作及びユニット間の接続形態を適当
に定めることによってパターン認識機能、知識処理機能
を実行することができる。

【０００３】これらのニューラルネットワークはネット
ワークの構造からパターン伝送型と自動伝送型に分類さ
れ、前者は入力パターンをある出力パターンに変換する
ネットワークを形成し、また後者は入力パターンに最も
近いパターンを出力するネットワークを形成する。

【０００４】前記パターン伝送型ニューラルネットワー
クでは、各ユニット（ニューロン）を入力層、中間層、
出力層に階層化し、各ユニットは入力層から出力層に向
け接続され、この結果、入力ユニットと出力ユニットと
は独立している。そして、演算機能や画像情報は各ユニ
ット間の接続形態や接続の強さとして記憶され、得られ
た出力と望ましい出力との差を用いて結合の強さが任意
に変化される。このときの結合の強さは結合系数あるい
はシナプスの重みとして所定のパラメータを形成してい
る。

【０００５】一方、自動伝送型ニューラルネットワーク
においては、入力ユニットと出力ユニットとは共通であ
り、ネットワーク内の全てのユニットが互いに相互接続
され、前記結合の強さ（シナプスの重み）は似通った入
力パターンを識別するために用いられている。

【０００６】このようなニューラルネットワークによっ
てパターン認識が行われるが、周知のように、このニュ
ーラルネットワークを効果的に作動させるためには、バ
ックプロパゲーション等として知られる学習アルゴリズ
ムが用いられ、前述したパターン認識、音声認識、音声
合成、信号処理あるいは知識処理等の広範囲の信号予測
適用分野でニューラルネットワークを作用させるために
は、このバックプロパゲーション等の学習が極めて効果
的である。

【０００７】通常、ニューラルネットワークは、入力
層、中間層そして出力層という階層構造をとり、この中
間層は隠れ層として知られており、パターン伝送型ニュ
ーラルネットワークにおいては、学習過程において入力
データの処理（前向き）と逆に学習のデータを入力した
ときに結果のエラーを減らすように（後ろ向き）シナプ
ス結合の記述を変え、これが収束するまで学習アルゴリ
ズムを繰返す。

【０００８】従って、従来において、バックプロパゲー
ションアルゴリズム等の学習機能が付加されたニューラ
ルネットワークにて各種のパターン認識その他の信号予
測が成果をあげている。

【０００９】

【発明が解決しようとする課題】しかしながら、このよ
うな従来におけるニューラルネットワークでは、最適予
測作用を行うために、多数回の学習作用を必要とし、こ
のためにパラメータが多い場合には学習自体に多大な時
間が費やされるという問題があった。

【００１０】即ち、従来の一般的なニューラルネットワ
ークにおいては、入力層と中間層及び中間層と出力層と
の間は全てのシナプス間が結合され、この結果、学習に
必要な演算回数が極端に増大するという問題があった。

【００１１】例えば、入力層に５素子、中間層に６素子
そして出力層に７素子のニューラルネットワークを想定
すると、入力層と中間層との間で３０個の結合組み合わ
せ数が生じ、同様に中間層と出力層間には４２個の結合
組が必要となる。

【００１２】従来のネットワークにおいては、各シナプ
スは線形特性を有しており、この結果、前記全ての組み
合わせを同時に機能させながら学習を行う必要があり、
この結果、前記想定した比較的単純なネットワークにお
いても、その全組み合わせ数が１２６０個の組み合わせ
数となり、このような多数の結合組に対して所望のパラ
メータを設定するために、多大の演算時間が必要となっ
ていた。

【００１３】本発明は上記従来の課題に鑑みなされたも
のであり、その目的は、少ない回数の学習によってシナ
プスの結合係数を最適値に設定収斂することができる高
速学習型であり、かつ、極めて高い予測精度の非線形シ
ナプスニューロン、そのデバイス及びそれを用いた予測
方法を提供することにある。

【００１４】

【課題を解決するための手段】上記目的を達成するため
に、本発明は、本発明に係る非線形シナプスニューロン
及びデバイスは、複数の入力信号のそれぞれに所望の重
み付けを与えるための複数の非線形シナプス手段（回
路）と、各非線形シナプスの出力を加算する加算手段
（器）と、を含み、前記非線形シナプス手段（回路）
は、入力信号ｘに対して可変重み係数（ａ₀ ，ａ₁ ，ａ
₂ ， … ，ａ_n ）を有する非線形関数｛ｆ（ｘ）＝ａ
₀ ＋ａ₁ ｘ＋ａ₂ ｘ² ＋ａ₃ ｘ³ … ａ_n ｘⁿ ｝で示
される可変関数手段（回路）、を含むことを特徴とす
る。

【００１５】また、本発明に係る非線形シナプスニュー
ロン及びデバイスは、複数の入力信号のそれぞれに所望
の重み付けを与えるための複数の非線形シナプス手段
（回路）と、各非線形シナプスの出力を加算する加算手
段（器）と、を含み、前記非線形シナプス手段（回路）
は、入力信号レベルに応じて区間分けされ、順次前件部
の一部が重複して並列接続された複数の相補型メンバシ
ップ関数手段（回路）と、各メンバシップ関数手段（回
路）に接続され対応するメンバシップ関数のグレードで
学習の度合が定められる複数の可変重み付け手段（回
路）と、を含むことを特徴とする。

【００１６】更に、本発明に係る非線形シナプスニュー
ロン及びデバイスは、サンプリングされた時系列信号を
受け入れる直列接続された遅延手段（回路）と、前記遅
延された時系列信号のそれぞれに所望の重み付けを与え
るための複数の非線形シナプス手段（回路）と、各非線
形シナプスの出力を加算する加算手段（器）と、を含
み、前記非線形シナプス手段（回路）は、入力信号レベ
ルに応じて区間分けされ、順次前件部の一部が重複して
並列接続された複数の相補型メンバシップ関数手段（回
路）と、各メンバシップ関数手段（回路）に接続され対
応するメンバシップ関数のグレードで学習の度合が定め
られる複数の可変重み付け手段（回路）と、を含むこと
を特徴とする。

【００１７】更に、本発明に係る非線形シナプスニュー
ロン及びデバイスは、空間的に異なる座標位置の複数の
信号のそれぞれに所望の重み付けを与えるための複数の
非線形シナプス手段（回路）と、各非線形シナプスの出
力を加算する加算手段（器）と、を含み、前記非線形シ
ナプス手段（回路）は、入力信号レベルに応じて区間分
けされ、順次前件部の一部が重複して並列接続された複
数の相補型メンバシップ関数手段（回路）と、各メンバ
シップ関数手段（回路）に接続され対応するメンバシッ
プ関数のグレードで学習の度合が定められる複数の可変
重み付け手段（回路）と、を含むことを特徴とする。

【００１８】

【作用】従って、本発明によれば、複数の入力信号のそ
れぞれに非線形シナプスで所望の重み付けを与え、各非
線形シナプスの出力を加算し、前記非線形シナプスは、
入力信号ｘに対して可変重み係数（ａ₀ ，ａ₁ ，ａ₂ ，
… ，ａ_n ）を有する非線形関数｛ｆ（ｘ）＝ａ₀ ＋
ａ₁ ｘ＋ａ₂ ｘ² ＋ａ₃ ｘ³ … ａ_n ｘⁿ ｝で示され
る可変関数を有するので、各非線形シナプスの結合係数
は、他のシナプスとは独立して決定され、その学習時に
おいても各シナプスの重み付けは極めてわずかな回数、
例えば入力信号を変化させた数回の学習によって収斂
し、誤差値を少なくして高精度の結合係数を設定するこ
とが可能となる。

【００１９】また、本発明によれば、複数の入力信号の
それぞれに非線形シナプスで所望の重み付けを与え、各
非線形シナプスの出力を加算し、前記非線形シナプス
は、入力信号がレベルに応じて区間分けされ、順次前件
部の一部が重複して並列接続された複数の相補型メンバ
シップ関数のグレードに応じて可変重み付けを与えたの
で、各非線形シナプスの結合係数は、他のシナプスとは
独立して決定され、その学習時においても各シナプスの
重み付けは極めてわずかな回数、例えば入力信号を変化
させた数回の学習によって収斂し、誤差値を少なくして
高精度の結合係数を設定することが可能となる。

【００２０】更に、本発明によれば、サンプリングされ
た時系列信号を受け入れる所定量の遅延手段を与え、前
記遅延された時系列信号のそれぞれに非線形シナプスで
所望の重み付けを与え、各非線形シナプスの出力を加算
し、前記非線形シナプスは、入力信号がレベルに応じて
区間分けされ、順次前件部の一部が重複して並列接続さ
れた複数の相補型メンバシップ関数のグレードに応じて
可変重み付けを与えたので、各非線形シナプスの結合係
数は、他のシナプスとは独立して決定され、その学習時
においても各シナプスの重み付けは極めてわずかな回
数、例えば入力信号を変化させた数回の学習によって収
斂し、誤差値を少なくして高精度の結合係数を設定する
ことが可能となる。

【００２１】更に、本発明によれば、空間的に異なる座
標位置の複数の信号のそれぞれに非線形シナプスで所望
の重み付けを与え、各非線形シナプスの出力を加算し、
前記非線形シナプスは、入力信号がレベルに応じて区間
分けされ、順次前件部の一部が重複して並列接続された
複数の相補型メンバシップ関数のグレードに応じて可変
重み付けを与えたので、各非線形シナプスの結合係数
は、他のシナプスとは独立して決定され、その学習時に
おいても各シナプスの重み付けは極めてわずかな回数、
例えば入力信号を変化させた数回の学習によって収斂
し、誤差値を少なくして高精度の結合係数を設定するこ
とが可能となる。

【００２２】

【実施例】以下、本発明に係る非線形シナプスニューロ
ン、そのデバイス及びそれを用いた予測方法について実
施例に基づいて詳細に説明する。

【００２３】図１には、本発明に係る非線形シナプスニ
ューロンの好適な実施例が概略的な全体図として示さ
れ、このニューロンは４つのシナプス１０−１〜１０−
４を有し、これらの各シナプスは本発明において非線形
シナプスからなることを特徴とする。

【００２４】各非線形シナプス１０には、その入力端子
１１−１〜１１−４に入力信号ｘ₀，ｘ₁ ，ｘ₂ ，ｘ₃
が供給され、非線形シナプス１０において各複数の入力
信号ｘのそれぞれに所望の重み付けが与えられる。

【００２５】そして、各非線形シナプス１０の出力は、
加算手段１２に供給され、各出力が加算された後出力端
子１９から出力信号ｙとして出力される。前記各非線形
シナプス１０において、その内容は可変関数ｆ₀ ，
ｆ₁ ，ｆ₂ ，ｆ₃ で示され、この結果、非線形シナプス
ニューロンの入出力関係は次式で与えられる。

【００２６】 ｙ＝ｆ₀ （ｘ₀ ）＋ｆ₁ （ｘ₁ ）＋ｆ₂ （ｘ₂ ）＋ｆ₃ （ｘ₃ ） （１）式 従って、本発明において、各シナプスはその入出力関係
が非線形となり、この結果、時系列信号あるいは空間信
号からシステムを同定する場合に、システムの非線形性
が強い場合においても、本発明の非線形シナプスを用い
ることによって高精度の非線形近似を行うことが可能と
なる。

【００２７】従って、本実施例において、各非線形シナ
プス１０の可変関数ｆ（ｘ）を学習によって定めれば入
力信号ｘに対して極めて高精度に予測信号ｙを得ること
ができる。

【００２８】本実施例において、前記シナプス１０の可
変関数ｆ（ｘ）は以下の（２）式に示される多次多項式
によって表わされる。

【００２９】 ｆ（ｘ）＝ａ₀ ＋ａ₁ ｘ＋ａ₂ ｘ² ＋ａ₃ ｘ³ ＋ … ａ_n ｘⁿ （２）式 従って、上記（２）式の係数ａ_n の値を学習によって定
めれば、入力信号に最適な非線形シナプスを設定するこ
とができる。

【００３０】以下に、前述したいずれかの非線形シナプ
ス１０の構造を更に詳細に説明する。

【００３１】前記（２）式は４次可変関数として考える
と以下の（３）式にて表わされる。 ｆ（ｘ）＝ａ₀ ＋ａ₁ ｘ＋ａ₂ ｘ² ＋ａ₃ ｘ³ ＋ａ₄ ｘ⁴ ＝ａ₀ ＋ｘ［ａ₁ ＋ｘ｛ａ₂ ＋ｘ（ａ₃ ＋ａ₄ ｘ）｝］ （３）式 そして、この（３）式は、図２の縦属接続された積和回
路にて構成することができる。

【００３２】即ち、図２に示した非線形シナプス１０は
４個の縦属接続された積和回路１３−１〜１３−４を含
み、各積和回路１３はそれぞれ乗算器１４及び加算器１
５からなる。積和回路１３−１において、乗算器１４−
１は入力信号ｘと前段の積和回路１３−２から得られた
出力ｆ_-1（ｘ）が供給されており、この両信号の乗算出
力が加算器１５−１において係数ａ₀ と加算されてい
る。

【００３３】同様に、順次各積和回路１３は前段出力ｆ
_-n（ｘ）と入力信号ｘとの積算値に各係数ａ_n を加算す
る構成からなる。

【００３４】従って、この図２に示した非線形シナプス
回路により、前述した（３）式が実現されていることが
理解される。

【００３５】勿論、このような非線形シナプス１０の回
路は、ＩＣ回路から構成してもよく、またこれをソフト
ウェアで実現してもよい。

【００３６】以上のようにして、本発明において非線形
シナプス１０を構成すると、図１における各シナプス１
０はそれぞれ独立して構成され、もはや従来のニューラ
ルネットワークのように、全ての入力信号に対して線形
シナプス群をネットワーク状に組み合わせる必要がなく
なり、これによって前述した各シナプス１０の結合係数
ａ_n を学習することが極めて容易となる。

【００３７】図２から明らかなように、各縦属接続され
た積和回路１３はその下流側、即ち積和回路１３−１の
係数ａ₀ が定数成分の決定に係わり、順次高次シナプス
係数ａ_n が信号の高次成分を表わすこととなる。この結
果、本実施例においては、順次定数成分から高次成分に
向かって各シナプス係数を学習によって定めることが好
適であり、これによって少ない回数により簡単に各係数
を最適値に決定することができる。

【００３８】ａ₀ 〜ａ₄ の５個の係数を定めるには、図
３に示すような（ｘ₁ ，ｙ₁ ），（ｘ₂ ，ｙ₂ ），…，
（ｘ₅ ，ｙ₅ ），（ｘ₆ ，ｙ₆ ），…と５個以上のデー
タが必要である。これは、（３）式において、ａ₀ 〜ａ
₄ の全ての係数を決定するのに、（ｘ，ｆ_(x) ）に関す
る５個のデータを（３）式に代入し、ａ₀ 〜ａ₄ に関す
る５元連立方程式を解くことに類似している。５個未満
の（ｘ，ｆ_(x) ）のデータでは全てのａ₀ 〜ａ₄ が決定
できないのである。

【００３９】以下に、（ｘ₁ ，ｙ₁ ），（ｘ₂ ，
ｙ₂ ），…，（ｘ₆ ，ｙ₆ ）の６個のデータを用いた学
習によってａ₀ 〜ａ₄ を決定する手順について述べる。

【００４０】（１）まず、係数ａ1 〜ａ4 を０に設定す
る。

【００４１】（２）ε² (t) ￣≧１／６Σ（ｙ_i (t) ＾
−ｙ_i ）² (i=1〜6)を計算する。

【００４２】（３）δε² (t) ￣／δａ_n (t) ≧０なら
ばａ_n (t+1) ＝ａ_n (t) −Ｇ，δε² (t) ￣／δａ
_n (t) ＜０ならばａ_n (t+1) ＝ａ_n (t) ＋Ｇとする。但
し、ここでＧは定数。

【００４３】（４）ａ_n (t+1) におけるε² (t+1) ￣が
ε² (t) より小さければ（例えば図４の曲線上のＢの
ように）、このａ_n (t+1) をａ_n (t) として上記（２）
に戻る。もし、ε² (t+1) ￣がε² (t) ￣より大きけれ
ば（例えば図４の曲線上のＣのように）、上記（３）
におけるＧを半分にして（３）を実行する。このときε
² (t+1) ￣はＤとなる。このようにして得たａ_n (t+1)
における二乗平均誤差ε² (t+1) ￣がε² (t) ￣よりも
小さくなるまで何度もＧを半減する。かくして、ε² (t
+1) ￣が、図４中のＥのようにＡよりも低くなるまで続
ける。以下（３）に戻る。

【００４４】（５）上記（３），（４）を繰り返し、｜
ε² (t+1) ￣−ε² (t) ￣｜がある値より小さくなった
ら、そのａ_n (t) の学習は一時停止し、次はａ_n+1 (t)
について（２）〜（５）と同様の学習を行なう。

【００４５】（６）ａ₀ 〜ａ₄ の値を一通り学習で定め
ると、１回の学習が終了したとみなす。

【００４６】（７）ε² (t) ￣がある値以下になるま
で、上記（２）〜（６）を繰り返す。

【００４７】実験によれば、前記所望のシナプス係数ａ
₀ 〜ａ_n を求めるために、数回の学習で十分に高精度の
学習が可能であった。また、３次多項式を満たす５個の
データ（ｘ₁ ，ｙ₁ ），（ｘ₂ ，ｙ₂ ），…，（ｘ₅ ，
ｙ₅ ）を用いて、上記の方法でａ₀ 〜ａ₄ を求めたとこ
ろ、当然のことながらａ₄ ＝０となった。

【００４８】以上のようにして、非線形シナプスの各結
合係数を多次多項式モデルで同定すれば所望の入力信号
に対して高精度の予測値を得ることができる。

【００４９】なお、本実施例において、図２中の積和回
路１３に用いられている乗算器１４−１や加算器１５−
１は高精度である必要はない。すなわち、非線形性の高
い乗算器や加算器であっても、これを含めた形で、学習
により、次数（ａ_n の数）や係数ａ₀ 〜ａ_n を定め、ε
² ￣を小さくすることができる。このことは、デバイス
を構成する際に極めて都合がよい。

【００５０】本発明において、このような入力信号とし
ては、時系列信号あるいは空間的な信号として取り扱う
ことができ、以下に時系列信号を入力信号として処理す
る場合の本発明の他の実施例を説明する。

【００５１】本実施例において、本発明の非線形シナプ
スニューロンは遅延素子との組み合わせによってダイナ
ミカルシステムの同定が行われる。

【００５２】図５にはこのような非線形シナプスニュー
ロンの好適な実施例が全体的な概略図として示されてい
る。

【００５３】図５においてサンプリングされた時系列信
号ｙ_n は入力端子２１から直列接続された実施例におい
ては４個の遅延回路２０−１〜２０−４に入力される。

【００５４】従って、前記入力信号ｙ_n は順次各遅延回
路２０を通って１サンプリング周期ごとに順次非線形シ
ナプス１０−１〜１０−４に供給されることとなる。従
って、本実施例によれば、４個の時系列信号がサンプリ
ングされて入力されたとき、全ての非線形シナプス１０
が機能することとなる。

【００５５】いま、４個の時系列信号Ｘが以下の（４）
式で与えられたとき、 Ｘ＝（ｘ₀ ，ｘ₁ ，ｘ₂ ，ｘ₃ ） （４）式 各非線形シナプス１０への入力信号ｘ₀ 〜ｘ₃ の集合を
入力ベクトルＸ_i と呼ぶ。この入力ベクトルＸ_i ＝（ｘ
₀ ，ｘ₁ ，ｘ₂ ，ｘ₃ ）は時系列信号Ｘを初期値から順
に遅延素子２０を通して各非線形シナプス１０の入力端
子に供給される。

【００５６】従って、図６の入力ベクトルと動作モード
との関係を用いて本実施例における学習動作と予測動作
とを説明する。

【００５７】符号１０１で示される状態では、入力ベク
トルはＸ₀ からＸ₂ までが入力された状態で、この３ス
テップでは、各遅延回路２０に対して、４個の遅延回路
２０全てを動作することができず、実際のモードにおい
ては予備動作として取り扱われる。即ち、本実施例にお
いては各非線形シナプス１０の結合係数を求めるための
学習動作は図６において入力ベクトルＸ₃ からＸ_n-1 ま
での複数回において行われ、この時にはいずれも４個の
入力信号ｘ₀ 〜ｘ₃ が各遅延回路２０から非線形シナプ
ス１０に供給されている。

【００５８】従って、前述した図２で示したように、こ
れらの各入力信号に応じて各シナプス１０の結合係数ａ
を求めることができる。この状態は図６において符号１
０２で示されている。

【００５９】本実施例においては、符号１０２で示され
るＸ₃ からＸ_n-1 までの各入力ベクトルに対して順次学
習が進められ、ｋ番目の入力ベクトルＸ_k に対して、本
実施例の学習は以下に示す（５）式の評価関数が極小に
なるように行われる。

【００６０】 ε² _k ＝（ｙ_k+1 ＾−ｙ_k+1 ）² （５）式 （５）式において、ｙ_k+1 は時刻ｋ＋１における時系列
信号であり、またｙ_{k+ 1} ＾は時系列信号が入力された時
の予測値を示す。

【００６１】本実施例において、十分に使用可能な誤差
ε_k を得るまでの収斂学習回数は数回で十分であった。
従って、本発明によれば、従来のニューラルネットワー
クに比してその学習回数が著しく減少していることが理
解される。

【００６２】図６の符号１０３は前述した学習によって
各非線形シナプス１０の結合係数が決定された後に、入
力ベクトルＸ_n が入力端子２１に供給されたときの１サ
ンプリング時刻先の予測動作を示しており、入力ベクト
ルＸ_n は各非線形シナプス１０によって所望の重み付が
与えられ、その加算値がｘ_n+1 ＾として求められてい
る。

【００６３】従って、入力ベクトルＸ_n を順次時系列信
号のサンプリング入力信号とすることによって常に１時
刻先の予測値を正確に得ることが可能となる。

【００６４】また、１サンプリング時刻より更に先の予
測を行うためには、図６の符号１０４で示されるよう
に、入力ベクトルＸ_n に対してその出力であるｙ
_n+1 ＾，ｙ_{n+ 2} ＾，ｙ_n+3 ＾…を順次入力端子２１へ戻
し、本発明に係る非線形ニューロンを繰り返し動作させ
ることにより、所望の将来予測値を得ることが可能とな
る。

【００６５】前述した本実施例に係る非線形シナプスニ
ューロンにて実際の時系列信号の同定を行った例を以下
に説明する。

【００６６】いま、１つの非線形シナプスについての学
習シミュレーションを行うために、以下の（６）式で示
す時系列信号を考える。

【００６７】 ｆ（ｘ）＝２−２ｘ² ＋ｘ⁴ （６）式 すなわち、上記（６）式は、前述した（２）式の各係数
ａが以下の値である多次多項式からなることが理解され
る。

【００６８】 ａ₀ ＝ ２ ａ₁ ＝ ０ ａ₂ ＝−２ ａ₃ ＝ ０ ａ₄ ＝ １ ａ₅ ＝ ０ 図７には、前記多次多項式が実線で示され、この時系列
信号を本実施例における非線形シナプスニューロンにて
同定した結果を以下に示す。

【００６９】図７には、前記実線で示される（６）式の
多次多項式に標準変量Ｇ＝０．０１、学習回数２００回
で本実施例を用いて学習したときの同定された関数が破
線で示されている。なお、この標準変量Ｇは、各学習時
における係数ａの標準的な変化幅を示す。図７から明ら
かなように、この関数は元の実線で示された時系列信号
とほとんど重なってしまい、前述した条件における本実
施例の同定が極めて高精度で行われていることが理解さ
れる。

【００７０】なお、前記学習に用いられたデータは８個
のサンプリングデータであり、以下にその座標値を示
す。

【００７１】 （−１．０，１．０） （−０．８，１．１２９６） （−０．５，１．５６２５） （−０．１，１．９８０１） （ ０．０，２．０） （ ０．２，１．９２１６） （ ０．４，１．７４５６） （ １．０，１．０） 図８は本実施例における学習過程をエラー√（ε² ￣）
の学習とともに誤差が修正されている様子を示し、平均
二乗誤差の平方根が学習回数とともに急速に減少してお
り、誤差１％となるのに１１６回の学習で十分なことを
示す。

【００７２】また、図９には、本実施例で用いた多次多
項式の係数ａ₀ 〜ａ₅ の学習による収束状態を示してお
り、実験で用いた２００回の学習によってほぼ各係数が
収束していることが理解される。

【００７３】ここで、Ｇ＝０．０１，０．１，１．０の
いずれの場合も、各係数の収束状態は同様であったが、
その学習時間はもちろんＧの大きい順に高速化してい
た。

【００７４】図１０〜１２は、本実施例を用いて更に他
の時系列係数をシステム同定した場合の例を示す。

【００７５】この実験では、以下の（７）式に示される
非整数指数の多次多項式をシステム同定することもでき
ることを示す。

【００７６】 ｆ（ｘ）＝２−２ｘ^2.5 ＋ｘ^3.5 （７）式 図１０の実線は、本実施例で取り扱う入力信号を示し、
このように非整数指数を有する入力信号に対しても、本
実施例によれば、整数指数をもった非線形関数のシナプ
ス手段によって破線で示されるように極めて近似したシ
ステム同定が可能なことが理解される。

【００７７】この第２の実験によれば、５個のサンプリ
ングデータを用い、１０００回学習して前述した破線の
システム同定結果が得られている。

【００７８】図１１は平均二乗誤差の平方根が学習によ
っていかなる減少挙動を示すかを示し、急峻な誤差減少
が示されている。

【００７９】更に、図１２は、本実施例において学習し
たときの非線形シナプスの非線形関数係数ａ₀ 〜ａ₅ が
どのように収斂するかを示しており、１０００回の学習
によってほぼ各係数が所定値に収斂している様子が理解
される。

【００８０】以上説明した各実施例においては、非線形
シナプスの重み付けは多次多項式によって定められてい
たが、このような非線形シナプスは本発明において、フ
ァジィルールを用いて表現することも可能である。

【００８１】図１３には本発明のファジィ理論を用いた
好適な実施例が示され、前述した図１のニューロン構造
の非線形シナプス１０をメンバシップ関数手段と重み付
け手段とによって構成した実施例が示されている。図に
おいて、非線形シナプス１０−４のみが例示されている
が、他の非線形シナプス１０−１，１０−２，１０−３
も同様に複数のメンバシップ関数手段とこれに対応して
設けられた複数の重み付け手段とから構成されている。

【００８２】図１３において各非線形シナプス１０はラ
ベルの数を５個とした非線形シナプスｆ（ｘ）の構造か
らなり、並列接続された５個のメンバシップ関数回路３
０−１〜３０−５に入力信号ｘが供給される。これらの
各メンバシップ関数回路３０は、図２４中のμ₁ 〜μ₅
にみられるように順次前件部の一部が重複して並列接続
され、更に隣接する２個のメンバシップ関数が互いに相
補型に構成されている。

【００８３】従って、入力信号ｘはその値にかかわら
ず、５個のメンバシップ関数回路３０のうち２個のメン
バシップ関数によってのみそのグレードが定められ、更
に両グレードの総計値は常に「１」となるような相補型
に設定されている。

【００８４】従って、このメンバシップ関数のグレード
により各メンバシップ関数回路３０に接続されている重
み付け回路３１−１〜３１−５の重みは対応するメンバ
シップ関数のグレードでその学習の度合いが定められる
こととなる。

【００８５】実施例において、重み付け回路３１の出力
は加算器３２を経て前述した加算器１２に供給される
が、本発明においては、必ずしも非線形シナプス１０内
の加算器３２は設ける必要がない。即ち、重み付け回路
３１の各出力を直接加算器１２へ供給しても同様の効果
が得られるからである。

【００８６】図１３の構造において、入力ｘに対する各
グレードμに重みｗを乗じた値の総和が非線形シナプス
１０の入出力関係を示す。

【００８７】従って、この非線形シナプスｆ（ｘ）の入
出力関係は、以下の（８）式にて示される。

【００８８】 ｆ（ｘ）＝Σｗ_j μ_j （ｘ） (j=0〜4) （８）式 （８）式から、各重みｗはこれに対応するメンバシップ
関数のグレードμに依存することが理解される。

【００８９】前述したメンバシップ関数μと入力信号ｘ
との関係が図２２に示されている。図１４において、入
力信号ｘは最小値ｘ_ｍｉｎとｘ_ｍａｘとの間を変動し、
時刻ｔに従った時系列信号を形成している。

【００９０】信号レベルｘを実施例においてはｘ_０〜ｘ
_４で区切られた４区間に分け、図においてｘ₀₁，ｘ₁₂，
ｘ₂₃，ｘ₃₄に区分けする。

【００９１】そして、メンバシップ関数回路３０のメン
バシップ関数は前記区間ごとに隣接するメンバシップ関
数が互いに相補型にそのグレード総計を常に「１」とす
るようにメンバシップ関数が設定される。この結果、メ
ンバシップ関数μ₁ は実線で示されるように区間ｘ₀₁に
対してのみ与えられる。そして、メンバシップ関数μ₂
は区間ｘ₀₁とｘ₁₂において、同様にメンバシップ関数μ
₃ は区間ｘ₁₂とｘ₂₃、メンバシップ関数μ₄ は区間ｘ₂₃
とｘ₃₄について表れ、メンバシップ関数μ₅ は区間ｘ₃₄
についてのみ与えられている。

【００９２】従って、いずれの信号レベル値においても
２個のメンバシップ関数のみが相補的に機能してそれら
のグレード総計は常に「１」となり、例えば時刻ｔ₁ に
おいては、メンバシップ関数μ₂ とμ₃ とが働く。

【００９３】そして、この時刻定ｔ₁ においては、他の
３個のメンバシップ関数μ₁ ，μ₄，μ₅ は全て「０」
であるため、これらのメンバシップ関数のグレードにて
度合いが定まる重み付けは機能しないことが明らかであ
る。従って、時刻ｔ₁ においては、メンバシップ関数μ
₂ ，μ₃ のグレードに応じて重み付けｗ₂ とｗ₃ とが学
習し、その他のｗ₁ ，ｗ₄ ，ｗ₅ の学習は行われない、
これは、区間ｘ₁₂の全てにおいて同様であり、区間ｘ₁₂
ではそれぞれのメンバシップ関数にて定まるグレードμ
₂ ，μ₃ の度合いに応じた重みｗ₂ ，ｗ₃ のみの学習が
行われることとなる。他の区間においても、同様の作用
が得られる。

【００９４】本発明において互いに隣接するメンバシッ
プ関数をその前件部において重複させ、相補型に用いる
ことにより、前述したように全てのレベルにおいてグレ
ードの総数は「１」となり、この結果、重み付け加算を
した後のデータをそのまま非線形シナプス１０の出力と
して用いることができるという利点がある。即ち、仮に
これらのグレード統計値が「１」でない場合には、加算
後に割り算その他のディファジフィケーションを行う必
要があり、回路あるいは処理システムを著しく複雑にす
るが、本発明においては前記相補型メンバシップ関数を
用いることによってこのような不都合を確実に防止する
ことができる。

【００９５】図１５には、前記時刻ｔ₁ における非線形
シナプス１０−３の重み付け係数を求める手順が示され
ている。

【００９６】時刻ｔ₁ における入力信号値はｘ（ｔ₁ ）
で示され、このときの励起されるメンバシップ関数はμ
₂ とμ₃ であり、これら各メンバシップ関数μ₂ ，μ₃
のそれぞれのグレードはμ₂ （ｔ₁ ）及びμ₃ （ｔ₁ ）
で示される。従って、これらのグレードに合わせて、そ
れぞれ重みｗ₂ ，ｗ₃ の比率が定まり、その平均がｗ
（ｔ₁ ）として求められる。

【００９７】（９）式は前記相補型メンバシップ関数か
ら平均的に求められた重みｗ（ｔ₁）を示す。

【００９８】 ｗ（ｔ₁ ）＝｛ｗ₂ ×μ₂ （ｔ₁ ）＋ｗ₃ ×μ₃ （ｔ₁ ）｝／｛μ₂ （ｔ₁ ） ＋μ₃ （ｔ₁ ）｝ ＝ｗ₂ ×μ₂ （ｔ₁ ）＋ｗ₃ ×μ₃ （ｔ₁ ） （９）式 （９）式から明らかなように相補型メンバシップ関数を
用いることによって本発明によれば、分母が常に「１」
となり後段において割り算器等のディファジフィケーシ
ョンを必要とすることがない。

【００９９】以上のようにして、本発明によれば、ファ
ジィ推論を用いて非線形シナプスの重み付けを決定する
ことができ、前述した多次多項式と同様に各非線形シナ
プスはそれぞれ独立しているので、これらの重み付けを
定めるための学習回数は極めて僅かでよく、簡単に最適
なシナプスの重み付け決定を行うことができる。

【０１００】図１６には３次のダイナミカルシステムで
作られたカオス的信号が示され、この時系列信号は以下
の（１０）式で示される。

【０１０１】 ｙ_n+1 ＝ｆ（ｙ_n ）＋ａｙ_n-1 ＋ｂｙ_n-2 （１０）式 すなわち、 ｙ_n+1 ＝ｆ（ｙ_n ）＋ｐ_n ＋ｑ_n ｐ_n+1 ＝ａｙ_n ｑ_n+1 ＝ｂｐ_n ＝ｂｙ_n-1 なる関係を有する。

【０１０２】図１６において、時系列信号は０〜４９の
５０個のデータで示され、縦軸のＸの値は±３．０の間
をカオス的に変動する。

【０１０３】従って、本発明においては、このような従
来予測不能な時系列信号に対して非線形シナプスを用い
てわずかな回数の学習により予測可能であることを示
す。

【０１０４】本実施例を用いた実験においては、図１６
のカオス的な信号を１〜５次の各モデルで同定した。

【０１０５】図１７はこの１〜５次までの５個の本発明
に係る非線形シナプスニューロンが示されている。

【０１０６】そして、図１８にはこれらの５個のニュー
ロンによって図１６におけるカオス的信号を同定したと
きの平均二乗誤差が示されている。

【０１０７】図１８から明らかなように、図１６のダイ
ナミカルシステムは３次の時系列信号であるが、ニュー
ロンで同定する時の各次数のマッピング関数は折れ線近
似となるので、３次ニューロンモデルよりも４次及び５
次ニューロンモデルの方が高次シナプスで補正できるた
めに、良好な結果が得られていることが理解される。図
１９〜２３には前述した５次ニューロンモデルによって
３次の時系列信号をシステム同定するときの各次のマッ
ピング関数が示されている。各図において、実線は図１
６のカオス的信号を作るのに用いた３次ダイナミカルシ
ステムの各次数におけるマッピング関数を示し、破線は
５次ニューロンモデルで同定した場合の各次のマッピン
グ関数を示す。

【０１０８】図１９〜２３により明らかなように、本実
験例によれば、３次のダイナミカルシステムを５次ニュ
ーロンモデルで同定しているので、３次までの折れ線近
似誤差が４次及び５次の非線形シナプスで補正可能であ
ることを示す。

【０１０９】図２４には５次ニューロンモデルにおける
予測動作が示され、前述したごとく重み付け学習された
５次ニューロンモデルを用いて、順次入力信号で学習を
し、係数を更新しながら、将来発生する時系列信号の予
測を行っている。

【０１１０】この予測は、現在の入力信号より１時刻先
でもあるいは所定の任意の将来時刻における予測でもよ
い。

【０１１１】図２４に示した予測値（破線）は、図１６
のカオス的信号を再掲した実線で示す真の値に対する１
時刻先の予測値を示す。従って、図２４から、本実施例
によれば、従来予測不能であったカオス的信号に対して
も十分追従する予測作用を行えることが理解される。

【０１１２】図２５は前述したように重み付け学習をし
てシステム同定した本実施例における５次のニューロン
モデルに出力から入力へのフィードバックを施し、固定
的に与えられた５個の時系列信号からその後に発生する
予測値を順次予測した状態を示すものであり、前記図２
４と同様に実線が真の値、そして破線がフィードバック
から得られた将来の予測値を示す。

【０１１３】この図２５における予測は現在与えられて
いる５個の時系列信号のみから将来に渡る予測作用を行
うものであり、図２４と異なり、先の予測ほど誤差を含
むことは当然である。

【０１１４】しかしながら、このような将来予測に対し
ても、図２５からは少なくとも５〜１０同時刻先の予測
に対しては極めて一致度の高い予測作用が得られている
ことが理解される。

【０１１５】図２６から図２９にはそれぞれ本実施例を
用いた時の学習時におけるゲイン定数αを変化させたと
きの学習回数と平均二乗誤差との関係を示す。

【０１１６】実施例においては、αを以下の４種類にし
て実験したところ、 α＝０．０２ α＝０．２ α＝０．５６ α＝０．５７ α＝０．２の時に極めて良好なシステム同定が行われて
いることが理解される。

【０１１７】即ち、ゲイン定数αを０．２に設定したと
き最も早く学習が完了し、図２７から明らかなように、
１０回程度の学習回数で十分に高精度の同定が行われ、
従来と比し１００〜１０００分の１程度の極めて僅かな
回数で本発明における非線形シナプスニューロンがシス
テム同定できることを示す。

【０１１８】また、ファジィ推論によって定められた非
線形シナプス１０は前述した多次多項式による非線形シ
ナプスと同様に、入力される複数の時系列信号から順
次、次の時刻あるいは将来の所定時間先の時刻における
値を順次予測することができ、入力時系列信号を順次更
新することによって常に所定量先の予測値を得ることが
できる。

【０１１９】また、一定数の入力信号をシステム同定済
のニューロンモデルに供給すれば、順次先の時刻を予測
することができる。即ち、入力信号は一定時刻において
固定しているが、次の時刻の予測値を出力した時にこれ
を入力端子にフィードバックし、次々にこのフィードバ
ックされた予測値を用いながら、更に先の将来における
予測値を順次更新することができる。

【０１２０】ファジィ推論による非線形シナプスを用い
た場合においても、実験によれば５〜１０回の学習によ
って十分な高精度でシステムを同定することができ、従
来の線形シナプスによる同定と異なり、極めて短時間で
学習を完了することができる利点がある。

【０１２１】また、本発明による非線形シナプスニュー
ロンはその入力信号として時系列信号ばかりでなく、空
間信号も処理可能であり、この与えられた空間の外の予
測値を得る場合にも用いることができる。

【０１２２】図２４にはこのような空間的な信号の一例
が示されており、ｘ軸方向に等間隔で分布したｘ₁ 〜ｘ
₅ そして、ｘ₇ が既知である。この場合、本発明に係る
非線形シナプスニューロンに（ｘ₁ ，ｘ₂ ，ｘ₃ ，
ｘ₄ ）時のｙの値（ｙ₁ ，ｙ₂ ，ｙ₃ ，ｙ₄ ）を入力
し、出力ｙがｙ₇ となるように前記各非線形シナプス１
０のｆ（ｘ）を学習で求める。勿論、通常の既知データ
としては、前述した４個のデータｙのみではなく、ｙ₁
〜ｙ₅₀の多数のデータを４個ずつシリアルに入力して前
記学習を行うことが好適である。

【０１２３】このようにして、システム同定が行われ、
次に（ｘ₂ ，ｘ₃ ，ｘ₄ ，ｘ₅ ）のｙの値（ｙ₂ ，
ｙ₃ ，ｙ₄ ，ｙ₅ ）を入力すると本発明に係る非線形ニ
ューロンからは座標ｘ₈ に対応する値ｙ₈ を予想するこ
とが可能である。

【０１２４】このようにして、本発明によれば、時系列
信号ばかりでなく、空間的な信号を用いて未知の座標を
外挿することができる。

【０１２５】

【発明の効果】以上説明したように、本発明によれば、
非線形シナプスの重みを多次多項式あるいはファジィ推
論にて求め、これらのシナプスは互いに干渉することな
く互いに独立した構成から成るので極めて簡単に少ない
学習回数で所望の重み付けあるいは結合係数を得ること
が可能となり、特に、本発明の多次多項式及び本発明に
おける相補型メンバシップ関数を用いた非線形シナプス
によれば、簡単な構造によって極めて確度の高い予測を
行えるという利点がある。

【図面の簡単な説明】

【図１】本発明に係る非線形シナプスニューロンの全体
的な構成を示す説明図である。

【図２】本発明における非線形シナプスを多次多項式で
構成した実施例を示すブロック回路図である。

【図３】多次多項式からなる非線形シナプスの重み付け
係数を求めるための平均二乗誤差を最小にする説明図で
ある。

【図４】多次多項式からなる非線形シナプスの重み付け
係数と平均二乗誤差の関係を示すグラフの上でａ_n (t)
からａ_n (t+1) を求める説明図である。

【図５】本発明において、時系列信号を複数の遅延回路
を介して非線形シナプスに並列的に入力するニューロン
の好適な実施例を示す説明図である。

【図６】本発明における重み付け学習動作及び予測動作
を示す説明図である。

【図７】本発明に係る非線形シナプスニューロンを用い
てシステム同定したときの入力信号とシステム同定した
結果とを示す説明図である。

【図８】本実施例を用いてシステム同定したときの平均
二乗誤差の収束状態を示す説明図である。

【図９】同じく本実施例を用いてシステム同定したとき
の多次多項式の各係数の収束状態を示す説明図である

【図１０】本実施例を用いて非整数指数を有する入力信
号をシステム同定したときの入力信号とシステム同定結
果を示す説明図である。

【図１１】この実施例でのシステム同定時の平均二乗誤
差の収束状態を示す説明図である。

【図１２】本実施例を用いたシステム同定における多次
多項式の各係数の収束状態を示す説明図である。

【図１３】本発明に係る非線形シナプスニューロンにフ
ァジィ推論を用いた場合の好適な実施例を示す説明図で
ある。

【図１４】図１３に示した実施例の相補型メンバシップ
関数を示す説明図である。

【図１５】図１３に示した実施例における相補型メンバ
シップ関数と重み付け係数との関係を示す説明図であ
る。

【図１６】本発明に係る非線形シナプスニューロンでシ
ステム同定を行うためのカオス的信号を示す説明図であ
る。

【図１７】本発明の非線形シナプスニューロンを用いて
図１６のカオス的信号をシステム同定するための１次〜
５次のニューロンモデルを示す説明図である。

【図１８】図１７に示した各次ニューロンモデルによる
システム同定時の平均二乗誤差を示す説明図である。

【図１９】前記システム同定時における１次のマッピン
グ関数を示す説明図である。

【図２０】システム同定時における２次のマッピング関
数を示す説明図である。

【図２１】システム同定時における３次のマッピング関
数を示す説明図である。

【図２２】システム同定時における４次のマッピング関
数を示す説明図である。

【図２３】システム同定時における５次のマッピング関
数を示す説明図である。

【図２４】システム同定された本実施例における非線形
シナプスニューロンに順次時系列信号を供給して１時刻
先を予測する時の真の信号と予測信号との関係を示す説
明図である。

【図２５】本実施例におけるニューロンモデルを用いて
特定時刻における時系列信号を用いて順次予測値をフィ
ードバックしながら将来の予測を行う時の真の信号と予
測信号との関係を示す説明図である。

【図２６】学習時のゲイン定数αを０．０２とした時の
学習回数と誤差との関係を示す説明図である。

【図２７】学習時のゲイン定数αを０．２とした時の学
習回数と誤差との関係を示す説明図である。

【図２８】学習時のゲイン定数αを０．５６とした時の
学習回数と誤差との関係を示す説明図である。

【図２９】学習時のゲイン定数αを０．５７とした時の
学習回数と誤差との関係を示す説明図である。

【図３０】本発明を空間信号に用いた場合の外挿予測作
用を示す説明図である。

【符号の説明】

１０ 非線形シナプス １１ 入力端子 １２ 加算器 １３ 積和回路 １４ 乗算器 １５ 加算器 １９ 出力端子 ２０ 遅延回路 ３０ メンバシップ関数回路 ３１ 重み付け回路

Claims (18)

【特許請求の範囲】
1. 【請求項１】 複数の入力信号のそれぞれに所望の重み
   付けを与えるための複数の非線形シナプス手段と、 各非線形シナプスの出力を加算する加算手段と、 を含み、 前記非線形シナプス手段は、 入力信号ｘに対して可変重み係数（ａ₀ ，ａ₁ ，ａ₂ ，
   … ，ａ_n ）を有する非線形関数｛ｆ（ｘ）＝ａ₀ ＋
   ａ₁ ｘ＋ａ₂ ｘ² ＋ａ₃ ｘ³ … ａ_n ｘⁿ ｝で示され
   る可変関数手段、 を含むことを特徴とする非線形シナプスニューロン。
2. 【請求項２】 複数の入力信号のそれぞれに所望の重み
   付けを与えるための複数の非線形シナプス回路と、 各非線形シナプスの出力を加算する加算器と、 を含み、 前記非線形シナプス回路は、 入力信号ｘに対して可変重み係数（ａ₀ ，ａ₁ ，ａ₂ ，
   … ，ａ_n ）を有する非線形関数｛ｆ（ｘ）＝ａ₀ ＋
   ａ₁ ｘ＋ａ₂ ｘ² ＋ａ₃ ｘ³ … ａ_n ｘⁿ ｝で示され
   る可変関数回路、 を含むことを特徴とする非線形シナプスニューロンデバ
   イス。
3. 【請求項３】 複数の入力信号のそれぞれに非線形シナ
   プスで所望の重み付けを与え、 各非線形シナプスの出力を加算し、 前記非線形シナプスは、 入力信号ｘに対して可変重み係数（ａ₀ ，ａ₁ ，ａ₂ ，
   … ，ａ_n ）を有する非線形関数｛ｆ（ｘ）ｙ＝ａ₀
   ＋ａ₁ ｘ＋ａ₂ ｘ² ＋ａ₃ ｘ³ … ａ_n ｘⁿ｝で示さ
   れる可変関数を有することを特徴とする非線形シナプス
   ニューロンを用いた予測方法。
4. 【請求項４】 複数の入力信号のそれぞれに所望の重み
   付けを与えるための複数の非線形シナプス手段と、 各非線形シナプスの出力を加算する加算手段と、 を含み、 前記非線形シナプス手段は、 入力信号レベルに応じて区間分けされ、順次前件部の一
   部が重複して並列接続された複数の相補型メンバシップ
   関数手段と、 各メンバシップ関数手段に接続され対応するメンバシッ
   プ関数のグレードで学習の度合が定められる複数の可変
   重み付け手段と、 を含むことを特徴とする非線形シナプスニューロン。
5. 【請求項５】 複数の入力信号のそれぞれに所望の重み
   付けを与えるための複数の非線形シナプス回路と、 各非線形シナプスの出力を加算する加算器と、 を含み、 前記非線形シナプス回路は、 入力信号レベルに応じて区間分けされ、順次前件部の一
   部が重複して並列接続された複数の相補型メンバシップ
   関数回路列と、 各メンバシップ関数回路に接続され対応するメンバシッ
   プ関数のグレードで学習の度合が定められる複数の可変
   重み付け回路と、 を含むことを特徴とする非線形シナプスニューロンデバ
   イス。
6. 【請求項６】 複数の入力信号のそれぞれに非線形シナ
   プスで所望の重み付けを与え、 各非線形シナプスの出力を加算し、 前記非線形シナプスは、 入力信号がレベルに応じて区間分けされ、順次前件部の
   一部が重複して並列接続された複数の相補型メンバシッ
   プ関数のグレードに応じて可変重み付けを与えたことを
   特徴とする非線形シナプスニューロンを用いた予測方
   法。
7. 【請求項７】 サンプリングされた時系列信号を受け入
   れる直列接続された遅延手段と、 前記遅延された時系列信号のそれぞれに所望の重み付け
   を与えるための複数の非線形シナプス手段と、 各非線形シナプスの出力を加算する加算手段と、 を含み、 前記非線形シナプス手段は、 入力信号ｘに対して可変重み係数（ａ₀ ，ａ₁ ，ａ₂ ，
   … ，ａ_n ）を有する非線形関数｛ｆ（ｘ）＝ａ₀ ＋
   ａ₁ ｘ＋ａ₂ ｘ² ＋ａ₃ ｘ³ … ａ_n ｘⁿ ｝で示され
   る可変関数手段、 を含むことを特徴とする非線形シナプスニューロン。
8. 【請求項８】 サンプリングされた時系列信号を受け入
   れる直列接続された遅延回路と、 前記遅延された時系列信号のそれぞれに所望の重み付け
   を与えるための複数の非線形シナプス回路と、 各非線形シナプスの出力を加算する加算器と、 を含み、 前記非線形シナプス回路は、 入力信号ｘに対して可変重み係数（ａ₀ ，ａ₁ ，ａ₂ ，
   … ，ａ_n ）を有する非線形関数｛ｆ（ｘ）＝ａ₀ ＋
   ａ₁ ｘ＋ａ₂ ｘ² ＋ａ₃ ｘ³ … ａ_n ｘⁿ ｝で示され
   る可変関数回路、 を含むことを特徴とする非線形シナプスニューロンデバ
   イス。
9. 【請求項９】 サンプリングされた時系列信号を受け入
   れ所定の遅延を与え、前記遅延された時系列信号のそれ
   ぞれに非線形シナプスで所望の重み付を与え、 各非線形シナプスの出力を加算し、 前記非線形シナプスは、 入力信号ｘに対して可変重み係数（ａ₀ ，ａ₁ ，ａ₂ ，
   … ，ａ_n ）を有する非線形関数｛ｆ（ｘ）ｙ＝ａ₀
   ＋ａ₁ ｘ＋ａ₂ ｘ² ＋ａ₃ ｘ³ … ａ_n ｘⁿ｝で示さ
   れる可変関数を有することを特徴とする非線形シナプス
   ニューロンを用いた予測方法。
10. 【請求項１０】 サンプリングされた時系列信号を受け
    入れる直列接続された遅延手段と、 前記遅延された時系列信号のそれぞれに所望の重み付け
    を与えるための複数の非線形シナプス手段と、 各非線形シナプスの出力を加算する加算手段と、 を含み、 前記非線形シナプス手段は、 入力信号レベルに応じて区間分けされ、順次前件部の一
    部が重複して並列接続された複数の相補型メンバシップ
    関数手段と、 各メンバシップ関数手段に接続され対応するメンバシッ
    プ関数のグレードで学習の度合が定められる複数の可変
    重み付け手段と、 を含むことを特徴とする非線形シナプスニューロン。
11. 【請求項１１】 サンプリングされた時系列信号を受け
    入れる直列接続された遅延回路と、 前記遅延された時系列信号のそれぞれに所望の重み付け
    を与えるための複数の非線形シナプス回路と、 各非線形シナプスの出力を加算する加算器と、 を含み、 前記非線形シナプス回路は、 入力信号レベルに応じて区間分けされ、順次前件部の一
    部が重複して並列接続された複数の相補型メンバシップ
    関数回路列と、 各メンバシップ関数回路に接続され対応するメンバシッ
    プ関数のグレードで学習の度合が定められる複数の可変
    重み付け回路と、 を含むことを特徴とする非線形シナプスニューロンデバ
    イス。
12. 【請求項１２】 サンプリングされた時系列信号を受け
    入れ所定量の遅延を与え、 前記遅延された時系列信号のそれぞれに非線形シナプス
    で所望の重み付けを与え、 各非線形シナプスの出力を加算し、 前記非線形シナプスは、 入力信号がレベルに応じて区間分けされ、順次前件部の
    一部が重複して並列接続された複数の相補型メンバシッ
    プ関数のグレードに応じて可変重み付けを与えたことを
    特徴とする非線形シナプスニューロンを用いた予測方
    法。
13. 【請求項１３】 空間的に異なる座標位置の複数の信号
    のそれぞれに所望の重み付けを与えるための複数の非線
    形シナプス手段と、 各非線形シナプスの出力を加算する加算手段と、 を含み、 前記非線形シナプス手段は、 入力信号ｘに対して可変重み係数（ａ₀ ，ａ₁ ，ａ₂ ，
    … ，ａ_n ）を有する非線形関数｛ｆ（ｘ）＝ａ₀ ＋
    ａ₁ ｘ＋ａ₂ ｘ² ＋ａ₃ ｘ³ … ａ_n ｘⁿ ｝で示され
    る可変関数手段、 を含むことを特徴とする非線形シナプスニューロン。
14. 【請求項１４】 空間的に異なる座標位置の複数の入力
    信号のそれぞれに所望の重み付けを与えるための複数の
    非線形シナプス回路と、 各非線形シナプスの出力を加算する加算器と、 を含み、 前記非線形シナプス回路は、 入力信号ｘに対して可変重み係数（ａ₀ ，ａ₁ ，ａ₂ ，
    … ，ａ_n ）を有する非線形関数｛ｆ（ｘ）＝ａ₀ ＋
    ａ₁ ｘ＋ａ₂ ｘ² ＋ａ₃ ｘ³ … ａ_n ｘⁿ ｝で示され
    る可変関数回路、 を含むことを特徴とする非線形シナプスニューロンデバ
    イス。
15. 【請求項１５】 空間的に異なる座標位置の複数の信号
    のそれぞれに非線形シナプスで所望の重み付けを与え、 各非線形シナプスの出力を加算し、 前記非線形シナプスは、 入力信号ｘに対して可変重み係数（ａ₀ ，ａ₁ ，ａ₂ ，
    … ，ａ_n ）を有する非線形関数｛ｆ（ｘ）ｙ＝ａ₀
    ＋ａ₁ ｘ＋ａ₂ ｘ² ＋ａ₃ ｘ³ … ａ_n ｘⁿ｝で示さ
    れる可変関数を有することを特徴とする非線形シナプス
    ニューロンを用いた予測方法。
16. 【請求項１６】 空間的に異なる座標位置の複数の信号
    のそれぞれに所望の重み付けを与えるための複数の非線
    形シナプス手段と、 各非線形シナプスの出力を加算する加算手段と、 を含み、 前記非線形シナプス手段は、 入力信号レベルに応じて区間分けされ、順次前件部の一
    部が重複して並列接続された複数の相補型メンバシップ
    関数手段と、 各メンバシップ関数手段に接続され対応するメンバシッ
    プ関数のグレードで学習の度合が定められる複数の可変
    重み付け手段と、 を含むことを特徴とする非線形シナプスニューロン。
17. 【請求項１７】 空間的に異なる座標位置の複数の信号
    のそれぞれに所望の重み付けを与えるための複数の非線
    形シナプス回路と、 各非線形シナプスの出力を加算する加算回路と、 を含み、 前記非線形シナプス回路は、 入力信号レベルに応じて区間分けされ、順次前件部の一
    部が重複して並列接続された複数の相補型メンバシップ
    関数回路列と、 各メンバシップ関数回路に接続され対応するメンバシッ
    プ関数のグレードで学習の度合が定められる複数の可変
    重み付け回路と、 を含むことを特徴とする非線形シナプスニューロンデバ
    イス。
18. 【請求項１８】 空間的に異なる座標位置の複数の信号
    のそれぞれに非線形シナプスで所望の重み付けを与え、 各非線形シナプスの出力を加算し、 前記非線形シナプスは、 入力信号がレベルに応じて区間分けされ、順次前件部の
    一部が重複して並列接続された複数の相補型メンバシッ
    プ関数のグレードに応じて可変重み付けを与えたことを
    特徴とする非線形シナプスニューロンを用いた予測方
    法。