JPH0635707A - 自己増殖型ニューロファジィ知識獲得装置およびそれを用いた次元推定装置 - Google Patents

自己増殖型ニューロファジィ知識獲得装置およびそれを用いた次元推定装置

Info

Publication number
JPH0635707A
JPH0635707A JP5112659A JP11265993A JPH0635707A JP H0635707 A JPH0635707 A JP H0635707A JP 5112659 A JP5112659 A JP 5112659A JP 11265993 A JP11265993 A JP 11265993A JP H0635707 A JPH0635707 A JP H0635707A
Authority
JP
Japan
Prior art keywords
model
output data
input
dimension
fuzzy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP5112659A
Other languages
English (en)
Inventor
Ritsu Katayama
立 片山
Kaihei Kuwata
海平 鍬田
Yuji Kajitani
雄治 梶谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Electric Co Ltd
Original Assignee
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd filed Critical Sanyo Electric Co Ltd
Priority to JP5112659A priority Critical patent/JPH0635707A/ja
Publication of JPH0635707A publication Critical patent/JPH0635707A/ja
Withdrawn legal-status Critical Current

Links

Landscapes

  • Air Conditioning Control Device (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

(57)【要約】 【構成】 入出力データ記憶部12からの出力データと
モデルパラメータ学習部16からのモデル出力との誤差
をモデル誤差評価部18で評価する。その評価結果に基
づいて、ルール・中間層ユニット自己増殖部20で、ル
ールおよび/または中間層ユニットを自動的に発生させ
てニューロファジィ知識ベースに設定する。知識獲得終
了判定部26でモデル誤差が最初に指定した値以下と判
定されれば知識獲得処理全体を終了し、そうでない場合
には上述の処理を繰り返す。ルール・中間層ユニット数
がnのときのモデルパラメータの最終的な学習結果を、
ルール・中間層ユニット数が(n+1)のときのパラメ
ータ学習過程の初期値に反映させる。 【効果】 指定されたモデル精度を実現する最少のモデ
ル構造および適切なモデルパラメータの初期値を自動的
に設定できる。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】この発明は、自己増殖型ニューロ
ファジィ知識獲得装置およびそれを用いた次元推定装置
に関し、特にたとえば与えられた入出力データから、任
意に与えたモデル精度を実現するようなファジィモデル
および/またはニューロモデルの知識を自動的に設計し
あるいは獲得できさらに非線形ダイナミカルシステムの
次元を推定できる、自己増殖型ニューロファジィ知識獲
得装置およびそれを用いた次元推定装置に関する。
【0002】
【従来の技術】近年、ファジィ技術,ニューロ技術およ
びこれらを融合したニューロファジィ技術の産業上への
応用が著しく広がっている。これらの技術が備えている
多入出力システムの非線形写像能力を利用して、たとえ
ば非線形ダイナミカルシステム(カオス時系列も含む)
の同定と予測,時系列信号が決定論的ダイナミクスによ
って生成されているか否かの判定(ノイズと決定論的カ
オスとの判定),適応学習型コントローラ,非線形適応
フィルタ,非線形自己回帰モデル,ロボットの逆キネマ
ティクス・逆ダイナミクスの同定と学習,画像処理用空
間フィルタ・色補正用フィルタ,またはパターン認識と
いった、滑らかな出力特性が要求される情報処理,制
御,同定または画像処理など非常に広範な応用分野で利
用されている。
【0003】その中でも、文献1(M.J.D.Powel,"Radia
l basis functions for multivariable interpolation:
A review",IMA conference on"Algorithms for the App
roximation of Functions and Data",RMCS Shrivenham
(1985))や、文献2(T.Poggio,F.Girosi:A Theory of N
etworks for Approximation and Learning,A.I.Memo,N
o.1140,C.B.I.P.Paper,No.31,July,1989. )などで提案
されているラジアル基底関数は、非線形システムの同定
に有効な手法とされている。
【0004】ラジアル基底関数は、中間層ユニットの入
出力特性関数がこのラジアル基底関数で与えられかつ中
間層ユニットから出力層ユニットへの結合係数が各ラジ
アル基底関数の係数として与えられるような3層の階層
型ニューラルネットワークとみなすことができる。ま
た、ルール後件部が実数値であるような簡略化ファジィ
推論モデルにおいて、ラジアル基底関数は、前件部メン
バシップ関数の形状がラジアル基底関数で与えられかつ
ルール後件部の実数値が各ラジアル基底関数の係数とし
て与えられるようなファジィモデルともみなすことがで
きる。
【0005】このようなラジアル基底関数としては、具
体的には、たとえば数1〜数4にそれぞれ示すガウス分
布型関数,thin-plate-spline 関数,multiquadric関数
またはinverse multiquadric関数などがある。
【0006】
【数1】
【0007】
【数2】
【0008】
【数3】
【0009】
【数4】
【0010】特に、ガウス分布型関数を用いるモデル
は、文献3(市橋:C∞級の階層型ファジィモデル,第
7回ファジィシステムシンポジウム講演論文集,pp.505-
508 )などによって、C∞級ファジィモデルなどとも呼
ばれている。
【0011】
【発明が解決しようとする課題】文献1〜3で提案され
ている同定問題、すなわちモデル構造(ルール数または
中間層ユニット数)が与えられたもとでのモデルパラメ
ータに関する最適化問題では、決定パラメータに関し目
的関数である誤差関数が非線形かつ大域的な凸性が保証
されない。したがって、勾配などの局所的な情報のみを
使ってパラメータを更新する降下法を用いて最適パラメ
ータを求める場合、指定されたモデル精度を実現する最
少のモデル構造の設定および適切なモデルパラメータの
初期値の設定には、パラメータ学習に先だって労力を要
する試行錯誤的な数値実験が不可欠であった。
【0012】それゆえに、この発明の主たる目的は、こ
のような試行錯誤的な数値実験なしに、指定されたモデ
ル精度を実現する最少のモデル構造および適切なモデル
パラメータの初期値を自動的に設定できる、自己増殖型
ニューロファジィ知識獲得装置を提供することである。
【0013】
【課題を解決するための手段】第1の発明は、与えられ
た有限個の入出力データを記憶する入出力データ記憶手
段、ファジィモデルの知識を格納するファジィモデル知
識ベース、モデル誤差を目的関数としこれを最小化する
ようにモデルパラメータを逐次的に改善するモデルパラ
メータ学習手段、与えられた出力データとモデル出力と
のモデル誤差を評価するモデル誤差評価手段、モデル誤
差評価手段における評価結果に基づいて推論誤差の最大
絶対値を与える入出力データの入力データを中心として
ファジィモデルにおけるルールを自動的に発生させてフ
ァジィモデル知識ベースに設定するルール自己増殖手
段、および最初に指定した値以下にモデル誤差がなった
か否かを判定して知識獲得処理全体の終了を決定するた
めの知識獲得終了判定手段を備える、自己増殖型ファジ
ィ知識獲得装置である。
【0014】第2の発明は、与えられた有限個の入出力
データを記憶する入出力データ記憶手段、ニューロモデ
ルの知識を格納するニューロモデル知識ベース、モデル
誤差を目的関数としこれを最小化するようにモデルパラ
メータを逐次的に改善するモデルパラメータ学習手段、
与えられた出力データとモデル出力とのモデル誤差を評
価するモデル誤差評価手段、モデル誤差評価手段におけ
る評価結果に基づいて推論誤差の最大絶対値を与える入
出力データの入力データを中心としてニューロモデルに
おける中間層ユニットを自動的に発生させてニューロモ
デル知識ベースに設定する中間層ユニット自己増殖手
段、および最初に指定した値以下にモデル誤差がなった
か否かを判定して知識獲得処理全体の終了を決定するた
めの知識獲得終了判定手段を備える、自己増殖型ニュー
ロ知識獲得装置である。
【0015】第3の発明は、請求項1に記載する自己増
殖型ファジィ知識獲得装置を用いた次元推定装置であっ
て、入出力データ記憶手段に格納された入力データとフ
ァジィモデル知識ベースに格納されたファジィモデルと
によって次元毎の推論値を計算する推論手段、推論値と
入出力データ記憶手段に格納された出力データとの相関
係数を各次元毎に計算する相関係数計算手段、および相
関係数計算手段による計算結果に基づいてダイナミカル
システムの次元を推定する次元推定装置である。
【0016】第4の発明は、請求項2記載の自己増殖型
ニューロ知識獲得装置を用いた次元推定装置であって、
入出力データ記憶手段に格納された入力データとニュー
ロモデル知識ベースに格納されたニューロモデルとによ
って次元毎の推論値を計算する推論手段、推論値と入出
力データ記憶手段に格納された出力データとの相関係数
を各次元毎に計算する相関係数計算手段、および相関係
数計算手段による計算結果に基づいてダイナミカルシス
テムの次元を推定する次元推定装置である。
【0017】
【作用】第1の発明においては、モデルパラメータ学習
手段で、ルールユニット数が固定されたもとでの勾配法
によるモデルパラメータの学習を行い、モデルパラメー
タを逐次的に改善する。モデル誤差評価手段で、入出力
データ記憶手段からの出力データとたとえばモデルパラ
メータ学習手段からのモデル出力との誤差を評価する。
その評価結果に基づいて、たとえばモデル誤差の低減効
果が飽和した段階で、ルール自己増殖手段によって、逐
次的に、ファジィモデルにおけるルールを自動的に発生
させてファジィモデル知識ベースに設定する。知識獲得
終了判定手段によってモデル誤差が最初に指定した値以
下と判定されれば知識獲得処理全体を終了し、そうでな
い場合には上述の処理を繰り返す。また、ルール数がn
のときのモデルパラメータの最終的な学習結果を、ルー
ル数が(n+1)のときのパラメータ学習過程の初期値
に反映させる。
【0018】第2の発明においては、モデルパラメータ
学習手段で、中間ユニット数が固定されたもとでの勾配
法によるモデルパラメータの学習を行い、モデルパラメ
ータを逐次的に改善する。モデル誤差評価手段で、入出
力データ記憶手段からの出力データとたとえばモデルパ
ラメータ学習手段からのモデル出力との誤差を評価す
る。その評価結果に基づいて、たとえばモデル誤差の低
減効果が飽和した段階で、中間層ユニット自己増殖手段
によって、逐次的に、ニューロモデルにおける中間層ユ
ニットを自動的に発生させてニューロモデル知識ベース
に設定する。知識獲得終了判定手段によってモデル誤差
が最初に指定した値以下と判定されれば知識獲得処理全
体を終了し、そうでない場合には上述の処理を繰り返
す。また、中間層ユニット数がnのときのモデルパラメ
ータの最終的な学習結果を、中間層ユニット数が(n+
1)のときのパラメータ学習過程の初期値に反映させ
る。
【0019】第3の発明および第4の発明においては、
それぞれ第1の発明によって得られたファジィモデルお
よび第2の発明によって得られたニューロモデルを利用
して、推論手段で各次元毎の推論値を計算する。その計
算値と入出力データ記憶手段に格納された出力データと
の各次元毎の相関係数を相関係数計算手段で計算する。
そして、相関係数が最も高い次元を線形ダイナミカルシ
ステムの次元と推定する。
【0020】
【発明の効果】第1および第2の発明によれば、ルール
自己増殖手段または中間層ユニット自己増殖手段で、出
力誤差の大きい領域に逐次的にルールまたは中間層ユニ
ットを発生させることで、設計者が予め任意に与えたモ
デル精度(モデル誤差)を実現する最少のルール数また
は中間層ユニット数の設定、パラメータ学習過程におけ
る適切なパラメータの初期値の設定、そのときの最適な
モデル構造とパラメータ値の求解とを試行錯誤的な数値
実験等の人手による作業をすることなく自動的に求める
ことが可能となる。
【0021】また、ルール数または中間層ユニット数が
nの時の最終的なモデルパラメータ学習結果を、それぞ
れルール数または中間層ユニット数が(n+1)の時の
初期値に反映させることによって、逐次的に増加するル
ール数または中間層ユニット数の各n毎に極小解に陥る
可能性の少ない適切なモデルパラメータの初期値を自動
的に設定できる。さらに、大域的な凸性が保証されない
パラメータ学習問題P(n)の適切な初期値の設定も自
動化できる。
【0022】この発明の上述の目的,その他の目的,特
徴および利点は、図面を参照して行う以下の実施例の詳
細な説明から一層明らかとなろう。
【0023】
【実施例】図1にはこの発明の或る実施例に従った自己
増殖型ニューロファジィ知識獲得装置10の機能的ブロ
ック図が示されるが、この装置10はファジィモデル知
識獲得装置,ニューロモデル知識獲得装置あるいはニュ
ーロファジィモデル知識獲得装置として機能するもので
あり、したがって、この明細書においてはこれらを区別
する記述がなされている以外の部分では、便宜上一括し
て「ニューロファジィ」と表現していることを予め指摘
しておく。そして、この実施例のニューロファジィ知識
獲得装置10は、たとえばN個の入出力データを記憶す
る入出力データ記憶部12を含む。ニューロファジィモ
デル知識ベース14はニューロファジィモデルの知識を
格納し、モデルパラメータ学習部16はモデル誤差を目
的関数としこれを最小化するようにモデルパラメータを
逐次的に改善する。モデル誤差評価部18は、入出力デ
ータ記憶部12からモデルパラメータ学習部16を介し
て与えられた出力データと、たとえばモデルパラメータ
学習部16でファジィ推論して得られたモデル出力との
モデル誤差を評価する。ルールおよび/または中間層ユ
ニット自己増殖部20は、その評価結果に基づいて、す
なわちモデルパラメータの学習によるモデル誤差の低減
効果が飽和した段階で、推論誤差の最大絶対値を与える
入出力データの入力データを中心としてニューロファジ
ィモデルにおけるルールおよび/または中間層ユニット
を自動的に発生させる。また、知識獲得条件記憶部22
は、これらの知識獲得処理全体における種々の条件、す
なわち実現すべきモデル誤差などの種々の判定定数など
を記憶する。知識獲得制御部24は、知識獲得処理全般
にわたって、知識獲得条件記憶部22に格納された知識
獲得条件に従って、上述の各処理部の動作を制御する。
知識獲得終了判定部26は、モデル誤差が最初に指定し
た値以下になったかどうかを判定し、知識獲得処理全体
の終了または継続を決定する。
【0024】以下、具体的にこの実施例の動作を説明す
る。自己増殖型ニューロファジィ知識獲得装置10の目
的は、入力変数が=(x 1 ,x2 ,…,xm )∈
m 、出力が=(y1 ,y2 ,…,ys )∈Rs であ
るような数5に示す関数を、数6に示すN個の入出力デ
ータの組が与えられたもとで同定することである。
【0025】
【数5】
【0026】
【数6】
【0027】ただし、ここで出力データ p ,p=1,
…,Nの各成分yj p (j=1,…,s、p=1,…,
N)は、全て区間〔−1,1〕に規格化されて与えられ
ているものとする。また、この実施例では、数7で表現
されるラジアル基底関数(その特殊な場合として、一般
化ラジアル基底関数も含む。)を同定のためのモデルと
して採用する。
【0028】
【数7】
【0029】ここで、 k および k (∈Rm 、k=
1,…,n)は、それぞれラジアル基底関数の中心と分
布の広がりを示すパラメータであり、wk j (k=1,
…,n、j=1,…,s)は重み係数である。この数7
で示されるラジアル基底関数のモデルは図2に示すよう
に等価的に3層構造のニューロモデルとみなすことがで
きるし、また図3に示すようなファジィモデルともみな
すことができるので、以降、数7で表されるモデルをニ
ューロファジィモデルと呼ぶ。ここで、ラジアル基底関
数μk k k )は、図2における中間層ユニ
ットの入出力特性に、また図3におけるファジィモデル
の各ルールの適合度にそれぞれ相当する。ニューロファ
ジィモデルを、たとえば図3のファジィモデルとして表
現した場合には、k番目のルールは数8で与えられる。
【0030】
【数8】
【0031】ラジアル基底関数を用いたメンバシップ関
数Aik(xi )には種々のものがある。たとえば数1〜
数4を基本としたガウス分布型関数,thin-plate-splin
e 関数,multiquadric関数およびinverse multiquadric
関数などがあり、それぞれ数9〜数12で表される。
【0032】
【数9】
【0033】
【数10】
【0034】
【数11】
【0035】
【数12】
【0036】このとき、k番目のルール適合度μ
k )および出力yj (j=1,…,s)は、それぞ
れ数13および数14で与えられる。
【0037】
【数13】
【0038】
【数14】
【0039】ルールおよび/または中間層ユニット数が
n個のニューロファジィモデルにおいて、学習の対象と
なる決定パラメータベクトル n ∈Rmn n ∈Rmn
n∈Rsnを数15のように定義する。
【0040】
【数15】
【0041】このとき、数6に示すN個の入出力データ
の組に対し、ルール・中間層ユニット数がn個の場合の
ニューロファジィモデリング問題P(n)は数16のよ
うに定式化される。ニューロファジィモデリング問題P(n):
【0042】
【数16】
【0043】ここで、yj p ,°yj p は、それぞれp
番目の入力データ p に対する出力データの第j成分と
ニューロファジィモデルによる推論結果の第j成分であ
る。問題P(n)の最適解を( * n * n
* n )とするとき、実現すべきモデル誤差ε>0が与
えられたもとでの全体の同定問題は以下のように定式化
される。
【0044】全体の同定問題:数6に示すN個の入出力
データの組および実現すべきモデル誤差ε>0が与えら
れたもとで、数17を満足する最小のルールおよび/ま
たは中間層ユニット数nおよびそのときのファジィモデ
リング問題P(n)の最適解( * n * n
* n )を求めよ。
【0045】
【数17】
【0046】この問題に対し、まずモデルパラメータ学
習部16における勾配法を用いたニューロファジィモデ
リング問題P(n)の解法を述べ、次に自己増殖型アル
ゴリズムによる全体の同定問題に対する解法について述
べる。ニューロファジィモデリング問題P(n)におけ
る誤差関数En の決定パラメータaik,bik,w
k j (i=1,…,m、j=1,…,s、k=1,…,
n)に関する勾配を利用して、問題P(n)を適当な勾
配法(最急降下法,共役勾配法,準ニュートン法など)
によって解くことができる。最も基本的な最急降下法に
よる学習則は数18で与えられる。
【0047】
【数18】
【0048】ここで、tは最急降下法のイテレーション
回数,αは学習係数である。したがって、モデルパラメ
ータ学習部16では、ルールおよび/または中間層ユニ
ット数nが固定されたもとで、数18に示す学習則に従
って、ニューロファジィモデル知識ベース14に含まれ
るモデルパラメータ値を更新する。次に、自己増殖アル
ゴリズムによる全体問題の解法について述べる。
【0049】ルールおよび/または中間層ユニットnを
固定して学習を進めても誤差関数E n の減少の効果がほ
とんど見込めなくなった段階で、新規ルールおよび/ま
たは中間層ユニットを発生させる。ルールおよび/また
は中間層ユニット発生戦略としては種々の方法が考えら
れるが、この実施例ではN個の学習データのうち推論誤
差の絶対値が最大となる学習データに着目し、この学習
データの入力値を中心とするルール(メンバシップ関
数)・中間層ユニットを発生させることにより、推論誤
差の最大絶対値を与える学習データの近傍の推論誤差を
最優先に低減させるような戦略をとる。推論誤差の絶対
値としては、出力誤差ベクトルのlp(エルピー)ノル
ム(P=1,2,〜,∞)をとる。
【0050】図4を参照して、この考え方にもとづいた
全体の同定問題に対する解法を以下に示す。まず、ステ
ップS1において、実現すべきモデル誤差εと推論誤差
の減少度合の許容値ε1 とを設定し、知識獲得条件記憶
部22に記憶させる。ステップS3において、初期ルー
ルおよび/または中間層ユニットを少なくとも1個設定
し、ニューロファジィモデル知識ベース14へ格納させ
る。ただし、初期ルールおよび/または中間層ユニット
が存在しない場合でも、数16の°yj p =0とおけば
動作できる。
【0051】ルールおよび/または中間層ユニット数が
nの時の学習イテレーション回数t,総学習回数st
は、知識獲得処理制御部24に含まれるカウンタ(図示
せず)で管理され、ステップS5においてt=0,st
=0とする。そして、ステップS7において、モデルパ
ラメータ学習部16で数6に示すN個の学習データに対
し、数18に示す最急降下法の学習則によって、{ n
(t), n (t), n (t)}から{ n (t+
1), n (t+1), n (t+1)}を計算し、パ
ラメータ学習処理を行う。なお、最適な学習係数αは2
次内挿法などの一次元探索法を用いて決定する。
【0052】ステップS9において、En
n (t), n (t), n (t)}≡En(t)と定
義すると、数19が満たされるならば、そのときのルー
ルおよび/または中間層ユニット数nが与えられたモデ
ル誤差に関する数17に示す不等式を満たす最少のルー
ルおよび/または中間層ユニット数であり、{ n (t
+1), n (t+1), n (t+1)}を
* n * n * n )として採用し計算手続きを
終了する。
【0053】
【数19】
【0054】一方、数19が満足されない場合にはステ
ップS13へ進む。この終了判定処理は、モデル誤差評
価部18で計算したEn (t+1)に対し、知識獲得終
了判定部26で知識獲得条件記憶部22を参照しながら
実施する。ステップS13において、数20で表される
誤差関数の減少率D(t+1)が数21を満たすなら
ば、ステップS15へ進む。
【0055】
【数20】
【0056】
【数21】
【0057】一方、数22を満たすならば、ステップS
17においてt=t+1,st=st+1としてステッ
プS7へ戻る。
【0058】
【数22】
【0059】このとき、D(t+1)の計算および数2
1,数22の評価はモデル誤差評価部18で実施され
る。ステップS15では、数23に示すように、N個の
入出力データ( p p)(p=1,…,N)のうち
出力誤差ベクトルのlpノルムの絶対値が最大となる入
出力データを( q q )とする。
【0060】ただし、数23において、既に選択した中
心値 p は重複して選択しないものとする。
【0061】
【数23】
【0062】ここで、∈Rs に対しlpノルムは数2
4で定義される。
【0063】
【数24】
【0064】P=1,P=2およびP=∞のときは、そ
れぞれ数25〜数27で表される。
【0065】
【数25】
【0066】
【数26】
【0067】
【数27】
【0068】Pの値はいずれでもよいが、実際には数2
5〜数27のいずれかを用いることが多い。そして、
(n+1)個目の新規ルールおよび/または中間層ユニ
ットを数28に従って発生させる。
【0069】
【数28】
【0070】ここで、bi,0 (i=1,…,m)はガウ
ス基底関数の分布パラメータの初期値としてあらかじめ
与えられている定数である。この値は比較的小さい値が
望ましい。さらにステップS19において、ルールおよ
び/または中間層ユニット数nを(n+1)に更新し、
t=0としてステップS7へもどる。なお、このときの
新規ルールおよび/または中間層ユニット以外のルール
および/または中間層ユニットに含まれるパラメータの
初期値は、直前の学習過程で得られている値をそのまま
使用する。
【0071】このとき、新規ルールおよび/または中間
層ユニットの発生はルールおよび/または中間層ユニッ
ト自己増殖部20で行い、生成された新規ルールおよび
/または中間層ユニットはニューロファジィモデル知識
ベース14に格納される。また、以上の各処理全体は知
識獲得処理制御部24で統括的に管理・制御される。こ
のような自己増殖型ニューロファジィ知識獲得装置10
を用いれば、入力空間を等分割して初期値を設定する方
法と比べて極小解に陥る可能性が少なく、また、与えら
れたモデル精度を実現するための総学習回数も少なくて
すむ利点がある。
【0072】なお、この実施例で説明した手法は、たと
えばカオス性を有する非線形力学系の同定問題にも適用
され得る。1変数の時系列データが決定論的ダイナミク
スによって生成されている場合には、Takensの埋め込み
定理(F.Takens:Detecting Strange Attractors in Tur
bulence,in"Dynamical Systems and Turbulence",Lectu
re Notes in Mathematics,898,pp.366-381,Springer,Be
rlin,1981.)によって元の力学系を再構成することがで
きる。この場合、サンプル時間間隔の大きさと埋め込み
次元の推定(M.Casdagli:Nonlinear Prediction of Cha
otic Time Series,Physica D,35,pp.335-356,1989.)と
が重要であるが、ここではそれらが既知とし、比較的単
純なロジスティック写像を自己増殖型C∞級ファジィモ
デルによって同定する。ロジスティック写像は数29で
定義される1次元差分力学系である。
【0073】
【数29】
【0074】2つのaの値(a=3.48:4周期解,
a=4.0:カオス)に対し、数29に基づいて生成し
た101個のデータ{x(t),x(t+1)}を学習
データとして、数30に示す1変数関数Fを上述の手法
を用いて同定した。
【0075】
【数30】
【0076】ε=0.005,ε1 =0.0001と
し、a=3.48の場合はルール数n=5,総学習回数
st=197で、またa=4.0の場合はルール数n=
6,総学習回数st=341で収束した。これらの学習
結果に基づき、時系列データx(t)の初期値をx
(0)=0.8としたときの数29に基づく時系列デー
タの理論値と、数30の同定結果による予測値とを20
ステップにわたってそれぞれ比較したものが図5および
図6である。
【0077】図5に示すように、a=3.48の4周期
解の場合には理論値と予測値とがほぼ一致していること
がわかる。また、図6に示すように、a=4.0のカオ
スの場合にも、7ステップ程度まで理論値と予測値とが
ほぼ一致しており、カオス時系列の短期予測ができてい
ることが確認できる。カオス時系列予測における関数近
似問題に対しては、従来から誤差逆伝搬アルゴリズムを
用いた階層型ニューラルネットワークや、ラジアル基底
関数を用いた方法などが用いられている。しかしなが
ら、任意に指定したモデル精度を実現するための階層型
ニューラルネットワークにおける中間層の最小の素子数
や、ラジアル基底関数における最小の基底関数数など
は、予備的な数値実験などを実施して試行錯誤的に求め
る必要があった。ところが、先に説明したと同様の手法
を応用することにより、任意のモデル精度を実現する最
小のルール数を効率よく自動的に求めることができる。
【0078】ただし、上述の自己増殖型ニューロファジ
ィ知識獲得装置10を用いることによって、以下のよう
にして、非線形ダイナミカルシステムの次元を推定する
ことができる。非線形ダイナミカルシステムの次元の推定 一般に、多次元の状態変数で記述できるダイナミカルシ
ステムにおいて、実際に実験的に計測できるのは1変数
の時系列データである。この1変数の時系列データy
(t),適切な遅れ時間Tbおよび埋め込み次元DE
数31に代入して状態空間ベクトルを得て、その状態空
間ベクトルによって、元の多次元の力学系のアトラクタ
がDE 次元の状態空間に再構成できることが、ターケン
スによって示されている。
【0079】
【数31】
【0080】このとき、元の力学系の次元Dに対して埋
め込み次元DE が2D+1以上であれば、元の力学系の
アトラクタは、再構成した状態空間に埋め込まれている
ことになる。図7に、状態空間を再構成するために用い
られる1変数の時系列データy(t)を示す。図7にお
いて、埋め込み次元DE =3,遅れ時間Td=2とすれ
ば、埋め込み定理の数31より、t ={y(t),y
(t−2),y(t−4)}と表せる。
【0081】このターケンスの埋め込み定理を利用し
て、計測した時系列データから元の非線形ダイナミカル
システムの次元を推定する手法が、SugiharaとMay ("N
on-linear Forecasting as a Way of Distinguising Ch
aos from Measurement Error in Time Series", Natur
e, Vol.344 No.19 pp.734-741(1990). )によって提案
されている。具体的には、計測した1変数の時系列デー
タy(t)に、数31に示すターケンスの埋め込み定理
を適用して、状態空間を再構成する。そして、その状態
空間のベクトルを用いて、非線形ダイナミカルシステム
を同定・予測する。同定時には、埋め込み次元をパラメ
ータとして、埋め込み次元を1つずつ増やした状態空間
ベクトルを入力とする各モデルを同定する。埋め込み次
元毎に同定したモデルにおける推論値と実測値とから、
数32で定義される相関係数ρを求め、相関係数ρが最
も高いモデル入力の次元に基づいて、元の非線形ダイナ
ミカルシステムの次元を推定する手法である。
【0082】
【数32】
【0083】ここで、計測した時系列データおよび推論
値をそれぞれy(t)およびy′(t)とすると、
M ,yM ′は、それぞれ時系列データy(t)および
推論値y′(t)の平均値であり、Mはデータ数であ
る。このような非線形ダイナミカルシステムの次元推定
手法を上述の自己増殖型ニューロファジィモデル知識獲
得装置10に適用すると、図8に示すような次元推定装
置30が得られる。
【0084】以下、次元推定装置30について述べる。
次元推定装置30は、モデリングを行う自己増殖型ニュ
ーロファジィ知識獲得装置10を含み、その入出力デー
タ記憶部12からの入力データとニューロファジィモデ
ル知識ベース14からのニューロファジィモデルとが、
推論部32に与えられる。推論部32では、ニューロフ
ァジィモデルに入力データを与えることによって推論値
を得る。この推論値は、埋め込み次元DE をパラメータ
として、埋め込み次元DE を1つずつインクリメントし
た各次元毎に求められる。この各埋め込み次元DE 毎の
推論値は、それぞれ推論記憶部34に格納される。推論
記憶部34に格納された推論値と入出力データ記憶部1
2に格納された出力データとが、それぞれ相関係数計算
部36に与えられ、相関係数計算部36で数32に基づ
いて相関係数ρが求められる。相関係数ρは各埋め込み
次元DE 毎に求められ、それぞれ相関係数記憶部38に
格納される。そして、各埋め込み次元DE の相関係数ρ
が次元推定部40に与えられ、最も高い値の相関係数ρ
を有する埋め込み次元DE が、元の非線形ダイナミカル
システムの次元と推定され、その次元が出力部42から
出力される。
【0085】図8に示す次元推定装置30の動作を図9
に示すフローチャートを用いて説明する。まず、ステッ
プS1において実測値である入出力データを収集する。
この入出力データは入出力データ記憶部12に格納され
る。次いで、ステップS3において、埋め込み次元DE
を初期値「1」に設定し、かつ埋め込み次元DE の最大
値を設定する。次いで、ステップS5において1入力の
ニューロファジィモデルを同定する。この処理は自己増
殖型ニューロファジィモデル知識獲得装置10によって
行われ、そのニューロファジィモデルの知識はニューロ
ファジィモデル知識ベース14に格納され、同定が終了
する。
【0086】同定時には、たとえば脈波などの計測した
時系列データy(t)に埋め込み定理を適用して、数3
1のように再構成した状態空間ベクトルを得る。この状
態空間ベクトルを用いて、ラジアル基底関数による非線
形自己回帰モデルを同定する。学習データとしては、数
31によって得られた入力ベクトルすなわち状態空間ベ
クトルt と出力yt+1 との組を与える。ただし、状態
空間を再構成するときには、遅れ時間を適切に設定する
必要があり、自己相関関数の値が最初にゼロとなるTd
を遅れ時間とする。
【0087】次いでステップS7において、同定済みの
モデルによって推論値を求める。推論値は、ニューロフ
ァジィモデルに入力データを代入することによって得ら
れる。そして、ステップS9において、得られた推論値
を推論記憶部34に格納する。ステップS11におい
て、埋め込み次元DE が最大値未満か否かを判断し、最
大値未満の場合にはステップS13において埋め込み次
元DE を増やし(DE =DE +1)、ステップS5に戻
る。ステップS11において埋め込み次元DE が最大値
未満である限り、上述のステップS5ないしS13の処
理を各埋め込み次元DE 毎に繰り返す。
【0088】ステップS11において、埋め込み次元D
E が最大値未満でないと判断されれば、ステップS15
において各埋め込み次元DE の推論値と実測値とを用い
て、数32によって相関係数ρを計算する。この相関係
数ρを各埋め込み次元DE 毎に計算する。次いで、図1
0に示すステップS17において、各埋め込み次元D E
毎の相関係数ρを相関係数記憶部38に記憶し、ステッ
プS19において、次元推定部40によって、相関係数
ρの最大値を求める。そして、ステップS21におい
て、最大の相関係数ρを有する埋め込み次元DE を、元
の非線形ダイナミカルシステムの次元と推定し、その次
元を出力部42から出力して、終了する。
【0089】ここで具体例として、ラジアル基底関数に
よる非線形自己回帰モデルによって、人間の脈波の次元
を推定した結果を示す。図11に、サンプリング時間1
9.5msec. で約30秒間計測した脈波を、−1.0〜
1.1に正規化した時系列データ(サンプリング数17
92個)を示す。モデル同定時には、脈波の時系列デー
タのうち前半600個のデータで学習した。このときの
学習データには、遅れ時間を234msec.(19.5ms
ec.×12)とし、埋め込み次元を1〜15まで変化さ
せて再構成した状態空間のベクトルを用いた。なお、遅
れ時間については、脈波の時系列データの自己相関関数
の値から判断し、図12に示すように、自己相関関数の
値が最初に0となるTdを遅れ時間とした。また、学習
終了条件は、総学習イデレーション5000回とした。
【0090】次に、そのモデルに後半600組のデータ
を与えたときの推論値と実測値との相関係数ρを求め
た。求めた相関特性を図13に示す。図13に示すよう
に、埋め込み次元DE が4〜6のときの相関係数ρが最
も高いことから、脈波の時系列データを4〜6次元で埋
め込んで再構成した状態空間内に、元の非線形ダイナミ
カルシステムの力学系が埋め込まれているといえ、脈波
の次元は2〜3であると推定できる。
【0091】なお、上述の次元推定装置30は、脈波な
どの生信信号の次元のみならず、任意の時系列データの
次元を推定できる。
【図面の簡単な説明】
【図1】この発明の一実施例を示す機能ブロック図であ
る。
【図2】ニューロファジィモデルを3層構造のニューロ
モデルとみなした場合の図解図である。
【図3】ニューロファジィモデルをファジィモデルとみ
なした場合の前件部メンバシップ関数とファジィルー
ル,ファジィ推論演算式などを示す図解図である。
【図4】この実施例の知識獲得処理全体の処理動作を示
すフロー図である。
【図5】ロジステック写像の4周期解の場合の時系列予
測結果を示すグラフである。
【図6】ロジステック写像のカオスの場合の時系列予測
結果を示すグラフである。
【図7】状態空間を再構成するために用いられる時系列
データの一例を示すグラフである。
【図8】次元推定装置の一実施例を示すブロック図であ
る。
【図9】図8実施例の動作を示すフロー図である。
【図10】図9の続きを示すフロー図である。
【図11】脈波の時系列データの一例を示すグラフであ
る。
【図12】脈波の時系列データの自己相関関数を示すグ
ラフである。
【図13】ラジアル基底関数による非線形自己回帰モデ
ルの推論値と実測値との相関特性を示すグラフである。
【符号の説明】
10 …自己増殖型ニューロファジィ知識獲得装置 12 …入出力データ記憶部 14 …ニューロファジィモデル知識ベース 16 …モデルパラメータ学習部 18 …モデル誤差評価部 20 …ルール・中間層ユニット自己増殖部 22 …知識獲得条件記憶部 24 …知識獲得処理制御部 26 …知識獲得終了判定部 30 …次元推定装置 32 …推論部 36 …相関係数計算部 40 …次元推定部

Claims (4)

    【特許請求の範囲】
  1. 【請求項1】与えられた有限個の入出力データを記憶す
    る入出力データ記憶手段、 ファジィモデルの知識を格納するファジィモデル知識ベ
    ース、 モデル誤差を目的関数としこれを最小化するようにモデ
    ルパラメータを逐次的に改善するモデルパラメータ学習
    手段、 与えられた出力データとモデル出力とのモデル誤差を評
    価するモデル誤差評価手段、 前記モデル誤差評価手段における評価結果に基づいて推
    論誤差の最大絶対値を与える入出力データの入力データ
    を中心としてファジィモデルにおけるルールを自動的に
    発生させて前記ファジィモデル知識ベースに設定するル
    ール自己増殖手段、および最初に指定した値以下にモデ
    ル誤差がなったか否かを判定して知識獲得処理全体の終
    了を決定するための知識獲得終了判定手段を備える、自
    己増殖型ファジィ知識獲得装置。
  2. 【請求項2】与えられた有限個の入出力データを記憶す
    る入出力データ記憶手段、 ニューロモデルの知識を格納するニューロモデル知識ベ
    ース、 モデル誤差を目的関数としこれを最小化するようにモデ
    ルパラメータを逐次的に改善するモデルパラメータ学習
    手段、 与えられた出力データとモデル出力とのモデル誤差を評
    価するモデル誤差評価手段、 前記モデル誤差評価手段における評価結果に基づいて推
    論誤差の最大絶対値を与える入出力データの入力データ
    を中心としてニューロモデルにおける中間層ユニットを
    自動的に発生させて前記ニューロモデル知識ベースに設
    定する中間層ユニット自己増殖手段、および最初に指定
    した値以下にモデル誤差がなったか否かを判定して知識
    獲得処理全体の終了を決定するための知識獲得終了判定
    手段を備える、自己増殖型ニューロ知識獲得装置。
  3. 【請求項3】請求項1に記載する自己増殖型ファジィ知
    識獲得装置を用いた次元推定装置であって、 前記入出力データ記憶手段に格納された入力データと前
    記ファジィモデル知識ベースに格納された前記ファジィ
    モデルとによって次元毎の推論値を計算する推論手段、 前記推論値と前記入出力データ記憶手段に格納された出
    力データとの相関係数を各次元毎に計算する相関係数計
    算手段、および前記相関係数計算手段による計算結果に
    基づいてダイナミカルシステムの次元を推定する次元推
    定装置。
  4. 【請求項4】請求項2記載の自己増殖型ニューロ知識獲
    得装置を用いた次元推定装置であって、 前記入出力データ記憶手段に格納された入力データと前
    記ニューロモデル知識ベースに格納された前記ニューロ
    モデルとによって次元毎の推論値を計算する推論手段、 前記推論値と前記入出力データ記憶手段に格納された出
    力データとの相関係数を各次元毎に計算する相関係数計
    算手段、および前記相関係数計算手段による計算結果に
    基づいてダイナミカルシステムの次元を推定する次元推
    定装置。
JP5112659A 1992-05-19 1993-05-14 自己増殖型ニューロファジィ知識獲得装置およびそれを用いた次元推定装置 Withdrawn JPH0635707A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP5112659A JPH0635707A (ja) 1992-05-19 1993-05-14 自己増殖型ニューロファジィ知識獲得装置およびそれを用いた次元推定装置

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP12527792 1992-05-19
JP4-125277 1992-05-19
JP5112659A JPH0635707A (ja) 1992-05-19 1993-05-14 自己増殖型ニューロファジィ知識獲得装置およびそれを用いた次元推定装置

Publications (1)

Publication Number Publication Date
JPH0635707A true JPH0635707A (ja) 1994-02-10

Family

ID=26451769

Family Applications (1)

Application Number Title Priority Date Filing Date
JP5112659A Withdrawn JPH0635707A (ja) 1992-05-19 1993-05-14 自己増殖型ニューロファジィ知識獲得装置およびそれを用いた次元推定装置

Country Status (1)

Country Link
JP (1) JPH0635707A (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08123462A (ja) * 1994-10-27 1996-05-17 Sony Corp 音声認識装置
JPH08123473A (ja) * 1994-10-28 1996-05-17 Sony Corp 音韻ラベル化装置
JP2003534590A (ja) * 2000-05-19 2003-11-18 ウエストファリア セパレイター インダストリー ゲーエムベーハー 機械を制御する方法及び機械を操作する情報システム
US7185746B2 (en) 2003-03-18 2007-03-06 Honda Motor Co., Ltd. Damper-mounting structure
JP2014004911A (ja) * 2012-06-25 2014-01-16 Tokyo Univ Of Marine Science & Technology 非線形の自己回帰モデルによる船舶の航路保持方法
KR20160074785A (ko) * 2014-12-18 2016-06-29 재단법인 포항산업과학연구원 오차의 정보량을 기반으로 한 모델의 입력 변수 선정 장치 및 방법
JP6150964B1 (ja) * 2016-10-03 2017-06-21 三菱電機株式会社 ネットワーク構築装置及びネットワーク構築方法
CN111460734A (zh) * 2020-04-02 2020-07-28 北京工业大学 一种结合先进自适应采样和人工神经网络的微波器件自动建模方法
CN113946974A (zh) * 2021-10-25 2022-01-18 中国科学院光电技术研究所 一种基于多目标优化的自组织一型分层模糊预测系统
CN114184274A (zh) * 2021-11-19 2022-03-15 哈尔滨工程大学 一种受高频噪声干扰振动信号的非线性特性诊断方法

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08123462A (ja) * 1994-10-27 1996-05-17 Sony Corp 音声認識装置
JPH08123473A (ja) * 1994-10-28 1996-05-17 Sony Corp 音韻ラベル化装置
JP2003534590A (ja) * 2000-05-19 2003-11-18 ウエストファリア セパレイター インダストリー ゲーエムベーハー 機械を制御する方法及び機械を操作する情報システム
US7185746B2 (en) 2003-03-18 2007-03-06 Honda Motor Co., Ltd. Damper-mounting structure
JP2014004911A (ja) * 2012-06-25 2014-01-16 Tokyo Univ Of Marine Science & Technology 非線形の自己回帰モデルによる船舶の航路保持方法
KR20160074785A (ko) * 2014-12-18 2016-06-29 재단법인 포항산업과학연구원 오차의 정보량을 기반으로 한 모델의 입력 변수 선정 장치 및 방법
JP6150964B1 (ja) * 2016-10-03 2017-06-21 三菱電機株式会社 ネットワーク構築装置及びネットワーク構築方法
CN111460734A (zh) * 2020-04-02 2020-07-28 北京工业大学 一种结合先进自适应采样和人工神经网络的微波器件自动建模方法
CN113946974A (zh) * 2021-10-25 2022-01-18 中国科学院光电技术研究所 一种基于多目标优化的自组织一型分层模糊预测系统
CN113946974B (zh) * 2021-10-25 2023-12-22 中国科学院光电技术研究所 一种基于多目标优化的自组织一型分层模糊预测系统
CN114184274A (zh) * 2021-11-19 2022-03-15 哈尔滨工程大学 一种受高频噪声干扰振动信号的非线性特性诊断方法

Similar Documents

Publication Publication Date Title
US5987444A (en) Robust neutral systems
Wang et al. Adaptive robust control based on single neural network approximation for a class of uncertain strict-feedback discrete-time nonlinear systems
HRP20060024A2 (hr) Umjetna neuronska mreža
Sharkawy et al. A neural network-based approach for variable admittance control in human–robot cooperation: online adjustment of the virtual inertia
CN110110794B (zh) 基于特征函数滤波的神经网络参数更新的图像分类方法
JPH0635707A (ja) 自己増殖型ニューロファジィ知識獲得装置およびそれを用いた次元推定装置
Kopardekar et al. Tolerance allocation using neural networks
Wu et al. A neurofuzzy network structure for modelling and state estimation of unknown nonlinear systems
US5963929A (en) Recursive neural filters
Wu et al. Combining artificial neural networks and statistics for stock-market forecasting
WO2004090782A1 (en) Accurate linear parameter estimation with noisy inputs
Pucar et al. SMOOTH HINGING HYPERPLANES–AN ALTERNATIVE TO
Parnianifard et al. New adaptive surrogate-based approach combined swarm optimizer assisted less tuning cost of dynamic production-inventory control system
Ljung Non-linear black box models in system identification
Duhoux et al. Improved long-term temperature prediction by chaining of neural networks
Lughofer et al. Online adaptation of Takagi-Sugeno fuzzy inference systems
Souza et al. Nonlinear system identification using local ARX models based on the self-organizing map
Friedrich et al. On-line learning artificial neural networks for stability classification of milling processes
Tsoi et al. Static and dynamic preprocessing methods in neural networks
Şen et al. A NARMA-L2 controller based on online LSSVR for nonlinear systems
Ustabas Kaya et al. A new adaptive neuro-fuzzy solution for optimization of the parameters in the digital holography setup
Koivisto A practical approach to model based neural network control
Loo et al. A hybrid intelligent active force controller for articulated robot arms using dynamic structure neural network
Kumar et al. Robust adaptive fuzzy identification of time-varying processes with uncertain data. Handling uncertainties in the physical fitness fuzzy approximation with real world medical data: An application
CN112036088A (zh) 一种基于多新息随机梯度优化的过热汽温预测方法

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20000801