JPH04147301A - 非線形モデルの最適化装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】

【産業上の利用分野１ 本発明は、パターン識別、システム同定等で用いられる
非線形モデルの最適化装置に関する。 【従来の技術】 計算機の発達に伴い、従来は難しいとされていた非線形
システムの同定が可能になってきている。 例えば、パターン認識等は、画像という多量の情報量を
持ったデータから、認識に必要ないくつかの情報を縮約
し、抽出することにほがならないが。 このために有用な関数は非線形であることが多い。 そこで、パラメータによって適当に非線形モデル（関数
）を構成することが必要になる。この関数は、いくつか
の典型的な値に対して模範となる答えを持っているとす
る。そしてそのような関数を構成するためには、最小二
乗の意味で、次式％式％） を最小にするようなパラメータの組 ｘ−（×１、・・・　　ＸＭ） を求めることになる。ここで、１＋は、データあるいは
教師というべき所望の値であり、Ｏｉは、データからパ
ラメータ化されたモデルによって得られる推定値である
。 従来技術では、反復法に決められたτ回目までに取った
パラメータの組 ｘ、　、　、　　　ｘ′ｃ と、これらのパラメータにおいてとる勾配ベクトル Ｄ′ｃ Ｅ（Ｘ　　）、　　・　・　・　、　（Ｘ）によって修
正ベクトルを決めているが、反復回数が非常に多いこと
があり、実用上には問題がある。 又、評価関数が、非線形関数によって推定された値と定
数の差の二乗和で与えられている場合は、ガウス・ニュ
ートン系の解法を使うことができる。 この方法は、問題の非線形性が小さい場合に収束が早い
という利点がある。又、問題の非線形性が大きい場合は
、緩和因子λを導入して、収束の安定化を図ることがで
きる。しかし、λを適切に決めることができないと、収
束計算が多くなる。 このような問題点を解決するためにＦ　１ｅｔｃｈｅｒ
が考案した修正マルカート（Ｍ　ａｒｑｕａｒｄｔ　）
法がある（中用徹、小柳義夫共著「最小二乗法による実
験データ解析」東京大学出版会１９８２年発行、１１１
３１０４〜１１０）。これは、ガウス・ニュートン系の
解法を使うために線形化したときの誤差減少分と実際の
誤差減少分とを比較して、その比（減少率）から非線形
性を見積り、緩和因子λの値を決める方法である。

【発明が解決しようとする問題点】

ところが、修正マルカート法では、減少率と緩相定数の
間の関係が恣意的であり、良い収束を得るために必要な
緩和因子の調整が不完全で、収束に必要な反復計算の回
数が不必要に多くなるという問題点があった。 本発明は、前記従来の問題点を解消するべくなされたも
ので、収束計算を増加することなく、非線形モデルの最
適なパラメータを求めることができる、非線形モデルの
最適化装置を提供することを目的とする。

【問題点を解決するための手段１ 本発明は、次式 ％式％） で表わされる評価関数Ｅを用いて、所望値の組ｊ＝（ｔ
ｌ、・・・　　ｉｓ） と、パラメータ化された非線形モデルによって得られる
推定値の組 ０＝　（０１、・　・　・　　　ＯＮ＞に対して、前記
評価関数Ｅが最小となる、非線形モデルのパラメータの
組 Ｘ−（Ｘ、　　、　・　・　・　　　ＸＭ）を求めるた
めの非線形モデルの最適化装置において、第１図に基本
構成を示す如く、目的関数の値を求める手段と、目的関
数の関数行列（ヤコビ行列）を生起する手段と、該関数
行列によって新たなパラメータの値を求める手段と、新
旧パラメータによる目的関数の差を求める手段と、線形
化したときの誤差減少分を求める手段と、両者の減少分
から、ファジィ化した非線形性を求める手段と、該ファ
ジィ化した非線形性と緩和因子の間のファジィ化した関
係を結ぶ手段と、該関係から緩和因子を求め、デファジ
ィ化する手段とを備えることによって、前記目的を達成
したものである。 【作用】 本発明者は、修正マルカート法で決められるパラメータ
は、ある程度主観的であることに注目し、その主観性を
拡張すれば最適化に対して良い結果を与えると考え、そ
の手法に適したファジィ理論の適用を試みた。 第２図は、本発明による具体的手段の例を示ず流れ図で
ある。以下、この図に従って説明する。 まず評価（目的）関数日が、（１）式に示した如く、デ
ー

【夕と推定値０の二乗和で表わされているとする。こ
のときのヤコビ行列Ａの要素ａｎｍは、以下の形で表わ
される。 ａｎｍ＝ｃｌ　　Ｏｎ／ｃ）　　Ｘｍ （ｎ＝１、−−−１Ｎ、ｍ＝１、−−−１Ｍ）・・・・
・・・・・（２） ここで、Ｏｎは、ｎ番目のデータの組ｓｎを用いたモデ
ルによる推定値、Ｘｍは、ｍ番目のパラメータ、Ｎはデ
ータの数、Ｍはパラメータの数である。 データベクトルｌとモデルのベクトルＯの差をＶとする
（ｖ＝１ｔ−０）。τ回目に更新したパラメータの組Ｘ
が与えられていて、新しいパラメーりの組ｘ＋１を求め
るとき、修正ベクトルをΔｘ６−杼＋Ｉ　　ｘ鐘定義す
るとくステップ４４０）、以下の式で修正ベクトルを求
めるのがガウス・ニュートン法である（ステップ４３０
）。 ’ＡＡΔＸ＝’ＡＶ　　　　　　・・・・・・・・・（
３）ここで、行列の左肩にあるｔは、転置を表わす。 緩和因子λを持つガウス・ニュートン法は、上の式を以
下のように書き換えた式で表わされる。 （４′ＡＡ＋λＩ）Δｘ＝　ｔＡｖ・・・・・・・・・
（４）ここで、■は単位行列、λはＯ又は正の数である
。非線形性が大きい場合はλを大きくするとよいとされ
ている。 非線形性の大小の評価は、以下のようにする。 まず線形化したモデルの残差二乗和を、Ｓ（Ｘ＋Δｘ　
）＝ｌｌ　　ｆ（ｘ　）　−Ｖ−ＡΔｘ１１２・・・・
・・・・・（５） とおけば、ΔＸによるＳの変化ΔＳは、ΔＳ＝−Δｘ（
ＡＡ＋λＩ）Δ× −λ１１Δｘ１１２　　　・・・・・・・・・（６）で
表わすことができる（ステップ４６０）。 一方、真のモデルは非線形であるから、残差二乗和の変
化 Δ５＝Ｓ（Ｘ＋Δｘ　）　−８（ｘ　）　・（７）は、
６ｇとは異なっている。 そこで、実際の変化量ΔＳと線形化した場合の予想変化
量ΔＳとめ比 ｒ＝ΔＳ／ΔＳ　　　　　　・・・・・・・・・（８）
を計算して、緩和因子λを調節する目安とする（ステッ
プ４７０）。このｒを減少率と呼ぶことにする。 ｒが正であり、且つ大きい場合は、修正ベクトルΔＸが
、残差二乗和を減少させるベクトルとして相応しいベク
トルであることを示している。 方、ｒが負であり、且つ絶対値が大きい場合は、修正ベ
クトルΔＸが、残差二乗和を減少させるベクトルとして
相応しくないベクトルであり、緩和因子を調整する必要
があることを示している。 緩和因子の調節法は、ある定数Ｕを現在の緩和定数に乗
じて、その結果を新しい緩和因子として使うという方法
である。従来の修正マルカート法では、定数Ｕを減少率
「から求める関数を設定しているが、定数Ｕがｒに関し
て不連続な部分があったり、不適切な部分があったりし
たために、収束に必要な反復計算の回数が不必要に多く
なることがあった。 本発明による方法は、Ｕをｒに対して連続的に設定して
いる。又、Ｕとｒの関係をつかみ易くするために、ファ
ジィ手段を使っている（ステップ４８０）。そのため、
収束因子λが適切に設定されているので、収束に必要な
反復計算の回数が不必要に多くなることはない。 第２図において、ステップ１００は、緩和因子λと評価
関数の値５ｏｌｄを初期化（λ−Ｏ，ＳＯｄ　＝＋ｏｏ
）する手順、ステップ２００は、収束判定値εとパラメ
ータＸを設定する手順、ステップ３００は、パラメータ
Ｘの時の評価関数Ｅの値（残差２乗和）Ｓを計算する手
順、ステップ４００は、Ｓがεとなるまで、ステップ４
１０〜４９０をくり返す手順である。 【実施例】 以下、図面を参照して、本発明の実施例を詳細に説明す
る。 本実施例は、第３図に示す如く、中央処理装置１２、初
期パラメータ設定装置１４、評価関数値演算装置１６、
ヤコビ行列演算装置１８、パラメ−タ修正ベクトル演算
装置２０、新パラメータ演算装置２２、減少率演算装置
２４、減少率ファジィ化演算装置２６、緩和因子演算装
置２８、パラメータ及び評価関数値更新装置３０を含む
演算・制御部１０と、メモリ一部４０と、から構成され
ている。 第３図において、−点鎖線枠内が本発明の内容である。 又、メモリ一部４０の細線は、メモリーから演算部への
入力、太線は、演算部からメモリーへの出力を意味する
。なお、矢印が付いた破線は、制御信号を意味する。 以下、実施例の作用を説明する。 処理Ｏ１ 前記中央処理装置１２は、反復計算の前に、前記初期パ
ラメータ設定装置１４により初期のパラメータベクトル
を設定する。初期パラメータ設定装置１４としては、例
えば乱数発生装置等が使用できる。又、収束を判定する
ための収束判定用定数と、基準となるデータ（教師デー
タ）を設定する。又、初期緩和因子にはＯを設定する。 処理１゜ 評価関数値演算装置１６では、前回のパラメータベクト
ルと評価関数の形から、パラメータ化されたデータを求
める。このデータと基準データからデータ残差ベクトル
を求め、メモリ一部４０に格納する。そして、このベク
トルから評価関数の値を定め、この関数値を前回の評価
関数としてメモリ一部４０に格納する。中央処理装置１
２は、この関数値と収束判定用定数を比較し、前者が後
者より大きい場合には次の処理２に進む。そうでない場
合は収束計算を終了し、中央演算装置１２に制御を戻す
。その後、決定パラメータとして前回のパラメータベク
トルを採用し、計算を終了する。 処理２゜ ヤコビ行列演算装置１８では、前回のパラメータベクト
ルからヤコビ行列を求める。このヤコビ行列はメモリ一
部４０に格納する。同時に、ヤコビ行列から導かれる限
界緩和因子を計算して、同じくメモリ一部４０に格納す
る。 処理３゜ パラメータ修正ベクトル演算装置２０では、パラメータ
修正ベクトルを求めるために、データ残差ベクトルと、
ヤコビ行列と、緩和因子を利用する。求められた修正ベ
クトルは、メモリ一部４０に格納される。 処理４゜ 新パラメータ演算装置２２では、前回のパラメータベク
トルとパラメータ修正ベクトルを加えた結果として、今
回のパラメータベクトルを算出する。このベクトルを今
回のパラメータベクトルのメモリ一部４０に格納すると
同時に、今回のパラメータベクトルによる評価関数値の
値を計算し、その結果を今回の評価関数値としてメモリ
一部４０に格納する。 処理５゜ 減少率演算装置２４では、前回と今回の評価関数値、ヤ
コビ行列及びパラメータ修正ベクトルから、線形予測し
た場合に見積られる評価関数値の減少量と実際の減少量
の比率である減少率を求め、これをメリ一部４０に格納
する。 処理６゜ 減少率ファジィ化演算装置２６では、この減少率に基づ
いて、予め用意した各種のファジィ帰属度量数組に対し
ての帰属度を決め、これをメモリ一部４０に格納する。 処理７゜ 緩和因子演算装置２８では、帰属度、限界緩和因子、今
回の評価関数値から緩和因子を定める。 そして、この緩和因子を元の緩和因子と置き換え、新た
にメモリ一部４０に格納する。又、緩和因子演算装置２
８は、減少率が負である場合、即ち今回の評価関数値が
前回の評価関数値を越える場合は、次の更新装置３０を
通さず、そうでない場合は、更新装置３０を通すように
する制御の働きも行う。 処理８゜ パラメータ及び評価関数値更新装置３０では、今回の評
価関数値を前回の評１ｉＩ５関数値で置き換える。又、
今回のパラメータベクトルを前回のパラメータベクトル
置き換え、処理１に戻る。 なお、モデルの関数形は、中央処理装置１２では設定で
きない、固定の関数であるとした。但し、適当な関数形
とパラメータを選ぶことによって、十分に近似の程度を
上げることができる。 ここで、具体例として、２人力、１出力の関数として ｆ（Ｓｔ、”２　）　＝　ｔ（Ｘｔ　Ｓ１＋Ｘ２３２＋
　×３　）　　　・・・・・・・・・　（９）ｔ（−）
＝１／（１＋　　ｅｘｐ（−・））・　（１０）をとり
あげる。 ｘ−（Ｘ＋、×２、Ｘ３）と表わし、又、ｉ番目に属す
る入力データＳと、それに対応するデータ（教師データ
と呼ぶ）の組ｔを、それぞれＳｉ、ｔｌ　（ｉ−１、・
・・、４）で表わす。これらの組を第４図に示す。 ここで、減少率ｒをファジィ化するため、以下のように
７段階に分割する（第２図のステップ４８０）　　。 １　　　ＰＬ　　（ｐｏｓｉｔｉｖｅ　　ＬａｒＣＩｅ
＞ｒが１に近いか１より大きい ２　　ＰＭ　（Ｐｏｓｉｔｉｖｅ　Ｍｅｄｉｕｍ　）ｒ
が０と１の間で１に近い ３　　ＰＳ　（Ｐｏｓｉｔｉｖｅ　Ｓｍａｌｌ）ｒがＯ
と１の間でＯに近い ４　Ｚ○（Ｚｅｒｏ） ｒが負でほとんど０ ５　　Ｎ　Ｓ　（Ｎｅｇａｔｉｖｅ　Ｓｍａｌｌ）ｒが
負で絶対値が小さい ６　　Ｎ　Ｍ　（Ｎ　ｅｇａｔｉｖｅ　Ｍ　ｅｄｉｕｍ
　）ｒが負で絶対値が中程度である ７　　Ｎ　Ｌ　（Ｎｅｇａｔｉｖｅ　Ｌ　ａｒｇｅ）ｒ
が負で絶対値が大きい 以上の帰属度χ（メンバーシップ関数）を、第５図のよ
うに決める（第２図のステップ４８０）。 このときに新しい緩和因子λの値は、ｒによって決まる
定数Ｕを乗じた値とする。この定数Ｕは以下のように決
める。 ｉ　略号　　　　　操　　　　　作　　　　　　　　　
　　ｕｉＩＰＬ　　λを約半分にせよ　　　　　ｕ＝０
．５一２Ｐ　　λをほぼそのままにせよ　　ｕ＝１．０
３ＰＳ　　λを約１．５倍にせよ　　ｕ＝１．５４Ｚ○
　λを約３倍にせよ　　　　ｕ＝３．０５ＮＳ　　λを
約６倍にせよ　　　　　ｕ＝６．０６ＮＭ　　λを約１
０倍にせよ　　　　ｕ＝１０．０７ＮＬ　　λを約１５
倍にせよ　　　ｕ＝１５．０Ｕは、メンバーシップ関数
の重心をとることによって得られる。即ち、 で与えられる。ここでχｉは帰属度関数である。 収束計算の初めはλ＝０＜ガウス・ニュートン法と同じ
）とする（第２図のステップ１００）。 新しいλを決めるときに、現在のλが０であり、且つλ
が増加する場合には、以下の式で決まる限界緩和定数λ
Ｃで、現在のλに置き換える（第２図のステップ４９０
）。 λｃ＝１／　ｔｒａｃｅ（（ＡＡ）’）・・・（１２）
但し、ｔｒａｃｅ　（）は、行列の対角成分の和を表わ
す。 又、λを減少させた結果、λＣより小さくなつた場合に
は、λをＯに置き換える。この操作は、ファジィ量を用
いない修正マルカート法と同じである。 初期値の組ｘ（ｘ、、×２、ｘ３）を計５組用意して、
その収束回数を計算した。標記の関数でハＥｍｉｎ　＝
０．０９７であり、小数点第４位を四捨五入してＥ　ｍ
ｉｎをとったときに収束したと判断した。 第６図に、従来の結果と本発明による結果を比較して示
す。なお、従来例は修正マルカート法を用いたものであ
り、以下の規則によってＵを決めるものとした。 ・・・・・・・・・　（１３） 本発明によれば、５組が全て１２回以内で収束している
。ところが、従来例では、いくつかの組に対して１２回
以上の収束計算を必要としている。 この結果、従来例より、本発明が優れていることは明ら
かである。

【発明の効果】

以上説明したように、本発明は、誤差の変化分によるパ
ラメータの調節を柔軟に行うことによって、従来より少
ない計算時間で最適化を行うことができるので、その効
果は大である。

【図面の簡単な説明】

第１図は、本発明の基本的な構成を示すブロック線図、 第２図は、本発明による具体的手段の例を示す流れ図、 第３図は、本発明の実施例の構成を示すブロック線図、 第４図は、前記実施例で用いた訓練データと教師データ
の例を示す図表、 第５図は、前記実施例で用いた帰属関数を表わした線図
、 第６図は、前記実施例と従来例との収束回数の違いを示
した図表である。 １０・・・演算・制御部、 １２・・・中央処理装置、 １４・・・初期パラメータ設定装置、 １６・・・評価関数値演算装置、 １８・・・ヤコビ行列演算装置、 ２０・・・パラメータ修正ベクトル演算装置、２２・・
・新パラメータ演算装置、 ２４・・・減少率演算装置、 ２６・・・減少率ファジィ化演算装置、２８・・・緩和
因子演算装置、 ３０・・・パラメータ及び評価関数値更新装置、４０・
・・メモリ一部。

Claims (1)

【特許請求の範囲】
1. （１）　次式 ▲数式、化学式、表等があります▼ で表わされる評価関数Ｅを用いて、所望値の組ｔ＝（ｔ
   ＿１、・・・、ｔ＿Ｎ）と、パラメータ化された非線形
   モデルによつて得られる推定値の組ｏ＝（ｏ＿１、・・
   ・、ｏ＿Ｎ）に対して、前記評価関数Ｅが最小となる、
   非線形モデルのパラメータの組ｘ＝（ｘ＿１、・・・、
   ｘ＿Ｍ）を求めるための非線形モデルの最適化装置であ
   って、 目的関数の値を求める手段と、 目的関数の関数行列（ヤコビ行列）を生起する手段と、 該関数行列によって新たなパラメータの値を求める手段
   と、 新旧パラメータによる目的関数の差を求める手段と、 線形化したときの誤差減少分を求める手段と、両者の減
   少分から、ファジィ化した非線形性を求める手段と、 該ファジィ化した非線形性と緩和因子の間のフアジィ化
   した関係を結ぶ手段と、 該関係から緩和因子を求め、デファジィ化する手段と、 を備えたことを特徴とする非線形モデルの最適化装置。