JPH0628332A - 制御される装置の構造を識別し、パラメータを評価する装置および２変数関数の非線形最適化問題を効率的に解く方法 - Google Patents

Abstract

(57)【要約】 【目的】 被制御装置の構造を識別し、パラメータを評
価する装置および２変数関数の非線形最適化問題を効率
的に解く方法を得ることである。 【構成】 被制御装置の構造を識別し、構造のパラメー
タを評価する装置について説明する。この装置は、好適
な実施例においては、ニューラルネットワークを採用す
る構造識別器を用いて、システムの入力と出力の関係を
数学的関係に一致させる。この識別された構造はパラメ
ータ評価器へ送られる。パラメータ評価器は、より良く
パラメータ評価を繰り返し行うために使用できる最初の
パラメータベクトルを与えるためにニューラルネットワ
ークを採用できる。これによりパラメータ評価器の効率
が高くなる。種々の装置の性能を向上させるためにこの
装置を制御器に組み込むことができる。説明したように
パラメータを評価するためにニューラルネットワークを
用いることを任意の非線形最適化問題へ一般化できる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明はシステム制御の分野に関
するものであり、更に詳しく言えば、構造惜別およびパ
ラメータ識別、ならびにシステム制御におけるそれの使
用に関するものである。

【０００２】

【従来の技術】未知のプロセスシステムまたは完全に知
られているプロセスシステムについてのモデル構造およ
びパラメータの識別は制御および診断にとって重要であ
る。より正確にプラントまたはプロセスを正確に識別で
きると、それをより良く制御できる。システムパラメー
タの評価は適応制御／予測制御および自動調整の重要な
面である。また、システムパラメータまたは構造の変化
は貴重な診断標識である。たとえば、送りプロセスの遅
れの急増はパイプラインの迂回を示すことがある。シス
テム識別は制御理論において以前から広範囲な研究の目
的であった。いくつかの技術が開発され、それらの多く
は広く用いられている。システム識別に対する現在のほ
とんどのやり方は「ハード知識」のやり方として特徴づ
けることができる。このやり方は広範囲の数学的解析に
より達成されることを意味する。それらの技術を利用で
きる場合には、極めて正確な結果を得ることができる。

【０００３】

【発明が解決しようとする課題】現在の多くのシステム
識別技術の欠点はそれらの技術の強さの結果である。数
学的解析を容易にすることと、特定の用途のために計算
の要求を扱いやすく保つことの少なくとも１つを必要と
するという仮定は、他の用途に対しては妥当ではないこ
とがある。現在の多くの技術の一般性および使用の容易
さは限られる。システム識別ツールの別の概念により応
用のより大きな一般性が得られる。そのような汎用ツー
ルすなわち汎用技術を、当業者が数学的解析をほとん
ど、または全く必要とせずに、多種類のシステム識別問
題のために使用できる。専用技術が存在する場合には、
それらの専用技術は一層正確に問題を解決できるかもし
れないが、性能に対する要求を満足させながら、汎用技
術が可能にする短い開発時間が大きな利点であることが
ある。システム識別ツールおよび技術は、下記のような
広い応用性を持つことができる。 ・プロセス産業における技術者が制御を改善するため
に、取り扱うプラントについてより良い知識を得るため
にそれらの技術者による明確な需要。このことは化学、
機械およびその他の生産環境に対しては真実である。 ・高性能の宇宙船、航空機、および鉄道車両や高速船の
ような、地球表面により近いシステムの力学についての
研究を、それらのツールおよび技術を用いて改善でき
る。 ・行動を追跡している人および他の種類の制御を強める
ことができる。 ・生物学的機能、たとえば瞳の応答、腕または脚の調
節、心拍の調整等のような神経筋肉系における研修もそ
れらのツールおよび技術を用いて改善できる。

【０００４】識別問題を定式化し、解決する際には識別
の目的を心に留めておくことが重要である。制御問題に
おいては、最終の目標は特定のシステムに対する制御戦
略を構築することがしばしばである。しかし、主な関心
がシステムの諸特性を分析するような状況もある。化学
反応における速度効率と、工業プロセスの熱伝導効率
と、原子炉における反応効率との決定は、そのような
「診断」状況の典型的な例である。その場合には、特定
のパラメータ値の決定が最終目標であることがある。こ
の種の問題の多くが生物学、経済学および医学において
も見出される。

【０００５】識別の目的が制御装置を設計することであ
る場合でも、制御問題の性質に応じて問題の特性が大き
く変わることがある。いくつかの例を以下に示す。 ・安定なレギュレータの設計。 ・１つの状態から他の状態へ最適に移行させるための制
御プログラムの設計。 ・擾乱によるプロセス変数の変化を最小にするレギュレ
ータの設計。 したがって、本発明は広い応用性を持つことがわかる。
しかし、本発明の応用性をそのように限定するという意
図なしに、説明を容易にするために共通の制御環境を本
発明は採用する。

【０００６】したがって、建物の暖房通風および空調装
置、または化学工場の生産ライン、あるいはその他の自
動設備や半自動設備のようなシステムまたはプロセスを
調整すなわち制御するためのモデルを構築する場合に
は、過去においては種々の技術が用いられてきた。シス
テムのモデルは、システムの活動のセンサまたはその他
のモニタによりシステムにおいて、あるいはシステムか
ら識別される、システムへの入力と、出力または応答と
の間の関係を基にしている。たとえば、システムにおい
てボイラの出力を増大すると、炉室のモニタされている
環境内の種々の他の条件に応じた種々の速さで炉室にお
ける加熱を増大させる。炉室内の温度の時間的な変化と
して測定される応答は、グラフで描くことによりある種
のカーブが得られる。そのカーブの形と、上向き応答の
勾配、およびそのカーブを定める方程式の次数とを、モ
ニタされる環境の性質に応じてかなり変えることができ
る。

【０００７】本発明以前の現在のほとんどのシステム識
別は、入力と出力の間の関係に対して基本的であるとし
ても、システムの構造をとくに識別しない。１つの共通
なやり方は、システムの人手による分析を基にして、可
能なまたはそれらしい最も複雑な構造をとることであ
る。システムにおける（遅延、積分、遅れ、遅れ−進み
のような）、全ての所定の不ルックの全てのパラメータ
をこのやり方の下で識別せねばならない。別のやり方に
おいては、引き続くより複雑な構造をとり、実際のプロ
セスデータとの間で許容できる一致が得られるまで、パ
ラメータの識別を行う反復プロセスが行われる。

【０００８】それら２つの従来のやり方においては、適
切な構造識別子が欠けているために、追加の計算を識別
方法が行わなければならない。したがって、サーチ空間
が大きくなりがちであり、システムを識別するプロセス
は、長い時間を要する傾向がある。したがって、識別ソ
フトウェアは十分に長い時間と識別確度に対して十分な
記憶資源を必要とし、前記方法の１つを基にした識別確
度は低い傾向がある。

【０００９】本発明以前は、実際の問題を取り扱うこと
ができる自動構造識別技術は利用できなかった。この理
由から、文献では「システム識別」という用語をパラメ
ータ評価と混同する傾向がある。しかし、ニューラルネ
ットワークにおける最近の研究により、与えられた状況
において変数セットの間の関係の例から、複雑な非線形
多次元マッピングを開発する自動装置をあるニューラル
ネットワークが提供できることが示されている。これは
問題解析または手動プログラミングをほとんど行うこと
なしに行うことができる。しかし、ニューラルネットワ
ークには特有の欠点がある。ニューラルネットワーク
は、とくに訓練段階において、および、ニューラルネッ
トワークモデルが１つのプロセッサでソフトウェアで実
現され、専用のハードウェアで実現されないとすると、
一般に時間がかかり、かつ計算に費用がかかる。しか
し、ニューラルネットワーク処理に費用があまりかから
なくなるにつれて、構造識別とパラメータ識別のため
に、ニューラルネットワークを使用することが有用とな
ってきた。

【００１０】

【課題を解決するための手段】本発明の２レベル識別子
は、構造識別問題を解くためのパターン分類子ニューラ
ルネットワークを用いる。その２レベル識別子は、識別
された構造に対応するパラメータ値を評価するために最
近のアルゴリズム技術を用いる。本発明はパラメータを
評価するためにニューラルネットワークを採用できる。
最初のパラメータ値をニューラルネットワークを用いて
決定することもできる。オンラインシステムの連続パラ
メータ最適化も教えられる。最後に、最適化データを用
いる連続オンライン調整または訓練を説明する。

【００１１】

【実施例】システム制御科学は多くの分野において応用
され、先の「発明が解決しようとする課題」の項におい
て簡単に述べたような科学技術史を有する。ある概念を
提示するために、特定の例、すなわち、ＨＶＡＣシステ
ム（暖房、通風および空調装置）を参照する。ＨＶＡＣ
システムは全体として閉じられている建物の空間内で応
用でき、設定点を制御するオペレータに応答し、または
温度や通風のための窓（およびおそらくは、日光からの
熱負荷を変更し、窓を通じての熱損失を阻止するための
カーテン）を調節できる。オペレータは季節に応じた温
度に合わせて窓を調節し、最も暑い時季には空調装置を
運転して、カーテンを閉め、最も寒い時季には暖房を行
って、カーテンを閉める。一般にオペレータは、寒いと
感じた時には設定点を高くし、暑いと感じた時は設定点
を低くする。室内で人が調節するサーモスタットで決定
される設定点はボイラ、通風装置へ入力を直接供給し、
または制御器を介して供給する。その制御器は同じ入力
を機械的な装置へ供給する。この動作は人が行うことが
できるよりも効率的なやり方で行われる。本発明の目的
のためには、制御器を用いる場合だけが関連する。

【００１２】まず、入力「ｕ」と「Ｎ」を受け、出力
「ｙ」を生ずる装置１１が示されている図１を参照す
る。これを上記した例の制御される建物空間と比較する
と、装置へ供給される入力「ｕ」は炉により供給される
熱であり、空調装置により供給される冷たさであり、か
つ、通風（またはその他の供給）装置がそれらの入力の
いずれかを供給する速度である。室からの出力「ｙ」は
（この例においては）、入力「ｕ」のために変化する測
定される温度である。室内には制御されない入力、また
はサーモスタット以外の手段により制御可能である入力
がある。それらの入力は「Ｎ」と呼ばれ（「ノイズ」を
示す）、上記室の場合には、室内にいる人によるカーテ
ン操作や窓操作の変更、日光に影響を及ぼす雲等を含む
ことがある。このように、システム１０は定量的に識別
される。人は制御器を用いることなしに入力「Ｎ」に影
響を及ぼすことができ、制御器により入力「ｕ」に影響
を及ぼすことができ、もし存在するならば、人に影響す
るシステムの変化に応答してそのような操作を行うこと
ができる。サーモスタットは出力「ｙ」もモニタし、入
力「ｕ」へのそれ自身の変化に影響を及ぼして出力
「ｙ」を設定点に一致させることができる。

【００１３】（変数ｕとｙおよびその他を指すことは、
この明細書を通じてベクトルを指すことを意味すること
であることに注目すべきである。特定の名称をつけられ
た変数の使用を文脈が明らかにすると信ぜられる。）

【００１４】図２には閉ループシステム２０が示されて
いる。このシステムは装置１１と、ノイズ入力「Ｎ」
と、制御可能な入力ｕと、制御された出力ｙと、出力ｙ
を制御１２へ戻す戻しループ１３とを有する。制御器は
モデル３１を含むこともできれば、含まないこともでき
る。次に、（ｙの）応答１９と時間１８の関係を示す応
答曲線１７のグラフ３０が示されている図３を参照す
る。変更された出力ｕをシステムへ送るために制御器が
信号を機械へ送る時刻と、制御器出力ｕにより応答が行
われる時刻との間の時間を示すスペース１４は、このカ
ーブ中の応答が「遅れ時間」または「遅れ」と呼ばれる
ものを有することを示す。したがって、制御されている
のがボイラであるとすると、信号がボイラへ与えられる
時刻から、室内の温度が影響される時刻までの時間は
「遅れ時間」と呼ばれる。時間領域１５内のカーブ１７
の垂下部分は、応答カーブ中の逆応答を示す。この垂下
部分は、たとえば、熱が供給される前にブロワが始動し
て室内を多少冷やすような場合に起きることがある。カ
ーブ１７の残りの部分は時間領域１６内の上向き勾配カ
ーブである。カーブのこの部分は応答カーブの「積分作
用」と呼ばれる。

【００１５】このカーブ１７のような応答カーブは、シ
ステム中の設定点の１つの段階的な変化により生じさせ
ることができる。もちろん、必ずしも全てのカーブがこ
れと同じ特徴を持つものではなく、室内への同じ設定点
に応答しても、湿度、室内での空気の流量等のような、
室内で測定可能な諸特徴の応答カーブは全く異なること
がある。たとえば、非常に暑い日には、カーブ１７の部
分１６の勾配は、比較的低出力の冷房装置が用いられて
いる場合には、劇的に平になり、冷房装置が非常に強力
であれば、全く同様なことがある。

【００１６】本発明を実施するためにはシステムの数学
的モデルを必要とする。このモデルはフィルタと二通り
のやり方で変化を示すことができる。第１に、構造的な
変化が可能である。可能な構造的変化は次のものを含む
ことができる。 ・副関数の種々の組成（遅延、進み−遅れ等のよう
な）。 ・伝達関数モデル中の種々の字数の分母および分子の多
項式。 ・非線形数学モデル中の種々の非直線性（たとえば、飽
和、ヒステレシス、対数、指数）。 第２に、数学モデルは種々の値を割り当てることができ
るパラメータを含むことができる。たとえば、システム
がある遅れを含む場合には、その遅れの実際の値をパラ
メータとすることができる。

【００１７】シミュレーションモデル６１が示されてい
る図９を参照して構造識別子の開発を説明できる。この
モデルはアルゴリズムセット、プログラムセット、また
は希望によってはアナログ装置とすることができる。訓
練データの発生はモデル６１を用いて行うことができ
る。「ｓ」は構造表現（たとえば、スイッチ設定）であ
る。ｓはベクトルである。一般には構造表現はスカラー
数ではない。ｓは伝達関数（たとえば、Ｈ（ｓ）＝・・
・）中のｓには決して関連しない。一般的な場合には、
種々の入力ｕ、ｓ、ｐがシミュレーションへ入力され、
対応する出力ｙが発生される。各入力ｕ、ｓ、と出力ｙ
が１つの訓練例を構成する（構造識別子を訓練するため
にはｐは不要である。）それから、図１０を参照して説
明するようにしてネットワークは（各訓練例に対して）
下記のように訓練される。

【００１８】図１０において、先に述べたようにニュー
ラルネットワーク６２に学習アルゴリズム６３が組み合
わされる。矢印６４は、内部重みを調節することによる
か、他の手段により、ニューラルネットワークを調節す
るためのアルゴリズムの能力を概略的に表わす。ニュー
ラルネットワーク６２を通る入力ｙ、ｕは出力ｓ ₀ を生
ずる。その出力は点６５においてｓと比較される。学習
アルゴリズムは線６６で受けた比較結果を用いて、代表
的な矢印６４で示されている修正を行う。文脈内で無視
できるか、最小になるように、ｓ _0・・・x がｓに十分に近
くなるまでこのプロセスは繰り返される。特定の入力ｕ
が常に用いられるものとすると、訓練中または動作中は
その入力をニューラルネットワークへ特定の入力として
供給する必要はない。遅延を評価するために用いられる
パラメータ評価のための訓練セットの開発が１９９０年
１０月１０日付の米国特許出願Ｎｏ．０７／５９４，９
２７にいくらか詳しく記載されている。本発明のために
類似の訓練セットを発生できるが、その米国特許出願に
おける入力、出力および対応するパラメータ値ではなく
て、入力、出力および対応する構造値を使用すべきであ
る。したがって、ｕ_p，ｙ_pと構造スイッチ設定を構造識
別のために用いられるニューラルネットワークの訓練に
関連する種類のデータとすべきである。要するに、種々
のモデル記述を無作為に、または慎重に、発生でき、各
モデルのための応答カーブを発生するために、それらへ
加えられるパラメータを入力できる。

【００１９】それらの目的のための訓練セットの発生お
よびシミュレーションの使用は周知であり、各種の技術
およびシミュレータを使用できる。ニューラルネットワ
ークは非線形マッピングができるものでなければならな
い。２つの例は、後方伝播関数型または動径ベース（ｒ
ａｄｉａｌ ｂａｓｉｓ）関数型であるネットワークで
ある。希望によっては、予測される実際のパラメータに
一致させるために、ニューラルネットワークパラメータ
自体は無作為に、または慎重に発生できる。強固にする
ためには、白色雑音または周期的雑音、あるいはそれら
の雑音のいくらかの組み合わせをシミュレーションへ導
入するとおそらく助けになる。基本的な開ループステッ
プ入力はもちろん、閉ループ非スッテプ入力、および任
意の入力も使用できる。シミュレータにおいて訓練デー
タセットを作成するために用いられるモデルの種類が増
加すると、実在の世界で制御することを意図するシステ
ムのために正確なモデルをシステム識別子が選択される
ことが多くなる。もちろん、システムがより複雑になる
と、ネットワークとシミュレーションを動作させる費用
が増加する。したがって、プロセスを開ループ、スッテ
プループとして正確に記述できる場合には、訓練のため
のそのベースを使用せねばならない。

【００２０】したがって、データの訓練セットを、２レ
ベルシステムを有する制御器が採用されていることを自
身で見出すような実在世界の状況を参考にして構成され
たシミュレータで編集せねばならない。もちろん代わり
に実在世界の例を使用できるが、そのデータの編集は退
屈で、誤りやすく、費用がかかり、しかも時間が非常に
かかる。

【００２１】パラメータ評価のためのシミュレータ識別
の性能をとくに記述している前記米国特許出願における
ように、遅延パラメータの例を特に行って、ニューラル
ネットワークの訓練には、ニューラルネットワークから
の出力が、与えられた例からの入力に対応する出力にニ
ューラルネットワークからの出力に一致するまで、対応
する入力と出願がネットワークへ繰り返し供給されるこ
とを要する。この技術と概念またはツールは本発明にお
いても同様に採用される。しかし、それは異なる目的の
ためにおかれる。以下の説明を、システム識別器、パラ
メータ評価器、およびメモリによる最適化の項目に分け
て行う。

【００２２】ここで説明する本発明をＨＰ／Ａｐｏｌｌ
ｏワークステーションで、フォトランまたはＣプログラ
ミング言語で実現し、それを何回か公開して成功を収め
た。システムの設計者は、本発明の教示を逸脱すること
なしに彼自身の実現の基礎を選択できる。ニューラルネ
ットワークがより大きな処理能力を求められた場合に
は、ニューラルネットワークの処理により良く適合させ
られた装置と言語が好適なことは明らかである。

【００２３】システム識別子 まず、２レベルシステムの一般的な説明が示されている
図４を参照する。プロセス入力／出力データ２１が応答
パラメータ分類器２２とパラメータ評価器２５へ入力さ
れる。一般に、応答パラメータ分類器２２は考察してい
るシステムの構造識別を行う。識別された構造２４を表
わす伝達関数が応答パラメータ分類器２２からパラメー
タ評価器２５へ入力される。パラメータ分類器は伝達関
数２４において識別されたモデルを用いて、その伝達関
数に関連するパラメータ２７の初期値を求め、識別され
た構造において評価されたパラメータを用いて予測され
た処理入力／出力データに実際の入力／出力データ２１
が一致するまで、それらのパラメータをそれの内部プロ
セスで繰り返し処理する。

【００２４】パラメータ分類器２５へ送られる構造２４
を識別する伝達関数は、一実施例においては一連の構造
スイッチと見ることができる。伝達関数または一般的な
用語では構造識別２４を一般的な用語で説明する前に、
システム３０の構造識別を構成する構造スイッチ３１、
３２、３３、３４が示されている図６を参照する。出力
Ｙ（ｓ）を生ずるために入力Ｕ（ｓ）を利得係数３５へ
直接加えることができる。入力Ｕ（ｓ）と出力Ｙ（ｓ）
は、それぞれ、時間的に変化する入力信号ｕ（ｔ）と出
力信号ｙ（ｔ）のラプラス変換である。利得はＫ_p で一
般に表される。遅延があることを、訓練データセット中
の入力と出力の間の関係が示すとすると、代わりに入力
Ｕ（ｓ）がスイッチ３１を介してボックスＳ_D 内の遅延
関数へ加えられる。遅延がないとすると、スイッチ３１
が入力Ｕ（ｓ）を遅延関数の周囲へ送り、そこで入力は
スイッチ３２により、ボックスＳ_LLにより示されている
進み−遅れパラメータ関数の周囲へ、またはそのパラメ
ータ関数を通って送られる。このプロセスはスイッチ３
３とボックスＳ_L （遅延関数）、スイッチ３４とボック
スＳ_I （積分関数）に対して繰り返される。このよう
に、全てのスイッチが関数ボックスを通るものとする
と、このシステムは遅延、進み−遅れ、積分を有する応
答カーブを有するものとして識別される。もちろん、希
望により、識別プロセスの全体の動作に害を与えること
なしに、スイッチの順序を変えることができる。利得関
数は全ての構造式中に存在するものと信ぜられるから、
利得ボックス３５の前にはスイッチはないことに注目さ
れたい。

【００２５】上記構造識別は単なる一実施例にすぎない
ことに注目すべきである。構造は他のやり方で記述また
は識別できる。しかしそれらの他のやり方は、用いられ
るパラメータ評価器への許容できる入力に対応せねばな
らない。たとえば、訓練データセット中で見出される応
答パラメータを記述する方程式の次数を応答パラメータ
分類器が単に通すものであるとすると、パラメータ評価
器に含まれている限られた方程式セットからシステムの
構造を記述または識別する方程式を生ずるためにそれら
の数を使用するようにパラメータ評価器を構成できる。
同様に、

【００２６】

【数１】

【００２７】のような伝達関数を記述するために他のや
り方を使用できる。この式で、ａ、ｂはパラメータベク
トルであるが、この態様では、遅延、進み−遅れ、等の
ような一般的なパラメータ名で呼ぶことはできない。
ｎ、ｍはＨ（ｓ）の多項度（Ｈ（ｓ）は伝達関数）であ
る。

【００２８】しかし、図６において識別されている構造
スイッチは多くの制御応用のために考慮すべき構造の妥
当な領域であるから、使用するために好適な態様であ
る。次に、構造識別器または応答パラメータ分類器２２
が破線で示されている図７を参照する。この構造識別器
２２は、スイッチＳ_D、Ｓ_LL、Ｓ_L、Ｓ_I を図に同様な記
号で示されている出力側に有するニューラルネットワー
クＮＮを含んでいる。したがって、システムは、ニュー
ラルネットワークＮＮを通ったプロセス入力および出力
データ２１を処理し、一実施例においてはスイッチＳ_X
を通じて２進のオン出力またはオフ出力を供給する。そ
うするとこれは伝達関数Ｈ（ｓ，ｐ）２３を形成する。
「ｐ」は識別された構造ブロックに関連するパラメータ
セットである。（あるいは、装置の構成をより容易にで
きるならば、伝達関数の各部分と、希望によってはその
ように付加された複雑さの別の層を、ターンオンまたは
ターンオフでき。）識別された構造と評価されたパラメ
ータ、およびそれにより発生された関係を実際の入力ｕ
と実際の出力ｙ（２１）に対してテストするために、ボ
ックス２３または複製された構造（図示せず）も採用で
きる。一般的なやり方であるが、時間的に変化する実際
の入力ｕ（ｔ）と実際の出力ｙ（ｔ）がサンプルされ、
サンプルされたベクトルｕとｙが、ここで説明するシス
テム識別法へ入力として供給される。したがって、パラ
メータ評価器比較器３８が入力ｕと出力ｙ（２１）を受
け、ボックス２３への入力として線３６を介しての入力
ｕを採用する。それと同時に、それはパラメータ（それ
らはベクトルｐとして識別される）の最後で最良の評価
を線３９を介して供給する。これにより線３７に出力ｙ
_m が発生される。この出力ｙ_m はモデルにより決定され
るｙである。それはボックス３８において線２１上の入
力ｕと比較される。

【００２９】したがって、図７に示されている実施例４
０においては、スイッチＳ_x の列をニューラルネットワ
ークＮＮによりセットすることによりシステム識別が行
われる。線２８からの入力ｕとｙに応答してそれらのス
イッチはセットされる。スイッチをセットすることによ
り、ボックス２３のソフトウェアまたはハードウェア実
現によりシステムの構造を識別する式すなわち伝達関数
が発生される。（小さくて、時間的に厳しくない応用で
はソフトウェア実現が好ましく、高速処理を希望する場
合にはハードウェア実現が好ましい。）このようにし
て、伝達関数Ｈ（ｓ，ｐ）がパラメータ評価器２５へ供
給される。パラメータ評価器がそれの処理を終わった時
にシステム識別が終わったと考えられる。

【００３０】パラメータ評価器 なお図７を参照して、パラメータ評価器２５は、パラメ
ータ評価器２５がそれの第１のパラメータ評価セットＰ
₁ を線３９介してボックス２３内の伝達関数へ供給する
と同時に入力ｕを線３６を介してその伝達関数へ転送す
ることにより、その伝達関数のソフトウェア実現または
ハードウェア実現を採用する。各入力ｕ、ｐセットに対
して、ボックス２３の出力は線３７に出力ｙ_m をも生ず
る。パラメータ評価のプロセスの説明は、図７において
ボックス３８を参照するよりも図５を参照する方がより
良く行うことができる。

【００３１】図５において、流れ図５０はパラメータを
識別するために用いられる装置の素子の間の入力と出力
を詳しく述べる。ダイナミック構造識別器４１が入力を
プロセスｕ_p から受け、出力をプロセスｙ_p から受け
る。プロセスからの入力は、この装置においてシミュレ
ーション関数を供給する汎用ダイナミックモデル４２へ
も供給される。出力プロセスデータｙ_p は、最適化プロ
グラムを含む非線形パラメータ識別器４３へも供給され
る。ダイナミック構造識別器４１は、上記伝達関数に類
似し、またはそれと同一の構造インデックスｓを非線形
パラメータ識別器４３へ供給する。その非線形パラメー
タ識別器へはプロセスモデル４２からの出力ｙ_m も供給
される。プロセスモデル４２はこう配（部分ｙ／部分
ｐ）を一般的に生ずる。そのこう配はパラメータ識別器
４３へ供給でき、または希望によってはパラメータ識別
器内で独立に発生できる。パラメータ識別器は出力
「ｐ」を複雑なプロセスすなわち多段プロセスとして発
生する。それは出力プロセスデータ「ｙ_p」 をモデル出
力データ「ｙ_m・」 と比較する。どのような装置でも制
御する目的のために無視できるほどそれらのデータが十
分に近くないとすると、出力プロセスデータｙ_p をモデ
ル出力データｙ_m により近く一致させるために計算され
た、出力パラメータｐにおいて変化させるために最適化
アルゴリズムでこう配（ボックス４２により決定されて
ボックス４３へ供給されるか、ボックス４３内で発生さ
れる）が用いられる。この種の計算を行うために多くの
方法が良く知られており、どの計算方法がいいというこ
とはない。ある計算法は結果を速く出すがかなりの計算
力を必要とするから、選択される方程式は設計上の選択
の問題である。

【００３２】ここで採用する計算方法は、制約を取り扱
うために修正されたルベンバーグ・マーカート（Ｌｅｖ
ｅｎｖｅｒｇ Ｍａｒｑｕａｒｄｔ）最適化アルゴリズ
ムである。この計算方法が、スケールス（Ｌ．Ｅ．Ｓｃ
ａｌｅｓ）著「非線形最適化入門（Ｉｎｔｒｏｄｕｃｔ
ｉｏｎ ｔｏ Ｎｏｎｌｉｎｅａｒ Ｏｐｔｉｍｉｚａ
ｔｉｏｎ）」（Ｓｐｒｉｎｇｅｒ−Ｖｅｒｌａｇ、１９
８５）に記述されている。任意の特定の用途にための最
良の計算法は設計上の考慮に応じて決定される。ボック
ス４３からの出力ｐはボックス４２内のモデルへ供給さ
れる。このモデルはプロセス入力ｕ_p を採用し、構造識
別器４１から受けた構造インデックスｓにより識別され
た構造を通じてそのプロセス入力を送る。ボックス４２
で用いるパラメータはボックス４３において出力ｙ_p と
ｙ_m の間の差、こう配、と、次のｐすなわち「ｐ」出力
を生ずるために発生された最後のｐとを用いて行われる
最適化を基にする。

【００３３】図５を図７へ関連づけると、図７のボック
ス３８は図５のボックス４２、４３にほぼ対応する。し
かし、識別された構造を含むボックス２３のある部分は
図５のボックス４２に論理的に属する。したがって、同
じ素子対と、構造識別器と、パラメータ評価器とのいく
つかの実施例をソフトウェアまたはハードウェアを用い
て構成できることがわかる。しかし、パラメータ評価器
は構造識別器により識別された構造のある指示を受けね
ばならず、またはパラメータ評価を行うために少なくと
も動作できねばならない。パラメータ評価はあるモデル
を介して供給する必要がある。そのモデルは、モデル出
力を発生するために、識別された構造とプロセス入力に
も依存する。パラメータ評価器が新しいパラメータ評価
を生ずるためには、パラメータ評価器はモデル出力とプ
ロセス出力を採用せねばならない。プロセス出力とプロ
セス入力は構造識別器へ供給せねばならない。それらの
制約を心に留めて、当業者が利用できるソフトウェアま
たはハードウェア構成技術に従って構成できる。

【００３４】最初のパラメータ評価器 １９９０年１０月１０日に出願された米国特許出願Ｎ
ｏ．０７／５９４，９２７に記載されているように、ニ
ューラルネットワークを用いてパラメータ評価の説明を
行う。最初のパラメータ評価が正確であればあるほど、
どのような最適化技術も満足できる最適化をより迅速に
行うことができることは周知である。良い最初のパラメ
ータ評価を用いて時間と、費用のかかるマシンサイクル
すなわち処理の大幅な節約を行うことができることが見
出されている。パラメータを発生するために前記米国特
許出願に記述されている技術を用い、かつ構造的に識別
されたシステムにおける各パラメータに対してその技術
を用いることにより、満足できる結果を達成できた。

【００３５】次に図８を参照する。この図に示されてい
る制御装置およびプロセスインターフェイス図６０を参
照して最初の解決評価について説明する。制御中のシス
テムまたはプロセスにおいてｕ_p と出力ｙ_p もがモニタ
される。それらの入力と出力はフィードフォーワードニ
ューラルネットワーク５１へ入力として供給される。そ
のニューラルネットワークは最初のパラメータ評価器と
して用いられる。同じニューラルネットワークが、パラ
メータ評価ｐを供給すると同時に、構造を出力として識
別するための構造的インデックスｓを発生できる。それ
らの出力ｓとｐは、非線形最適化の機能（帰還型機能ま
たは反復型機能）を行うボックス５２へ供給される。ボ
ックス５２は入力としてＵ_p 、Ｙ_p も受ける。

【００３６】図５を参照して、ボックス５２はボックス
４２、４３に類似するが、ニューラルネットワーク５１
により発生される最初のパラメータ評価である。ボック
ス５１からの出力ｓとｐは、希望により、マン−マシン
インターフェイス５３へ供給することもできる。その解
析は制御器、または制御中のシステムあるいはプロセス
を改良するという目的を有することができる。希望によ
っては、マン−マシンインターフェイス５３に対する知
能インターフェイスとして警報装置５４を動作させるこ
とができる。マン−マシンインターフェイス５３はシス
テムまたはプロセスへの直接制御入力を有することがで
きる（この説明の初めで用いた簡単な例においてカーテ
ンを閉める人のような）。

【００３７】制御器５５は最適化ボックス５２からの出
力ｐ ^* により制御される。この出力ｐ ^* はマン−マシン
インターフェイスへも供給でき、かつ希望によっては警
報装置を介して供給することもできる。出力ｐ ^* は、図
５のボックス４３に等しいボックス５２の部分の最適化
された出力である。したがって、出力ｐ ^* は、Ｕ_P とＹ
_P の間の関係であるカーブに最も正確に適合するパラメ
ータセットである。それらのパラメータは翻訳器５６を
介して制御器５５へ供給される。その翻訳器は制御中の
システムすなわちプロセスへの制御入力である出力ｕ_c
を発生するために制御器により求められるようにしてデ
ータを翻訳する。

【００３８】ネットワークのオンライン調整 一般的なプロセスダイナミックモデル４２により発生さ
れた結果、すなわち、ｙ_m も出力とともにとられる入力
値 ｕ ^* _p と評価されたパラメータ（ｐ）が、実在世界に
適合する訓練セットを供給する。すなわち、シミュレー
タが訓練データ発生器に等しいとすると、そのデータは
一致し、訓練データを強め、拡大するためにニューラル
ネットワークへの入力として使用できる。したがって、
システムの動作中にネットワーク自体をオンラインで訓
練できる。この訓練は、パラメータ評価のために用いら
れる時に最も強力である。というのは、それはより正確
なパラメータｐ ₀ または最初のパラメータの発生を許す
からである。メモリによる最適化 最適化は科学および技術のあらゆる分野にあまねく存在
する。したがって、ここで説明する最適化技術は広い応
用性を有する。一般的な意味では、２つの変数ｘとｐの
ある関数Ｅ（ｘ，ｐ）の最小化（または最大化、しか
し、それはここでは重要ではない）を必要とする問題へ
応用できる。それらの変数は、任意の次元を有するスカ
ラーまたはベクトルとすることができる。上記パラメー
タ評価応用においては、ｘはプロセス入力ベクトルｕ_p
とプロセス出力ベクトルＹ_p との組み合わせであり、ｐ
は依然としてパラメータベクトルであり、関数Ｅはプロ
セス出力ベクトルｙ_p と、プロセス入力ベクトルｕ_p と
ｐから計算されたモデル出力ｙ_m との間の一致度であ
る。システム識別の特定の応用またはより一般的な応用
のいずれにおいても、ｘは与えられるものと仮定する。
そうすると、問題はＥ（ｘ，ｐ）が最小になるｐの値を
求めることである。たとえば、ＥをＥ（ｘ，ｐ）＝ｘ²
＋２ｘ³ｐ＋ｐ^1/2＋sin（ｐｘ） のような関数とするこ
とができる。（この例においては簡単にするためにｘと
ｐをスカラー量とする。）

【００３９】ほとんど全ての非線形式Ｅに対して、Ｅの
最適化は閉じた形の解析解を持つ必要はない。問題を解
くためには反復最適化法を必要とする。ほとんどの実際
の場合には、ｐの次元は１または２より大きく、したが
って強力な計算力を必要とする。その計算力の必要性は
ここで説明する最適化により大幅に低くできる。ｐの次
元に加えて、非線形最適化問題を解くために要求される
計算力は、スタート点すなわち最初のｐ評価；Ｐ₀ の等
価性に強く依存する。Ｐ₀ が（未知の）最適点すなわち
解点ｐ ^* に近いとすると、その点ｐ ^* への最適化の収束
は迅速である。しかし、スタート点と解点が近くないと
すると、解を求めるために必要とされる計算資源と、任
意の最適化法による最適化とする時間は、多くの応用に
おいて、実行できないほど大きく、長い。任意の最適化
問題を与えられて良いスタート点を発生することは困難
であり、通常の最適化法においては、その問題を解くた
めの努力はほとんど、または全く費やされない。その代
わりに、スタート点は典型的には任意である。本発明は
この従来の１段階法を２段階法で置き換えるものであ
る。その２段階法のために種々の実施例を使用できる。
もちろん、第１の段階は良いスタート点、ｐ ₀ ＝Ｆ
^* _M（ｘ）を発生することである。ここで、Ｆ^* _M（ｘ）
は、ベクトルｘを与えられてｐの最初の評価を生ずる機
能すなわちマッピングである。それから、「ｐのどの値
が関数Ｅ（ｘ，ｐ）を最小、すなわち、ｐ ^* ＝ａｒｇ_p
ｍｉｎ_E(x,p) にするか」という質問により記述される
最適化法に対するｐの最初の値としてその評価を使用で
きる。この最適化法は「修正器」として機能する。

【００４０】この技術の鍵はＦ^* _M（ｘ）の定義である。
この表現自体は最適化プロセスの結果として実現でき、
その最適化プロセスでは最適化は可能な関数Ｆ：

【００４１】

【数２】

【００４２】である。すなわち、ｘ，ｐ ^* のセットを与
えられると、（与えられた）最適値ｐ ^* と、関数の出力
がそのセットに関して最小にされる。この最適化問題の
ための訓練セットとしては｛ｘ，ｐ ^* ｝が好ましい。ｘ
ベクトルを無作為に（またはある命令により）選択し、
修正器を（無作為なスタート点で）用いて対応するｐ ^*
ベクトルを見出すことにより、シミュレーションで集め
られる。訓練セットの収集段階と関数最適化プロセスを
共にオフラインで行うことができることに注目すること
が重要である。したがって、妥当な限界内で、それらの
計算作業のために求められる計算資源についての実際的
な関心がほとんどない。探さねばならない大きい機能ス
ペースを形成および開発するための系統的な技術を次に
説明する。

【００４３】非線形ニューラルネットワークおよび管理
される学習アルゴリズムにより、魅力的で効率的な解が
得られる。後方伝播学習規則のような学習アルゴリズム
（ネイチャー（Ｎａｔｕｒｅ）３２３号、１９８６年１
０月９日号、所載のルメルハート（Ｒｕｍｅｌｈａｒ
ｔ）他の論文「後方伝播誤りによる学習表現（Ｌｅａｒ
ｎｉｎｇ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ ｂｙ Ｂ
ａｃｋ−Ｐｒｏｐａｇａｔｉｎｇ Ｅｒｒｏｒｓ）」に
記載されている）、または動径ベース関数（Ｒａｄｉａ
ｌ Ｂａｓｉｓ Ｆｕｎｃｔｉｏｎｓ）（ニューラル・
コンピューテーションズ（Ｎｅｕｒａｌ Ｃｏｍｐｕｔ
ａｔｉｏｎｓ）１、１９８９年、２８１〜２９４ページ
所載のムーディ（Ｍｏｏｄｙ）およびダーケン（Ｄａｒ
ｋｅｎ）の論文「局部的に調整される処理装置のネット
ワークにおける高速学習（ＦａｓｔＬｅａｒｎｉｎｇ
ｉｎ ｎｅｔｗｏｒｋｓ ｏｆ Ｌｏｃａｌｌｙ−Ｔｕ
ｎｅｄ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔｓ）」に記載
されている）を採用できる。それらのアルゴリズムは、
訓練セットにおけるネットワークの出力の誤りを最小に
するように、接続重みのようなネットワークパラメータ
を決定する。式

【００４４】

【数３】

【００４５】において、関数Ｆ_NNは、入力ｘが供給され
た時にパラメータｗを持つネットワークにより実現され
る関数である。ｗ ^* がひとたび知られると、上記一般的
な場合に類似して、ｐ ^* の最初の評価を行うことができ
る。したがって、ｐ０＝Ｆ_NN（ｗ ^* ，ｘ）である。パラ
メータｗは単にニューラルネットワークのパラメータで
あることに注目すべきである。それらは、ネットワーク
の構成に応じて、個々の接続重みを表し、または他のパ
ラメータを表わすことができる。

【００４６】訓練されたニューラルネットワークの実行
速度は、簡単なハードウェアで走るソフトウェアでネッ
トワークが構成されているような簡単なハードウェアで
も高速である。他方、訓練アルゴリズムは時間が非常に
かかる。しかし、あまり訓練されていないネットワーク
を精密に調整するために用いられるものとすると、オン
ライン訓練が可能である。最適化装置は、動作中に「一
貫した」ベクトルｘとｐ ^* を発生するから、このデータ
をオンライン訓練のために使用できる。採用される学習
アルゴリズム、またはこの分野において使用する他のい
くつかのアルゴリズムを、訓練されたネットワークと共
に取り扱わねばならない。

【図面の簡単な説明】

【図１】基本的な開ループ制御装置の概念的なブロック
図である。

【図２】基本的なループ制御装置のブロック図である。

【図３】時間との関係を示す応答カーブのグラフであ
る。

【図４】２レベルシステム識別器の基本的な素子のブロ
ック図である。

【図５】２レベルシステム識別器の一層詳しいブロック
図である。

【図６】装置の一連のスイッチと、構成されたブロック
／部品のブロック図である。

【図７】構造識別器およびパラメータ評価器のブロック
図である。

【図８】制御される装置のブロック図である。

【図９】システムシミュレーションのブロック図であ
る。

【図１０】ニューラルネットワーク訓練のブロック図で
ある。

【符号の説明】

１１ 装置 １２ 制御器 ２２ 応答パラメータ分類器 ２５ パラメータ評価器 ４１ ダイナミック構造識別器 ４３ 非線形パラメータ識別器

Claims (2)

【特許請求の範囲】
1. 【請求項１】 制御される装置への入力と、前記装置か
   らの出力との間の数学的関係を記述する関数の構造を決
   定する構造識別子手段と、 決定された関数構造を転送し、前記数学的関係を記述す
   る関数を発生する通信手段と、 この通信手段から前記関数を受け、その関数に関連する
   パラメータを評価するパラメータ評価器手段と、を備え
   ることを特徴とする制御される装置の構造を識別し、パ
   ラメータを評価する装置。
2. 【請求項２】 ２変数関数の２つの変数のうちの第１の
   変数の値が既知で、２変数関数の出力が最小であるよう
   に前記２つの変数のうちの第２の変数の値を決定せねば
   ならず、第１の変数の値と第２の変数の値の各対が関数
   の出力を最小にするように、第１の変数の可能な値であ
   る入力値と、第２の変数の値である希望の最適出力値と
   の関連するデータセットに対して訓練されたニューラル
   ネットワークを用いる２変数関数の非線形最適化問題を
   効率的に解く方法において、 （i） 第１の変数の任意の値を与えられて、第２の変数
   の最適値の最初の評価を行うために、訓練されたニュー
   ラルネットワークを用いる過程と、 （ii）関数の最適化の希望の確度が達成されるまで、最
   適値の評価を繰り返し非線形最適化手順で引き続き緻密
   にする過程と、を備えることを特徴とする２変数関数の
   非線形最適化問題を効率的に解く方法。