JPH08505972A - パラメータ化ニューロコントローラ - Google Patents

Abstract

(57)【要約】 いずれかのパラメータをニューロコントローラへ入力されるべく選択して、出力を発生し、そこで、ニューロコントローラはそれらのパラメータについて訓練される。これを実行するための訓練システム、並びに様々な閉ループアプリケーションを教示する。

Description

【発明の詳細な説明】 パラメータ化ニューロコントローラ 本出願は、制御システムと共に封入された被制御プロセスに信号を供給するコ ントローラに関し、さらに特定すれば、プロセスの変動と、被制御システム又は プロセスのユーザの側での変化しつつある目的と、プロセスの（雑音などの）外 乱特徴とに応答するコントローラ、並びにプロセスがいかにして制御されるかに 関する。 発明の背景 この特許の中で説明するような神経回路網コントローラにより与えられる特徴 を提供するためには、アルゴリズムコントローラは並はずれて複雑にならざるを えない。従って、本発明の教示を使用することにより、きわめて長い開発時間を 要するという事態を回避できる。 人工神経回路網は、入出力データに基づいて非線形性の強い多次元機能及び動 的システムを正確にモデル化する能力を含めて、制御システムに革新的能力を与 える力を潜在的に有している。それらは高度の一般化及び堅牢性を伴ってコンパ クトで、効率の良いインプリメンテーションを可能にし、現時点においてはハー ドウェアのインプリメンテーションにきわめて適している。 ところが、出願人のニューロＰＩＤコントローラ（１９９３年１月２７日に出 願された国際特許出願ＰＣＴ／ＵＳ９３／０１８２９の主題）を除いて、それら の潜在的利点の実現に近づいている神経回路網コントローラのインプリメンテー ションはなく、以下に論じるようにその適用用途は限られている。ニューロＰＩ Ｄでは、コントローラは応用依存性をもたず、これは重要な特徴である。特定の 一組のコントローラパラメータ、すなわち、比例利得、積分利得及び微分利得を 経て、様々に異なるアプリケーションに対してコントローラの行動を調整できる 。それらは、従来の線形ＰＩＤコントローラにより採用されているのと同じパラ メータである。ニューロＰＩＤはＰＩＤインタフェースを伴う最適化された非線 形コントローラを実現する。 ニューロＰＩＤを神経回路網コントローラを開発するための従来の教示と比較 することができる。従来の神経回路網コントローラでは、特定のプロセスモデル に対して神経回路網が開発されており、様々に異なるプロセス、プロセス変動、 外乱又は（ユーザの要求による）制御システムに対する変化しつつある必要条件 に関して明示の許容はなされていない。 制御に適用する場合に神経回路網を使用する別の例はシステム識別、構造とパ ラメータ双方の識別及び自動同調を含む。それらの場合（ニューロＰＩＤコント ローラ及びパラメータ化ニューロコントローラとは異なり）、神経回路網はそれ 自体コントローラではないが、別個の、非神経コントローラの性能を向上させる ために有用である情報を提供する。 ニューロＰＩＤコントローラは従来の技術と比べて大きく進歩したものではあ るが、ＰＩＤパラメータが３つに限定されているため、多くの用途、特に多変数 プロセス、非線形性の強いプロセス及び大きな時間遅延を伴うプロセスに対する 有用性は制限される。 ニューロＰＩＤコントローラの中に記述されている概念を一般化して、著しく 広い範囲の用途に対応できることが発見されている。この一般化は、より多様な パラメータを入力としてコントローラに与えることによって実現される。一般化 パラメータは、何らかの適切な方法でコントローラにリンクされているユーザ、 ソフトウェア又はハードウェアシステムによる神経回路網コントローラの行動の 変更を可能にする。本発明ではどのようなパラメータ又はパラメータ集合でも使 用しうるであろう。これまでの神経回路網コントローラはいずれもそれを実行で きなかった。 神経回路網コントローラへの入力として許容しうるパラメータには３種類ある 。それらは：制御パラメータｐ_cと、プロセスパラメータｐ_pと、外乱パラメータ ｐ_dである。制御パラメータは、一般に、与えられるどのようなプロセスに対し てもコントローラ行動の変更を可能にする種類のパラメータである。制御パラメ ータの例は：サーボ応答の正確さ対制御エネルギーに関わる重み付け；設定値に 到達するための時間；外乱の後に設定値に戻るための時間；立ち上がり時間；整 定時間；ホライゾン（一連の制御運動が申し分ないか否かに関する判定を実行す るときに将来を判定する標準）；アクチュエータ運動の最大許容速度；比例、積 分及び微分（ＰＩＤ）利得パラメータ；及び基準モデルパラメータ、将来基準応 答等々である。 プロセスパラメータは、コントローラを開発する目標となる特定のプロセスの 弁別アスペクトに関する。それらは：非作動時間又は遅延；プロセス時定数；プ ロセス利得；プロセス減衰係数；プロセス動的順序；様々な非線形特性（たとえ ば、指数、二次、対数、ヒステリシス）の相対量；及びプロセス中の広範囲にわ たる非線形性を符号化するために使用しうる他のパラメータ等々を含む。 外乱パラメータはプロセスの外にあるが、プロセスの行動に影響を及ぼす要因 に関する。多くの制御状況において、それらは一般に雑音と考えられる。その例 は（建物の温度制御に適用する場合に）人の出入り；曇天対晴天の日を含む環境 条件の変化；周囲外気温等々を含む。これらの種類のパラメータのｐ_dを、神経 回路網コントローラに対して（且つおそらくはどのようなコントローラに対して も）入力として使用するためには、外乱パラメータは測定可能、モデル化可能又 は予測可能のいずれかでなければならない。 特定のどのパラメータ化ニューロコントローラにおいても、これらのパラメー タ型のうちいずれか１つ又は２つ、さらには３つ全てを使用して良い。これらの パラメータ型の各々は、所望の結果に応じて任意の数の個別のパラメータから構 成されていれば良い。 発明の概要 本発明は、プロセスパラメータ（ｐ_p）、制御パラメータ（ｐ_c）及び外乱パラ メータ（ｐ_d）というパラメータ型の全て又はいくつかからのパラメータを含ん でいて良いユーザ定義パラメータ又は設計者定義パラメータを表現する入力信号 に応答する出力をもつ神経回路網に基づくコントローラを教示する。一括して参 照するときには、それらを制御システムパラメータＰと呼ぶ。Ｐ個のパラメータ 群のうちいずれか１つ、２つ又は３つ全てから選択した任意の数（零からコント ローラの容量又は設計者の忍耐ぎりぎりの何らかの数まで）のパラメータがあれ ば良い。 好ましい実施の形態では、神経回路網は動的又は代数（たとえば、フィードフ ォワード）回路網である。その例は、Ｄａｖｉｄ Ｅ．Ｒｕｍｅｌｈａｒｔ，Ｇ ｅｏｆｆｒｅｙ Ｅ．Ｈｉｎｔｏｎ及びＲｏｎａｌｄ Ｊ．Ｗｉｌｌｉａｍｓに より説明されている多層パーセプトロン回路網（Ｌｅａｒｎｉｎｇ ｉｎｔｅｒ ｎａｌ ｖｅｐｒｅｓｅｎｔａｔｉｏｎｓ ｂｙ ｅｒｒｏｒ ｐｒｏｐａｇａ ｔｉｏｎ。Ｄ．Ｅ．Ｒｕｍｅｌｈａｒｔ 及びＪ．Ｌ．ＭｃＣｌｅｌｌａｎｄの 「Ｐａｒａｌｌｅｌ Ｄｉｓｔｒｉｂｕｔｅｄ Ｐｒｏｃｅｓｓｉｎｇ：Ｅｘｐ ｌｏｒａｔｉｏｎｓ ｉｎ ｔｈｅ Ｍｉｃｒｏｓｔｒｕｃｔｕｒｅ ｏｆ Ｃ ｏｇｎｉｔｉｏｎ，Ｖｏｌ．１」（Ｅｄｓ．），マサチューセッツ州ケンブリッ ジ：ＭＩＴ Ｐｒｅｓｓ，１９８６年）、及びＪｏｈｎ ＭｏｏｄｙとＣｈｒｉ ｓｔｉａｎ Ｊ．Ｄａｒｋｅｎの半径方向ベース関数回路網（Ｆａｓｔ ｌｅａ ｒｎｉｎｇ ｉｎ ｎｅｔｗｏｒｋｓ ｏｆ ｌｏｃａｌｌｙ−ｔｕｎｅｄ ｐ ｒｏｃｅｓｓｉｎｇ ｕｎｉｔｓ。「Ｎｅｕｒａｌ Ｃｏｍｐｕｔａｔｉｏｎ」 ，１，２８１〜２９４ページ、１９８９年）を含み、それらは良く知られた代数 形態である。 Ｂａｒａｋ Ａ．Ｐｅｒｌｍｕｔｔｅｒ（Ｌｅａｒｎｉｎｇ ｓｔａｔｅ ｓ ｐａｃｅ ｔｒａｊｅｃｔｏｒｉｅｓ ｉｎ ｒｅｃｕｒｒｅｎｔ ｎｅｕｒａ ｌ ｎｅｔｗｏｒｋｓ。「Ｎｅｕｒａｌ Ｃｏｍｐｕｔａｔｉｏｎ」、１、２６ ３〜２６９ページ、１９８９年）は、使用できると考えられる動的連続時間型回 路網を説明している。Ｊｅｆｆｒｅｙ Ｌ．Ｅｌｍａｎ（「Ｆｉｎｄｉｎｇ S ｔｒｕｃｔｕｒｅ ｉｎ Ｔｉｍｅ」，Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ ８ ８０１，Ｃｅｎｔｅｒ ｆｏｒ Ｒｅｓｅａｒｃｈ ｉｎ Ｌａｎｇｕａｇｅ， Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｃａｌｉｆｏｒｎｉａ，Ｓａｎ Ｄｉｅｇｏ，Ｌ ａ Ｊｏｌｌａ，ＣＡ９２０９３，１９８８年）は、同様に使用できると考えら れる動的分散時間型回路網を説明している。実際には、ほぼどのような型の神経 回路網でも使用できる。 ところが、回路網の外から各ノードに対する唯一つの入力しか受け入れられず 且つ各ノードは１つおきのノードと通信し、どの２つのノード（ｉ，ｊ）も（ｗ_ij ＝ｗ_jiとなるように）重み値を共用するという点で制約される典型的なＨｏｐ ｆｉｅｌｄ型には幾分かの懸念がある。そのような回路網は不十分なものにな りがちである。 通常は、回路網は使用されるＰパラメータと、回路網中の重みと、誤りフィー ドバック入力との何らかの関数である出力を発生する。誤りフィードバック入力 はプロセス出力と、設定値又は基準モデル出力と、設定値と実際の出力の誤差と 、この誤差の積分及び／又は微分と、プロセス状態変数推定値等々を含んでいて 良いであろう。 一実施の形態では、パラメータ化ニューロコントローラ（以下、「ＰＮＣ」） 及び既存のコントローラから出力を受信する学習アルゴリズムをランするための プロセッサを追加することにより、そのような神経回路網を既存のコントローラ を模倣するように訓練することができる。学習アルゴリズムプロセッサの前又は その中のいずれかで、適切なレベルの熟達が神経回路網コントローラにより実証 されるまで、それら２つの比較を実行する。既存のコントローラの出力は閉ルー プでオンラインで取り出される。訓練はオンラインで実行可能であるが、あるい は後に収集データによって訓練を実行できる。 多様なプロセスモデルについて、訓練をオフラインで実行することも可能であ る。ＰＮＣを構成するための開発システムも説明する。 神経回路網の訓練は、一般に、何らかの関心基準を最適化する回路網重みの値 を確定することに基づいている。遺伝的アルゴリズム、「走化性（ｃｈｅｍｏｔ ａｘｉｓ）」、逆戻り伝搬、相互逆方向伝搬、共役勾配、並びに当業者に知られ ている他の一次方法又は二次方法を含めて、いくつかの特定の確率アルゴリズム 及び確定アルゴリズムを使用できる。回路網の「訓練」は、実際には、遺伝的ア ルゴリズム又は当業者に知られている他の方法を使用してノードの構造及びそれ らの関係を構成又は確定することを含んでいても良い。その基準はコントローラ のユーザ又は顧客によって選択される。 図面の簡単な説明 図１は、プロセスに対する制御運動を表現する信号を供給するような閉ループ システムにおけるパラメータ化ニューロコントローラ（ＰＮＣ）のブロック線図 である。 図２は、様々に異なる制御戦略を使用して実現可能な様々な制御曲線を指示す る、時間とプロセス出力ｙとの関係を表わすグラフである。 図３は、既存のコントローラに基づいてＰＮＣを訓練するための好ましい一実 施の形態の構成を示すブロック線図である。 図４は、ＰＮＣの閉ループシミュレーション訓練を示す発見的ブロック線図で ある。 図５ａは、本発明を採用できる潜在的制御システムのブロック線図である。 図５ｃ及び図５ｂも、本発明を適用できる制御システムの他の構成のブロック 線図である。 図面の詳細な説明 図１は、プロセス（Ｐ）１２（周囲環境、様々な種類の処理プラント、既存の 制御システム又は他の何らかの種類のシステムを含んでいても良いであろう）を 有する一般化制御システム１０を説明しており、プロセス１２はコントローラ１ １（ここでは、コントローラはパラメータ化ニューロコントローラである）の出 力である制御調整信号を入力（ｕ）１３として受信する。プロセスの出力の測度 ｙは、信号線１８を介してＰＮＣの入力端子１５へとフィードバックされる信号 として信号線１４へ発生される。ＰＮＣは、信号線１７を介して入力端子１６に 至る基準入力ｙ_rに対して何が適切であるかに基づいて、その制御動作を継続す る。この例のパラメータ化ニューロコントローラでは、ユーザ又は何らかの自動 システムが所望のｐ_c、ｐ_p及び／又はｐ_dパラメータ値（１９）を表わす入力を 供給できるであろう。Ｐ個のパラメータ群の中のいずれか１つ、２つ又は３つ全 てから選択した任意の数（零からコントローラの容量又は設計者の忍耐力を使い 尽くす何らかの数）のパラメータがあれば良い。あらゆる実世界プロセスにおけ るのと同様に、プロセス１２は外乱Ｄによって妨害される可能性がある。 プロセス自体をいくつかのパラメータ、この場合には、たとえば、点線の中の Ｋ，τ及びΘ（これらはｐ_pの種類に属する）により特徴づけても良い。 希望に応じて、プロセスへの入力（信号線２３のｕ）及びプロセスからの出力 （信号線２２のｙ）を受信するプロセス識別子２０によってそれらのプロセスパ ラメータを識別しても良い。識別子はプロセス識別に際して使用されるパラメー タＫ，τ及びΘの表現を生成することができる。希望に応じて、識別子２０をコ ントローラ１１の一部として構成できるであろう。識別されたプロセスパラメー タをＰＮＣに入力することにより、ｐ_pの一部又は全てを供給することは可能で あろう。 一般に、次の代数−微分系によってプロセスを定義できる： u(t-τ₁),...,u(t-τm),p,t),x(O)＝x_o O=g(x_p(t),x_p(t-T₁),...,x_p(t-T_n),u(t), u(t-τ₁),...,u(t-τm),p,t) y(t)=h(x_p(t),x_p(t-T₁),...,x_p(t-T_n),u(t), u(t-τ1),...,u(t-τm),p,t). 数多くの目的に対して、１組の代数方程式、０＝ｇ（．）が不要であるこの系 の簡略化形態で十分である。 これらの方程式の中で、ｘ_pはプロセスの動的状態変数を表わし、ｕはプロセ ス入力を表わし、ｙはプロセス出力を表わし、ｐはシステムを特徴づけるパラメ ータを表わす。Ｔ_i及びτ_iは状態時間遅延と入力時間遅延であり、ｐと共にプロ セスパラメータｐ_pを構成する。一般的なケースでは、ｕ，ｘ_p，ｐ及びｙは全て 適切な大きさのベクトルである。プロセスパラメータはプロセスの動的行動を確 定する。室温での制御に適用する場合には、たとえば、部屋の容積（大きさ）、 壁及び床の熱伝導率などがプロセスパラメータになるであろう。プロセスパラメ ータは時間の経過に伴って変化することもある。すなわち、隣接する部屋に通じ るドアを開いた場合には、暖房又は冷房を目的とする有効容積は増加するであろ う。 パラメータ化ニューロコントローラと共に使用するためには、どのような種類 のプロセスパラメータでも許容される。プロセス状態変数又はその推定値を神経 回路網に入力できる（たとえば、神経回路網は状態フィードバックコントローラ であっても良いであろう）が、少なくとも１つのプロセスパラメータ、制御パラ メータ又は外乱パラメータをも入力としなければならないということに注意すべ きである。 Ｔ．Ｔｒｏｕｄｅｔ，Ｓ．Ｇａｒｇ及びＷ．Ｍｅｒｒｉｌｌの「Ｄｅｓｉｇｎ ａｎｄ Ｅｖａｌｕａｔｉｏｎ ｏｆ a Ｒｏｂｕｓｔ Ｄｙｎａｍｉｃ Ｎｅｕｒｏｃｏｎｔｒｏｌｌｅｒ ｆｏｒ a Ｍｕｌｔｉｖａｒｉａｂｌｅ Ａｉｒｃｒａｆｔ Ｃｏｎｔｒｏｌ Ｐｒｏｂｌｅｍ」（Ｐｒｏｃ．Ｉｎｔｅｒ ｎａｔｉｏｎａｌ Ｊｏｉｎｔ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ，第１巻、ボルチモア、３０８〜３１４ページ、１９９２年）の 中に示されているように、状態変数はニューロコントローラに入力されていた。 ところが、それらはプロセスパラメータ、制御パラメータ又は外乱パラメータの 入力を教示していない。 別の構成は、ルールベースプロセッサを正面に置いた複数の神経回路網ＰＮＣ を有し、Ｐ入力の値に基づいて訓練された最良のものを選択するものとなるであ ろう。 ＰＮＣに供給しうるパラメータの説明は本出願の背景の節の中で既に行われて いる。 また、ＰＮＣに関わるここの神経回路網がとれるであろう様々な形態について も、先の要約の中で論じた。さらに一般化するために、１組の方程式を使用して 、神経回路網からコントローラ出力ｕを定義することが可能であろう。その関数 によって神経回路網を定義しても良い。代数型は一般に以下に記す関数により定 義できる： u(t)=g(P,w,e(t),t),又は u(t)=g(P,w,y(t),y_r(t),t),又は u(t)=g(P,w,e(t),e(t-T_e,1),...,e(t-T_e,R),又は 式中、ｗは回路網の重みを表わし、ｘ_pはプロセス状態変数（又はその推定値） を表わし、 おける誤差の変化率であり、T_e,i，T_y,i，T_yr,i及びＴ_xp,iは、それぞれ、ｅ， ｙ，ｙ_r及びｘ_pの値における時間遅延（必ずしも非零ではない）である。 本発明と共に使用することを意図した動的、連続時間型神経回路網は、次の動 的体系により定義される出力を有する： u(t)=g(x(t),p_c,p_p,p_d,w,e(t)) ｘ（ｏ）＝ｘ_o、式中、ｘは神経回路網に関わる状態ベクトルである。 動的、離散時間型神経回路網は次の動的体系により定義されれば良い： x(t)=f(x(t-δt),p_c,p_p,p_d,w,e(t)) u(t)=g(x(t-δt),p_c,p_p,p_d,w,e(t)) ｘ（ｏ）＝ｘ_o 上記の定義方程式はいずれも限定しようとするものではなく、使用可能な神経 回路網を定義することを依然として可能にしつつ、重み及び誤差，ｙ，ｘ_p及び ｙ_rの各パラメータ並びに時間及び時間遅延値を追加又は除去しても良いことは 当業者にはわかるであろう。それらも本発明と共に使用されて良い。 また、本発明が単一入力単一出力コントローラへの適用に限定されないことも 認めるべきである。複数組のｙ入力，ｙ_r入力及びｘ_p入力と、複数のｕ出力とを 容易に受け入れ、本発明に関して使用される様々な種類の神経回路網の中の１つ の多重入力単一出力バージョン又は多重入力多重出力バージョンのいずれかへと 訓練しうるであろう。ｙ，ｙ_r，ｘ_p及びｕがスカラ量であるという限定は全く示 唆されていない。それらは任意の次元のベクトルであっても良い。 次に図２（例示のみを目的とする１例−他の種類の基準や曲線は当業者により 容易に想像可能である）を参照すると、ｙ_rにより表現されるレベルにおける所 望のプロセス出力を実現するための３つの個別の曲線Ｃ₁，Ｃ₂及びＣ₃が示され ている。例示のみを目的としているが、曲線Ｃ₁は、所望の設定値又は基準値を できる限り迅速に達成するために非常に激しく且つ非常に急速に押した場合にプ ロセスが与えると思われる種類の応答を指示する。設定値を達成するまで、相当 に大きなオーバシュートがあり、おそらくは振動も起こる見込みである。曲線Ｃ₂ はほとんどオーバシュートをもたないが、設定値を達成する時間は幾分遅くな り、曲線Ｃ₃はさらに後の時点で設定値を達成する。上昇時間はｔ_oから多少の時 間を経るまで始まらず、それは制御信号を送信できる時間と、プロセスが応答す る時間との間にこの例では何らかの遅延が存在するという点に注意する。ｐ_cの 一要素、たとえば、比例コントローラ利得の変化も図２に示すような応答特性の 中で類似の変化を実現できるであろう。たとえば、比例利得が大きくなれば、曲 線はＣ₁より近く見えるであろうし、比例利得が小さくなれば、曲線はＣ₃により 近く見えるであろう。プロセス外乱又は測定雑音に変化があった場合にも、応答 曲線の特性は変化するであろう。たとえば、コントローラが反応チャンバに添加 されつつある化学薬品の量を制御しており且つチャンバ内の化学薬品の残量に対 して化学薬品の１つがある濃度に達したときに反応の速度が著しく変化する場合 には、予期されるこの結果を考慮するために、ＰＮＣにより受信される入力の中 に１つのプロセスパラメータを組み込むことができるであろう。従って、たとえ ば、センサの出力が酸性の程度（又は他の何らかの測定可能な量）は反応速度が 著しく増加してある値を過ぎた又はその値に近づいていることを指示した場合、 コントローラがより多くの酸性化学薬品を放出する弁を閉鎖しそこなうことによ って、応答曲線をさらにＣ₁に近づける、実際には暴走反応を引き起こすことに なるであろう。 別の例として、たとえば、建物空間の暖房を制御しているコントローラへ雑音 又は外乱のパラメータ変化を適切に送り込んでも良いであろう。日中は通常明る く且つ日が良く当たり、外気温は非常に暖かいような場合には、建物に加わる熱 負荷と、熱を大気中へ消散させる能力は減少するであろう。従って、コントロー ラのオペレータがＣ₂に類似する応答曲線を希望するならば、そのような曲線を 得るために通常要求されるであろうと考えられるのとは異なる制御運動をＰＮＣ により出力（ｕ）して、その外乱に対応する必要がある。 次に、既存のコントローラ３１（Ｃ）と、被制御プロセス（Ｐ）３２とを有し 、制御信号出力（ｕ）が信号線３４を介してプロセス（Ｐ）へ送り出され且つプ ロ セスからの出力ｙは信号線３５を介して出力されるような被制御システム３０が 示されている図３を参照する。出力ｙは信号線３６を介して現存のコントローラ ３１及びＰＮＣ３３へもフィードバックされる。共に出力ｙと、入力信号線３７ から受信される所望の出力ｙ_rとに応答して、その制御信号を発生する。この場 合、既存のコントローラ３１はプロセス３２を制御するのに申し分のない出力ｕ を発生する。この場合のＰＮＣは既存のコントローラ３１と実質的に置き換える ため、あるいは冗長システム、バックアップ又は多くの場合に複製されるプロセ ス３２の環境において訓練されるシステムとして動作するために使用される。最 後に挙げたケースでは、一旦訓練されれば、ＰＮＣをプロセス３２のこの１つの 事例から除去して、他の類似のプロセスで使用することができる。 この状況では、パラメータｐ_c，ｐ_p，ｐ_d４３は、通常、信号線４２を介して ＰＮＣと既存のコントローラ３１の双方へ入力される。ところが、多くの場合、 コントローラＣ３１は異なる１組のパラメータを入力されていると思われる。 プロセッサ３９は信号線３４ａからの出力（ｕ_PNC）と、信号線３８からの出 力（ｕ）との差を求める。この差の数はプロセッサ３９の中に含まれている学習 アルゴリズム４０へ送られる。学習アルゴリズムは文献の中で何度となく論じら れている様々の異なる型の中のものであれば良い。それらは、たとえば、周知の 逆戻り伝搬、共役勾配アルゴリズム及び遺伝子アルゴリズムの方法、並びに他の 数多くの可能な訓練方法を含む。 学習アルゴリズム処理の結果は、希望に応じて内部重み、すなわち、実際には ＰＮＣ３３の構成を調整するためのＰＮＣ３３への信号（信号線４１）である。 申し分のない堅牢な性能を示す既存のコントローラを利用可能であれば、ここ で示すように、既存のコントローラを模倣するように神経回路網を訓練すること ができる。すなわち、同じ出力が与えられるのであれば、神経回路網と既存のコ ントローラが同一の入力を供給することが望まれる場合、これは可能である。既 存のコントローラ３１に入力される又は入力されないと思われる入力パラメータ ４３に基づいて依然として既存のコントローラを模倣するように出力を調整する ことも可能である。その時点で既存のコントローラが供給するのが困難であるい くつかのパラメータを要求する（たとえば、それらのパラメータの計算が含まれ るような）場合、その代わりにより容易に利用可能ないくつかのパラメータをＰ ＮＣに与えることができる。そこで、ＰＮＣは、新たなパラメータを与えられる と、既存のコントローラの行動をできる限り正確に複製しようとする。セットア ップにおいて既存のコントローラよりまさるように神経回路網を訓練することは できない。しかしながら、この状況について依然として残っている他の利点があ る。おそらくは、実行はより速くなり、コードサイズとインプリメンテーション は縮小し、既存のコントローラ３１を閉ループから排除せずに訓練をオンライン で実行でき、且つ様々に異なる入力パラメータを使用しうるであろう。 次に、既存のコントローラが利用可能であることを要求しないＰＮＣ開発のた めの代替方式を説明する。この方式では、既存のコントローラより相当に強力で ある非線形コントローラを得ることができる。従来の技法では制御しにくいプロ セスに対してもこの方式を使用できる。 たとえば、若干の項目を挙げるとしても、制御エネルギー、サーボ応答（応答 時間、最大パーセントオーバシュート、帯域幅を含む）、外乱拒絶（設定値に戻 るための時間及び設定値からの最大偏差を含む）及び安定性などの基準を縮小す るか、最小にするか又は最適化するように、回路網を訓練することができる。制 御パラメータｐ_cを使用する訓練後の神経回路網ＰＮＣは、競合する目的の間の オンライントレードオフを可能にする。基準の１例は制御エネルギーと、何らか の時間間隔Ｔにわたる応答誤差との重み付き和である。この場合、ｐ_cは２つの マトリックスＲ及びＱから構成されている。 パラメータ化ニューロコントローラはＲパラメータ及びＱパラメータの範囲（ 並びに何らかのシミュレートプロセス世界）にわたり訓練されるであろう。訓練 後は、ユーザはその時点の制御目的であるものに従ってコントローラパラメータ （ｐ_c）を調整できるであろう。 最適ＰＮＣ開発は次に示す情報の指定を要求する（ただし、準最適開発ではそ のいくつかを無視しても良い）： −ＰＮＣが企図している１つ又は複数のアプリケーションを表現する１つ又は 複数のプロセスモデル。（たとえば、それらのモデルは、ユーザの選択に応じて 、代数的及び／又は動的、線形及び／又は非線形、集中形又は分散形であっても 良いであろう。） −外乱モデル（オプション）。 −それ自体がパラメータ化されても良い制御基準（たとえば、制御動作に対す る相対重み付け対サーボ応答）。 −ＰＮＣに対する入力。それらは誤差、積分誤差、誤差の微分、設定値、プロ セス出力などのフィードバック入力、並びに制御パラメータ、プロセスパラメー タ及び外乱パラメータを含むコントローラパラメータを含む。少なくとも１つの 制御システムパラメータＰが含まれていなければならない。外乱モデルを指定し た場合に限り、外乱パラメータを含めることができる。 −ＰＮＣ入力として使用されないものを含めて、全てのプロセスモデルパラメ ータについて範囲を指定すべきである。 −外乱モデルをパラメータ化する場合、ＰＮＣ入力として使用されないものを 含めて、全ての外乱パラメータについて範囲を指定すべきである。 −全ての制御パラメータについての範囲を指定しなければならない。 −ＰＮＣ開発のために使用すべき入力信号のクラスを指定しなければならない 。多くの場合、これは指定の間隔の中の大きさのステップ入力（たとえば、設定 値変化）であろうと期待される。 全てのパラメータについての範囲は個別でなくても良いことを理解すべきであ る。事実、多くの場合に、かなりの従属性があるものと期待される。すなわち、 制御パラメータの適切な値又は妥当な値はプロセスパラメータ値によって変化し うるであろう。範囲はポイントであることも可能である一対応するパラメータは 一定に保持されるであろう（これを訓練中に実行するために、図４のモジュール ７１のようなモジュールを使用しても良い。） この情報を指定したならば、ＰＮＣ開発を開始できる。その開発プロセスは図 ４に概略的に示されている。パラメータ化ニューロコントローラ５３はシミュレ ートされた制御ループの中に配置されており、一般化プロセスモデル５４はＰＮ Ｃ訓練アルゴリズム６０と対話する閉ループシミュレーションシステム５２の中 にある。閉ループに対する入力信号と、プロセスモデルに対するパラメータ値５ ６及びＰＮＣに対するパラメータ値（５５）とは、一貫パラメータ及び入力生成 モジュール（以下に示す）によって生成される。閉ループシミュレーションシス テムは、閉ループシミュレーションの結果に基づいて制御基準を評価する能力を 有する。また、この情報が必要とされるときに神経回路網の重みに対する制御基 準の勾配を計算する能力をも有する。基準値は信号線６２を介してＰＮＣ訓練ア ルゴリズムに渡され、勾配は信号線６３を介してＰＮＣ訓練アルゴリズムに（必 要に応じて）渡される。 ＰＮＣ訓練アルゴリズムの機能は本質的には、制御基準を最小限にするために ＰＮＣを構成することである。これはＰＮＣ重みの値を確定することによって実 行されるが、使用される訓練に応じて、回路網自体を構成することをも含んでい て良いであろう。ＰＮＣ訓練アルゴリズム６０は対話方式でこの問題を解決し、 最小値に到達するまで回路網及び／又はその重み値を連続して更新して行く。こ の目的のために数多くの特定アルゴリズムを使用できる。それらのうちいくつか は勾配の計算を必要とするが、他のアルゴリズムは必要としない。好ましい一実 施の形態では、遺伝的アルゴリズムを使用する。遺伝的アルゴリズムは強力な最 適化アルゴリズムである。それらは任意に複雑さをもつ基準を可能にし、勾配の 計算を要求しない。 再び図４を参照すると、パラメータ化ニューロコントローラ５３はシミュレー トされた制御ループの中に配置されており、プロセス５４はＰＮＣ訓練アルゴリ ズム６０と対話し且つシミュレートパラメータ入力５５ｓを受信する閉ループシ ミュレーションシステム５２の中にあり、プロセスは信号線５６ｓを介してシミ ュレートパラメータ入力を受信する。プロセスモデルパラメータの集合全体を ７１から信号線５６ａを介してプロセスに入力される。それらは、シミュレーシ ョン中にＰＮＣに対しｐ_p及びｐ_dで利用可能なパラメータのスーパーセットで ある。それらは一貫パラメータ及び入力発生器プロセッサ７１から発生する。 ユーザが設定する基準による評価に関連する出力ｙと他の全ての信号は基準評 価装置５８と、勾配計算装置５９とに入力される。制御基準をＪとし且つ▽_wＪ がｗの重みに関するＪの勾配（偏導関数）を表わすとき、それらの装置はＪ及び ▽_wＪを表わす信号出力をそれぞれ発生する。 ＰＮＣ訓練アルゴリズム６０がいかに動作しうるかの例を次に示す。双方の場 合において、初期の１組の重みｗ_oを生成し、次に対話方式で調整する。それら の例は共に回路網の構成が固定されていると仮定している。様々な基準や状況に 対して様々に異なる方法が好ましいと思われるので、それらの例は限定する意味 をもつと考えてはならないものであるにすぎない。（所定の状況に対して使用す べき最良のアルゴリズムは、以下に示す２つのうち一方でなくとも良い。） 単純な勾配利用訓練アルゴリズム： ｗ_oを無作為に生成する ▽_wＪ（ｗ）＜Ｅとなるまで、 ｗ＝ｗ＋η▽_wＪ（ｗ） を繰り返す （尚、ηは定数（学習速度パラメータであり、Ｅは小さな数（たとえば、０． ００１）である。▽_wＪ（ｗ）＜Ｅのとき、Ｊは有効に最小にされる。） 単純な非勾配利用訓練アルゴリズム： ｗ_oを無作為に生成する １ Ｊ（_w）＜Ｅ２である間 ２ ｗの付近のｗ′を生成する ３ Ｊ（_w′)＜Ｊ（_w）であれば ｗ＝ｗ′ ４ そうでなげれば １に向かう ５ 終了 （Ｅ２は小さな数である） 希望に応じて、この訓練シミュレータシステム５０をハードウェアとソフトウ ェアとの何らかの組み合わせ、あるいは全てソフトウェアとして構築されていて も良い。信号線５５及び５６はシミュレートされたパラメータ入力又はユーザが 調整したパラメータ入力のいずれかを供給することができる。設定値、すなわち 、所望の応答入力信号６１（ｙ_r）をユーザが定義しても良く、シミュレーショ ン中に提供しても良い。 プロセッサ又はモジュール７１の一貫パラメータ及び入力発生器はユーザが指 定するクラスの入力信号と、ユーザが指定したパラメータの範囲と、それらの範 囲の間の従属性とを含むことができる。このプロセッサ７１は別個の１つのハー ドウェア、又はソフトウェアであっても良く、あるいはシミュレーションプロセ ッサの中に統合されていても良い。この情報をボックス７１の中に記憶するのが 好ましいであろう。この情報は適切なパラメータ及び入力信号を閉ループシミュ レーションに供給するために使用される。 パラメータ化ニューロコントローラを被制御システムに接続するための、本発 明の範囲内にある数多くの方法を企図して良い。たとえば、図５ａ，図５ｂ及び 図５ｃを参照。図５ａでは、チューザのアルゴリズムはＰＮＣ出力と、この例で はＰＩＤコントローラの出力との間で好ましい出力を選択して良い。図５ｂでは 、ｕを発生するために、ＰＮＣ出力は別のコントローラ、「コントローラＸ」の 出力と共にモールドされる。アプリケーションと、使用されるコントローラの種 類とに応じて、閉ループシミュレータ訓練又は既存のコントローラに基づく訓練 は、「コントローラＸ」として識別されるコントローラを含んでいても良い。 また、図５ｃを参照すると、入力コントローラＩＣ₁は、一連の異なる方式で 訓練される（又は異なるＰ入力を有する）ＰＮＣのうちどれが誤差又はプロセス の現在動作ポイントに対して適切であるかを決定する。それ（ＩＣ₁）は、ＰＮ Ｃ（ＰＮＣ₁．．．ＰＮ（_n）のうち１つを信号線８１の中の１本にある入力によ ってターンオンするか又は適切なＰＮＣの信号出力のみを出力側のマルチプレク サ型構成を使用してプロセスに到達させるかのいずれかにより、その決定をプロ セスに報知する。後者の構成により同時処理が可能になり、ＩＣ₁にどのＰＮＣ 出力を使用すべきかを決定するためにより多くの時間が与えられることになるで あろう。この図には別の形態ＩＣ₂（線（出力コントローラ））も示されてい る。この代替構成では、示唆されている制御動作をＩＣ₂により検討し、適切な ものだけを選択する。（この図においては、ＰＮＣのうち１つ又は２つ以上をよ り従来のものに近いコントローラと置き換え可能であろうということに注意すべ きであろう。）これらの図により示唆される全ての形態がこのＰＮＣコントロー ラを導入しうる全てのアプリケーションを記述しているわけではないが、特許請 求されるものを非常に広い範囲で適用できるであろうということを教示するため の例として挙げられている。 一般に、ｘ_p，ｙ．ｙ_r及びｕを引用して使用するときには、それらを任意の次 元のベクトル（次元＝１のスカラの場合をも含む）として述べていることを認識 すべきである。多次元ベクトルとしては、それらは一連の値又は複数群の値を包 含していても良く、従って、ＳＩＳＯとＭＩＳＯ／ＭＩＭＯ双方の構成を含んで いる。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 フォスリーン グラバー，ウェンディ・ケ イ アメリカ合衆国 55406 ミネソタ州・ミ ネアポリス・34ティエイチ アヴェニュ サウス・4621 (72)発明者 コナー，アーメット・エフ アメリカ合衆国 55014 ミネソタ州・サ ークル パインズ・ウエスト ゴールデン レイク ロード・81

Claims (1)

1. 【特許請求の範囲】 １．制御パラメータｐ_cと、プロセスパラメータｐ_pと、外乱パラメータｐ_dと （一括してＰと呼んでも良い）を含むパラメータの集合に属しているパラメータ を表わす入力信号を介してコントローラ行動の変更を受け入れるコントローラに おいて、前記コントローラは神経回路網を具備するコントローラ。 ２．前記コントローラにより受信される前記入力は、全てのＰ入力又はその部 分集合（Ｐ，Ｉ，Ｄ入力のみを除く）と、ｘ_p，ｙ，ｙ_r，ｕ及びそれらｘ_p，ｙ ，ｙ_r及びｕ入力の全ての代数演算子、微分演算子及び積分演算子とを含む入力 の集合からのものである請求項１記載のコントローラ。 ３．神経回路網は、全てのＰ入力又はその部分集合（Ｐ，Ｉ，Ｄ入力のみを含 む部分集合のみを除く）と、ｘ_p，ｙ，ｙ_r，ｕ及びそれらｘ_p，ｙ，ｙ_r及びｕ入 力の全ての代数演算子、微分演算子及び積分演算子とから成る入力の集合から入 力を受信し且つ閉ループで使用するのに許容しうる出力を有する既存のコントロ ーラを模倣するように訓練され、前記訓練は： 前記Ｐパラメータと、前記ｘ_p，ｙ_r，ｙ，ｕと、前記入力のうち他の何らかの ものとをデータとして収集し、 少なくとも、前記神経回路網からのｕ出力が前記既存のコントローラにより生 成される許容しうる出力に類似するか又は同一になるまで、回路網を訓練段階で 変更する学習プログラムの中で前記収集されたデータを訓練データとして使用す ることによって生じる請求項１記載のコントローラ。 ４．神経回路網は、確率的、非勾配利用、非線形方法；最急降下法；及び二次 方法という一連の訓練方法の中からの何らかの訓練方法を使用して基準を極値化 するように訓練される請求項１記載のコントローラ。 ５．訓練はプロセスモデルの指定空間にわたりオフラインで実行される請求項 １記載のコントローラ。 ６．埋め込まれるよう開発されるべきＰＮＣを伴う閉ループシミュレータと、 一貫パラメータと、関連ＰＮＣ訓練手段とを有するパラメータ化ニューロコント ローラを開発する開発システム。 ７．前記コントローラは入力コントローラプロセッサと、複数の他のコントロ ーラとを具備し、それら他のコントローラのうち少なくとも１つは神経回路網で ある請求項１記載のコントローラ。 ８．ｗが回路網の重みを表わし； は、それぞれ、ｅ，ｙ，ｙ_r及びｘ_pの値における時間遅延（必ずしも非零ではな い）であるとき、前記神経回路網は前記関数の１つ： u(t)=g(P,w,e(t),t),又は u(t)=g(P,w,y_r(t),y_r(t),t),又は u(t)=g(P,w,e(t),e(t-T_e,1),...,e(t-T_e,R),又は によって定義でき； 動的、連続時間型神経回路網であるならば、それらの出力は次の動的系統： u(t)=g(x(t),p_c,p_p,p_d,w,e(t)) x(o)＝x_o，（但し、ｘは状態ベクトルである） により定義され； 動的、連続時間型神経回路網であるならば、それらの出力は次の動的系統： x(t)=f(x(t-δt),p_c,p_p,p_d,w,e(t)) u(t)=g(x(t-δt),p_c,p_p,p_d,w,e(t)) x(o)=x_o により定義され、 上記の定義方程式はいずれも限定しようとするものではなく、使用可能な神経 回路網を定義することを依然として可能にしつつ、重み及び誤差と、ｙ，ｙ．及 びｘ_pパラメータと、時間及び時間遅延値とを追加又は除去しても良いことは当 業者にはわかるであろう。それらも本発明と共に使用して良い請求項１記載のコ ントローラ。 ９．神経回路網は、全てのＰ入力から成る集合又はその部分集合（Ｐ，Ｉ及び Ｄ入力を含む部分集合のみを除く）と、ｘ_p，ｙ，ｙ_r，ｕ及びそれらｘ_p，ｙ， ｙ_r、及びｕ入力の全ての代数演算子、微分演算子及び積分演算子とから入力を 受信し且つ閉ループでの使用に許容しうる出力を伴う既存のコントローラを模倣 するように訓練され、前記訓練は： 前記Ｐパラメータと、前記ｘ_p，ｙ_r，ｙ，ｕ及び前記入力のうち他の何らかの ものと、さらには、少なくとも、前記神経回路網からのｕ出力が前記既存のコン トローラにより生成される許容しうる出力と類似する又は同一になるまで、訓練 段階で回路網を変更する学習プログラムからの入力とを受信するように、前記神 経回路網を閉制御ループの中に配置し； 前記訓練段階が完了するまで前記既存のコントローラを前記閉ループ使用でラ ンさせることによって生じる請求項１記載のコントローラ。 １０．神経回路網は閉ループ使用で許容しうる出力を有する既存のコントロー ラを模倣するように訓練され、前記訓練は： 前記Ｐ入力と、前記ｙ_r，ｙ，ｕ，ｘ_p及び前記入力のうち他の何らかのものと を受信し、さらには、少なくとも、前記神経回路網からのｕ出力が前記既存のコ ントローラにより生成される許容しうる出力と類似する又は同一になるまで、訓 練段階で回路網を変更する学習プログラムからの入力を繰り返し受信するように 、前記神経回路網を閉制御ループの中に配置し： 前記訓練段階が完了するまで前記既存のコントローラを前記閉ループ使用でラ ンさせることによって生じる請求項２記載のコントローラを生成するプロセス。 １１．訓練はプロセスモデルの指定空間にわたりオフラインで実行される請求 項２記載のコントローラ。 １２．神経回路網ＰＮＣは閉ループ使用で許容しうる出力を伴って既存のコン トローラを模倣するように訓練され、前記訓練は： Ｐパラメータと、ｙ_r，ｙ，ｕ，ｘ_p及び他の何らかの入力と、回路網を変更す る学習プログラムからの入力とを受信するように、前記神経回路網を閉制御ルー プの中に配置することと、 少なくとも、前記神経回路網からのｕ出力が前記既存のコントローラにより生 成される前記許容しうる出力と類似する又は同一になるまで、前記訓練段階を継 続することによって起こるようなコントローラを生成するプロセス。 １３．請求項１２記載のプロセスにより生成されるコントローラ。 １４．神経回路網ＰＮＣが、そのＰＮＣが閉ループにあるように一貫パラメー タと、一貫パラメータ及び入力発生器からの入力とを受信すべく構成された開発 システムにおいてシミュレーション訓練され、前記訓練は： Ｐパラメータと、ｙ_r，ｙ，ｕ，ｘ_p及び他の何らかの入力と、さらには、回路 網を変更する学習プログラムからの入力とを受信するように前記神経回路網を閉 制御ループの中に配置し、 少なくとも、前記神経回路網からのｕ出力が前記既存のコントローラにより生 成される前記許容しうる出力と類似する又は同一になるまで、前記神経回路網を 訓練段階で訓練することによって生じるコントローラを生成するプロセス。 １５．請求項１４記載のプロセスの製品。 １６．前記入力コントローラプロセッサは他の全てのコントローラへデータを 渡し且つ前記コントローラは、その他のコントローラの出力を検討し且つそれら の出力のうちどれをプロセスに対する入力として使用するかを確定する出力コン トローラプロセッサをさらに具備する請求項７記載のコントローラ。 １７．前記入力コントローラプロセッサは他の全てのコントローラへデータを 渡し且つ前記コントローラは、その他のコントローラの出力を検討し且つそれら の出力のうちどれをプロセスに対する入力として使用するかを確定する出力コン トローラプロセッサをさらに具備する請求項１１記載のコントローラ。 １８．前記コントローラは入力コントローラプロセッサと、複数の他のコント ローラとを具備し、それら他のコントローラのうち少なくとも１つは神経回路網 である請求項２記載のコントローラ。 １９．前記神経回路網は、前記訓練段階の後に、前記閉ループ使用をランする ために採用される請求項９記載のコントローラ。 ２０．前記訓練段階において前記神経回路網により受信されるパラメータは前 記既存のコントローラにより受信されるのと同じパラメータである請求項９記載 のコントローラ。