JP2723720B2

JP2723720B2 - 制御装置構築処理システム

Info

Publication number: JP2723720B2
Application number: JP3281741A
Authority: JP
Inventors: 実関口; 玉美菅坂; 茂美長田
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 1990-10-30
Filing date: 1991-10-28
Publication date: 1998-03-09
Anticipated expiration: 2013-03-09
Also published as: JPH056204A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、制御対象の制御に用い
られる制御装置を構築するための制御装置構築処理シス
テムに関し、特に、非線型な前記対象を扱う前記装置を
容易に、かつ一般的な制御規則形式でもって構築できる
ようにする制御装置構築処理システムに関するものであ
る。

【０００２】倒立振子々の１入力２出力系等のような複
雑な制御対象に対しては、古典的ＰＩＤ対応では対応で
きないことから、現代制御理論を適用して制御装置を設
計していく方法が採られている。しかしながら、現代制
御理論の線形制御理論を用いる場合には、制御対象の運
動方程式を線形化して制御対象モデルを構築していくた
めに、線形領域外ではその制御性能が低下するという欠
点がある。

【０００３】また、現代制御理論の非線形制御理論を用
いる場合には、運動方程式を完全に記述する必要がある
ため、制御対象のパラメータを正確に同定していく必要
があるがこれは極めて困難な作業になるという欠点があ
る。このようなことを背景にして、近年、ニューラルネ
ットワークを用いる新たな構成の制御装置が提案されつ
つある。

【０００４】

【従来の技術】ニューラルネットワークは、教師信号群
があたえられると、学習により、それらの教師信号群の
持つ入出力特性を備えることになるという性質を持つも
のであって、その後、未知の入力信号が与えられると、
それらしい出力信号を出力するという適応的なデータ処
理機能を実現していくという性質をもつものである。

【０００５】このようなニューラルネットワークを制御
装置として構築する場合、制御対象から十分な数の制御
データを入手して、その入手した制御データを教師信号
として用いて学習を実行していくことで、制御対象に対
しての制御規則をニューラルネットワーク上に写像して
いくことで、制御装置として構築していくという方法が
採られることになる。

【０００６】しかしながら、制御対象の制御データを得
ることは、制御対象が複雑になると現実には不可能であ
ることが多い。そこで、これに対処する一方法として、
最近、定性的にはある程度の先験的知識が得られている
が、定量的には未知の部分が多いような制御対象に対し
て、試行によって教師信号を得て、これを用いて制御対
象に対しての制御規則をニューラルネットワーク上に写
像していくという新たな提案（斉藤，北村，“多層型ニ
ューラルネットワークを用いた倒立振子の安定化学習制
御”，ロボティクス・メカトロニクス '９０論文集，ｐ
283-286,1990)がなされるに至った。

【０００７】この新たな方法は、台車に乗っている倒立
振子を原点で制止させるために、ニューラルネットワー
クと、仮想目標発生部と、評価部とを備える構成を採っ
ている。

【０００８】この新たに備えられる仮想目標値発生部
は、「台車の位置が原点から離れるほど、振子の仮想目
標角度を鉛直方向から原点側により大きく傾ける」とい
う先験的知識を数式で表したものであって、台車の位置
と速度が与えられるときに、これを原点に移すための振
子の角度と角速度の仮想目標値を発生する。

【０００９】一方、この新に備えられる評価部は、発生
された仮想目標値と制御出力（振子の角度・角速度）と
の差が１サンプリング後にどのようになればよいかを評
価することで、台車に加えるべき力の修正量を求めて、
その修正量により修正された力を教師信号として特定す
る。そして、ニューラルネットワークは、各サンプリン
グ時刻における振子の角度・各速度と、台車の位置・速
度とを入力して、台車に加えるべき力を出力していく。
このニューラルネットワークの学習は、評価部で生成さ
れる教師信号に基づいて、バックプロパゲーション法に
より行われる。

【００１０】この構成を採ることで、定性的にはある程
度の先験的知識が得られているが、定量的には未知の部
分が多いような制御対象に対して、試行によって教師信
号を得て、これを用いて制御対象に対しての制御規則を
ニューラルネットワーク上に写像していくことで、ニュ
ーラルネットワークをその制御対象の制御装置として構
築していくということが実現されることになる。

【００１１】従来より、システムの取りうる中間状態を
仮想目標値という仮想的な値で表し、その仮想目標値を
実現できる入出力関係を学習することによって制御を行
う制御装置が考案されている。しかし、これらは、仮想
目標値が１つしか用いられていないため、システムの状
態が複雑に変化する場合には、制御性能が低下するとい
う問題点があった。そこで、本発明では、複数の仮想目
標値をシステムの状態に応じて設定し、システムの制御
性能の向上をはかるものである。

【００１２】

【発明が解決しようとする課題】確かに、この新たに提
案される方法は、非線形な制御対象に用いられる制御装
置を容易に構築できるという利点が得られるようになる
ものの、仮想目標値発生部が、台車の位置と速度が与え
られるときに、これを原点に移すための振子の角度と角
速度の仮想目標を発生するというように、制御状態量の
絶対値を入力として、対応の制御状態量の仮想目標値を
出力していくという構成を採り、一方、ニューラルネッ
トワークが、各サンプリング時刻における振子の角度・
角速度と、台車の位置・速度とを入力とするというよう
に、制御状態量の絶対値を入力する構成を採ることか
ら、制御状態量の目標値が変更されると、いちいち学習
をやり直さなくてはならないという問題点があった。

【００１３】そして、上述しなかったが、評価部が、制
御対象の応対特性を変更する複雑な評価式に従って、台
車に加えるべき力の修正量を求めていかなくてはならな
いことから、制御対象の持つ応答抑制に忠実な制御規則
でないものを設定してしまうとともに、制御装置の構築
を短時間で実行できないというよな問題点もあったので
ある。

【００１４】本発明は、非線形な制御対象を扱う制御装
置を容易に、かつ一般的な制御規則形式でもって構築で
きるようにする新たな前記装置構築処理システムの提供
を目的とするものである。

【００１５】本発明の他の目的は、複数の仮想目標値を
システムの状態に応じて設定し、目標値までの距離に応
じて選択することによって目標値に安定的に到達するよ
うに制御することである。

【００１６】

【課題を解決するための手段】図１は本発明の原理構成
図である。図中は、１はデータ処理装置、２は学習処理
装置、３は制御対象、４は目標値設定装置、５は仮想目
標管理装置、６は操作修正量計算装置、７は第１の差分
器、８は第２の差分器である。

【００１７】データ処理装置１は、可変的な信号変換機
能を備えて、教師信号群与えられるときに、その信号変
換機能を教師信号群の持つ入出力特性を実現するものに
設定可能とする構成を採る。このデータ処理装置１は、
制御装置として構築されることになって、制御対象３の
制御状態量とその目標値とが与えられるときに、制御対
象３をその目標の制御状態にと制御するための制御操作
量を出力していくことになる。

【００１８】データ処理装置１は、１つ又は複数の入力
とそれらの入力に対して乗算されるべき内部状態値とを
受け取って積和値を得るとともに、その積和値を所定の
関数によって変換して出力値を得る基本ユニットの内部
結合により構成されるネットワーク構造部で構成され
る。

【００１９】また、データ処理装置１は制御状態量と制
御操作量との間の定性的なデータ関係をＩＦ−ＴＨＥＮ
ルールで既述するとともに、ＩＦ−ＴＨＥＮルールに記
述される制御状態量及び制御操作量の定性属性をメンバ
シップ関数で記述するファジィ装置で構成してもよい。

【００２０】学習処理装置２は、教師信号群が与えられ
るときに、データ処理装置１の信号変換機能を教師信号
群の持つ入出力特性を実現するように学習するものであ
る。この学習処理装置２は、データ処理装置１がネット
ワーク構造部により構成されるときには、よく知られて
いるバックプロパゲーション法等の学習アルゴリズムを
実行していくことになる。

【００２１】制御対象３は、制御装置として構築される
データ処理装置１により制御される制御対象である。こ
の制御対象３は、現実の制御対象が用いられることが好
ましいが、現実の制御対象ではなくてその制御対象モデ
ルが用いられることもある。

【００２２】目標値設定装置４は、制御対象３の所望の
制御状態を表す制御状態量の目標値を設定する。仮想目
標管理装置５は、制御対象３の所望の制御状態を実現す
るために得られている制御状態量とその目標値との関係
の先験的知識を管理する。本発明の仮想目標管理装置５
は、この先験的知識の管理データを制御状態量とその目
標値との差分値をパラメータにして管理する。

【００２３】操作修正量計算装置６は、制御対象３の持
つ制御状態量とその制御状態量に対応して仮想目標管理
装置５の管理データから特定される制御状態量の仮想的
な目標値とから、制御状態量の目標値を実現するために
必要となる制御対象３に対しての制御操作量の修正量を
算出する。

【００２４】この操作修正量計算装置６は、制御対象３
の持つ制御状態量と、仮想目標管理装置５の出力する仮
想目標値との差分値に比例係数を乗ずることで、制御操
作量の修正量を算出する構成を採ることがある。

【００２５】第１の差分器７は、目標値設定装置４の設
定する制御状態量の目標値と、制御対象３の持つ制御状
態量との差分値を算出して、その差分値をデータ処理装
置１と学習処理装置２とに入力する。このとき、ダイナ
ミックレンジ調整のためこの第１の差分器７の出力値に
比例係数が乗じられることがある。

【００２６】第２の差分器８は、データ処理装置１の出
力する制御操作量と、操作修正量計算装置６の出力する
制御操作量の修正量との差分値を算出して、その差分
値、すなわち、データ処理装置１から出力されている制
御操作量を算出された修正量で補正したものを学習処理
装置２に入力する。

【００２７】

【作用】本発明では、データ処理装置１の信号変換機能
が例えば初期状態に設定されているときに、制御対象３
から制御状態量の初期値が出力されると、第１の差分器
７は、目標値設定装置４の設定する制御状態量の目標値
とその制御状態量の初期値との差分値を算出して、デー
タ処理装置１に入力する。この入力を受けて、データ処
理装置１は、初期状態信号変換機能により規定される制
御操作量を算出して制御対象３に出力し、この制御操作
量の出力処理を受けて、制御対象３は初期状態とは異な
る制御状態に遷移する。以下、制御対象３の制御状態が
規定の限界に達するまで、この処理を繰り返していく。

【００２８】この処理時に、仮想目標管理装置５は、制
御対象３から制御状態量を受けると、管理データに従っ
て制御状態量の仮想的な目標値を特定する。この仮想目
標管理装置５の処理に従って、例えば、制御対象３が１
入力２出力系の制御系の例で説明するならば、制御対象
３から出力される一方の制御状態量に対しての他方の制
御状態量の仮想的な目標値が特定されることになる。

【００２９】仮想目標管理装置５が制御状態量の仮想的
な目標値を特定すると、操作修正量計算装置６は、この
仮想的な目標値を使用して、制御状態量の目標値を実現
するために必要となる制御対象３に対しての制御操作量
の修正量を算出する。この修正量の算出処理に従って、
目標値設定装置４により設定される目標の制御状態量を
実現するために、その処理時点のデータ処理装置１の出
力する制御操作量が、どのように修正されるべきかが決
定されることになる。

【００３０】このようにして、データ処理装置１に入力
される制御状態量とその目標値との差分値と、その差分
値の入力時点でのより好ましい制御操作量とからなる教
師信号群が求められると、学習処理装置２は、データ処
理装置１の信号変換機能の学習処理を実行して、信号変
換機能をより目標の制御状態を実現するために適してい
るものに設定する。

【００３１】そして、この新たに設定されるデータ処理
装置１の信号変換機能に従って上述と同様の処理を繰り
返していくことで次の教師信号群が生成されるように処
理し、学習処理装置２に従って、データ処理装置１の信
号変換機能を目標の制御状態を実現するものに設定して
いくことで、データ処理装置１を制御装置として構築し
ていく。

【００３２】このように、本発明では定性的にはある程
度の先験的知識が得られているが、定量的には未知の部
分が多いような制御対象３に対して、試行によって教師
信号を得て、これを用いて制御対象３に対しての制御規
則をデータ処理装置１の信号変換機能上に写像していく
ことで、データ処理装置１をその制御対象３の制御装置
として構築していくときにあって、制御状態量とその目
標値との差分値に従ってデータ処理装置１の構築処理を
実行していくように構成するものであることから、制御
状態量の目標値が変更されるときにあっても学習をやり
直さなくて済むようになるのである。

【００３３】目標位置が変わっても、例えば倒立させる
ための制御対象への入力が目標位置と現在位置との差分
値に関しては変化しない。つまり、制御対象への入力
は、差分値によってのみ変化し、もし目標位置が変わっ
ても、その差分値が変わらなければ、同じ制御対象への
入力を出力すればよい。従って、差分値に関する制御対
象への入力を学習しておけば、あとはその差分値に従っ
て制御が行われるだけなので、学習し直す必要がない。

【００３４】本発明は、制御状態量の目標値が変更され
た場合でも現在値と目標値との差分値とそれに対応する
制御対象への入力値との関係を予め学習しておくことに
より制御状態量を所望の値に制御するすなわち制御対象
を任意の目標位置において所望の制御状態にすることが
できる。さらに、本発明においては目標値設定装置４を
設けたので、振り子を倒立させたまま倒立位置をある速
度で移動させることが可能になる。

【００３５】また、本発明は制御対象の変数の依存関係
を示す仮想目標曲線を複数設け、各仮想目標曲線に対す
る複数の制御部の１つを制御対象の制御状態量に従って
選択する。

【００３６】さらに、本発明は制御対象の変数の依存関
係を示す仮想目標曲線を複数設け、制御対象の変数の１
部の領域に従って該変数の仮想目標曲線の１つを選択す
ることにより制御するようにした。

【００３７】

【実施例】以下、実施例に従って本発明を詳細に説明す
る。図２に、本発明の一実施例を図示する。図中、１０
はニューラルネットワークであって、制御装置として機
能するもの、１１は学習処理装置であって、ニューラル
ネットワーク１０の学習処理を実行するもの、１２は倒
立振子モデルであって、制御対象となる１入力２出力系
の制御系をなすもの、１３は目標値設定装置であって、
倒立振子モデル１２の制御実施例量の目標値を設定する
もの、１４は仮想目標計算装置であって、倒立振子モデ
ル１２の制御状態量の仮想目標を算出するもの、１５は
トルク修正量計算装置であって、ニューラルネットワー
ク１０の出力するトルクの修正量を算出するもの、１６
は第１の遅延器であって、倒立振子モデル１２の出力す
る制御状態量を１サンプリング時間遅延して仮想目標計
算装置１４に与えるもの、１７は第２の遅延器であっ
て、倒立振子モデル１２の出力する制御状態量を１サン
プリング時間遅延するもの、１８は第１の差分器であっ
て、目標値設定装置１３の設定する制御状態量の目標値
と、第２の遅延器１７の出力する制御状態量との差分値
を算出して、その差分値をニューラルネットワーク１０
と学習処理装置１１に入力するもの、１９は第２の差分
器であって、ニューラルネットワーク１０の出力するト
ルクと、トルク修正量計算装置１５の算出するトルク修
正量との差分値を算出して、その差分値を学習処理装置
１１に入力するものである。ここで、図中の（ｎ）は、
サンプリング時刻を表している。

【００３８】図３に、この実施例で制御対象モデルとし
て想定した倒立振子モデル１２を図示する。この図３に
示すように、倒立振子モデル１２は、原点０でモータシ
ャフト（Ｚ軸）に連結されたベースリンクＬ₁の他端Ｃ
に、リンクＬ₂がベースリンクＬ₁を回転軸にして連結
されることにより構成される。ベースリンクＬ₁とリン
クＬ ₂の回転角をそれぞれθ₁，θ₂とし、質量をそれ
ぞれｍ₁，ｍ₂とし、長さをそれぞれｌ₁，ｌ₂とし、
重力加速度をｇ、モータのトルクをＴで表すならば、こ
の倒立振子モデル１２の運動方程式は図４に示すものに
なる。

【００３９】この実施例では、この運動方程式に従う倒
立振子モデル１２に対して、モータの発生するトルクＴ
を制御して、各リンクＬ₁，Ｌ₂の状態をフィードバッ
クすることにより振子を倒立させ、更に、ベースリンク
Ｌ₁を適当な目標位置で停止させることを制御目標とす
るものである。

【００４０】このように、倒立振子モデル１２は制御状
態量として、

【００４１】

【数１】

【００４２】という４つを持ち、制御操作量として、モ
ータのトルクＴという１つを持つことになるので、第１
の差分器１８は、目標値設定装置１３の設定する対応の
目標値が、

【００４３】

【数２】

【００４４】であるとするならば、

【００４５】

【数３】

【００４６】という差分値を算出してニューラルネット
ワーク１０に入力することになる。なお、以下におい
て、記述の便宜上、角速度の微分値を表す場合には、そ
の角度の前に（d/dt) を付けることがある。

【００４７】これから、ニューラルネットワーク１０
は、入力装置として４ユニットを持ち、出力層としてト
ルクＴを出力する１ユニットを持つものを用意する必要
があるので、この実施例では、図５に示すように、４個
の入力ユニット２０からなる入力層と、８個の基本ユニ
ット２１からなる１段構成の中間層と、１個の基本ユニ
ット２１からなる出力層とを備えて、入力層の入力ユニ
ット２０と中間層の基本ユニット２１との間の内部結合
と、中間層の基本ユニット２１と出力層の基本ユニット
２１との間の内部結合に、それぞれ重み値の設定される
階層ネットワーク構成のニューラルネットワーク１０を
用意することにする。

【００４８】この入力層の入力ユニット２０は、入力信
号値をそのまま分配して中間層の基本ユニット２１に出
力し、中間層及び出力層の基本ユニット２１は、複数の
入力に対し夫々の内部結合の重み値を乗算する乗算処理
部と、それらの全乗算結果を加算する累積処理部と、こ
の累積値に非線型の閾値処理を施して一つの最終出力を
出力する閾値処理部とを備える。学習処理装置１１は、
教師信号群の持つ入出力特性を実現するようになるべ
く、これらの内部結合の重み値の学習処理を実行するこ
とになる。

【００４９】仮想目標計算装置１４は、倒立振子モデル
１２に対して得られている「ベースリンクＬ₁の回転角
θ₁が目標位置から離れている場合にリンクＬ₂の回転
各θ ₂を目標位置側に倒すことによって、ベースリンク
Ｌ₁の回転角θ₁が目標位置に近づく」という先験的な
制御知識に基づいて、リンクＬ₂の回転角θ₂の仮想的
な目標値θ_{d 2}とその角速度（d/dt) θ₂の仮想的な目
標値（d/dt) θ_{d 2}とを算出して出力する。

【００５０】すなわち、仮想目標計算装置１４は、目標
値設定装置１３から、ベースリンクＬ₁の回転角θ₁の
目標値θ_{t 1}が与えられ、倒立振子モデルから、第１の
遅延器１６を介して、ベースリンクＬ₁の回転角θ₁と
その角速度（d/dt) θ₁が与えられると、リンクＬ₂の
回転角θ₂の仮想的な目標値θ_{d 2}と、その角速度（d/
dt) θ₂の仮想的な目標値（d/dt) θ_{d 2}とを、

【００５１】

【数４】

【００５２】という計算式に従って算出して出力するよ
う処理することになる。ここで、θ₂ _maxは、リンクＬ
₂の回転角θ₂の最大倒れ角である。また、仮想目標計
算装置１４は、ベースリンクＬ₁の回転角θ₁とその角
速度（d/dt) θ₁については、目標値設定装置１３から
与えられる目標値をそのまま出力していくことになる。
なお、この式では、シグモイド関数を用いているが、θ
₁とθ_{d 2}が比例するような関係式を用いることも可能
である。この式から分かるように、ベースリンクＬ₁の
回転角θ₁が目標位置であるθ_{t 1}に達すると、リンク
Ｌ₂の回転角θ₂の仮想目標値θ_{d 2}が０になるので振
子は倒立することになるのである。

【００５３】トルク修正量計算装置１５は、リンクＬ₂
の回転角θ₂が仮想目標値θ_{d 2}になるようにと、ベー
スリンクＬ₁に加えるトルクＴを修正するものである。
すなわち、トルク修正量計算装置１５は、仮想目標計算
装置１４から、リンクＬ₂の回転角θ₂の仮想的な目標
値θ_{d 2}と、その角速度（d/dt)θ₂の仮想的な目標値
（d/dt) θ_{d 2}と、ベースリンクＬ₁の回転角θ₁の角
速度（d/dt) θ₁の仮想的な目標値（d/dt) θ_{d 1}（こ
の場合は、実際の目標値（d/dt) θ_{t 1}に一致する）と
が与えられ、倒立振子モデル１２から、リンクＬ₂の回
転角θ₂とその角速度（d/dt) θ₂と、ベースリンクＬ₁
の回転角θ₁の角速度（d/dt) θ₁とが与えられると、
トルクの修正量ΔＴ（ｎ）を、

【００５４】

【数５】

【００５５】という計算式に従って算出して出力するよ
う処理することになる。ここで、この式中の第３項は、
減衰項として働き、回転角θ₁の目標位置付近で急速に
停止させる効果を発揮するものである。

【００５６】第２の差分器１９は、このトルク修正量計
算装置１５の出力するトルク修正量計算装置１５の出力
するトルク修正量を受けて、ニューラルネットワーク１
０の出力するトルクＴ（ｎ）と、トルク修正量計算装置
１５の算出するトルク修正量 ΔＴ（ｎ）との差分値Ｔ’（ｎ）Ｔ’（ｎ）＝Ｔ（ｎ）−ΔＴ（ｎ）を算出して、この差分値がニューラルネットワーク１０
の出力しているトルクの好ましい値であるとして、学習
処理装置１１に通知していくよう処理することになる。

【００５７】学習処理装置１１は、このようにして得ら
れていくニューラルネットワーク１０に対しての入力値
と、そのときのより好ましいニューラルネットワーク１
０のトルク値の出力とを教師信号として用いて本出願人
が仮想インピーダンス制御法として提案している改良さ
れたバックプロパゲーション法（ネットワーク構成デー
タ処理装置学習処理方式：特開平１−１８３７６３号）
に従って、ニューラルネットワーク１０の内部結合の重
み値の学習を高速に実行していくよう処理することにな
る。改良されたバックプロパゲーション法によれば、数
組の異なるサンプリング結果を教師信号として学習を行
う時、あるサンプリング結果について先に学習した結果
得られた重み値を、次のサンプリング結果について学習
するときの初期値として用いる。したがって、新たなサ
ンプリング結果が得られた時に最初から学習をやり直す
必要がなく、学習処理が高速化される。

【００５８】学習の仕方について述べると、まずベース
リンクＬ₁（腕）を３０°、リンクＬ₂（振り子）を０
°に設定して試行を行う。その結果、倒れるまでに２０
個のサンプリング値が得られたとする。これをメモリに
記憶し、このサンプリング値を使って教師信号のトルク
値を自動生成して、ニューラルネットの重み値を更新
し、学習を行う。

【００５９】次に腕を３０°、振り子を０°に設定し
て、２回目の試行を行う。その間で前の２０個のサンプ
リング値によって決まった重み値を初期値として、たと
えば４０個のサンプリング値をとって、新しいサンプリ
ング値として、メモリに記憶し、このサンプリング値を
使って、教師信号のトルク値を自動生成して、ニューラ
ルネットの重み値を更新し、学習を行う。

【００６０】このようにして、腕を０°から９０°まで
動かして、ニューラルネットが最終的に記憶した重み値
を使えば、任意の初期位置と目標位置（ただし、初期位
置と目標位置との差が０°から９０°までの間）とが与
えられても、その目標位置で倒立させることができる。

【００６１】腕は例えば０°から９０°の全領域を動か
せばよりよいネットワークが構築されるが、経験上全領
域を動かす必要はない。また、初期位置と目標位置との
差が０°から９０°迄の間以上の差であっても、ある程
度は制御可能である。

【００６２】目標位置が変わっても、例えば倒立させる
ための制御トルクが目標位置と現在位置との差分値に関
しては変化しない。つまり、制御トルクは、差分値によ
ってのみ変化し、もし目標位置が変わっても、その差分
値が変わらなければ、同じ制御トルクを出力すればよ
い。従って、本発明によれば、差分値に関する制御トル
クを学習しておけば、あとはその差分値に従って制御が
行われるだけなので、目標位置が変わっても学習し直す
必要がない。

【００６３】次にシミュレーション結果に従って、この
ように構成される本発明の実施例の有効性について説明
する。このシミュレーションは、倒立振子モデル１２の
ベースリンクＬ₁の質量ｍ₁を“１”、リンクＬ₂の質
量ｍ₂を“0.25" 、ベースリンクＬ₁の長さｌ₁を“0.
2"、リンクＬ₂の長さｌ₂を“0.5"、トルク修正量計算
装置１５の使用する係数Ｋ₁，Ｋ₂，Ｋ₃の値をそれぞ
れ“１”、“１”“0.1"に想定して行った。

【００６４】そして、第１の差分器１８の出力する差分
値の内の（d/dt)Ｅ₁については、“0.1"という係数を
乗じてニューラルネットワーク１０に入力していくとい
う方法をとった。回転角θ₁の初期値は３０°、回転角
θ₂の初期値は０°、回転角θ₁の目標値θ_{t 1}は０
°、回転角θ₂の目標値θ_{t 2}は０°、回転角θ₂の最
大倒れ角θ_2maxは２０°に設定し、ニューラルネットワ
ーク１０の内部結合の重み値の初期値は、±０．０１の
ランダム値に従って設定した。

【００６５】シミュレーションは、次のように試行す
る。すなわち、倒立振子モデル１２の状態〔θ_i(n) ，
（d/dt) θ_i(n) 〕（ｉ＝１，２）をサンプリング時間
０．０１秒単位でサンプリングする。そして、このとき
のニューラルネットワーク１０のトルク出力を算出し、
このトルク出力を倒立振子モデル１２のベースリンクＬ
₁に与えて、これにより変化する倒立振子モデル１２の
状態〔θ_i(n＋1)，（d/dt) θ_i(n＋1)〕をシミュレー
トしていく。

【００６６】このとき、トルク修正量計算装置１５に従
って、より好ましいニューラルネットワーク１０の出力
トルクを算出していくことで教師信号を得る。この処理
を５００ステップ、すなわち５秒間繰り返す。このと
き、倒立振子４５°以上傾いたときには、そこで試行を
打ち切る。これから教師信号は、最大５００個得られる
ことになる。

【００６７】このようにして教師信号群が得られると、
学習処理装置１１は、改良されたバックプロパゲーショ
ン法に従って、ニューラルネットワーク１０の内部結合
の重みを学習していく。この学習処理は、バックプロパ
ゲーション法の学習回数が１００回のところで打ち切っ
て、そのときに得られた重み値を新たな重み値としてニ
ューラルネットワーク１０の内部結合に設定する。そし
てこの新たに設定された重み値を持つニューラルネット
ワーク１０に従って、上述の試行を繰り返していくこと
で、倒立振子モデル１２の振子の倒立を制御するニュー
ラルネットワーク１０の構築をシミュレートしていくこ
とになる。

【００６８】図６〜図１１に、このシミュレーション処
理に得られたシミュレーションデータの一例を図示す
る。図６のシミュレーションデータは、上述の試行を１
０回行った後、倒立振子モデル１２の回転角θ₁の初期
値を９０°、回転角θ₂の初期値を１０°、回転角θ₁
の目標値θ_{t 1}を０°、回転角θ₂の目標値θ_{t 2}を０
°として動作させたときの応答を示している。また、図
７のシミュレーションデータは同じ初期状態にあって、
回転角θ₁の目標値θ_{t 1}を−３０°、回転角θ₂の目
標値θ_{t 2}を０°として動作させたときの回転角θ₁，
θ₂の応答を示している。図８に、この図６のシミュレ
ーションにおけるトルク曲線、図９に、この図６のシミ
ュレーションにおける回転角θ₂、仮想目標値θ_{d 2}の
応答を示す。

【００６９】この図６及び図７のいずれかのシミュレー
ションの場合にも、約５秒後には目標の制御状態に制御
されることになる。このように、本発明では、制御状態
量の目標値との差分値に従って、ニューラルネットワー
ク１０の制御装置としての構築処理を実行するように構
成するものであるから、ニューラルネットワーク１０
は、その構築処理に用いられたものとは異なる目標状態
であっても、倒立振子モデル１２を所望の制御状態に制
御できるようになるのである。

【００７０】図１０及び図１１のシミュレーションデー
タは、図６のシミュレーションを実行する際に、トルク
修正量計算装置１５の算出処理に用いる回転角θ₂の最
大倒れ角θ_2maxを２０°の他に、１０°、３０°、４０
°に設定して１０回の試行を行い、その各々に対して回
転角θ₁，θ₂の応答を求めたものである。このシミュ
レーションデータから、回転角θ₂の最大倒れ角θ_2max
を変えても、倒立振子モデル１２の応答は基本的には変
わらないことが明らかとなった。

【００７１】図示実施例について説明したが本発明はこ
れに限定されるものではない。例えば、実施例では、ニ
ューラルネットワークを用いて制御装置を構築するもの
を開示したがこれに限られることなく、教師信号に応じ
て信号変換機能を調節できるすべてのデータ処理装置に
対してそのまま適用できるのである。例えば、データ処
理装置１をファジィ装置で構成することも可能である。
ファジィ装置とは、人間のもつ知識をＩＦ−ＴＨＥＮ形
式で表し、ファジィ推論を行って対象を制御する制御装
置である。「ファジィ理論の基礎と応用」（坂和正敏
著、森北出版、ｐ．１６６−１７０）や「学習機能付フ
ァジー制御」（電子情報通信学会誌、平成元年８月、Ｖ
ｏｌ．７２，Ｎｏ．８，ｐ．９３７）に紹介されてい
るように、ファジィ装置においては、制御状態量と制御
操作量の間の定性的なデータ関係、あるいは制御規則が
いくつかのＩＦ−ＴＨＥＮルールで記述される。そし
て、これらのＩＦ−ＴＨＥＮルールを用いて推論した結
果が合成されて出力される。

【００７２】そして、実施例では、倒立振子を制御対象
とするものを開示したが、これに限られることなく、す
べての説明対象に対してそのまま適用できるのである。
また、実施例では、実際の制御対象ではなくて、その制
御対象モデルを利用して制御装置を構築するものを開示
したが、これに限られることなく、実際の制御対象その
ものを用いるものであってもよいのであって、そのよう
にすると、クーロン摩擦等を含んだ正確なシステム同定
がなされるので、より適切な制御装置を構築できるよう
になるのである。

【００７３】次に本発明の他の実施例として、倒立振子
の安定化制御の方式について説明する。本実施例に用い
た経験則は、「人間がホウキのような棒を立てながらあ
る位置に移動する場合、その移動したい方向へ棒を傾け
ながら移動する」ということを参考にしている。これを
本実施例に当てはめると、「アームが振り子を立てなが
ら目標位置に移動する場合、目標位置側へ振り子を傾け
ながら移動する」となる。

【００７４】これを関数で表現したのが、図１２であ
る。θ₁がアームのポジションで、θｄ₂がアームのポ
ジションθ₁に対する仮想目標値である。図１２は、原
点がアームθ₁の目標位置を表し、アームθ₁が目標位
置より正側にいる時には、振り子θ₂を負側（目標位置
側）に傾け逆に、アームθ₁が目標位置より負側にいる
時には、振り子θ₂を正側（目標位置側）に傾ける、と
いうことを表現している。

【００７５】図１２には、このような関数が２つ示して
ある。この２つの違いは、振り子θ ₂の傾きの大きさの
違いである。仮想目標値の傾きを小さくとることによっ
て、倒立振子を倒れにくくすることができる。あるい
は、傾きを大きくとることによって、目標位置に素早く
戻すことができる。従って、２種類の仮想目標値を用い
ることによって、目標位置から遠くでは倒れにくくに、
目標位置付近では素早く目標位置に追従させることが可
能である。

【００７６】仮想目標曲線に対応した以下に示す関数に
おいて、仮想目標曲線の種類に対応してパラメータａと
振り子の最大振れ角θ_{2 max}をかえることによって、異
なった関数を形成することができる。そして、例えば２
つの関数に対応した２つの曲線(1) 、(2) 上の点（ここ
では原点）を仮想目標値とすることができる。

【００７７】

【数６】

【００７８】図１３は図１２に示した本発明の他実施例
の構成を示す。図１３において、対応するところは、図
１と同一番号を付する。図１３と図１とが異なること
は、図１３の仮想目標管理装置５は複数の仮想目標値に
対する複数の曲線（関数）を用意することと、図１３の
制御部１０は、図１のニューラルネット１、および学習
装置２からなる複数の制御部１０から構成され、それぞ
れの制御部１０が仮想目標管理装置５の複数の曲線（関
数）と対応して設けられている。１つの制御部は１つの
仮想目標値に対応する曲線（関数）について学習し、異
なる制御部は、異なる仮想目標値に対応する関数につい
て学習する。すなわち本実施例では仮想目標値を予め、
システムの状態に応じて設定しておき、学習時にシステ
ムの状態が変化する都度、制御部を変更して、随時学習
する方法である。

【００７９】制御部１０は現在の制御対象の状態に応じ
て、与えられた仮想目標値に近づくような出力を出すよ
う訓練されるものとする。この時、仮想目標値の傾を小
さく取ることによって、倒立振子を倒れにくくするとが
できる。あるいは、傾きを大きく取ることによって、目
標位置に素早く戻すことができる。

【００８０】従って、曲線（１），（２）で表される２
種類の仮想目標値を用いることによって、目標値から遠
くでは曲線（１）に従って、腕の角度θ₁が変化して
も、振子の仮想の角度θｄ₂の変化を少なくすることに
より、振子を倒れしくくし、目標値付近では素早く目標
に追従させることが可能である。１つの仮想目標値につ
いて学習を行い、続いて異なる仮想目標値について学習
していけばよい。

【００８１】倒立制御の実行時は、倒立振子からでてく
る現在の腕の位置を使って選択回路１９が、目標値から
遠いときには傾きの少ない曲線（関数）で学習した制御
部を選択し、目標値に近くなったときには、傾きの大き
な曲線（関数）によって学習した制御部を選択する。

【００８２】図１４は本発明のさらに他の実施例を示
す。図１３と異なるところは、制御部１０を１つ設け、
仮想目標管理装置５における複数の曲線（関数）を合成
して得られる１つの曲線（関数）を学習する点である。
例えば、図１２に示した曲線（１），（２）の一部分
を、θ ₁ の値に応じて選択的に用いることで、実線で示
した１つの曲線が合成される。

【００８３】実行時には、その曲線（関数）を制御部１
０が学習してあるので図１３の実施例と異なって、選択
回路１９は不要となる。

【００８４】

【発明の効果】以上説明したように、本発明によれば、
定性的にはある程度の先験的知識が得られているが、定
量的には未知の部分が多いような制御対象に対して、試
行によって教師信号を得て、これを用いて制御対象に対
しての制御規則をデータ処理装置の信号変換機能上に写
像していくことで、データ処理装置をその制御対象の制
御装置として構築していくときにあって、制御状態量の
目標値との差分値に従ってデータ処理装置の構築処理を
実行していくように構成するものであることから、制御
状態量の目標値が変更されるときにあっても学習をやり
直さなくて済むようになる。これより、非線型な制御対
象を扱う制御装置を用意に、かつ一般的な制御規則形式
でもって構築できるようになるのである。

【００８５】本発明はさらに、複数の仮想目標曲線から
合成した特性に従うことにより、先験的知識に基づいて
所望の目標値に向かって変化させることができる。そし
て、本発明では、この実現のために備える教師信号の生
成のための制御操作量の修正量算出装置が、線型の算出
式に従うことで制御対象の応答特性を変更しないで制御
操作量の修正量を算出する構成を採るものであることか
ら、制御対象の持つ応答特性に忠実な制御規則を設定で
きるようになるとともに、制御装置の構築を短時間で実
行できるようになるのである。

【図面の簡単な説明】

【図１】本発明の原理説明図である。

【図２】本発明の一実施例である。

【図３】実施例で用いた倒立振子の説明図である。

【図４】実施例で用いた倒立振子の運動方程式の説明図
である。

【図５】ニューラルネットワークの構成図である。

【図６】シミュレーションデータの説明図である。

【図７】シミュレーションデータの説明図である。

【図８】シミュレーションデータの説明図である。

【図９】シミュレーションデータの説明図である。

【図１０】シミュレーションデータの説明図である。

【図１１】シミュレーションデータの説明図である。

【図１２】本発明の他の実施例を説明する図である。

【図１３】本発明の他の実施例の構成図である。

【図１４】図１３に示した実施例の変形例を示す構成図
である。

【符号の説明】

１データ処理装置２学習処理装置３制御対象４目標値設定装置５仮想目標管理装置６操作修正量計算装置７第１の差分器８第２の差分器

フロントページの続き (56)参考文献特開平２−93708（ＪＰ，Ａ) 池田直人、外２名、「多層ネットワークによる倒立振子の安定化学習制御」、システム制御情報学会論文誌、システム制御情報学会、平成２年12月15日、第３巻、第12号、Ｐ．405−413

Claims

(57)【特許請求の範囲】

【請求項１】可変的な信号変換機能を備えて、教師信
号群が与えられるときに、該信号変換機能を該教師信号
群の持つ入出力特性を実現するものに設定可能とする構
成を採るデータ処理装置（１）と、制御対象の所望の制御状態を実現するために得られてい
る先験的知識であって、制御状態量とその目標値との関
係を表す該先験的知識を管理する仮想目標管理装置
（５）と、制御操作量が与えられるときに、制御対象若しくはその
制御対象モデルの持つ制御状態量と、該制御状態量に対
応して上記仮想目標管理装置（５）の管理データから特
定される制御状態量の仮想的な目標値とから、所望の制
御状態を実現するために必要となる該制御操作量の修正
量を算出する操作修正量計算装置（６）とを備え、上記データ処理装置（１）に入力を与えるとともに、該
入力に対応する出力を制御操作量として扱って制御対象
若しくはその制御対象モデルに与え、かつ、そのときの
上記操作修正量計算装置（６）からの修正量に従って、
該制御操作量を修正していくことで教師信号を得て、そ
の得た教師信号に従って、上記信号変換機能を設定して
いくことで、上記データ処理装置（１）を所望の制御状
態を実現するための制御装置として構築していく制御装
置構築システムであって、上記データ処理装置（１）は、制御対象若しくはその制
御対象モデルの出力する制御状態量と、制御目標となる
制御状態量との差分値若しくは該差分値から得られる値
を入力していく構成を採るとともに、上記仮想目標管理
装置（５）は、制御状態量とその目標値との差分値をパ
ラメータにして制御状態量とその目標値との関係の先験
的知識を管理するよう構成されてなることを特徴とする
制御装置構築処理システム。
【請求項２】請求項１記載の制御装置構築処理システ
ムにおいて、操作修正量計算装置（６）は、制御対象若
しくはその制御対象モデルの持つ制御状態量と、仮想目
標管理装置（５）の出力する仮想的な目標値との差分値
に比例係数を乗ずることで、制御操作量の修正量を算出
するよう構成されてなることを特徴とする制御装置構築
処理システム。
【請求項３】請求項１又は２記載の制御装置構築処理
システムにおいて、データ処理装置（１）は、１つ又は
複数の入力と該入力に対して乗算されるべき内部状態値
とを受け取って積和値を得るとともに、該積和値を所定
の関数によって変換して出力値を得る基本ユニットの内
部結合により構成されるネットワーク構造部により構成
されることを特徴とする制御装置構築処理システム。
【請求項４】請求項１又は２記載の制御装置構築処理
システムにおいて、データ処理装置（１）は、制御状態
量と制御操作量との間の定性的なデータ関係をＩＦ−Ｔ
ＨＥＮルールで記述するとともに、該ＩＦ−ＴＨＥＮル
ールに記述される前記状態量及び制御操作量の定性属性
をメンバシップ関数で記述するファジィ装置により構成
されることを特徴とする制御装置構築処理システム。
【請求項５】第１の制御状態量に対応する第１の変数
の現在値と目標値との差分から予め定められた仮想目標
曲線に従って第２の制御状態量に対応する第２の変数に
関する仮想目標値を算出する仮想目標管理手段（５）
と、前記得られた第２の変数に関する仮想目標値と現在の制
御対象の出力値である第１と第２の変数とを用いて制御
対象の入力信号の修正量を計算する操作修正量計算手段
（６）と、制御対象に与える現在の入力信号と前記制御対象の入力
信号の前記修正量とから新しい教師信号を形成する第１
の演算手段（８）と、制御対象の第１、第２の変数の現在値と第１、第２の変
数の目標値との差分値を計算する第２の演算手段（７）
と、前記差分値を入力し前記教師信号を用いて前記第１の変
数と第２の変数との関係を前記仮想目標管理手段（５）
で定められたデータ依存関係が結ばれるように学習し、
且つまた、前記制御対象が目標値設定手段で与えられた
目標値になったときも前記仮想目標管理手段（５）で設
定されたデータ依存関係が保たれるように前記教師信号
を使って学習し、実行時には学習結果に基づいて前記第
２の演算手段（７）からの差分値に対する応答結果を前
記制御対象に与えることにより、前記制御対象が、前記
与えられた目標値において所望の目的が達せられるよう
に制御する学習機能を有する制御手段（１，２，１０）
とからなることを特徴とする制御装置構築処理システ
ム。
【請求項６】請求項５記載の制御装置構築処理システ
ムにおいて、前記制御手段はニューラルネットワークか
ら構成されることを特徴とする制御装置構築処理システ
ム。
【請求項７】請求項６記載の制御装置構築処理システ
ムにおいて、前記ニューラルネットワークはバックプロ
パゲーションアルゴリズムによって学習することを特徴
とする制御装置構築処理システム。
【請求項８】請求項５記載の制御装置構築処理システ
ムにおいて、複数の仮想目標曲線に対応して前記制御手段を複数個備
え、現在の制御対象からの出力により、前記複数の制御
手段の１つを選択する手段をさらに備えることを特徴と
する制御装置構築処理システム。
【請求項９】請求項５記載の制御装置構築処理システ
ムにおいて、前記仮想目標曲線を複数の仮想目標曲線を選択的に用い
て生成する手段をさらに備えることを特徴とする制御装
置構築処理システム。
【請求項１０】制御対象を与えられた目標値へ制御す
るために制御変数の一部または全部を、経験に基づく複
数の仮想的な目標曲線によって表す仮想目標管理部と、
前記複数の仮想目標曲線のうちの一つの曲線上の仮想目
標値を実現するような制御対象への入力を設定する制御
部と、仮想目標値と制御対象の現在の出力値とを用いて
制御対象の入力信号の修正量を計算する操作修正量計算
手段と、制御対象に与える現在の入力信号と前記制御対象の入力
信号の前記修正量とから新しい制御対象の入力信号を形
成する演算手段と、該制御部に前記仮想目標管理部が算出した仮想目標値を
実現できる制御対象の現在の制御状態量に関する入力と
前記制御対象の入力に与える出力との入出力関係を学習
させる学習処理手段とからなることを特徴とする制御装
置。
【請求項１１】請求項１０記載の制御装置において、前記制御部は、前記複数の仮想目標曲線の各々を実現で
きる前記入出力関係を学習する複数の制御ユニットを含
み、制御対象の制御状態量によって、前記複数の制御ユ
ニットのいずれかを選択する手段をさらに備えることを
特徴とする制御装置。
【請求項１２】請求項１０記載の制御装置において、前記学習処理手段は、制御対象の制御状態量によって、
前記複数の仮想目標曲線を選択的に用いて、該仮想目標
値を実現できる前記入出力関係を前記制御部に学習させ
ることを特徴とする制御装置。