JPH03259303A - 学習制御装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、予め設定された応答特性のもとで入力指令に
対して所定の出力結果を与えるようにした制御系に係り
、特にロボットの制御に好適な学習制御装置に関する。

〔従来の技術〕

従来、ＰＩＤ（比例・積分・微分）制御則を用いた制御
システムの各ゲインの調整を、ニューラルネットワーク
という学習装置を用いて自動的に行なわせようとする場
合、 第６回日本ロボット学会学術講演会論文集（昭６３−１
０）、第１４３頁〜第１４４頁に記載のように、ニュー
ラルネットワークの学習に用いる教師信号は、予め人間
が実験的、あるいは解析的に準備したものを用いていた
。

しかしながら、ロボットのマニピュレータにおける位置
と力のハイブリッド制御は、制御システム全体のフィー
ドバックのループ内に制御対象物の動特性が含まれるた
め、制御対象物の動特性を知らなければ安定な制御がで
きない。また、固定ＰＩＤゲインによる制御では、その
適応性が限られてしまうため、取り扱う対象物によって
適宜ＰＩＤゲインを変化させる必要がある。

そこで、上記従来技術では、制御システムのパラメータ
であるＰＩＤゲインを、ニューラルネットワークを用い
て適宜変化させる方式をとっていた。

この方式では、ニューラルネットワークは、入力に応じ
た最適なＰＩＤのゲインの値の決め方を学習により自己
形成する。つまり、ニューラルネットワークの入力をマ
ニピュレータ先端の位置と、フィードバックされる力、
および力の目標値とし、ニューラルネットワークの出力
をＰＩＤ各ゲインとするのである。

そして、このニューラルネットワークによる学習には、
入力に対して与えられる、望ましい出力を表わすデータ
と、実際のニューラルネットワークの出力データとを比
較し、その誤差を最小にするようにネットワークの状態
を変化させていく、バックプロパゲーション・アルゴリ
ズムを用い、このバックプロパゲーション・アルゴリズ
ムを繰す返し行なうことで、ニューラルネットワークの
出力が、望ましい出力に近付いていく。

ところで、ここで使われている、入力に対して与えられ
るべき望ましい出力データのことを教師信号というが、
上記従来技術では、この教師信号として、予め人間が制
御システムが安定になるように、実験あるいは制御系の
解析を行なって求めておいたＰＩＤゲインを用いていた
。

このようにして求められたいくつかの教師信号を用いて
、ニューラルネットワークは、制御システムの特性の一
部分を学習していた。そして５学習後は、ニューラルネ
ットワークは、学習した特性から制御システムの動特性
を推定し、入力に応じたＰＩＤゲインを出力するように
なっていた。

〔発明が解決しようとする課題〕

上記従来技術は、学習装置の学習に用いる教師信号とし
て、制御システムの出力の評価値が目標とする値になる
ように、人間が予め実験的、あるいは解析的に準備した
ものを必要とする。

このため、良好な実験結果が得られない場合や、解析す
るためのモデルが構築できないような場合には、教師信
号を予め作成することができず、学習装置に学習させる
ことができなくなってしまうという問題があった。

また、従来技術ては、教師信号を作成することが可能で
あっても、大量の均質な教師データを作成する作業に膨
大な時間がかかつてしまうという問題があった。

本発明の目的は、極力人間の介在なしに、学習装置の学
習が可能で、学習後の学習装置を用いることにより、制
御システムの出力の評価値が目標とする値になるように
するとかできる教師信号を自動的に生成する機能を持っ
た学習制御装置を提供することにある。

〔課題を解決するための手段〕

上記目的を達成するため、通常の学習制御装置としての
動作モードに加えて、学習装置の学習を自動的に行なう
学習モードを設け、この学習モードにおいて、自動的に
制御システムの調整信号をランダムに発生させる働きを
する教師信号生成装置を設けたものである９ さらに、制御システムの入力と、前述の教師信号生成装
置が生成するランダムな調整信号に対する制御システム
の出力を評価する評価装置を設けたものである。

また、通常の学習制御装置としての動作モードにおいて
、制御システムの出力の評価値に対する目標値を設定す
るための目標評価値設定装置を設けたものである。

さらにまた、上記２種のモードにおいて、教師信号生成
装置の接続切離し、ならびに評価装置と目標評価値設定
装置の切換えを行なう、切換え装置を設けたものである
。

〔作用〕

前述の学習モードにおいて、教師信号生成装置は、制御
システムを動作させるための調整信号をランダムに発生
し、この値を調整信号として制御システムに渡す。

制御システムに入力が与えられると、制御システムは、
上記調整信号によって決定される入出力特性に応じた応
答を出力する。

そこで、評価装置は、この出力を評価し、これによって
、人間が介在することなく、学習データ、すなわち調整
信号と、それに対応する制御システムの応答、およびそ
の応答に対する評価値が１組得られたことになる。

以後、学習データは学習装置に渡され、学習装置は、制
御システムの出力、および評価装置の評価値と、教師信
号生成装置の生成する調整信号との関係を、学習装置内
部の状態を変更することにより学習する。

以上のプロセスを繰り返し、学習を重ねることによって
、ランダムな教師信号と学習装置の出力とが近付いてく
るようになり、学習装置内部に制御システムの出力およ
び評価装置の評価値と、調整信号との関連付けができ上
がる。つまり、制御システムの特性が学習できることに
なる。

学習後は、切り換え装置が学習制御装置を動作モードに
切り換える。このとき教師信号は不要となるため、教師
信号生成装置は切り放される。また、評価装置も不要に
なり、かわりに目標評価値設定装置が接続される。この
目標評価値設定装置に、人間が目標評価値を設定するこ
とにより、目標評価値が学習装置の入力となる。

学習装置は内部に制御システムの出力および評価値と、
調整信号との関連付けができているので、そのときの制
御システムの出力と、設定されている目標評価値とを入
力することで、それに対応する調整信号を出力する。こ
の調整信号を制御システムに入力することにより、制御
システムの出力の評価値を、設定されている目標評価値
に一致させるよう、制御システムの入出力特性を調整す
ることができる。

〔実施例〕 以下に本発明の第１の実施例について第１図ないし第５
図を用いて、そして第２の実施例については第６図から
第９図を用いて、それぞれ説明する。

第１の実施例は、制御システムの適用対象をＰＩＤ制御
則を用いた力制御系にとり、この力制御系の振動を抑制
するように、ＰＩＤ各ゲインをニューラルネットワーク
という学習体を用いて、適宜調整する適応制御の例であ
り、さらに、この実施例では、ロボットハンドをその適
用対象としてしている者である。

まず、第２図は本発明の一実施例が適用されたロボット
ハンドの制御システムの一例を示したもので、図におい
て、制御装置１に与えられた力指令値によってサーボモ
ータ２に電流が流れ、ボールネジ３が回転する。ボール
ネジ３が回転することにより、力センサ４を取り付けた
可動指５が把持対象６をつむように移動する。

そして、この可動指５が把持対象６をつかむと、力セン
サ４により、その把持力がフィードバックされ、力指令
値との偏差がＯになるまで制御装置１からサーボモータ
２に電流が流され、最終的に把持力が力指令値に一致す
るようにされるのである。

第３図は、上記制御システムをブロック図で表わしたも
ので、制御則としてＰＩＤ制御則を用いている。そして
、把持対象Ｇｏはバネ・ダッシュポット・質量系とみな
した２次系の伝達関数の他、力指令値からモータ電流へ
の変換係数、モータ電流からトルクへの変換係数、ボー
ルネジの減速比を含んでいる。

ところで、この制御システムは、把持対象Ｇ。

に合わせてＰＩＤ各ゲインを設定しないとハンチングや
振動を起こしてしまう。そこで、この実施例では、これ
らＰＩＤ各ゲインの設定をニューラルネットワークとい
う学習装置を用いて、自動的に行なうように構成されて
いるものであり、以下これらＰＩＤ各ゲインの設定処理
について説明する。

まず、第５図はモードの遷移フローであり、学習モード
５１と動作モード５２で構成され、学習モード５１は、
ＰＩＤ各ゲインの調整の仕方を、ニューラルネットワー
クに学習させるモードで、動作モード５２は、学習後の
ニューラルネットワークを用いて、適宜ＰＩＤ各ゲイン
を調整し、力制御系の振動を抑制するモードである。

ニューラルネットワークを用いて、適宜ＰＩＤ各ゲイン
を調整するためには、先ず、学習モード５１でニューラ
ルネットワークを学習させ、その後、動作モード５２に
切り換えて、ＰＩＤ各ゲインを調整するのである。

次に、第１図は本発明の一実施例を示すシステム全体構
成図であり、大別すると、制御システム１１と、第３図
に示した比例要素ゲイン調整信号、積分要素ゲイン調整
信号、それに微分要素ゲイン調整信号の３種の信号から
なる教師信号を作成するための調整装置（教師信号を作
成する学習装置）１２からなる。

制御システム１１は、前述のＰＩＤ制御則を用いた制御
系からなり、調整装置１２は、その内部に、学習装置１
３、評価装置１４、教師信号生成装置１５、目標評価値
設定装置１６、切換装置１７を有する。

調整装置１２は、制御システム１１の入出力特性のパラ
メータであるＰＩＤ各ゲインの値を調整するものであり
、切換装置１７は、前述の学習モード９１と動作モード
９２の切り換えを行なう。

そして、実線の切換位置は学習モード時、破線の切換位
置は動作モード時を示す。

先ず、学習モード時について説明する。

評価装置１３は、制御システム１１の出力に現われる振
動の度合いを評価し、所定の評価関数を発生する働きを
える。

教師信号生成装置１４は乱数発生器で構成され、限定さ
れた範囲の数値をランダムに発生し、ＰＩＤ各ゲインの
値を設定するための調整信号をランダムに決定する働き
をする。

学習装置１５はニューラルネットワーク１８を含み、制
御システム１１の指令値と出力、および評価装置１３の
出力から、教師信号生成装置１４の出力を予想し、この
予想と、実際の教師信号生成装置１４の出力との差がＯ
になるように、ニューラルネットワーク１８の内部状態
を変更する働きをする。

次に、動作モード時について説明する。

目標評価値設定装置１６は目標評価値を記憶しておくレ
ジスタであり、制御システム１１が目標とする振動の度
合いを記憶する働きをする。

学習装置１５は、制御システム１１の指令値および出力
と、今回は目標評価値設定装置１６が記憶している目標
評価値とから、ＰＩＤ各ゲインの調整信号を出力する。

この出力は、ニューラルネットワーク１８がＰＩＤ各ゲ
インの調整の仕方を学習しているので、制御システム１
１の出力の評価が、目標評価イ直と一致するような調整
信号となっている。

第４図は、ニューラルネットワーク１８の基本構成図で
ある。

このニューラルネットワーク１８は、複数のニューロン
４１の結合体であり、このニューロン４１は、多入力１
出力の素子で、独立したそれぞれの入力ごとに重み付け
を持った積和演算処理を行なうものである。

この実施例におけるニューラルネットワーク１８はニュ
ーロン４１を層状に結合し、入力層４３、中間層４４、
出力層４５という構造をとっており、従って、まず入力
層４３に与えられた入力情報が、中間層４４、出力層４
５へと順に伝播されることによって処理されることにな
る。そして、ニューラルネットワーク１８は、この情報
の処理の仕方を学習によって自己形成する。

この学習は、１個１個のニューロン間の結合４２の強さ
の加減によって、すなわち、ニューロン４１の入力の重
み付けを変更することによって行なわれるのであるが、
この学習のアルゴリズムとしては、バックプロパゲーシ
ョンと呼ばれる方式ものが知られており、この実施例で
も、このバックプロパゲーション方式が用いている。

従って、この実施例においては、以上に述べたようにし
て、力制御系の振動を抑制するように、ＰＩＤ各ゲイン
をニューラルネットワーク１８を用いて、適宜調整する
ことができ、この結果、この実施例によれば、制御シス
テム１１に含まれているＰＩＤ力制御系を解析する必要
がなく、そのための労力を省略できる。

さらに、振動の度合いの目標値を、パラメータに変換す
ることなしに調整装置１２に入力できるため、そのため
の労力を省略できる。

また、評価装置１３の評価要素を変更し、学習をするだ
けで、他の改造をすることなく、目標とする制御ができ
るという効果がある。

次に、本発明の第２の実施例について説明する。

この実施例は、制御システムによる対象をＸ−Ｙプロッ
タの位置サーボ系とし、このサーボ系の特性をニューラ
ルネットワークを用いて補償する例である。

第６図は、本発明の第２の実施例が対象としているＸ−
ＹプロッタのＸ軸の位置サーボ系を、この位置サーボ系
に内包されている速度サーボ系の応答の方が、この位置
サーボ系自身の応答に比べて十分速いものと同定した場
合のブロック図であり、この場合の位置サーボ系６１は
、積分要素６２、およびその調整ゲイン６３より構成さ
れている。

そして、この位置サーボ系６１は、第６図のブロック図
より明らかなように、１次系の特性の動作をする。なお
、この実施例はＸ−Ｙプロッタなので、これと同じ位置
サーボ系がＹ軸にもある。

第７図は、第６図に示した位置サーボ系を備えたｘ−Ｙ
プロッタの軌跡を示したもので、ＰＯ→Ｐ１の軌跡７１
は、指令通りの軌跡を描いているが、ＰＯ→Ｐ２→Ｐ１
の軌跡７２は、軌跡Ｐ２の周辺で指令した軌跡より逸脱
している。

そこで、位置サーボ系６１を解析してみと、ここでの指
令はランプ入力になるので、ランプ入力を位置サーボ糸
６１に入力したときは、位置サーボ系６１の応答が、ラ
ンプ入力の傾きである速度と、調整ゲイン６３より決ま
る一定量だけ、指令に対して遅れていることが判り、従
って、この遅れを補償する方法を以下に考えてみる。

第８図は、第１図の学習モード時の状態を表わす簡易等
価ブロック図で、この場合、制御システム１１″は、評
価装置１４、および既知である指令値を含めて考えると
、パラメータＫを入力として、評価値Ａを出力とするシ
ステムとして、Ａ＝Ｇ　（Ｋ）という伝達関数Ｇで表わ
すことができる。

一方、上記したように、調整装置１２はニューラルネッ
トワーク１８を内部に有する。そこで、その伝達関数を
Ｇ゛　とすると、Ｋ’　＝Ｇ’　　（Ａ）と表わすこと
ができる。

そこで、Ｋ＝に’　　となるように、この調整装置１２
に、ニューラルネットワーク１８を学習させる。そして
、Ｋ＝に’　となった時点では、調整装置１２の伝達関
数Ｇ°は、制御システム１１゛　の伝達関数Ｇの逆関数
となる。

そこで、こんどは、第９図に示すように接続を切り換え
る。

この第９図は、第１図のシステムの動作モード時におけ
る簡易等価ブロック図で、制御システム１１″は、第８
図と同一のものであり、調整装置１２は、Ｋ＝に’　と
なった時点のものである。

調整装置１２は、目標評価値Ａ°が入力されると、その
伝達関数Ｇ°によって決まるパラメータに°　を出力す
る。そして、制御システム１１°は、このパラメータに
°が入力されたことにより評価値Ａを出力する。ところ
が、調整装置ｉ１２の伝達関数Ｇ′は、制御システム１
１°の伝達関数Ｇの逆関数となっているので、全体の伝
達関数はｌとなり、Ａ＝Ａ’　　となる。

従って、ここでＡを位置、Ａ′　を位置指令とすると、
損失も位相のずれもなく、位置を制御することができる
ことになる。

この実施例によれば、厳密なサーボ系のブロック図が規
定できなくても、サーボ系の特性が補償できるという効
果がある。

〔発明の効果〕

本発明によれば、人間は目標評価値を与えるだけで、制
御システムの出力の評価値を、目標評価値になるように
、制御することができる。

【図面の簡単な説明】

第１図は本発明による学習制御装置の一実施例を示すブ
ロック図、第２図は本発明の一実施例が適用されたロボ
ットハンドの制御システムの一例を示す構成図、第３図
は制御システムのブロック図、第４図はニューラルネッ
トワークの基本構成図、第５図はモードの遷移フロー説
＃Ｊ図、第６図は本発明の第２の実施例が対象としてい
るＸ−ＹプロッタのＸ軸の位置サーボ系のブロック図、
第７図は位置サーボ系を備えたｘ−Ｙプロッタの軌跡を
示す説明図、第８図は学習モード時の状態を表わす簡易
等価ブロック図、第９図は動作モード時における簡易等
価ブロック図である。 １・・・・・・制御装置、２・・・・・・サーボモータ
、３・・・・・・ボールネジ、４・・・・・・力センサ
、５・・・・・・可動指、６・・・・・・把持対象、１
１・・・・・・制御システム、１２・・・・・・調整装
置、１３・・・・・・評価装置、１４・・・・・・教師
信号生成装置、１５・・・・・・学習装置、１６・・・
・・・目標評価値設定装置、１７・・・・・・切換装置
、１８・・・・・・ニューラルネットワーク。 第２図 １＋図 ｌ 第３図 ｔ〒±吐」影巴 １４図 １ｉ５図 第６図 １ 第７図

Claims (1)

1. 【特許請求の範囲】 １、所定の入力指令に応答して所定の出力結果を与える
   制御システムと、上記入力指令と上記出力結果及び予め
   設定されている所定の目標評価値とに基づいて所定の信
   号生成特性のもとで所定の教師信号を作成する学習装置
   とを備え、この教師信号により上記制御システムの応答
   特性を設定するようにした制御系において、予め設定さ
   れた数値範囲内で任意の数値をとる疑似教師信号を発生
   する信号生成手段と、上記制御システムの出力結果を判
   定する評価手段とを設け、上記目標評価値に代えて上記
   評価手段の出力を取り込みながら上記疑似教師信号によ
   り上記制御システムの応答特性を設定した状態で、上記
   学習装置から生成される教師信号が該疑似教師信号に収
   斂する方向に、上記学習装置の信号生成特性を変化させ
   てゆくように構成したことを特徴とする学習制御装置。 ２、請求項１の発明において、上記信号生成手段が乱数
   発生器であり、上記学習装置による上記信号生成特性が
   ニューラルネットワークにより与えられるように構成さ
   れていることを特徴とする学習制御装置。 ３、請求項１の発明において、上記制御系が学習モード
   と動作モードの切換機能を備え、学習モードでは上記学
   習装置の信号生成特性の変更による学習が行なわれ、動
   作モードでは上記教師信号により上記制御システムの応
   答特性が設定された状態で上記制御系が動作するように
   構成されていることを特徴とする学習制御装置。 ４、請求項１の発明において、上記制御システムがＰＩ
   Ｄ力制御系であり、上記教師信号が、このＰＩＤ力制御
   系での比例要素ゲイン調整信号と積分要素ゲイン調整信
   号及び微分要素ゲイン調整信号であることを特徴とする
   学習制御装置。