JPH05158907A - 適応型制御装置の自己学習処理方式 - Google Patents
適応型制御装置の自己学習処理方式Info
- Publication number
- JPH05158907A JPH05158907A JP3051497A JP5149791A JPH05158907A JP H05158907 A JPH05158907 A JP H05158907A JP 3051497 A JP3051497 A JP 3051497A JP 5149791 A JP5149791 A JP 5149791A JP H05158907 A JPH05158907 A JP H05158907A
- Authority
- JP
- Japan
- Prior art keywords
- control
- adaptive
- amount
- learning
- control device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Landscapes
- Feedback Control In General (AREA)
Abstract
(57)【要約】
【目的】本発明は、設定変更可能なデータ変換機能に従
って、入力信号に対応する出力信号を算出して出力する
構成を採って、この入出力信号関係に従って制御対象を
所望の制御状態に制御する適応型制御装置のデータ変換
機能の自己学習を実現する適応型制御装置の自己学習処
理方式に関し、教師信号を要求されることなく、かつオ
ンラインで自己学習を実現できるようにすることを目的
とする。 【構成】適応型制御装置が、試行動作する制御対象の持
つ制御状態量と制御目標量との差分量と、制御対象に与
えられる制御操作量とを入力信号とするとともに、制御
対象に与える制御操作差分量を出力信号とする構成を採
り、かつ、差分量により関数値の規定される評価関数の
該関数値の極小値を実現すべく適応型制御装置のデータ
変換機能を変更する学習装置を備え、学習装置の変更処
理に従って、適応型制御装置を所望の制御処理を実行す
るものに構築するように構成する。
って、入力信号に対応する出力信号を算出して出力する
構成を採って、この入出力信号関係に従って制御対象を
所望の制御状態に制御する適応型制御装置のデータ変換
機能の自己学習を実現する適応型制御装置の自己学習処
理方式に関し、教師信号を要求されることなく、かつオ
ンラインで自己学習を実現できるようにすることを目的
とする。 【構成】適応型制御装置が、試行動作する制御対象の持
つ制御状態量と制御目標量との差分量と、制御対象に与
えられる制御操作量とを入力信号とするとともに、制御
対象に与える制御操作差分量を出力信号とする構成を採
り、かつ、差分量により関数値の規定される評価関数の
該関数値の極小値を実現すべく適応型制御装置のデータ
変換機能を変更する学習装置を備え、学習装置の変更処
理に従って、適応型制御装置を所望の制御処理を実行す
るものに構築するように構成する。
Description
【０００１】
【産業上の利用分野】本発明は、設定変更可能なデータ
変換機能に従って、入力信号に対応する出力信号を算出
して出力する構成を採って、この入出力信号関係に従っ
て制御対象を所望の制御状態に制御する構成を採る適応
型制御装置のデータ変換機能を、教師信号を要求される
ことなく、かつ、オンラインで自己学習できるようにす
る適応型制御装置の自己学習処理方式に関するものであ
る。
変換機能に従って、入力信号に対応する出力信号を算出
して出力する構成を採って、この入出力信号関係に従っ
て制御対象を所望の制御状態に制御する構成を採る適応
型制御装置のデータ変換機能を、教師信号を要求される
ことなく、かつ、オンラインで自己学習できるようにす
る適応型制御装置の自己学習処理方式に関するものであ
る。
【０００２】ニューロコンピュータ等のように、設定変
更可能なデータ変換機能に従ってデータ処理を実行する
適応型データ処理装置があり、この適応型データ処理装
置を用いて、制御対象を所望の制御状態に制御する適応
型制御装置を構築していくことが行われている。このよ
うな適応型制御装置を複雑な制御対象の制御処理にも用
いることができるようにするためには、そのデータ変換
機能を教師信号を用いずに自己学習できるようにしてい
く必要があるのである。
更可能なデータ変換機能に従ってデータ処理を実行する
適応型データ処理装置があり、この適応型データ処理装
置を用いて、制御対象を所望の制御状態に制御する適応
型制御装置を構築していくことが行われている。このよ
うな適応型制御装置を複雑な制御対象の制御処理にも用
いることができるようにするためには、そのデータ変換
機能を教師信号を用いずに自己学習できるようにしてい
く必要があるのである。
【０００３】
【従来の技術】ニューロコンピュータ等のような適応型
データ処理装置に従ってデータ処理目的を実現するとき
には、データ処理目的にかなう入出力信号関係を持つ教
師信号群を入手して、その教師信号群の入出力信号関係
が実現できるようにと、バックプロパゲーション法等の
学習アルゴリズムを用いて適応型データ処理装置のデー
タ変換機能を学習していくことになる。
データ処理装置に従ってデータ処理目的を実現するとき
には、データ処理目的にかなう入出力信号関係を持つ教
師信号群を入手して、その教師信号群の入出力信号関係
が実現できるようにと、バックプロパゲーション法等の
学習アルゴリズムを用いて適応型データ処理装置のデー
タ変換機能を学習していくことになる。
【０００４】この教師信号群を入手することは、データ
処理目的が、例えば入力値の論理積値を算出するといっ
たように数学的に明示的である場合や、入力文字の認識
といったように入出力信号関係が明示的である場合に
は、比較的容易に可能となるものの、データ処理目的が
複雑となってくると極めて困難なものとなっている。特
に、データ処理目的が制御対象の制御処理にある場合、
制御対象が複雑であることで教師信号群の入手が事実上
不可能という点が挙げられる。これから、制御装置を適
応型データ処理装置で構築することができないというの
が実情である。
処理目的が、例えば入力値の論理積値を算出するといっ
たように数学的に明示的である場合や、入力文字の認識
といったように入出力信号関係が明示的である場合に
は、比較的容易に可能となるものの、データ処理目的が
複雑となってくると極めて困難なものとなっている。特
に、データ処理目的が制御対象の制御処理にある場合、
制御対象が複雑であることで教師信号群の入手が事実上
不可能という点が挙げられる。これから、制御装置を適
応型データ処理装置で構築することができないというの
が実情である。
【０００５】次に、この点に関して、多関節を持つロボ
ットマニピュレータを具体例にして説明する。多関節の
ロボットマニピュレータでは、ｘi （ｉ＝１〜ｍ）をｍ
次元空間の空間座標、ｑj （ｊ＝１〜ｎ）をｎ個ある関
節の第ｊ関節の関節変位角度とするならば、ｑ ＝（ｑ1,ｑ2,ｑ3,…ｑn ）T 但し、Ｔは転置行列 という関節変位角度ベクトルを制御操作量として持ち、ｘ ＝（ｘ1,ｘ2,ｘ3,…ｘm ）T という手先位置ベクトルの制御状態量を持つことにな
り、これらの間には、非線形で表されるｘ ＝Ｆ（ｑ） 式 という関係式が成立することになる。
ットマニピュレータを具体例にして説明する。多関節の
ロボットマニピュレータでは、ｘi （ｉ＝１〜ｍ）をｍ
次元空間の空間座標、ｑj （ｊ＝１〜ｎ）をｎ個ある関
節の第ｊ関節の関節変位角度とするならば、ｑ ＝（ｑ1,ｑ2,ｑ3,…ｑn ）T 但し、Ｔは転置行列 という関節変位角度ベクトルを制御操作量として持ち、ｘ ＝（ｘ1,ｘ2,ｘ3,…ｘm ）T という手先位置ベクトルの制御状態量を持つことにな
り、これらの間には、非線形で表されるｘ ＝Ｆ（ｑ） 式 という関係式が成立することになる。
【０００６】この非線形な関係式から分かるように、関
節変位角度ベクトルｑが与えられれば、この関係式に代
入していくことで、手先位置ベクトルｘは容易に決定で
きる。すなわち、マニピュレータの各関節の駆動機構に
駆動電流等のエネルギーを与えれば、一義的にマニピュ
レータの手先位置が決定されていくことになることから
も分かるように、関節変位角度ベクトルｑが与えられれ
ば、この関係式に従って、手先位置ベクトルｘが一義的
に決定されることになるのである。しかるに、実際にロ
ボットマニピュレータで作業を行う場合には、手先位置
ベクトルｘを指定してマニピュレータに要求される移動
軌道が与えられる。これから、ロボットマニピュレータ
の制御を実現するためには、この関係式を逆に解いてい
く必要がある。すなわち、ｑ ＝Ｆ -1（ｘ） 式 という関係式を導き出す必要がある。この式を解く問
題は、逆運動学問題と言われるものであって、手先位置
ベクトルｘに対応する関節変位角度ベクトルｑが存在す
るものとは限らず、また、存在しても一意とは限らない
という性質を持っている。
節変位角度ベクトルｑが与えられれば、この関係式に代
入していくことで、手先位置ベクトルｘは容易に決定で
きる。すなわち、マニピュレータの各関節の駆動機構に
駆動電流等のエネルギーを与えれば、一義的にマニピュ
レータの手先位置が決定されていくことになることから
も分かるように、関節変位角度ベクトルｑが与えられれ
ば、この関係式に従って、手先位置ベクトルｘが一義的
に決定されることになるのである。しかるに、実際にロ
ボットマニピュレータで作業を行う場合には、手先位置
ベクトルｘを指定してマニピュレータに要求される移動
軌道が与えられる。これから、ロボットマニピュレータ
の制御を実現するためには、この関係式を逆に解いてい
く必要がある。すなわち、ｑ ＝Ｆ -1（ｘ） 式 という関係式を導き出す必要がある。この式を解く問
題は、逆運動学問題と言われるものであって、手先位置
ベクトルｘに対応する関節変位角度ベクトルｑが存在す
るものとは限らず、また、存在しても一意とは限らない
という性質を持っている。
【０００７】このように、ロボットマニピュレータの手
先位置が与えられるときに、それを実現する関節変位角
度を求めるには、式の関係式を解いていく必要があ
る。しかしながら、この方法は、単純な構造のロボット
マニピュレータに対しては実現可能であるものの、関節
数が多くなるような複雑な構造のロボットマニピュレー
タに対しては、複雑な解析処理が要求されることになっ
て現実には不可能である。これから、複雑な構造を持つ
ロボットマニピュレータについては、制御目的を実現す
るための教師信号群を得ることができないので、適応型
データ処理装置により構成される適応型制御装置を構築
することができないことになる。
先位置が与えられるときに、それを実現する関節変位角
度を求めるには、式の関係式を解いていく必要があ
る。しかしながら、この方法は、単純な構造のロボット
マニピュレータに対しては実現可能であるものの、関節
数が多くなるような複雑な構造のロボットマニピュレー
タに対しては、複雑な解析処理が要求されることになっ
て現実には不可能である。これから、複雑な構造を持つ
ロボットマニピュレータについては、制御目的を実現す
るための教師信号群を得ることができないので、適応型
データ処理装置により構成される適応型制御装置を構築
することができないことになる。
【０００８】この問題点を解決する１つの方法として、
ランダムな関節変位角度ベクトルｑを想定し、この想定
した関節変位角度ベクトルｑを式の関係式に代入する
ことで、この想定した関節変位角度ベクトルｑに対応す
る手先位置ベクトルｘを求める。そして、この求めた手
先位置ベクトルｘを構築対象の適応型制御装置に入力し
た場合に、その適応型制御装置からその手先位置ベクト
ルｘに対応する関節変位角度ベクトルｑが出力されるこ
とになるようにと、適応型制御装置の持つデータ変換機
能を学習していくという方法を採ることが行われてい
る。
ランダムな関節変位角度ベクトルｑを想定し、この想定
した関節変位角度ベクトルｑを式の関係式に代入する
ことで、この想定した関節変位角度ベクトルｑに対応す
る手先位置ベクトルｘを求める。そして、この求めた手
先位置ベクトルｘを構築対象の適応型制御装置に入力し
た場合に、その適応型制御装置からその手先位置ベクト
ルｘに対応する関節変位角度ベクトルｑが出力されるこ
とになるようにと、適応型制御装置の持つデータ変換機
能を学習していくという方法を採ることが行われてい
る。
【０００９】図１６に、この従来技術の学習処理の説明
図を図示する。ここで、この図では、適応型制御装置の
データ変換機能の学習を実行する学習処理装置について
は、適応型制御装置を斜めに突きさす直線でもってその
存在を示している。すなわち、この従来技術では、解く
ことが可能な式の関係式に従って、関節変位角度ベク
トルｑと手先位置ベクトルｘとの対応関係を作成し、次
に、この対応関係を逆に見ることでロボットマニピュレ
ータの制御のための教師信号（本来は式の関係式を解
くことで得られるものである）を作成して、この教師信
号を用いてロボットマニピュレータの制御処理のために
用意される適応型制御装置のデータ変換機能の学習を行
っていくのである。
図を図示する。ここで、この図では、適応型制御装置の
データ変換機能の学習を実行する学習処理装置について
は、適応型制御装置を斜めに突きさす直線でもってその
存在を示している。すなわち、この従来技術では、解く
ことが可能な式の関係式に従って、関節変位角度ベク
トルｑと手先位置ベクトルｘとの対応関係を作成し、次
に、この対応関係を逆に見ることでロボットマニピュレ
ータの制御のための教師信号（本来は式の関係式を解
くことで得られるものである）を作成して、この教師信
号を用いてロボットマニピュレータの制御処理のために
用意される適応型制御装置のデータ変換機能の学習を行
っていくのである。
【００１０】
【発明が解決しようとする課題】しかしながら、この図
１６に示す従来技術では、オフライン学習であるという
問題点がある。そして、教師信号を間接的に求めていく
ものであることから、正確なデータ変換を得るために
は、式の関係式に従って多数の入出力信号の対応関係
を生成しなければならないという問題点がある。更に、
ロボットアームのリンク長といったような制御対象の持
つパラメータが変化すると、改めて学習をやり直さなく
てはならないという問題点がある。
１６に示す従来技術では、オフライン学習であるという
問題点がある。そして、教師信号を間接的に求めていく
ものであることから、正確なデータ変換を得るために
は、式の関係式に従って多数の入出力信号の対応関係
を生成しなければならないという問題点がある。更に、
ロボットアームのリンク長といったような制御対象の持
つパラメータが変化すると、改めて学習をやり直さなく
てはならないという問題点がある。
【００１１】本発明はかかる事情に鑑みてなされたもの
であって、設定変更可能なデータ変換機能に従って、入
力信号に対応する出力信号を算出して出力する構成を採
って、この入出力信号関係に従って制御対象を所望の制
御状態に制御する構成を採る適応型制御装置のデータ変
換機能を、教師信号を要求されることなく、かつ、オン
ラインで自己学習できるようにする新たな適応型制御装
置の自己学習処理方式の提供を目的とするものである。
であって、設定変更可能なデータ変換機能に従って、入
力信号に対応する出力信号を算出して出力する構成を採
って、この入出力信号関係に従って制御対象を所望の制
御状態に制御する構成を採る適応型制御装置のデータ変
換機能を、教師信号を要求されることなく、かつ、オン
ラインで自己学習できるようにする新たな適応型制御装
置の自己学習処理方式の提供を目的とするものである。
【００１２】
【課題を解決するための手段】図１（ａ)(ｂ）に本発明
の原理構成を図示する。図中、１は適応型制御装置、２
は非線形の制御対象、３は学習処理装置、４は適応型デ
ータ処理装置、５は加算装置である。適応型制御装置１
や適応型データ処理装置４としては、誤差逆伝播型やＣ
ＭＡＣ型や自己組織型等のネットワーク構成データ処理
装置といったような様々な形式の適応型データ処理装置
を用いることが可能である。また、制御対象２は、その
数学的なモデルを確立できる必要はないが、入出力関係
は測定可能であるものとし、特性パラメータについては
時間的に変化することも許容する。
の原理構成を図示する。図中、１は適応型制御装置、２
は非線形の制御対象、３は学習処理装置、４は適応型デ
ータ処理装置、５は加算装置である。適応型制御装置１
や適応型データ処理装置４としては、誤差逆伝播型やＣ
ＭＡＣ型や自己組織型等のネットワーク構成データ処理
装置といったような様々な形式の適応型データ処理装置
を用いることが可能である。また、制御対象２は、その
数学的なモデルを確立できる必要はないが、入出力関係
は測定可能であるものとし、特性パラメータについては
時間的に変化することも許容する。
【００１３】適応型制御装置１は、設定変更可能なデー
タ変換機能に従って、入力信号に対応する出力信号を算
出して出力する構成を採り、この入出力信号関係に従っ
て制御対象２を所望の制御状態に制御するものであっ
て、試行動作する制御対象２の持つ制御状態量（図中の
ｘ）とこの制御状態量の制御目標量（図中のｘd ）との
差分量（図中のｅx ）と、制御対象２に与えられる制御
操作量（図中のｑ）とを入力信号とするとともに、制御
対象２に与える制御操作差分量（図中のΔｑ）を出力信
号とする構成を採る。
タ変換機能に従って、入力信号に対応する出力信号を算
出して出力する構成を採り、この入出力信号関係に従っ
て制御対象２を所望の制御状態に制御するものであっ
て、試行動作する制御対象２の持つ制御状態量（図中の
ｘ）とこの制御状態量の制御目標量（図中のｘd ）との
差分量（図中のｅx ）と、制御対象２に与えられる制御
操作量（図中のｑ）とを入力信号とするとともに、制御
対象２に与える制御操作差分量（図中のΔｑ）を出力信
号とする構成を採る。
【００１４】学習処理装置３は、適応型制御装置１に入
力される差分量（図中のｅx ）の例えば２乗和により規
定される評価関数を定義して、この定義した評価関数の
関数値の極小値が実現されるようにと適応型制御装置１
のデータ変換機能を変更していく処理を実行する。この
学習処理装置３は、誤差逆伝播型のネットワーク構成デ
ータ処理装置の学習に用いられるバックプロパゲーショ
ン法の学習アルゴリズムとは異なって、教師信号を必要
としないで学習処理を実行することになる。
力される差分量（図中のｅx ）の例えば２乗和により規
定される評価関数を定義して、この定義した評価関数の
関数値の極小値が実現されるようにと適応型制御装置１
のデータ変換機能を変更していく処理を実行する。この
学習処理装置３は、誤差逆伝播型のネットワーク構成デ
ータ処理装置の学習に用いられるバックプロパゲーショ
ン法の学習アルゴリズムとは異なって、教師信号を必要
としないで学習処理を実行することになる。
【００１５】適応型データ処理装置４は、設定変更可能
なデータ変換機能に従って、入力信号に対応する出力信
号を算出して出力する構成を採って、試行動作する制御
対象２の持つ制御状態量の制御目標量（図中のｘd ）を
入力信号とし、制御対象２に与える制御操作量（図中の
ｑ’）を出力信号とする構成を採るとともに、この出力
信号の制御操作量が、適応型制御装置１により設定され
て制御対象２に与えられる制御操作量（図中のｑ）と一
致することになるようにとデータ変換機能が学習される
ように構成される。適応型データ処理装置４は、更に、
制御対象２の持つ特性パラメータを入力信号とすること
がある。
なデータ変換機能に従って、入力信号に対応する出力信
号を算出して出力する構成を採って、試行動作する制御
対象２の持つ制御状態量の制御目標量（図中のｘd ）を
入力信号とし、制御対象２に与える制御操作量（図中の
ｑ’）を出力信号とする構成を採るとともに、この出力
信号の制御操作量が、適応型制御装置１により設定され
て制御対象２に与えられる制御操作量（図中のｑ）と一
致することになるようにとデータ変換機能が学習される
ように構成される。適応型データ処理装置４は、更に、
制御対象２の持つ特性パラメータを入力信号とすること
がある。
【００１６】この適応型データ処理装置４のデータ変換
機能の学習処理は、適応型制御装置１により設定されて
制御対象２に与えられる制御操作量（図中のｑ）を出力
側に提示する教師信号とするものであることから、バッ
クプロパゲーション法の学習アルゴリズム等のような従
来方式により実行されるものであって、図１６と同様
に、適応型データ処理装置４を斜めに突きさす直線でも
ってその学習処理装置の存在を図示してある。
機能の学習処理は、適応型制御装置１により設定されて
制御対象２に与えられる制御操作量（図中のｑ）を出力
側に提示する教師信号とするものであることから、バッ
クプロパゲーション法の学習アルゴリズム等のような従
来方式により実行されるものであって、図１６と同様
に、適応型データ処理装置４を斜めに突きさす直線でも
ってその学習処理装置の存在を図示してある。
【００１７】加算装置５は、適応型制御装置１の出力す
る制御操作差分量（図中のΔｑ）と、適応型データ処理
装置４の出力する制御操作量（図中のｑ’）との加算量
を制御対象２に制御操作量として与えていく処理を実行
する。
る制御操作差分量（図中のΔｑ）と、適応型データ処理
装置４の出力する制御操作量（図中のｑ’）との加算量
を制御対象２に制御操作量として与えていく処理を実行
する。
【００１８】
【作用】ｋサイクル目の試行サイクル時点において、制
御対象２に制御操作量ｑ（ｋ）が与えられるときに、制
御対象２が制御状態量ｘ（ｋ）を示すものとする。この
状態にあるときに、制御処理の目標となる制御目標量ｘ
d が与えられるとする。このとき、適応型制御装置１に
は、ｘ（ｋ）とｘd との誤差量である差分量ｅx ( ｋ）
が入力される。その結果、適応型制御装置１は、データ
変換機能をＮ1 、そのデータ変換機能Ｎ1 を規定する内
部状態値をｗ1(ｋ）で表すならば、Δｑ （ｋ）＝Ｎ1 （ｅx ( ｋ），ｑ（ｋ），ｗ1(ｋ）） を出力する。これにより、制御対象２に制御操作量（ｑ
（ｋ）＋Δｑ（ｋ））が与えられることになり、制御対
象２の制御状態量はｘ（ｋ＋１）（≡ｘ（ｋ）＋Δｘ
（ｋ））に遷移する。
御対象２に制御操作量ｑ（ｋ）が与えられるときに、制
御対象２が制御状態量ｘ（ｋ）を示すものとする。この
状態にあるときに、制御処理の目標となる制御目標量ｘ
d が与えられるとする。このとき、適応型制御装置１に
は、ｘ（ｋ）とｘd との誤差量である差分量ｅx ( ｋ）
が入力される。その結果、適応型制御装置１は、データ
変換機能をＮ1 、そのデータ変換機能Ｎ1 を規定する内
部状態値をｗ1(ｋ）で表すならば、Δｑ （ｋ）＝Ｎ1 （ｅx ( ｋ），ｑ（ｋ），ｗ1(ｋ）） を出力する。これにより、制御対象２に制御操作量（ｑ
（ｋ）＋Δｑ（ｋ））が与えられることになり、制御対
象２の制御状態量はｘ（ｋ＋１）（≡ｘ（ｋ）＋Δｘ
（ｋ））に遷移する。
【００１９】このような試行を実行していくときに、学
習処理装置３は、例えば、下記の評価関数Ｊ1 を定義し
て、
習処理装置３は、例えば、下記の評価関数Ｊ1 を定義し
て、
【数１】 この評価関数Ｊ1 の関数値が極小値を示すことになるよ
うにと、適応型制御装置１のデータ変換機能Ｎ1 を規定
する内部状態値をｗ1(ｋ）を更新する。この更新量Δｗ
1(ｋ）は、例えば最急降下法に従って、
うにと、適応型制御装置１のデータ変換機能Ｎ1 を規定
する内部状態値をｗ1(ｋ）を更新する。この更新量Δｗ
1(ｋ）は、例えば最急降下法に従って、
【数２】 但し、μ1 ：正の定数 Ｔ ：転置行列 により決定される。
【００２０】後述する実施例で詳述するように、この
〔数２〕式で表される内部状態値ｗ1(ｋ）の更新量Δｗ
1(ｋ）は、具体的に特定することが可能な値である。こ
れから、適応型制御装置１は、「ｘ（ｋ）→ｘd 」が実
現されるようにと、データ変換機能Ｎ1 を規定する内部
状態値ｗ1(ｋ）を更新していく。その結果、学習終了後
の適応型制御装置１のデータ変換機能Ｎ1 には、
〔数２〕式で表される内部状態値ｗ1(ｋ）の更新量Δｗ
1(ｋ）は、具体的に特定することが可能な値である。こ
れから、適応型制御装置１は、「ｘ（ｋ）→ｘd 」が実
現されるようにと、データ変換機能Ｎ1 を規定する内部
状態値ｗ1(ｋ）を更新していく。その結果、学習終了後
の適応型制御装置１のデータ変換機能Ｎ1 には、
【数３】 の写像が形成される。この写像は、制御対象２が正確に
数学モデルとして表されるときに導出されるΔｑ ＝Ｊ（ｑ） -1Δｘ に相当するものである。ここで、Ｊ（ｑ）-1はInverse
Jacobianであって、Ｊ （ｑ）-1＝（∂Ｆ（ｑ）／∂ｑ）-1 と表される。
数学モデルとして表されるときに導出されるΔｑ ＝Ｊ（ｑ） -1Δｘ に相当するものである。ここで、Ｊ（ｑ）-1はInverse
Jacobianであって、Ｊ （ｑ）-1＝（∂Ｆ（ｑ）／∂ｑ）-1 と表される。
【００２１】すなわち、学習処理装置３は、正確な数学
モデルが確立できないような制御対象２であっても、教
師信号を要求することなく、かつ、オンライン処理でも
って、適応型制御装置１のデータ変換機能Ｎ1 に制御目
標量への制御処理の実現のためのInverse Jacobianを形
成することで、適応型制御装置１をその制御対象２の制
御処理のための制御装置として構築することができるの
である。
モデルが確立できないような制御対象２であっても、教
師信号を要求することなく、かつ、オンライン処理でも
って、適応型制御装置１のデータ変換機能Ｎ1 に制御目
標量への制御処理の実現のためのInverse Jacobianを形
成することで、適応型制御装置１をその制御対象２の制
御処理のための制御装置として構築することができるの
である。
【００２２】学習処理装置３が、適応型制御装置１のデ
ータ変換機能Ｎ1 の学習を実行していくときに、図１
（ａ）の原理構成に従う本発明では、適応型データ処理
装置４のデータ変換機能Ｎ2 の学習を実行する学習処理
装置は、制御対象２に与えられる制御操作量（図中の
ｑ）を教師信号として用いて、この制御操作量（図中の
ｑ）と、適応型データ処理装置４の出力する制御操作量
（図中のｑ’）との誤差値が極小値を示すようにと、デ
ータ変換機能Ｎ2 を規定するｗ2(ｋ）を更新していく。
この学習処理は、具体的には、制御対象２に与えられて
教師信号をなす制御操作量をｑ（ｋ）と、適応型データ
処理装置４の出力する制御操作量ｑ’( ｋ）との誤差値
の２乗和により定義される下記の評価関数Ｊ2
ータ変換機能Ｎ1 の学習を実行していくときに、図１
（ａ）の原理構成に従う本発明では、適応型データ処理
装置４のデータ変換機能Ｎ2 の学習を実行する学習処理
装置は、制御対象２に与えられる制御操作量（図中の
ｑ）を教師信号として用いて、この制御操作量（図中の
ｑ）と、適応型データ処理装置４の出力する制御操作量
（図中のｑ’）との誤差値が極小値を示すようにと、デ
ータ変換機能Ｎ2 を規定するｗ2(ｋ）を更新していく。
この学習処理は、具体的には、制御対象２に与えられて
教師信号をなす制御操作量をｑ（ｋ）と、適応型データ
処理装置４の出力する制御操作量ｑ’( ｋ）との誤差値
の２乗和により定義される下記の評価関数Ｊ2
【数４】 の関数値が極小値を示すことになるようにと、適応型デ
ータ処理装置４のデータ変換機能Ｎ2 を規定する内部状
態値をｗ2(ｋ）を更新するものであって、この更新量Δ
ｗ2(ｋ）は、例えば最急降下法に従って、
ータ処理装置４のデータ変換機能Ｎ2 を規定する内部状
態値をｗ2(ｋ）を更新するものであって、この更新量Δ
ｗ2(ｋ）は、例えば最急降下法に従って、
【数５】 但し、μ2 ：正の定数 により決定される。
【００２３】この適応型データ処理装置４のデータ変換
機能Ｎ2 の学習は、適応型制御装置１のデータ変換機能
Ｎ1 の学習が終了する時点で終了して、その結果、学習
終了後の適応型データ処理装置４のデータ変換機能Ｎ2
には、制御対象２の入出力の逆変換である「ｘd →ｑ」
変換が形成される。このようにして、適応型データ処理
装置４のデータ変換機能Ｎ2 の学習が実行されると、再
び同一の制御目標量ｘ d への制御要求があるときに、適
応型データ処理装置４は、直ちにその制御目標量ｘd へ
の制御を実現する制御操作量ｑを出力していくように動
作する。これから、適応型データ処理装置４のデータ変
換機能Ｎ2 の学習処理の終了時点に出力する制御操作量
を、制御対象２に与える制御操作量の初期量として設定
していくことで、再び同一の制御目標量ｘd への制御要
求があるときに、直ちにその制御目標量ｘd への制御を
実現できるようになるのである。そして、この構成にあ
って、適応型データ処理装置４が制御対象２の持つ特性
パラメータを入力信号としていると、その特性パラメー
タが変化するようなときにあっても、適応型データ処理
装置４の持つ汎化能力により、それに迅速に対応して学
習を進めていけるようになるのである。
機能Ｎ2 の学習は、適応型制御装置１のデータ変換機能
Ｎ1 の学習が終了する時点で終了して、その結果、学習
終了後の適応型データ処理装置４のデータ変換機能Ｎ2
には、制御対象２の入出力の逆変換である「ｘd →ｑ」
変換が形成される。このようにして、適応型データ処理
装置４のデータ変換機能Ｎ2 の学習が実行されると、再
び同一の制御目標量ｘ d への制御要求があるときに、適
応型データ処理装置４は、直ちにその制御目標量ｘd へ
の制御を実現する制御操作量ｑを出力していくように動
作する。これから、適応型データ処理装置４のデータ変
換機能Ｎ2 の学習処理の終了時点に出力する制御操作量
を、制御対象２に与える制御操作量の初期量として設定
していくことで、再び同一の制御目標量ｘd への制御要
求があるときに、直ちにその制御目標量ｘd への制御を
実現できるようになるのである。そして、この構成にあ
って、適応型データ処理装置４が制御対象２の持つ特性
パラメータを入力信号としていると、その特性パラメー
タが変化するようなときにあっても、適応型データ処理
装置４の持つ汎化能力により、それに迅速に対応して学
習を進めていけるようになるのである。
【００２４】図１（ａ）の原理構成に従う本発明の適応
型データ処理装置４のデータ変換機能Ｎ2 の学習方式
は、以下のように解釈できるものである。すなわち、制
御対象２に与えられる制御操作量ｑ（ｋ）と、適応型デ
ータ処理装置４の出力する制御操作量ｑ’( ｋ）と、適
応型制御装置１の出力する制御操作差分量Δｑ（ｋ）と
の間に、ｑ （ｋ）＝Δｑ（ｋ）＋ｑ’( ｋ） という関係式が成立することから、評価関数Ｊ2 の関数
値が極小値をとるようにするというこの学習方式は、制
御対象２に与えられる制御操作量ｑ（ｋ）を仮想的な教
師信号として、適応型制御装置１の出力する制御操作差
分量Δｑ（ｋ）が極小値をとるようにとする学習方式と
等価なものとなる。
型データ処理装置４のデータ変換機能Ｎ2 の学習方式
は、以下のように解釈できるものである。すなわち、制
御対象２に与えられる制御操作量ｑ（ｋ）と、適応型デ
ータ処理装置４の出力する制御操作量ｑ’( ｋ）と、適
応型制御装置１の出力する制御操作差分量Δｑ（ｋ）と
の間に、ｑ （ｋ）＝Δｑ（ｋ）＋ｑ’( ｋ） という関係式が成立することから、評価関数Ｊ2 の関数
値が極小値をとるようにするというこの学習方式は、制
御対象２に与えられる制御操作量ｑ（ｋ）を仮想的な教
師信号として、適応型制御装置１の出力する制御操作差
分量Δｑ（ｋ）が極小値をとるようにとする学習方式と
等価なものとなる。
【００２５】これから、図１（ｂ）の原理構成に従う本
発明では、適応型データ処理装置４のデータ変換機能Ｎ
2 の学習に必要となる誤差量として、適応型制御装置１
の出力する制御操作差分量Δｑ（ｋ）を直接用いる構成
を採っているのである。そして、この図１（ｂ）の原理
構成に従う本発明では、更に、このフィードフォーワー
ド的な制御機構として動作する適応型データ処理装置４
の出力する制御操作量を、加算装置５により適応型制御
装置１の出力する制御操作差分量と加算して制御対象２
に与えていく構成を採るものであることから、学習速度
が高められるという利点がでてくる。しかも、この構成
にあって、適応型データ処理装置４が制御対象２の持つ
特性パラメータを入力信号としていると、その特性パラ
メータが変化するようなときにあっても、適応型データ
処理装置４の持つ汎化能力により、それに迅速に対応し
て学習を進めていけるようになるのである。
発明では、適応型データ処理装置４のデータ変換機能Ｎ
2 の学習に必要となる誤差量として、適応型制御装置１
の出力する制御操作差分量Δｑ（ｋ）を直接用いる構成
を採っているのである。そして、この図１（ｂ）の原理
構成に従う本発明では、更に、このフィードフォーワー
ド的な制御機構として動作する適応型データ処理装置４
の出力する制御操作量を、加算装置５により適応型制御
装置１の出力する制御操作差分量と加算して制御対象２
に与えていく構成を採るものであることから、学習速度
が高められるという利点がでてくる。しかも、この構成
にあって、適応型データ処理装置４が制御対象２の持つ
特性パラメータを入力信号としていると、その特性パラ
メータが変化するようなときにあっても、適応型データ
処理装置４の持つ汎化能力により、それに迅速に対応し
て学習を進めていけるようになるのである。
【００２６】このように、本発明では、制御装置として
構築する際に要求される適応型制御装置１のデータ変換
機能の学習処理を、制御対象２から教師信号を収集しな
くても自己学習により実行できるようになるとともに、
この自己学習をオンラインでもって実行できるようにな
る。
構築する際に要求される適応型制御装置１のデータ変換
機能の学習処理を、制御対象２から教師信号を収集しな
くても自己学習により実行できるようになるとともに、
この自己学習をオンラインでもって実行できるようにな
る。
【００２７】
【実施例】以下、制御対象２として多関節のロボットマ
ニピュレータを想定した実施例に従って本発明を詳細に
説明する。
ニピュレータを想定した実施例に従って本発明を詳細に
説明する。
【００２８】先ず最初に、〔数２〕式に従って教師信号
なく決定されることになる適応型制御装置１のデータ変
換機能Ｎ1 の内部状態値ｗ1(ｋ）の更新量Δｗ1(ｋ）
が、具体的に特定できる値であることを説明する。次
に、本発明の有効性を検証すべく多関節のロボットマニ
ピュレータに対して行ったシミュレーションデータにつ
いて説明する。
なく決定されることになる適応型制御装置１のデータ変
換機能Ｎ1 の内部状態値ｗ1(ｋ）の更新量Δｗ1(ｋ）
が、具体的に特定できる値であることを説明する。次
に、本発明の有効性を検証すべく多関節のロボットマニ
ピュレータに対して行ったシミュレーションデータにつ
いて説明する。
【００２９】〔数２〕式の第１項である“ｅx (
ｋ）T”は、試行動作するロボットマニピュレータの手
先位置ベクトルｘと、その制御目標の手先位置ベクトル
ｘd との差分量を表している。これから、この第１項は
観測可能であるので特定可能な値である。
ｋ）T”は、試行動作するロボットマニピュレータの手
先位置ベクトルｘと、その制御目標の手先位置ベクトル
ｘd との差分量を表している。これから、この第１項は
観測可能であるので特定可能な値である。
【００３０】〔数２〕式の第２項である“∂Ｆ（ｑ）／
∂ｑ（ｋ）”は、制御対象２の持つ制御状態量ｘ（≡Ｆ
（ｑ））の制御操作量ｑについての偏微分であり、近似
的に、
∂ｑ（ｋ）”は、制御対象２の持つ制御状態量ｘ（≡Ｆ
（ｑ））の制御操作量ｑについての偏微分であり、近似
的に、
【数６】 と表せる。すなわち、この項は、実際に数学モデルの偏
微分を計算することなく、ロボットマニピュレータの手
先位置ベクトルｘの変化分と、関節変位角度ベクトルｑ
の変化分とを測定して除算することで求められる。これ
から、この第２項も観測可能であるので特定可能な値で
ある。
微分を計算することなく、ロボットマニピュレータの手
先位置ベクトルｘの変化分と、関節変位角度ベクトルｑ
の変化分とを測定して除算することで求められる。これ
から、この第２項も観測可能であるので特定可能な値で
ある。
【００３１】〔数２〕式の第３項である“∂ｑ（ｋ）／
∂ｗ1(ｋ）”は、制御対象２に与えられる制御操作量ｑ
の内部状態値ｗ1(ｋ）についての偏微分である。ネット
ワーク構造により構成される適応型制御装置１のデータ
変換機能Ｎ1 の遷移関数をφとすると、このデータ変換
機能Ｎ1 の出力する制御操作差分量Δｑ（ｋ）は、 Δｑi ( ｋ）＝φ（Σｗ1ij ( ｋ）Ｖj (ｋ）−ｈi ） 但し、ｉ ：関節対応に備えられる出力ユニットの番号 Ｖj ：出力ユニットの前層の出力 で与えられる。これから、ロボットマニピュレータの持
つｉ番目の関節に与えられるｎサイクル目の試行時点で
の制御操作量ｑi ( ｎ）は、その初期値をｑi0とする
と、
∂ｗ1(ｋ）”は、制御対象２に与えられる制御操作量ｑ
の内部状態値ｗ1(ｋ）についての偏微分である。ネット
ワーク構造により構成される適応型制御装置１のデータ
変換機能Ｎ1 の遷移関数をφとすると、このデータ変換
機能Ｎ1 の出力する制御操作差分量Δｑ（ｋ）は、 Δｑi ( ｋ）＝φ（Σｗ1ij ( ｋ）Ｖj (ｋ）−ｈi ） 但し、ｉ ：関節対応に備えられる出力ユニットの番号 Ｖj ：出力ユニットの前層の出力 で与えられる。これから、ロボットマニピュレータの持
つｉ番目の関節に与えられるｎサイクル目の試行時点で
の制御操作量ｑi ( ｎ）は、その初期値をｑi0とする
と、
【数７】 で与えられることから、この第３項は、
【数８】 但し、＜φ＞は遷移関数φの微分 ｕi ＝Σｗ1ij ( ｋ）Ｖj ( ｋ）−ｈi と表せる。この〔数８〕式中の遷移関数φの微分項は、
遷移関数φの関数が規定されているものであるときには
測定可能となるものであり、特に、線形関数であるとき
には定数となって、〔数８〕式は出力ユニットの前層の
出力Ｖj により決定されることになる。これから、この
第３項も観測可能であるので特定可能な値である。
遷移関数φの関数が規定されているものであるときには
測定可能となるものであり、特に、線形関数であるとき
には定数となって、〔数８〕式は出力ユニットの前層の
出力Ｖj により決定されることになる。これから、この
第３項も観測可能であるので特定可能な値である。
【００３２】このように、〔数２〕式の第１項から第３
項までが特定可能な値であるので、この〔数２〕式によ
り表される適応型制御装置１のデータ変換機能Ｎ1 の内
部状態値ｗ1(ｋ）の更新量Δｗ1(ｋ）は、具体的に特定
することが可能な値である。これから、〔作用〕の欄で
説明したように、適応型制御装置１は、教師信号を要す
ることなく、「ｘ（ｋ）→ｘd 」が実現されるようにと
データ変換機能Ｎ1 を規定する内部状態値ｗ1(ｋ）を更
新していく。その結果、学習終了後の適応型制御装置１
のデータ変換機能Ｎ1 には〔数３〕式に示したデータ変
換機能の写像が形成され、適応型制御装置１をロボット
マニピュレータの制御処理のための制御装置として構築
することができるのである。
項までが特定可能な値であるので、この〔数２〕式によ
り表される適応型制御装置１のデータ変換機能Ｎ1 の内
部状態値ｗ1(ｋ）の更新量Δｗ1(ｋ）は、具体的に特定
することが可能な値である。これから、〔作用〕の欄で
説明したように、適応型制御装置１は、教師信号を要す
ることなく、「ｘ（ｋ）→ｘd 」が実現されるようにと
データ変換機能Ｎ1 を規定する内部状態値ｗ1(ｋ）を更
新していく。その結果、学習終了後の適応型制御装置１
のデータ変換機能Ｎ1 には〔数３〕式に示したデータ変
換機能の写像が形成され、適応型制御装置１をロボット
マニピュレータの制御処理のための制御装置として構築
することができるのである。
【００３３】〔作用〕の欄で説明したように、適応型デ
ータ処理装置４のデータ変換機能Ｎ 2 の学習を実行する
学習処理装置は、ロボットマニピュレータに与えられる
制御操作量を教師信号として用いて、〔数５〕式に従っ
て適応型データ処理装置４のデータ変換機能Ｎ2 の内部
状態値ｗ2(ｋ）の更新量Δｗ2(ｋ）を決定していくこと
になる。この学習処理は、教師信号を用いて従来通りに
行われるものであることから、〔数５〕式は説明をする
までもなく特定可能な値であるが、このことは、上述し
たように〔数８〕式が出力ユニットの前層の出力等によ
り決定されることに対応して、〔数５〕式からも明らか
に説明できることである。
ータ処理装置４のデータ変換機能Ｎ 2 の学習を実行する
学習処理装置は、ロボットマニピュレータに与えられる
制御操作量を教師信号として用いて、〔数５〕式に従っ
て適応型データ処理装置４のデータ変換機能Ｎ2 の内部
状態値ｗ2(ｋ）の更新量Δｗ2(ｋ）を決定していくこと
になる。この学習処理は、教師信号を用いて従来通りに
行われるものであることから、〔数５〕式は説明をする
までもなく特定可能な値であるが、このことは、上述し
たように〔数８〕式が出力ユニットの前層の出力等によ
り決定されることに対応して、〔数５〕式からも明らか
に説明できることである。
【００３４】このようにして、本発明では、ロボットマ
ニピュレータの制御装置として構築する際に要求される
適応型制御装置１のデータ変換機能の学習処理を、ロボ
ットマニピュレータから教師信号を収集しなくても自己
学習により実行できるようになるとともに、この自己学
習をオンラインでもって実行できるようになる。
ニピュレータの制御装置として構築する際に要求される
適応型制御装置１のデータ変換機能の学習処理を、ロボ
ットマニピュレータから教師信号を収集しなくても自己
学習により実行できるようになるとともに、この自己学
習をオンラインでもって実行できるようになる。
【００３５】次に、本発明の有効性を検証すべく多関節
のロボットマニピュレータに対して行ったシミュレーシ
ョンデータについて説明する。
のロボットマニピュレータに対して行ったシミュレーシ
ョンデータについて説明する。
【００３６】このシミュレーションは、図２に示すよう
に、Ｌ1 とＬ2 というリンク長の関節を持つ２関節のロ
ボットマニピュレータを想定して、このロボットマニピ
ュレータの手先位置を制御目標の座標位置Ｐd( ｘ1d,
ｘ2d）に移動させる制御処理を実現する適応型制御装置
１の構築を想定して行った。この２つの関節の関節変位
角度を（ｑ1,ｑ2)とし、そのときの手先座標位置を（ｘ
1,ｘ2)とするならば、この２つの間には、
に、Ｌ1 とＬ2 というリンク長の関節を持つ２関節のロ
ボットマニピュレータを想定して、このロボットマニピ
ュレータの手先位置を制御目標の座標位置Ｐd( ｘ1d,
ｘ2d）に移動させる制御処理を実現する適応型制御装置
１の構築を想定して行った。この２つの関節の関節変位
角度を（ｑ1,ｑ2)とし、そのときの手先座標位置を（ｘ
1,ｘ2)とするならば、この２つの間には、
【数９】 という関係が成立することになる。
【００３７】図３ないし図８に示すシミュレーションデ
ータは、適応型データ処理装置４を備えない構成を採る
ときの適応型制御装置１のデータ変換機能の学習処理を
シミュレートしたデータであって、試行を繰り返す度毎
に、学習がより少ない試行サイクル回数で完了すること
になることを示すデータである。ここで、各図の左側に
図示するデータが、１００回を最大試行サイクル回数と
して行われる２関節のロボットマニピュレータの移動軌
跡を示すものであり、右側に図示するデータが、このと
きの試行サイクル回数を横軸として、各試行サイクル回
数における〔数１〕式で表される評価関数Ｊ1 の正規化
された誤差量を示すものである。学習条件は、 初期状態 ：（ｑ10，ｑ20）＝（40.0, 30.0)(de
gree） 手先目標位置 ：（ｘ1d, ｘ2d）＝（-0.7912, 0.554
0) リンク長 ： Ｌ1 ＝0.5(m)，Ｌ2 ＝0.5(m) 〔数２〕式のμ1 ： μ1 ＝100.0 で行った。
ータは、適応型データ処理装置４を備えない構成を採る
ときの適応型制御装置１のデータ変換機能の学習処理を
シミュレートしたデータであって、試行を繰り返す度毎
に、学習がより少ない試行サイクル回数で完了すること
になることを示すデータである。ここで、各図の左側に
図示するデータが、１００回を最大試行サイクル回数と
して行われる２関節のロボットマニピュレータの移動軌
跡を示すものであり、右側に図示するデータが、このと
きの試行サイクル回数を横軸として、各試行サイクル回
数における〔数１〕式で表される評価関数Ｊ1 の正規化
された誤差量を示すものである。学習条件は、 初期状態 ：（ｑ10，ｑ20）＝（40.0, 30.0)(de
gree） 手先目標位置 ：（ｘ1d, ｘ2d）＝（-0.7912, 0.554
0) リンク長 ： Ｌ1 ＝0.5(m)，Ｌ2 ＝0.5(m) 〔数２〕式のμ1 ： μ1 ＝100.0 で行った。
【００３８】そして、図３の学習処理では、適応型制御
装置１のデータ変換機能を規定する内部状態値ｗ1 の初
期値を“１”に設定して学習を行い、図４の学習処理で
は、内部状態値ｗ1 の初期値として、図３の学習処理の
終了時点に求められた内部状態値ｗ1 を設定して学習を
行い、図５の学習処理では、内部状態値ｗ1 の初期値と
して、図４の学習処理の終了時点に求められた内部状態
値ｗ1 を設定して学習を行い、図６の学習処理では、内
部状態値ｗ1 の初期値として、図５の学習処理の終了時
点に求められた内部状態値ｗ1 を設定して学習を行い、
図７の学習処理では、内部状態値ｗ1 の初期値として、
図６の学習処理の終了時点に求められた内部状態値ｗ1
を設定して学習を行い、図８の学習処理では、内部状態
値ｗ1 の初期値として、図７の学習処理の終了時点に求
められた内部状態値ｗ1 を設定して学習を行った。
装置１のデータ変換機能を規定する内部状態値ｗ1 の初
期値を“１”に設定して学習を行い、図４の学習処理で
は、内部状態値ｗ1 の初期値として、図３の学習処理の
終了時点に求められた内部状態値ｗ1 を設定して学習を
行い、図５の学習処理では、内部状態値ｗ1 の初期値と
して、図４の学習処理の終了時点に求められた内部状態
値ｗ1 を設定して学習を行い、図６の学習処理では、内
部状態値ｗ1 の初期値として、図５の学習処理の終了時
点に求められた内部状態値ｗ1 を設定して学習を行い、
図７の学習処理では、内部状態値ｗ1 の初期値として、
図６の学習処理の終了時点に求められた内部状態値ｗ1
を設定して学習を行い、図８の学習処理では、内部状態
値ｗ1 の初期値として、図７の学習処理の終了時点に求
められた内部状態値ｗ1 を設定して学習を行った。
【００３９】この図３ないし図８に示すシミュレーショ
ンデータから分かるように、本発明を用いることで、適
応型制御装置１のデータ変換機能の学習処理を、ロボッ
トマニピュレータから教師信号を収集することなく、か
つ、オンラインでもって自己学習できるようになること
が検証されたのである。そして、適応型制御装置１の内
部状態値ｗ1 の初期値を前回の試行により得られるもの
に設定して学習を繰り返していくことで、より少ない試
行サイクル回数でもって、かつ、より高精度でもって学
習を実行できるようになることが検証されたのである。
ンデータから分かるように、本発明を用いることで、適
応型制御装置１のデータ変換機能の学習処理を、ロボッ
トマニピュレータから教師信号を収集することなく、か
つ、オンラインでもって自己学習できるようになること
が検証されたのである。そして、適応型制御装置１の内
部状態値ｗ1 の初期値を前回の試行により得られるもの
に設定して学習を繰り返していくことで、より少ない試
行サイクル回数でもって、かつ、より高精度でもって学
習を実行できるようになることが検証されたのである。
【００４０】図９ないし図１１に示すシミュレーション
データは、図３ないし図８に示すシミュレーションデー
タと同様の学習処理を実行するときに、学習途中で、リ
ンク長Ｌ1 を“0.5(m)”から“0.7(m)”に、リンク長Ｌ
2 を“0.5(m)”から“0.6(m)”に変更するときのデータ
である。図９の学習処理では、内部状態値ｗ1 の初期値
として、図８の学習処理により求められた内部状態値ｗ
1 を設定して学習を行い、図１０の学習処理では、内部
状態値ｗ1 の初期値として、図９の学習処理の終了時点
に求められた内部状態値ｗ1 を設定して学習を行い、図
１１の学習処理では、内部状態値ｗ1 の初期値として、
図１０の学習処理の終了時点に求められた内部状態値ｗ
1 を設定して学習を行った。各図の右側に図示するデー
タにおいて、誤差量の急激に増加する試行サイクル回数
のときにリンク長の変更処理が行われることになる。な
お、その他の学習条件は、図３ないし図８に示すシミュ
レーションデータと同様である。
データは、図３ないし図８に示すシミュレーションデー
タと同様の学習処理を実行するときに、学習途中で、リ
ンク長Ｌ1 を“0.5(m)”から“0.7(m)”に、リンク長Ｌ
2 を“0.5(m)”から“0.6(m)”に変更するときのデータ
である。図９の学習処理では、内部状態値ｗ1 の初期値
として、図８の学習処理により求められた内部状態値ｗ
1 を設定して学習を行い、図１０の学習処理では、内部
状態値ｗ1 の初期値として、図９の学習処理の終了時点
に求められた内部状態値ｗ1 を設定して学習を行い、図
１１の学習処理では、内部状態値ｗ1 の初期値として、
図１０の学習処理の終了時点に求められた内部状態値ｗ
1 を設定して学習を行った。各図の右側に図示するデー
タにおいて、誤差量の急激に増加する試行サイクル回数
のときにリンク長の変更処理が行われることになる。な
お、その他の学習条件は、図３ないし図８に示すシミュ
レーションデータと同様である。
【００４１】この図９ないし図１１に示すシミュレーシ
ョンデータから分かるように、リンク長が学習途中で変
更されるようなことがあっても、適応型制御装置１のデ
ータ変換機能の学習処理はそれに影響されることなく実
現できることが検証されたのである。これにより、本発
明を用いることで、制御対象２の特性パラメータが変化
するようなものであっても、適応型制御装置１のデータ
変換機能のオンラインの学習処理を遂行できることが検
証されたのである。
ョンデータから分かるように、リンク長が学習途中で変
更されるようなことがあっても、適応型制御装置１のデ
ータ変換機能の学習処理はそれに影響されることなく実
現できることが検証されたのである。これにより、本発
明を用いることで、制御対象２の特性パラメータが変化
するようなものであっても、適応型制御装置１のデータ
変換機能のオンラインの学習処理を遂行できることが検
証されたのである。
【００４２】図１２及び図１３に示すシミュレーション
データは、適応型データ処理装置４を備える構成を採る
ときの適応型制御装置１のデータ変換機能の学習処理を
シミュレートしたデータであって、図１２の学習処理
で、図３に示すシミュレーションデータと同一の学習条
件で適応型制御装置１及び適応型データ処理装置４のデ
ータ変換機能の学習を行い、次に、図１３の学習処理
で、同一の学習の繰り返しを行ったときのデータであ
る。ここで、適応型データ処理装置４は、図１（ｂ）の
原理構成に従う態様で備えられて、そのデータ変換機能
を規定する内部状態値ｗ2 の初期値を“１”に設定し、
〔数５〕式のμ2 を“0.1 ”に設定してシミュレーショ
ンを実行した。
データは、適応型データ処理装置４を備える構成を採る
ときの適応型制御装置１のデータ変換機能の学習処理を
シミュレートしたデータであって、図１２の学習処理
で、図３に示すシミュレーションデータと同一の学習条
件で適応型制御装置１及び適応型データ処理装置４のデ
ータ変換機能の学習を行い、次に、図１３の学習処理
で、同一の学習の繰り返しを行ったときのデータであ
る。ここで、適応型データ処理装置４は、図１（ｂ）の
原理構成に従う態様で備えられて、そのデータ変換機能
を規定する内部状態値ｗ2 の初期値を“１”に設定し、
〔数５〕式のμ2 を“0.1 ”に設定してシミュレーショ
ンを実行した。
【００４３】この図１２及び図１３に示すシミュレーシ
ョンデータから分かるように、適応型データ処理装置４
を備える本発明に従うと、学習の終了後に再び同一の制
御目標が与えられるときに、直ちに、その制御目標への
制御を実現できることが検証されたのである。
ョンデータから分かるように、適応型データ処理装置４
を備える本発明に従うと、学習の終了後に再び同一の制
御目標が与えられるときに、直ちに、その制御目標への
制御を実現できることが検証されたのである。
【００４４】図１４及び図１５に示すシミュレーション
データは、図１２及び図１３に示すシミュレーションデ
ータと同様の学習処理を実行するときに、学習途中で、
リンク長Ｌ1 を“0.5(m)”から“0.7(m)”に、リンク長
Ｌ2 を“0.5(m)”から“0.6(m)”に変更するときのデー
タである。
データは、図１２及び図１３に示すシミュレーションデ
ータと同様の学習処理を実行するときに、学習途中で、
リンク長Ｌ1 を“0.5(m)”から“0.7(m)”に、リンク長
Ｌ2 を“0.5(m)”から“0.6(m)”に変更するときのデー
タである。
【００４５】この図１４及び図１５に示すシミュレーシ
ョンデータから分かるように、適応型データ処理装置４
を備える本発明に従うと、学習の終了後に再び同一の制
御目標が与えられるときに、学習途中で制御対象２の特
性パラメータが変化するようなことがあっても、迅速
に、その制御目標への制御を実現できることが検証され
たのである。
ョンデータから分かるように、適応型データ処理装置４
を備える本発明に従うと、学習の終了後に再び同一の制
御目標が与えられるときに、学習途中で制御対象２の特
性パラメータが変化するようなことがあっても、迅速
に、その制御目標への制御を実現できることが検証され
たのである。
【００４６】図示実施例について説明したが、本発明は
これに限定されるものではない。例えば、実施例では、
制御目標への制御だけを条件とすることで本発明を開示
したが、障害物を回避しつつ制御目標に制御するとか、
各関節変位角度をなるべく小さくして制御目標に制御す
るといったように制御操作量に一定の条件を課して制御
目標に制御するとかいったような制御処理に対しても、
適応型制御装置１の学習に用いる評価関数にこれらの条
件についての項を加えていくことで対応可能なのであ
る。
これに限定されるものではない。例えば、実施例では、
制御目標への制御だけを条件とすることで本発明を開示
したが、障害物を回避しつつ制御目標に制御するとか、
各関節変位角度をなるべく小さくして制御目標に制御す
るといったように制御操作量に一定の条件を課して制御
目標に制御するとかいったような制御処理に対しても、
適応型制御装置１の学習に用いる評価関数にこれらの条
件についての項を加えていくことで対応可能なのであ
る。
【００４７】
【発明の効果】以上説明したように、本発明によれば、
設定変更可能なデータ変換機能に従って、入力信号に対
応する出力信号を算出して出力する構成を採って、この
入出力信号関係に従って制御対象を所望の制御状態に制
御する構成を採る適応型制御装置のデータ変換機能を、
教師信号を要求されることなく自己学習できるようにな
る。これから、非線形の複雑な制御対象に対しても、適
応型制御装置でもって制御していくことが可能になるの
である。そして、この自己学習をオンラインでできるよ
うになることから、制御対象の特性パラメータが変化し
ていくようなことがあっても、オフライン学習で要求さ
れるような再学習を要求されることがないのである。し
かも、この自己学習にあたって、フィードフォワード的
な学習機構を組み込むことで、この自己学習を高速に実
行できるようになるのである。
設定変更可能なデータ変換機能に従って、入力信号に対
応する出力信号を算出して出力する構成を採って、この
入出力信号関係に従って制御対象を所望の制御状態に制
御する構成を採る適応型制御装置のデータ変換機能を、
教師信号を要求されることなく自己学習できるようにな
る。これから、非線形の複雑な制御対象に対しても、適
応型制御装置でもって制御していくことが可能になるの
である。そして、この自己学習をオンラインでできるよ
うになることから、制御対象の特性パラメータが変化し
ていくようなことがあっても、オフライン学習で要求さ
れるような再学習を要求されることがないのである。し
かも、この自己学習にあたって、フィードフォワード的
な学習機構を組み込むことで、この自己学習を高速に実
行できるようになるのである。
【図１】本発明の原理構成図である。
【図２】シミュレーションに用いたロボットマニピュレ
ータの説明図である。
ータの説明図である。
【図３】シミュレーションデータの説明図である。
【図４】シミュレーションデータの説明図である。
【図５】シミュレーションデータの説明図である。
【図６】シミュレーションデータの説明図である。
【図７】シミュレーションデータの説明図である。
【図８】シミュレーションデータの説明図である。
【図９】シミュレーションデータの説明図である。
【図１０】シミュレーションデータの説明図である。
【図１１】シミュレーションデータの説明図である。
【図１２】シミュレーションデータの説明図である。
【図１３】シミュレーションデータの説明図である。
【図１４】シミュレーションデータの説明図である。
【図１５】シミュレーションデータの説明図である。
【図１６】従来技術の説明図である。
１ 適応型制御装置 ２ 制御対象 ３ 学習処理装置 ４ 適応型データ処理装置 ５ 加算装置
Claims (4)
- 【請求項１】 設定変更可能なデータ変換機能に従っ
て、入力信号に対応する出力信号を算出して出力する構
成を採って、この入出力信号関係に従って制御対象を所
望の制御状態に制御する構成を採る適応型制御装置(1)
において、 上記適応型制御装置(1) が、試行動作する制御対象の持
つ制御状態量と該制御状態量の制御目標量との差分量
と、該制御対象に与えられる制御操作量とを入力信号と
するとともに、該制御対象に与える制御操作差分量を出
力信号とする構成を採り、 かつ、上記差分量により関数値の規定される評価関数の
該関数値の極小値を実現すべく上記適応型制御装置(1)
のデータ変換機能を変更する学習処理装置(3)を備え、 上記学習処理装置(3) の実行する変更処理に従って、上
記適応型制御装置(1)のデータ変換機能が所望の制御処
理を実行するものとなるように自己学習していくように
構成されてなることを、 特徴とする適応型制御装置の自己学習処理方式。 - 【請求項２】 請求項１記載の適応型制御装置の自己学
習処理方式において、 設定変更可能なデータ変換機能に従って、入力信号に対
応する出力信号を算出して出力する構成を採って、試行
動作する制御対象の持つ制御状態量の制御目標量を入力
信号とし、制御対象に与える制御操作量を出力信号とす
る構成を採るとともに、該出力信号の制御操作量が、適
応型制御装置(1) により設定されて制御対象に与えられ
る制御操作量と一致することになるようにと該データ変
換機能が学習されるように構成される適応型データ処理
装置(4) を備え、 上記適応型データ処理装置(4) が学習処理の終了時点に
出力する制御操作量を、制御対象に与える制御操作量の
初期量として設定していくよう構成されてなることを、 特徴とする適応型制御装置の自己学習処理方式。 - 【請求項３】 設定変更可能なデータ変換機能に従っ
て、入力信号に対応する出力信号を算出して出力する構
成を採って、この入出力信号関係に従って制御対象を所
望の制御状態に制御する構成を採る適応型制御装置(1)
において、 上記適応型制御装置(1) が、試行動作する制御対象の持
つ制御状態量と該制御状態量の制御目標量との差分量
と、該制御対象に与えられる制御操作量とを入力信号と
するとともに、該制御対象に与える制御操作差分量を出
力信号とする構成を採り、 かつ、設定変更可能なデータ変換機能に従って、入力信
号に対応する出力信号を算出して出力する構成を採っ
て、試行動作する制御対象の持つ制御状態量の制御目標
量を入力信号とし、制御対象に与える制御操作量を出力
信号とする構成を採るとともに、該出力信号の制御操作
量が、上記適応型制御装置(1) により設定されて制御対
象に与えられる制御操作量と一致することになるように
と、上記適応型制御装置(1) の出力する制御操作差分量
を用いて該データ変換機能が学習されるように構成され
る適応型データ処理装置(4) と、 上記適応型制御装置(1) の出力する制御操作差分量と、
上記適応型データ処理装置(4) の出力する制御操作量と
の加算量を制御対象に制御操作量として与える加算装置
(5) と、 上記差分量により関数値の規定される評価関数の該関数
値の極小値を実現すべく上記適応型制御装置(1) のデー
タ変換機能を変更する学習処理装置(3) とを備え、 上記学習処理装置(3) の実行する変更処理に従って、上
記適応型制御装置(1)のデータ変換機能が所望の制御処
理を実行するものとなるように自己学習していくように
構成されてなることを、 特徴とする適応型制御装置の自己学習処理方式。 - 【請求項４】 請求項２又は３記載の適応型制御装置の
自己学習処理方式において、 適応型データ処理装置(4) が、更に、制御対象の持つ特
性パラメータを入力信号としていくよう構成されてなる
ことを、 特徴とする適応型制御装置の自己学習処理方式。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP3051497A JPH05158907A (ja) | 1991-03-15 | 1991-03-15 | 適応型制御装置の自己学習処理方式 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP3051497A JPH05158907A (ja) | 1991-03-15 | 1991-03-15 | 適応型制御装置の自己学習処理方式 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH05158907A true JPH05158907A (ja) | 1993-06-25 |
Family
ID=12888614
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP3051497A Expired - Lifetime JPH05158907A (ja) | 1991-03-15 | 1991-03-15 | 適応型制御装置の自己学習処理方式 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH05158907A (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7133855B2 (en) | 2002-04-08 | 2006-11-07 | Honda Giken Kogyo Kabushiki Kaisha | Behavior control apparatus and method |
-
1991
- 1991-03-15 JP JP3051497A patent/JPH05158907A/ja not_active Expired - Lifetime
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7133855B2 (en) | 2002-04-08 | 2006-11-07 | Honda Giken Kogyo Kabushiki Kaisha | Behavior control apparatus and method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110682286B (zh) | 一种协作机器人实时避障方法 | |
| CN110238839B (zh) | 一种利用环境预测优化非模型机器人多轴孔装配控制方法 | |
| CN112904728B (zh) | 一种基于改进型趋近律的机械臂滑模控制轨迹跟踪方法 | |
| US11529733B2 (en) | Method and system for robot action imitation learning in three-dimensional space | |
| JP3436320B2 (ja) | 非線形システムの出力軌道と動特性の制御方法および装置 | |
| JPH06314103A (ja) | 制御装置と能動的センシング装置 | |
| CN108555914B (zh) | 一种基于腱驱动灵巧手的dnn神经网络自适应控制方法 | |
| CN112140101A (zh) | 轨迹规划方法、装置及系统 | |
| JP3369351B2 (ja) | 多関節マニピュレータの弾性設定方法および制御装置 | |
| Aghajanzadeh et al. | An offline geometric model for controlling the shape of elastic linear objects | |
| CN116460860B (zh) | 一种基于模型的机器人离线强化学习控制方法 | |
| CN107894709A (zh) | 基于自适应评价网络冗余机器人视觉伺服控制 | |
| JPH07319507A (ja) | ロボット制御装置 | |
| CN108693776A (zh) | 一种三自由度Delta并联机器人的鲁棒控制方法 | |
| Hasan et al. | Neural networks’ based inverse kinematics solution for serial robot manipulators passing through singularities | |
| CN117086877A (zh) | 一种基于深度强化学习的工业机器人轴孔装配方法、装置和设备 | |
| CN113650014B (zh) | 一种基于回声状态网络的冗余机械臂追踪控制方法 | |
| Nagata et al. | Adaptive learning with large variability of teaching signals for neural networks and its application to motion control of an industrial robot | |
| JP3105694B2 (ja) | マニピュレータ制御方法 | |
| JPH05158907A (ja) | 適応型制御装置の自己学習処理方式 | |
| CN106875008A (zh) | 一种机械手运动学逆解方法及系统 | |
| JPH05257919A (ja) | 適応型制御装置の学習処理方式 | |
| Jing et al. | Research on neural network PID adaptive control with industrial welding robot in multi-degree of freedom | |
| EP0445729B1 (en) | Model following control device and method | |
| Zhou et al. | Intelligent Control of Manipulator Based on Deep Reinforcement Learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 19980514 |