JPH09245012A - 学習制御方法 - Google Patents

学習制御方法

Info

Publication number
JPH09245012A
JPH09245012A JP8052161A JP5216196A JPH09245012A JP H09245012 A JPH09245012 A JP H09245012A JP 8052161 A JP8052161 A JP 8052161A JP 5216196 A JP5216196 A JP 5216196A JP H09245012 A JPH09245012 A JP H09245012A
Authority
JP
Japan
Prior art keywords
control
neural network
learning
result
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP8052161A
Other languages
English (en)
Inventor
Satoshi Yamada
訓 山田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP8052161A priority Critical patent/JPH09245012A/ja
Publication of JPH09245012A publication Critical patent/JPH09245012A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Feedback Control In General (AREA)

Abstract

(57)【要約】 【課題】 過去の履歴を考慮する必要のある制御対象の
制御方法の学習に多くの試行を行う必要があり、多大な
学習時間が必要となる。 【解決手段】 内部状態記憶層１０，１５を持ち、ＲＢ
Ｆ関数を入出力関数とするニューロンを隠れ層６，１４
として持つニューラルネットワークで形成された制御系
２，１１に制御対象１の状態の測定結果を入力し、得ら
れた制御出力値に基づいて制御された制御対象の状態の
測定結果から、当該制御対象の制御に対する評価を判定
し、その判定結果に基づいてニューラルネットワークの
シナプス結合強度を変化させることによって学習を行わ
せ、その学習結果に基づいて以上の処理を繰り返しつつ
制御対象の制御を行う。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】この発明は、振る舞いが複雑
でその動作の同定が困難な動的システムなどによる制御
対象の制御を、学習によってその制御方法を獲得しつつ
制御する学習制御方法、例えば、学習によって変化可能
なニューラルネットワークが適用される学習制御方法に
関するものである。
【０００２】
【従来の技術】図７は例えば、「アドバンセス イン
ニューラル インフォメーション プロセッシング シ
ステムズ（Adavances in Neural Information Processi
ng Systems）」第３号（１９９１年）の第５００〜５０
６ページに示された、従来の学習制御方法が適用される
制御装置の一例を示すブロック図である。図において、
１は倒立振り子などの制御対象、２はそれを制御する制
御系としての制御サブニューラルネットワークであり、
３はその入力層、４は制御結果入力層、５は出力層、６
は隠れ層である。また、７は制御対象１の変化をモデル
化するモデルサブニューラルネットワークであり、８は
その入力層、９は隠れ層である。なお、制御系の制御目
標は制御サブニューラルネットワーク２の出力する制御
出力値によって、制御対象１である倒立振り子の台車を
右または左に押すことにより、載せられている棒を倒れ
ないように保つことである。
【０００３】次に動作について説明する。ここで、図８
は図７に示した制御装置に適用される、従来の学習制御
方法を示すフローチャートである。まずステップＳＴ１
において、制御サブニューラルネットワーク２の入力層
３に制御対象１の状態値を入力する。この制御課題で
は、台車の位置ｘと棒の角度θだけを入力する。台車の
位置ｘと棒の角度θと共に台車の速度と角速度を入力す
ると、フィードフォワード型ニューラルネットワークで
解決できるが、台車の位置ｘと棒の角度θだけを入力す
る場合には、過去の履歴を考慮しなければ制御できず、
リカレント型ニューラルネットワークを用いなければ解
決できない。なお、各状態値はそれぞれの最小値と最大
値を用いて規格化し、０〜１の間の値として入力する。
【０００４】次にステップＳＴ２において、入力層３の
出力と他のニューロンの１時刻前の出力ｙj,old と、制
御サブニューラルネットワーク２内のニューロン間のシ
ナプス結合強度ｗijから、次の式（１）を用いて、制御
サブニューラルネットワーク２の各ニューロンの出力ｙ
i,new を計算する。 ｙi,new ＝ ｆ[Σｗijｙj,old] ｆ[ｘ] ＝ １／(１＋ｅｘｐ(−ｘ)) （１）
【０００５】次にステップＳＴ３において、シナプス結
合強度ｗijの学習のために必要な変数ｐk ij を、１時刻
前の変数ｐk ij,old と各ニューロンの出力とシナプス結
合強度から次の式（２）を用いて計算した後、１時刻前
の出力ｙj,old と変数ｐk ij, old に、新たな出力ｙ
i,new と変数ｐk ij,new を代入して更新する。 ｐk ij,new ＝ ｙk,new(１−ｙk,new)(Σｗklｐl ij,old＋δikｙj,old) （２） ここで、δikはクロネッカーのデルタでｉ＝ｋの場合だ
け１でその他の場合には０である。
【０００６】次にステップＳＴ４において、出力層５の
ニューロンの出力ｙo,new から次の式（３）を用いて、
制御に用いる力の大きさＦを決定する。 Ｆ ＝ (５０ｙo,new−２５) （３）
【０００７】次に、この決定された力Ｆを制御対象１に
加えてその制御を行ない、ステップＳＴ５において、そ
の制御結果ｒと次の状態の状態値を得る。ここで、制御
結果ｒは次の式（４）で与えられる。 ｒ ＝ ０．５((θ／０．２１)2＋(ｘ／２．４)2) （４）
【０００８】次に、ステップＳＴ６において、制御対象
１の状態入力を受ける入力層３と制御対象１の制御結果
を受ける制御結果入力層４に新しい値を入力し、モデル
サブニューラルネットワーク７の各ニューロンの出力
を、制御サブニューラルネットワーク２の場合と同様
に、式（１）を用いて計算する。次に、ステップＳＴ７
において、モデルサブニューラルネットワーク７のニュ
ーロンｋに関する変数ｐk i j を、制御サブニューラルネ
ットワーク２の場合と同様に、式（２）を用いて計算し
た後、１時刻前の出力ｙj,old と変数ｐk ij,old を更新
する。
【０００９】次に、ステップＳＴ８において、モデルサ
ブニューラルネットワーク７と制御サブニューラルネッ
トワーク２のシナプス結合強度ｗijを更新する。なお、
モデルサブニューラルネットワーク７のシナプス結合強
度に関しては、次の式（５）を用いてシナプス結合強度
の変化量Δｗijを計算する。 Δｗij ＝ αΣ(ｙk,new−ｙk,pred)ｐk,pred ij,old （５） ここで、αは学習定数、ｙk,new は制御サブニューラル
ネットワーク２の入力層３と制御結果入力層４のニュー
ロンの出力、ｙk,predは対応するモデルサブニューラル
ネットワーク７のニューロンの出力である。
【００１０】一方、制御サブニューラルネットワーク２
のシナプス結合強度ｗijに関しては、次の式（６）を用
いてシナプス結合強度の変化量Δｗijを計算する。 Δｗij ＝ βΣ(ｃk−ｙk,new)ｐk,pred ij,old （６） ここで、βは学習定数、ｃk は外部から与えられる制御
結果の値、ｙk,new は制御サブニューラルネットワーク
２の制御結果ニューロンの出力、ｐk,pred ij,o ldはモデ
ルサブニューラルネットワーク７の対応するニューロン
に関する変数値である。
【００１１】次いで、ステップＳＴ９において、制御結
果が成功であるか失敗であるかの判定を行なう。制御結
果が失敗の場合には、制御を中止して振り子の状態を制
御開始の状態に戻し、全ての変数ｐk ij を０に初期化し
てステップＳＴ１より制御学習を再開する。一方、制御
結果が失敗でない場合にはそのままステップＳＴ１に戻
り、長時間の振り子の制御が可能になるまで制御学習を
続ける。なお、シナプス結合強度ｗijは乱数によって初
期設定して制御学習を開始する。
【００１２】このようにして、多数回の試行によって、
制御対象を制御範囲内に長時間保持しておく制御方法を
学習することが可能になる。しかしながらこの制御学習
法では、モデルサブニューラルネットワーク７の代わり
に倒立振り子の運動方程式を用いた完全モデルを用いる
というシステムが同定できないという前提に反するよう
な工夫をしても、学習速度が遅く、数千回の試行で２０
秒ぐらい倒立振り子を保持できる制御が学習できただけ
であった。
【００１３】
【発明が解決しようとする課題】従来の学習制御方法は
以上のように構成されているので、過去の履歴を考慮す
る必要のある制御対象を、所定の制御範囲内に長時間保
持しておくための制御方法の学習には多くの試行を必要
とし、制御方法の学習に多大な時間を要するという課題
があった。
【００１４】この発明は上記のような課題を解決するた
めになされたもので、制御対象の制御に対する評価を用
いて、過去の履歴を考慮する必要のある制御対象の制御
方法を迅速に学習することができる学習制御方法を得る
ことを目的とする。
【００１５】
【課題を解決するための手段】請求項１記載の発明に係
る学習制御方法は、内部状態記憶層が設けられ、ラディ
アル・ベイシズ・ファンクション（radial basis funct
ion ；以下、ＲＢＦ関数という）を入出力関数として用
いるニューロンを隠れ層に持つニューラルネットワーク
で形成された制御系に、制御対象の状態の測定結果を入
力して、その入力値と１時刻前の内部状態記憶層のニュ
ーロンの出力に基づいて制御された制御対象の状態の測
定結果から、制御対象の当該制御に対する評価を判定
し、その判定結果に基づいて制御系のニューラルネット
ワークのシナプス結合強度を学習させ、その学習結果に
基づいて以上の処理を繰り返しつつ制御対象を制御する
ものである。
【００１６】請求項２記載の発明に係る学習制御方法
は、内部記憶状態層を持ち、ＲＢＦ関数を入出力関数に
用いるニューロンを１つ以上の隠れ層に持った４層以上
のニューラルネットワークにて形成された制御系を用い
たものである。
【００１７】請求項３記載の発明に係る学習制御方法
は、制御系を制御サブニューラルネットワークと予測サ
ブニューラルネットワークとで形成し、制御サブニュー
ラルネットワークで制御対象の制御出力値を決定して制
御対象の制御を行い、その制御結果と制御対象の状態値
を予測サブニューラルネットワークに入力して制御結果
予測誤差を算出し、その制御結果予測誤差に基づいて、
制御サブニューラルネットワークと予測サブニューラル
ネットワークのシナプス結合強度の学習を行うようにし
たものである。
【００１８】請求項４記載の発明に係る学習制御方法
は、制御対象の制御に対する評価の判定結果に基づいて
学習を行わせる際の制御に対する評価として、制御に失
敗したか否かを表す２値信号を用いたものである。
【００１９】請求項５記載の発明に係る学習制御方法
は、制御対象の制御に対する評価の判定結果に基づいて
学習を行わせる際の制御に対する評価として、制御の成
功の度合い、あるいは失敗の度合いを表すアナログ信号
を用いたものである。
【００２０】請求項６記載の発明に係る学習制御方法
は、０で最大となり、その近傍でのみ有意な値を持つ関
数をＲＢＦ関数として用いたものである。
【００２１】
【発明の実施の形態】以下、この発明の実施の一形態を
説明する。 実施の形態１．図１はこの発明の実施の形態１による学
習制御方法が適用される制御装置の構成例を示すブロッ
ク図である。図において、１は制御対象であり、例えば
台車上に回転可能な棒が載せられた倒立振り子などの動
的システムによって形成されている。２はこの制御対象
１の制御を行う制御系としての制御サブニューラルネッ
トワークであり、リカレント型ニューラルネットワーク
にて構成されている。３はこの制御サブニューラルネッ
トワーク２の入力層であり、制御対象１の状態値が入力
される。５は同じく制御サブニューラルネットワーク２
の出力層であり、制御対象１への制御出力値を出力す
る。６は同じく制御サブニューラルネットワーク２の隠
れ層で、例えばガウス関数などのＲＢＦ関数を入出力関
数として用いているニューロンを持ち、入力層３と出力
層５および後述する内部状態記憶層１０とを結合する。
１０は制御サブニューラルネットワーク２の前記内部状
態記憶層であり、この内部状態記憶層１０の出力は次の
時刻に入力層３の出力と同様に扱われ、隠れ層６におい
て処理される。
【００２２】また、１１は制御サブニューラルネットワ
ーク２と共に制御系を形成し、制御サブニューラルネッ
トワーク２の学習のための制御結果予測値を演算・出力
する予測サブニューラルネットワークである。１２はこ
の予測サブニューラルネットワーク１１の入力層であ
り、制御対象１の状態値が入力される。１３は同じく予
測サブニューラルネットワーク１１の出力層であり、前
記制御結果予測値の計算を行う。１４は同じく予測サブ
ニューラルネットワーク１１の隠れ層であり、入力層１
２と出力層１３および後述する内部状態記憶層１５とを
結合する。なお、この隠れ層１４もガウス関数などのＲ
ＢＦ関数を入出力関数として用いているニューロンを持
っている。１５は制御サブニューラルネットワーク２の
前記内部状態記憶層であり、この内部状態記憶層１５の
出力は次の時刻に入力層１２の出力と同様に扱われ、隠
れ層１４において処理される。
【００２３】次に動作について説明する。ここで、図２
は図１に示した制御装置に適用される、この発明の実施
の形態１による学習制御方法を示すフローチャートであ
る。まず、ステップＳＴ１１において、制御対象１から
当該制御対象１の状態を表す状態値を各種センサを用い
て検出する。ここで、この実施の形態１でも従来の場合
と同様に、台車の位置ｘと棒の角度θだけを入力し、台
車の速度や棒の角速度は入力しない。この場合、制御対
象１は過去の履歴を考慮する必要がある制御対象である
ので、リカレント型ニューラルネットワークを用いなけ
れば制御方法を学習することはできない。各種センサで
得られた制御対象１の各状態値は、それぞれ最小値と最
大値に基づいて０〜１の間に規格化された後、制御サブ
ニューラルネットワーク２の入力層３に入力される。
【００２４】次にステップＳＴ１２において、入力層３
の出力ａc i(ｔ)と内部状態記憶層１０の１時刻前の出力
ｅc k(ｔ−１)とニューロン間のシナプス結合強度ｗc ji
およびｗc jk から、隠れ層６のニューロンの出力ｂ
c j(ｔ)を次の式（７）で表されるように、ＲＢＦ関数を
用いて計算する。 ｒc j(ｔ) ＝ Σ(ａc i(ｔ)−ｗc ji)2＋Σ(ｅc k(ｔ−１)−ｗc jk)2 ｂc j(ｔ) ＝ ｇ[ｒc j(ｔ)] ｇ[ｘ] ＝ ｅｘｐ(−ｘ／σ2) （７） ここで、ｇ[ｘ]がＲＢＦ関数である。
【００２５】次にステップＳＴ１３において、入力層３
の出力ａc i(ｔ)、内部状態記憶層１０の１時刻前の出力
ｅc k(ｔ−１)、隠れ層６の出力ｂc j(ｔ)と、シナプス結
合強度から、制御サブニューラルネットワーク２の出力
層５の出力ｏc (ｔ)と内部状態記憶層１０の出力ｅ
c k(ｔ)を、次の式（８）で表されるように、シグモイド
関数を用いて計算する。 ｖc(ｔ) ＝ Σｗc iａc i(ｔ)＋Σｗc kｅc k(ｔ−１)＋Σｗc jｂc j(ｔ) ｏc(ｔ) ＝ ｆ[ｖc(ｔ)] ｓc k(ｔ) ＝ Σｗc kiａc i(ｔ)＋Σｗc kmｅc m(ｔ−１)＋Σｗc kjｂc j(ｔ) ｅc k(ｔ) ＝ ｆ[ｓc k(ｔ)] ｆ[ｘ] ＝ １／(１＋ｅｘｐ(−ｘ)) （８） ここで、ｆ[ｘ]はシグモイド関数である。
【００２６】次にステップＳＴ１４において、その制御
サブニューラルネットワーク２の出力ｏc(ｔ)に基づ
き、確率ｏc(ｔ)で制御に用いる力Ｆ(ｔ)を＋ｆ、確率
１−ｏc(ｔ) で−ｆとする。そして制御サブニューラル
ネットワーク２の学習に用いる変数ｕ(ｔ)を次の式
（９）で計算する。 ｕ(ｔ) ＝ １−ｏc(ｔ) ｏc(ｔ) ≧ ０の場合 ＝ −ｏc(ｔ) ｏc(t) ＜ ０の場合 （９）
【００２７】次にステップＳＴ１５において、前記ステ
ップＳＴ１１で規格化した入力を予測サブニューラルネ
ットワーク１１にも入力し、その入力層１２の出力ａp i
(ｔ)と内部状態記憶層１５の１時刻前の出力ｅp k(ｔ−
１)とシナプス結合強度ｗp ji，ｗp jk から、隠れ層１４
の出力ｂp j(ｔ)を次の式（１０）を用いて計算する。な
お、この式（１０）のＲＢＦ関数ｇ[ｘ]は式（７）のそ
れと同一のものを用いる。 ｒp j(ｔ) ＝ Σ(ａp i(ｔ)−ｗp ji)2＋Σ(ｅp k(ｔ−１)−ｗp jk)2 ｂp j(ｔ) ＝ ｇ[ｒp j(ｔ)] （１０）
【００２８】次にステップＳＴ１６において、入力層１
２の出力ａp i(ｔ)、内部状態記憶層１５の１時刻前の出
力ｅp k(ｔ−１)、隠れ層１４の出力ｂp j(ｔ)と、シナプ
ス結合強度ｗp ji およびｗp jk とから、予測サブニュー
ラルネットワーク１１の出力層１３の出力（制御結果予
測値ｏp (ｔ)）と内部状態記憶層の出力ｅp k(ｔ)を、次
の式（１１）を用いて計算する。なお、この式のシグモ
イド関数ｆ[ｘ]は式（８）のそれと同一のものを用い
る。 ｏp(ｔ) ＝ Σｗp iａp i(ｔ)＋Σｗp kｅp k(ｔ−１)＋Σｗp jｂp j(ｔ) ｓp k(ｔ) ＝ Σｗp kiａp i(ｔ)＋Σｗp kmｅp m(ｔ−１)＋Σｗp kjｂp j(ｔ) ｅp k(ｔ) ＝ ｆ[ｓp k(ｔ)] （１１）
【００２９】次にステップＳＴ１７において、ステップ
ＳＴ１４にて計算した力Ｆ(ｔ)を制御対象１に加えてそ
の倒立振り子を制御する。次にステップＳＴ１８におい
て、制御サブニューラルネットワーク２からの制御出力
値によって制御された倒立振り子の状態をセンサで検出
して、その制御結果ｒ(ｔ＋１)と制御対象１の状態値を
得る。ここでは、制御結果ｒ(ｔ＋１)は制御が失敗した
場合には−１、その他の場合には０で与えられる。
【００３０】次に、ステップＳＴ１９において、ステッ
プＳＴ１８で得られた制御対象１の状態値をステップＳ
Ｔ１１の場合と同様に規格化し、それを予測サブニュー
ラルネットワーク１１に入力して、ステップＳＴ１５お
よびステップＳＴ１６と同一の手順で式（１０）と式
（１１）を用いて、１時刻後の制御結果予測値ｏp(ｔ＋
１)を計算する。
【００３１】次にステップＳＴ２０において、制御結果
ｒ(ｔ＋１)と制御結果予測値ｏp(ｔ)および１時刻後の
制御結果予測値ｏp(ｔ＋１)から、次の式（１２）によ
って制御結果予測誤差ｒ^(ｔ)を計算する。 ｒ^(ｔ) ＝ γｏp(ｔ＋１)−ｏp(ｔ) 時刻ｔ＋１で失敗しなかった場合 ＝ ｒ(ｔ＋１)−ｏp(ｔ) 時刻ｔ＋１で失敗した場合 （１２） ここで、γは定数である。
【００３２】次にステップＳＴ２１において、シナプス
結合強度変化Δｗc ji を計算するために必要な、制御サ
ブニューラルネットワーク２の微分∂Ｙc k(ｔ)／∂ｗc
ji を更新する。ここで、∂Ｙc k(ｔ)／∂ｗc ji はシナ
プス結合強度ｗc ji によるニューロンの出力Ｙc k(ｔ)の
偏微分を表している。なお、以下の説明においても、関
数F(ｔ)の変数ｖによる偏微分を、∂Ｆ(ｔ)／∂ｖ の形
式で表記する。
【００３３】まず、ＲＢＦ関数の用いられている隠れ層
６のニューロンに対する微分∂Ｙc k(ｔ)／∂ｗc ji が、
次の式（１３）で計算される。 ∂Ｙc k(ｔ)／∂ｗc ji ＝ ２ｇ'[ｒc k(ｔ)](Σ(Ｙc l(ｔ)−ｗc kl)∂Ｙc l(ｔ)／∂ｗc ji −δjk(Ｙc i(ｔ)−ｗc ji)) ｇ'[ｘ] ＝ −ｇ[ｘ]／σ2 （１３） ここで、全てのニューロンの出力ａc i(ｔ)，ｂc j(ｔ)，
ｅc k(ｔ−１)，ｏc(ｔ)をまとめてＹc k (ｔ)で表す。ま
た、ｇ'[ｘ] はＲＢＦ関数の微分を表す。また、δjkは
クロネッカーのデルタでｊ＝ｋの場合だけ１で他の場合
には０である。
【００３４】一方、シグモイド関数の用いられている内
部状態記憶層１０のニューロンに対する微分∂Ｙc k(ｔ)
／∂ｗc ji は、次の式（１４）で計算される。 ∂Ｙc k(ｔ)／∂ｗc ji ＝ ｆ'[ｓc k(ｔ)](Σｗc kl∂Ｙc l(ｔ)／∂ｗc ji＋δjkＹc i(ｔ)) ｆ'[ｘ] ＝ ｆ[ｘ](１−ｆ[ｘ]) （１４） なお、ここで、f'[x]はシグモイド関数の微分を表す。
【００３５】出力層５のニューロンに対しては、ステッ
プＳＴ１４で計算した変数ｕ(ｔ)を用いて、次の式（１
５）でその微分∂Ｙc k(ｔ)／∂ｗc ji を計算する。 ∂Ｙc k(ｔ)／∂ｗc ji ＝ ｕ(ｔ)(Σｗc kl∂Ｙc l(ｔ)／∂ｗc ji＋δjkＹc i(ｔ)) （１５）
【００３６】次にステップＳＴ２２において、シナプス
結合強度の変化量を記憶しておく変数ｈc ji (ｔ)を、次
の式（１６）を用いて更新する。 ｈc ji(ｔ) ＝ ｏc(ｔ)／∂ｗc ji＋γλｈc ji(ｔ−１) （１６） ここで、λは定数である。
【００３７】次にステップＳＴ２３において、ステップ
ＳＴ２２で計算した変数ｈc ji (ｔ)を用いて、シナプス
結合強度ｗc ji (ｔ)を次の式（１７）に従って変化させ
る。 Δｗc ji(ｔ) ＝ αｒ^(ｔ)ｈc ji(ｔ) （１７） なお、αは定数である。
【００３８】次にステップＳＴ２４において、シナプス
結合強度変化Δｗp ji を計算するために必要な予測サブ
ニューラルネットワーク１１の微分∂Ｙp k(ｔ)／∂ｗp
ji を更新する。この場合も制御サブニューラルネット
ワーク２の場合と同様に、全てのニューロンの出力ａp i
(ｔ)，ｂp j(ｔ)，ｅp k(ｔ−１)，ｏp(ｔ)をまとめてＹp
k (ｔ)で表す。まず、ＲＢＦ関数が用いられている隠れ
層１４のニューロンに対する微分∂Ｙp k(ｔ)／∂ｗp ji
が、次の式（１８）にて計算される。 ∂Ｙp k(ｔ)／∂ｗp ji ＝ ２ｇ'[ｒp k(ｔ)](Σ(Ｙp l(ｔ)−ｗp kl)∂Ｙp k(ｔ)／∂ｗp ji −δjk(Ｙp i(ｔ)−ｗp ji)) （１８） なお、ＲＢＦ関数の微分ｇ'[ｘ] は式（１３）と同一の
ものが用いられる。
【００３９】一方、シグモイド関数の用いられている内
部状態記憶層１５のニューロンに対する微分∂Ｙp k(ｔ)
／∂ｗp ji は、次の式（１９）にて計算される。 ∂Ｙp k(ｔ)／∂ｗp ji ＝ ｆ'[ｓp k(ｔ)](Σｗp kl∂Ｙp k(ｔ)／∂ｗp ji＋δjkＹp i(ｔ)) （１９） なお、シグモイド関数の微分ｆ'[ｘ] は式（１４）と同
一のものが用いられる。
【００４０】さらに、出力層１３のニューロンに対して
は、次の式（２０）を用いてその微分∂Ｙp k(ｔ)／∂ｗ
p ji を計算する。 ∂Ｙp k(ｔ)／∂ｗp ji ＝ Σｗp kl∂Ｙp l(ｔ)／∂ｗp ji＋δjk]Ｙp i(ｔ) （２０）
【００４１】次にステップＳＴ２５において、シナプス
結合強度の変化量を記憶しておく変数ｈp ji (ｔ)を、次
の式（２１）を用いて更新する。 ｈp ji(ｔ) ＝ ｏp(ｔ)／∂ｗp ji＋γλｈp ji(ｔ−１) （２１）
【００４２】次にステップＳＴ２６において、ステップ
ＳＴ２５にて計算した変数ｈp ji(ｔ)を用いて、シナプ
ス結合強度ｗp ji(ｔ)を次の式（２２）に従って変化さ
せる。 Δｗp ji(ｔ) ＝ βｒ^(ｔ)ｈp ji(ｔ) （２２） なお、βは定数である。
【００４３】次にステップＳＴ２７において、入力した
制御結果ｒ(ｔ＋１)が失敗か成功かの判定を行なう。制
御結果が失敗であれば制御対象１の制御を中止して倒立
振り子を制御開始の状態に戻し、全ての微分∂Ｙc k(ｔ)
／∂ｗc ji ，∂Ｙp k(ｔ)／∂ｗp ji を０に初期化した
後、ステップＳＴ１１より制御学習を再開する。また、
制御結果が失敗でない場合にはそのままステップＳＴ１
１に戻って、倒立振り子の制御を長時間にわたって持続
できるようになるまで制御学習を継続する。
【００４４】なお、この場合、制御サブニューラルネッ
トワーク２と予測サブニューラルネットワーク１１の、
出力層５および出力層１３に向かうシナプスのシナプス
結合強度の初期値は０とし、それ以外のシナプスのシナ
プス結合強度の初期値は乱数によって定めて制御学習を
開始する。
【００４５】以上のような方法で倒立振り子を制御しな
がら学習を行なうと、次第に長い時間振り子を倒さない
で制御できるように学習することができる。この学習を
行なうためのパラメーターとしては、例えば次の値を用
いる。 ｆ ＝ １０ γ ＝ ０．９５ λ ＝ ０．７ α ＝ １, β ＝ ０．２，σ ＝ ０．４ また、制御サブニューラルネットワーク２および予測サ
ブニューラルネットワーク１１の隠れ層６，１４のニュ
ーロン数はそれぞれ５０個とし、内部状態記憶層１０，
１５のニューロン数はそれぞれ２個とする。
【００４６】そのときの、あるシナプス結合強度の初期
値から開始して、この実施の形態１による学習制御方法
によって学習した場合の、学習されたニューラルネット
ワークによる倒立振り子の制御時間の変化を図３に示
す。また、図４は隠れ層６，１４のニューロンのシグモ
イド関数を用いたニューラルネットワークで、実施の形
態１と同様の学習制御方法で学習した場合の、学習され
たニューラルネットワークによる倒立振り子の制御時間
の変化を示したものである。この図３と図４を比較する
ことにより、入出力関数としてＲＢＦ関数を用いている
この発明の実施の形態１による学習制御方法が、いかに
迅速に倒立振り子の制御を学習できているかが分かる。
なお、フィードバック結合を持たないフィードフォワー
ド型のニューラルネットワークでは、過去の履歴を考慮
できないので、学習が進行しないのはいうまでもない。
【００４７】以上のように、この実施の形態１によれ
ば、内部状態記憶層１０，１５を設置して１時刻前のそ
の出力を入力しているので、過去の履歴を考慮すること
ができ、また、隠れ層６，１４にＲＢＦ関数を持つニュ
ーロンを用いたので、効率よく高速に制御対象１の制御
方法を学習することができ、さらに制御対象１の制御に
対する評価を、制御に失敗したか否かを表す２値信号に
よって行っているので、制御に対する評価が簡単に得ら
れ、ニューラルネットワークにより速く制御結果の判定
を与えることが可能となって、制御方法の学習を高速に
行うことができる効果がある。
【００４８】実施の形態２．図５はこの発明の実施の形
態２による学習制御方法が適用される制御装置の構成例
を示すブロック図であり、各部には図１に示した実施の
形態１のそれぞれの相当部分と同一の符号を付してその
説明を省略する。なお、この実施の形態２は制御系を形
成している制御サブニューラルネットワーク２および予
測サブニューラルネットワーク１１として、２層以上の
隠れ層６あるいは隠れ層１４を備えた４層以上のニュー
ラルネットワークを用いている点で、実施の形態１と異
なっている。
【００４９】次に動作について説明する。ここで、図６
は図５に示した制御装置に適用されるこの発明の実施の
形態２による学習制御方法を示すフローチャートであ
る。まず、ステップＳＴ３１において、実施の形態１の
場合と同様に、制御対象１からその状態を表す状態値を
各種のセンサを用いて検出し、それら各状態値をそれぞ
れの最小値と最大値を用いて０〜１の間に規格化した
後、制御サブニューラルネットワーク２の入力層３と予
測サブニューラルネットワーク１１の入力層１２に入力
する。この場合、これら各制御サブニューラルネットワ
ーク２および予測サブニューラルネットワーク１１は、
ＲＢＦ関数を用いたニューロンからなる隠れ層１４を１
層以上持つｎ層のニューラルネットワークであるものと
し、それらの出力をそれぞれcｘk j(ｔ) およびpｘ
k j(ｔ) で表すものとする。なお、ｋは層の番号を示す
もので、ｋ＝１は入力層３および入力層１２を表し、ｋ
＝ｎは出力層５および出力層１３を表している。また、
内部状態記憶層１０および内部状態記憶層１５はｋ＝２
以上のどの層にあっても良い。なお、ここでは内部状態
記憶層１０および内部状態記憶層１５は出力層５および
出力層１３と同様にｋ＝ｎにあるとするが、ｋ＝０で内
部状態記憶層１０および内部状態記憶層１５を表すもの
とする。
【００５０】次にステップＳＴ３２において、制御サブ
ニューラルネットワーク２の各隠れ層６のニューロンの
出力cｘk j(ｔ) を入力層３に近い順に、それ以下の層の
出力と１時刻前の内部状態記憶層１０の出力から次の式
（２３）を用いて計算する。なお、この式（２３）のＲ
ＢＦ関数ｇ[ｘ]は式（７）のそれと、シグモイド関数ｆ
[ｘ]は式（８）のそれとそれぞれ同一のものが用いられ
る。 cγk j(ｔ) ＝ ΣmΣi(cｗm ji−cｘm i(ｔ))2＋Σ(cｗ0 ji−cｘ0 j(ｔ−１))2 cｘk j(ｔ) ＝ ｇ[cγk j(ｔ)] ＲＢＦ関数の場合 cｓk j(ｔ) ＝ ΣmΣi cｗm ji cｘm i(ｔ)＋Σcｗ0 ji cｘ0 j(ｔ−１) cｘk j(ｔ) ＝ ｆ[cｓk j(ｔ)] シグモイド関数の場合 （２３） ここで、cｘ0 j(ｔ−１) は１時刻前の内部状態記憶層１
０のニューロンの出力を表している。
【００５１】次にステップＳＴ３３において、入力層３
の出力、隠れ層６の出力、内部記憶状態層１０の１時刻
前の出力とシナプス結合強度から、制御サブニューラル
ネットワーク２の出力層５の出力ｏc(ｔ)と内部記憶状
態層１０の出力cｘ0 j(ｔ)を次の式（２４）を用いて計
算する。 ｏc(ｔ) ＝ cｘn(ｔ) ＝ ｆ[ΣmΣi cｗm ji cｘm i(ｔ)＋Σcｗ0 ji cｘ0 i(ｔ−１)] cｓ0 j(ｔ) ＝ ΣmΣj cｗm ji cｘm i(ｔ)＋Σcｗ0 ji cｘ0 i(ｔ−１) cｘ0 j(ｔ) ＝ ｆ[cｓ0 j(ｔ)] （２４） なお、この式（２４）のシグモイド関数ｆ[ｘ]は式
（８）のそれと同一のものが用いられる。
【００５２】次にステップＳＴ３４において、その制御
サブニューラルネットワーク２の出力に基づいて、確率
ｏc(ｔ)で制御に用いる力Ｆ(ｔ)を＋Ｆ、確率１−ｏ
c(ｔ)で−ｆとする。そして制御サブニューラルネット
ワーク２の学習に用いる変数ｕ(ｔ)を次の式（２５）で
計算する。 ｕ(ｔ) ＝ １−ｏc(ｔ) ｏc(ｔ) ≧ ０の場合 ＝ −ｏc(ｔ) ｏc(ｔ) ＜ ０の場合 （２５）
【００５３】次にステップＳＴ３５において、前記ステ
ップＳＴ３１で規格化した入力を予測サブニューラルネ
ットワーク１１にも入力し、当該予測サブニューラルネ
ットワーク１１の各隠れ層１４のニューロンの出力pｘk
j(ｔ) を、入力層１２に近い順に、それ以下の隠れ層１
４の出力と内部状態記憶層１５の１時刻前の出力から次
の式（２６）を用いて計算する。なお、この式（２３）
のＲＢＦ関数ｇ[ｘ]は式（７）のそれと、シグモイド関
数ｆ[ｘ]は式（８）のそれと、それぞれ同一のものが用
いられる。 pγk j(ｔ) ＝ ΣmΣi(pｗm ji−pｘm i(ｔ))2＋Σ(pｗ0 ji−pｘ0 i(ｔ−１))2 pｘk j(ｔ) ＝ ｇ[pγk j(ｔ)] ＲＢＦ関数の場合 pｓk j(ｔ) ＝ ΣmΣi pｗm ji pｘm i(ｔ)＋Σpｗ0 ji pｘ0 i(ｔ−１) pｘk j(ｔ) ＝ ｆ[pｓk j(ｔ)] シグモイド関数の場合 （２６） ここで、pｘ0 i(ｔ−１) は１時刻前の内部状態記憶層１
５のニューロンの出力を表している。
【００５４】次にステップＳＴ３６において、入力層１
２の出力、隠れ層１４の出力、内部状態記憶層１５の１
時刻前の出力とシナプス結合強度から、予測サブニュー
ラルネットワーク１１の出力層１３の出力ｏp(ｔ)と内
部状態記憶層１５の出力pｘ0 j(ｔ)を、次の式（２７）
を用いて計算する。 ｏp(ｔ) ＝ pｘn(ｔ) ＝ ΣmΣi pｗm ji pｘm i(ｔ)＋Σpｗ0 ji pｘ0 i(ｔ−１) pｓ0 j(ｔ) ＝ ΣmΣi pｗm ji pｘm i(ｔ)＋Σpｗ0 ji pｘ0 i(ｔ−１) pｘ0 j(ｔ) ＝ ｆ[pｓ0 j(ｔ)] （２７） なお、この式（２７）のシグモイド関数ｆ[ｘ]は（８）
式のそれと同一のものが用いられる。
【００５５】次にステップＳＴ３７において、ステップ
ＳＴ３４にて計算した力Ｆ(ｔ)を制御対象１に加えてそ
の倒立振り子を制御する。次にステップＳＴ３８におい
て、制御サブニューラルネットワーク２からの制御出力
値によって制御された倒立振り子の状態をセンサで検出
して、その制御結果ｒ(ｔ＋１)と制御対象１の状態値を
得る。得られた制御対象１の状態値はステップＳＴ３１
の場合と同様に規格化して予測サブニューラルネットワ
ーク１１に入力する。
【００５６】次にステップＳＴ３９において、ステップ
ＳＴ３５およびステップＳＴ３６と同一の手順で、１時
刻後の制御結果予測値ｏp (ｔ＋１)を、式（２６）と式
（２７）を用いて計算する。次にステップＳＴ４０にお
いて、制御結果ｒ(ｔ＋１)と制御結果予測値ｏp(ｔ)お
よび１時刻後の制御結果予測値ｏp(ｔ＋１)から、次の
式（２８）によって制御結果予測誤差ｒ^(ｔ)を計算す
る。 ｒ^(ｔ) ＝ γｏp(ｔ＋１)−ｏp(ｔ) 時刻ｔ＋１で失敗しなかった場合 ＝ ｒ(ｔ＋１)−ｏp(ｔ) 時刻ｔ＋１で失敗した場合 （２８） ここで、γは定数である。
【００５７】次にステップＳＴ４１において、シナプス
結合強度変化を計算するために必要な、制御サブニュー
ラルネットワーク２の微分∂Ｘc k(ｔ)／∂ｗc jiを更新
する。ここで、制御サブニューラルネットワーク２の出
力をまとめてＸc k(ｔ)で表し、シナプス結合強度をまと
めてｗc ji で表す。まず、ＲＢＦ関数の用いられている
隠れ層６のニューロンに対する微分∂Ｘc k(ｔ)／∂ｗc
ji が、次の式（２９）によって計算される。 ∂Ｘc k(ｔ)／∂ｗc ji ＝ ２ｇ'[ｒc k(ｔ)](Σ(Ｘc l(ｔ)−ｗc kl)∂Ｘc l(ｔ)／∂ｗc ji −δjk(Ｘc i(ｔ)−ｗc ji)) （２９）
【００５８】一方、シグモイド関数の用いられている隠
れ層６のニューロンおよび内部状態記憶層１０のニュー
ロンに対する微分∂Ｘc k(t)／∂ｗc jiは、次の式（３
０）で計算される。 ∂Ｘc k(ｔ)／∂ｗc ji ＝ ｆ'[ｓc k(ｔ)](Σｗc kl∂Ｘc l(ｔ)／∂ｗc ji＋δjkＸc i(ｔ)) （３０）
【００５９】出力層５のニューロンに対しては、ステッ
プＳＴ３４で計算した変数ｕ(ｔ)を用いて、その微分∂
Ｘc k(ｔ)／∂ｗc ji が次の式（３１）で計算される。 ∂Ｘc k(ｔ)／∂ｗc ji ＝ ｕ(ｔ)(Σｗc kl∂Ｘc l(ｔ)／∂ｗc ji＋δjkＸc i(ｔ)) （３１）
【００６０】次にステップＳＴ４２において、シナプス
結合強度の変化量を記憶しておく変数ｈc ji (ｔ)を次の
式（３２）を用いて更新する。 ｈc ji(ｔ) ＝∂ｏc(ｔ)／∂ｗc ji＋γλｈc ji(ｔ−１) （３２） ここで、λは定数である。
【００６１】次にステップＳＴ４３において、ステップ
ＳＴ４２で計算した変数ｈc ji(ｔ)を用いて、シナプス
結合強度ｗc ji (ｔ)を次の式（３３）に従って変化させ
る。 Δｗc ji(ｔ) ＝ αｒ^(ｔ)ｈc ji(ｔ) （３３） なお、αは定数である。
【００６２】次にステップＳＴ４４において、シナプス
結合強度変化Δｗc ji (ｔ)を計算するために必要な、予
測サブニューラルネットワーク１１の微分∂Ｘp k(ｔ)／
∂ｗp ji を更新する。この場合も制御サブニューラルネ
ットワーク２の場合と同様に、全てのニューロンの出力
をまとめてＸp k(ｔ)で表し、シナプス結合強度をまとめ
てｗp ji で表す。まず、ＲＢＦ関数の用いられている隠
れ層１４のニューロンに対する微分∂Xp k(ｔ)／∂ｗp ji
が、次の式（３４）を用いて計算される。 ∂Ｘp k(ｔ)／∂ｗp ji ＝ ２ｇ'[ｒp k(ｔ)](Σ(Ｘp l(ｔ)−ｗp kl)∂Ｘp l(ｔ)／∂ｗp ji −δjk(Xp i(ｔ)−wp ji)) （３４） なお、ＲＢＦ関数の微分ｇ'[ｘ] は（１３）式と同一の
ものが用いられる。
【００６３】一方、シグモイド関数の用いられている隠
れ層１４のニューロンおよび内部状態記憶層１５のニュ
ーロンに対する微分∂Ｘp k(ｔ)／∂ｗp ji は、次の式
（３５）を用いて計算される。 ∂Ｘp k(ｔ)／∂ｗp ji ＝ ｆ'[ｓp k(ｔ)](Σｗp kl∂Ｘp l(ｔ)／∂ｗp ji＋δjkＸp i(ｔ)) （３５） なお、シグモイド関数の微分ｆ'[ｘ] は（１４）式と同
一のものが用いられる。
【００６４】さらに、出力層１３のニューロンに対して
は、次の式（３６）を用いてその微分∂Ｘp k(ｔ)／∂ｗ
p jiを計算する。 ∂Ｘp k(ｔ)／∂ｗp ji ＝ Σｗp kl∂Ｙp l(ｔ)／∂ｗp ji ＋δjkＸp i(ｔ) （３６）
【００６５】次にステップＳＴ４５において、シナプス
結合強度の変化量を記憶しておく変数ｈp ji (ｔ)を、次
の式（３７）を用いて更新する。 ｈp ji(ｔ) ＝∂ｏp(ｔ)／∂ｗp ji＋γλｈp ji(ｔ−１) （３７）
【００６６】次にステップＳＴ４６において、ステップ
ＳＴ４５にて計算した変数ｈp ji(ｔ)を用いて、シナプ
ス結合強度ｗp ji(ｔ)を次の式（３８）に従って変化さ
せる。 Δｗp ji(ｔ) ＝ βｒ^(ｔ)ｈp ji(ｔ) （３８） なお、βは定数である。
【００６７】次にステップＳＴ４７において、入力した
制御結果ｒ(ｔ＋１)が失敗か成功かの判定を行なう。制
御結果が失敗であれば制御対象１の制御を中止して倒立
振り子を制御開始の状態に戻し、全ての微分∂Ｘc k(ｔ)
／∂ｗc ji ，∂Ｘp k(ｔ)／∂ｗp ji を０に初期化した
後、ステップＳＴ３１より制御学習を再開する。また、
制御結果が失敗でない場合にはそのままステップＳＴ３
１に戻って、長時間にわたって倒立振り子を制御を持続
できるようになるまで制御学習を継続する。
【００６８】なお、この場合、制御サブニューラルネッ
トワーク２と予測サブニューラルネットワーク１１の、
出力層５および出力層１３に向かうシナプスのシナプス
結合強度の初期値は０とし、それ以外のシナプスのシナ
プス結合強度の初期値は乱数によって定めて制御学習を
開始する。
【００６９】以上のような方法で倒立振り子を制御しな
がら学習を行なうと、次第に長い時間振り子を倒さない
で制御できるように学習することができる。
【００７０】以上のように、この実施の形態２によれ
ば、２層以上の隠れ層６，１４によって制御対象１の状
態値の詳細な分類をすることが可能となるため、より精
密な制御方法を学習することができる効果がある。
【００７１】実施の形態３．また、上記実施の形態１お
よび実施の形態２では、制御結果（制御に対する評価）
として、制御に失敗したか否かを表す２値信号を用いた
場合について説明したが、この制御結果として、制御の
状態に関する評価値のようなアナログ信号を用いるよう
にしてもよく、そのようなアナログ信号を用いた場合に
は、２値信号を用いる場合に比べてより精密な制御が行
える制御方法を学習することが可能となる。
【００７２】ここで、この制御の状態に関する評価値と
しては、制御対象１の望ましい状態で最大となり、その
状態から離れるにつれて減少するような評価値、例え
ば、制御対象１が倒立振り子である場合には、倒立振り
子が中央の位置で直立して静止している状態で最大とな
り、それから離れるに従って減少するアナログ値を用い
ればよい。具体的には、この評価値ｑi (ｔ)として次の
式（３９）で与えられるものを用いるとよい。 ｅi ＝ (ｘi(ｔ)−ｓｘi)2 ｑi(ｔ) ＝ νｅｘｐ(−ｅi／μi 2) （３９）
【００７３】ここで、ｘi(ｔ)は入力値、ｓｘiは制御対
象１の望ましい状態であり、ν，μi は定数である。制
御対象１の各状態値に対してこの評価値ｑi (ｔ)を求
め、その積をその時点の評価値とする。
【００７４】以上のように、この実施の形態３によれ
ば、制御の成功の度合いまたは失敗の度合いを表すアナ
ログ信号によって、制御対象の制御に対する評価をより
精密に行うことが可能となり、ニューラルネットワーク
をより正確に学習させることができる効果がある。
【００７５】実施の形態４．また、上記各実施の形態で
は、隠れ層６および隠れ層１４の持つニューロンが入出
力関数として用いているＲＢＦ関数として、式（７）で
示したようなガウス関数を用いたものについて説明した
が、次の式（４０）で与えられるような関数であっても
よい。 ｇ[ｘ] ＝ (１−ｘ／ρ)2 ｘ＜ρ ＝ ０ ｘ＞ρ （４０）
【００７６】さらに、この式（７）や式（４０）と異な
る関数であっても、それら式（７）や式（４０）のよう
にｘ＝０で最大となり、その近傍だけで有意な値を持つ
関数であればＲＢＦ関数として用いることができる。
【００７７】以上のように、この実施の形態４によれ
ば、隠れ層６，１４のニューロンに用いるＲＢＦ関数と
して、ｘ＝０で最大となってその近傍のみで有意な値を
持つ関数を用いたので、制御方法を効率よく高速に学習
することができる効果がある。
【００７８】実施の形態５．また、上記各実施の形態で
は、制御サブニューラルネットワーク２から出力される
制御出力値が１つである場合を示したが、同様の方法に
よって制御出力値が２つ以上出力される場合にも適用で
きることはいうまでもない。さらに、適用される制御対
象１も、倒立振り子ばかりでなく、テープドライブ，Ｃ
Ｄプレイヤ，ビデオテープレコーダ（ＶＴＲ），洗濯機
等の回転体の姿勢制御や、バイオリアクタあるいはプラ
ント等の状態制御にも適用可能である。
【００７９】
【発明の効果】以上のように、請求項１記載の発明によ
れば、制御系のニューラルネットワークに内部状態記憶
層のニューロンを設置して、１時刻前のその出力を入力
するようにするとともに、隠れ層に入出力関数としてＲ
ＢＦ関数を持ったニューロンを用いるように構成したの
で、過去の履歴を考慮することが必要な制御対象に対し
ても、その制御方法を効率よく迅速に学習できる効果が
ある。
【００８０】請求項２記載の発明によれば、制御系のニ
ューラルネットワークに２層以上の隠れ層を持たせ、１
つ以上の隠れ層にＲＢＦ関数を入出力関数に用いるニュ
ーロンを持たせるように構成したので、さらに、制御対
象の状態値の詳細な分類をすることが可能となり、より
精密な制御方法を学習することができる効果がある。
【００８１】請求項３記載の発明によれば、制御系の制
御サブニューラルネットワークで制御対象の制御出力値
を決定して制御対象の制御を行い、制御系の予測サブニ
ューラルネットワークでその制御結果と制御対象の状態
値に基づいて制御結果予測誤差を算出し、制御サブニュ
ーラルネットワークと予測サブニューラルネットワーク
のシナプス結合強度の学習を、その制御結果予測誤差に
基づいて行うように構成したので、過去の履歴を考慮す
ることができ、効率よく高速に制御方法を学習すること
ができる効果がある。
【００８２】請求項４記載の発明によれば、制御対象の
制御に対する評価を、制御に失敗したか否かを表す２値
信号を用いて行うように構成したので、制御対象の制御
に対する評価の判定結果に基づいて学習を行わせる際
の、制御に対する評価を簡単に得ることが可能となり、
その結果、ニューラルネットワークにより速く制御結果
の判定を与えることができるようになって、学習をより
高速に行える効果がある。
【００８３】請求項５記載の発明によれば、制御対象の
制御に対する評価を、制御の成功の度合いまたは失敗の
度合いを表すアナログ信号を用いて行うように構成した
ので、制御対象の制御に対する評価の判定結果に基づい
て学習を行わせる際の、制御に対する評価をより精密に
行うことが可能となり、その結果、ニューラルネットワ
ークに制御方法をより正確に学習させることができる効
果がある。
【００８４】請求項６記載の発明によれば、０で最大と
なり、その近傍でのみ有意な値を持つ関数をＲＢＦ関数
として用いるように構成したので、制御方法を効率よく
高速に学習することができる効果がある。
【図面の簡単な説明】
【図１】 この発明の実施の形態１による学習制御方法
が適用される制御装置の構成例を示すブロック図であ
る。
【図２】 この発明の実施の形態１による学習制御方法
を示すフローチャートである。
【図３】 この発明の実施の形態１によって学習した場
合の制御時間の変化を示す説明図である。
【図４】 図１における隠れ層のニューロンの入出力関
数を全てシグモイド関数としたニューラルネットワーク
で学習した場合の制御時間の変化を示す説明図である。
【図５】 この発明の実施の形態２による学習制御方法
が適用される制御装置の構成例を示すブロック図であ
る。
【図６】 この発明の実施の形態２による学習制御方法
を示すフローチャートである。
【図７】 従来の学習方法が適用される制御装置の構成
例を示すブロック図である。
【図８】 従来の学習制御方法を示すフローチャートで
ある。
【符号の説明】
１ 制御対象、２ 制御サブニューラルネットワーク
（制御系）、３，１２入力層、５，１３ 出力層、６，
１４ 隠れ層、１０，１５ 内部状態記憶層、１１ 予
測サブニューラルネットワーク（制御系）。

Claims (6)

    【特許請求の範囲】
  1. 【請求項１】 制御対象の状態を測定した測定結果に基
    づいて、前記制御対象の制御方法を学習してその制御を
    行う学習制御方法において、 内部状態記憶層を構成するニューロンを持ち、入出力関
    数としてラディアル・ベイシズ・ファンクションを用い
    るニューロンを隠れ層に持つニューラルネットワークで
    形成されて、前記制御対象を制御する制御系に、前記制
    御対象の状態の測定結果と、前記内部状態記憶層を構成
    するニューロンからの１時刻前の出力を入力し、 それらの入力値に基づいて前記制御対象の制御を行な
    い、当該制御による前記制御対象の状態を測定して、そ
    の測定結果から前記制御対象の制御に対する評価を判定
    し、 その判定結果に基づいて、前記制御系のニューラルネッ
    トワークのシナプス結合強度を学習させ、 その学習結果に基づいて以上の処理を繰り返しつつ前記
    制御対象の制御を行なうことを特徴とする学習制御方
    法。
  2. 【請求項２】 制御対象の状態を測定した測定結果に基
    づいて、前記制御対象の制御方法を学習してその制御を
    行う学習制御方法において、 内部状態記憶層を構成するニューロンを持ち、入出力関
    数としてラディアル・ベイシズ・ファンクションを用い
    るニューロンを１つ以上の隠れ層に持つ、４層以上のニ
    ューラルネットワークで形成されて、前記制御対象を制
    御する制御系に、前記制御対象の状態の測定結果と、前
    記内部状態記憶層を構成するニューロンからの１時刻前
    の出力を入力し、 それらの入力値に基づいて前記制御対象の制御を行な
    い、当該制御による前記制御対象の状態を測定して、そ
    の測定結果から前記制御対象の制御に対する評価を判定
    し、 その判定結果に基づいて、前記制御系のニューラルネッ
    トワークのシナプス結合強度を学習させ、 その学習結果に基づいて以上の処理を繰り返しつつ前記
    制御対象の制御を行なうことを特徴とする学習制御方
    法。
  3. 【請求項３】 制御系を、それぞれが、内部状態記憶層
    を構成するニューロンを持ち、入出力関数としてラディ
    アル・ベイシズ・ファンクションを用いるニューロンを
    隠れ層に持つニューラルネットワークより成る、制御サ
    ブニューラルネットワークおよび予測サブニューラルネ
    ットワークで形成し、 前記制御サブニューラルネットワークおよび予測サブニ
    ューラルネットワークによって、制御対象の状態の測定
    結果である状態値と前記内部状態記憶層を構成するニュ
    ーロンからの１時刻前の出力より、前記制御対象の制御
    出力値および制御結果予測値を決定して、その制御出力
    値に基づいて前記制御対象を制御し、 前記制御出力値によって制御された前記制御対象の制御
    結果と状態値を予測サブニューラルネットワークに入力
    して制御結果予測誤差を算出し、 前記制御サブニューラルネットワークおよび予測サブニ
    ューラルネットワークにおいて、前記制御結果予測誤差
    に基づいたシナプス結合強度の学習を行うことを特徴と
    する請求項１または請求項２記載の学習制御方法。
  4. 【請求項４】 制御対象の制御に対する評価を判定し、
    その判定結果に基づいて制御系のニューラルネットワー
    クのシナプス結合強度を学習させる際、 前記制御に対する評価として、制御に失敗したか否かを
    表す２値信号を用いることを特徴とする請求項１から請
    求項３のうちのいずれか１項記載の学習制御方法。
  5. 【請求項５】 制御対象の制御に対する評価を判定し、
    その判定結果に基づいて制御系のニューラルネットワー
    クのシナプス結合強度を学習させる際、 前記制御に対する評価として、制御の成功の度合いある
    いは失敗の度合いを表すアナログ信号を用いることを特
    徴とする請求項１から請求項３のうちのいずれか１項記
    載の学習制御方法。
  6. 【請求項６】 隠れ層の持つニューロンに用いられるラ
    ディアル・ベイシズ・ファンクションとして、０で最大
    となり、その近傍だけで有意な値を持つ関数を用いるこ
    とを特徴とする請求項１から請求項３のうちのいずれか
    １項記載の学習制御方法。
JP8052161A 1996-03-08 1996-03-08 学習制御方法 Pending JPH09245012A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP8052161A JPH09245012A (ja) 1996-03-08 1996-03-08 学習制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP8052161A JPH09245012A (ja) 1996-03-08 1996-03-08 学習制御方法

Publications (1)

Publication Number Publication Date
JPH09245012A true JPH09245012A (ja) 1997-09-19

Family

ID=12907122

Family Applications (1)

Application Number Title Priority Date Filing Date
JP8052161A Pending JPH09245012A (ja) 1996-03-08 1996-03-08 学習制御方法

Country Status (1)

Country Link
JP (1) JPH09245012A (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000010098A1 (fr) * 1998-08-12 2000-02-24 Sony Corporation Machine de traitement des donnees, technique de traitement des donnees et support correspondant
US7133855B2 (en) 2002-04-08 2006-11-07 Honda Giken Kogyo Kabushiki Kaisha Behavior control apparatus and method
JP2008204437A (ja) * 2007-01-12 2008-09-04 Toyota Motor Engineering & Manufacturing North America Inc 固定型の長期及び適応型の短期メモリを有するニューラルネットワークコントローラ
JP2011212418A (ja) * 2010-07-23 2011-10-27 Mitsubishi Electric Corp 粒子線照射装置及び粒子線治療装置
CN104238365A (zh) * 2014-09-25 2014-12-24 河海大学常州校区 基于自适应神经网络控制的悬臂梁振动控制方法
JP2020190853A (ja) * 2019-05-20 2020-11-26 ヤフー株式会社 学習装置、学習方法及び学習プログラム

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000010098A1 (fr) * 1998-08-12 2000-02-24 Sony Corporation Machine de traitement des donnees, technique de traitement des donnees et support correspondant
US7133855B2 (en) 2002-04-08 2006-11-07 Honda Giken Kogyo Kabushiki Kaisha Behavior control apparatus and method
JP2008204437A (ja) * 2007-01-12 2008-09-04 Toyota Motor Engineering & Manufacturing North America Inc 固定型の長期及び適応型の短期メモリを有するニューラルネットワークコントローラ
JP2011212418A (ja) * 2010-07-23 2011-10-27 Mitsubishi Electric Corp 粒子線照射装置及び粒子線治療装置
CN104238365A (zh) * 2014-09-25 2014-12-24 河海大学常州校区 基于自适应神经网络控制的悬臂梁振动控制方法
JP2020190853A (ja) * 2019-05-20 2020-11-26 ヤフー株式会社 学習装置、学習方法及び学習プログラム

Similar Documents

Publication Publication Date Title
JPH04227507A (ja) 移動ロボット用のマップを作成し保持する方法
Bernstein et al. Reinforcement learning for computer vision and robot navigation
Jia et al. A coach-based bayesian reinforcement learning method for snake robot control
Shakhovska et al. The neurocontroller for satellite rotation
JPH09245012A (ja) 学習制御方法
Zhang et al. Dynamic learning-based fault tolerant control for robotic manipulators with actuator faults
CN112388620B (zh) 一种用于气动肌肉驱动系统的轨迹跟踪控制算法
Evans et al. Reward signal design for autonomous racing
Shi et al. Neural network-based iterative learning control for trajectory tracking of unknown SISO nonlinear systems
Hu et al. Incremental learning framework for autonomous robots based on q-learning and the adaptive kernel linear model
Lee et al. Early failure detection of deep end-to-end control policy by reinforcement learning
Chen et al. Learning trajectories for visual-inertial system calibration via model-based heuristic deep reinforcement learning
Shukla et al. UBOL: User-Behavior-aware one-shot learning for safe autonomous driving
CN114193458B (zh) 一种基于高斯过程在线学习的机器人控制方法
Samant et al. Adaptive learning of dynamic movement primitives through demonstration
Zhou et al. Deep reinforcement learning with long-time memory capability for robot mapless navigation
Suykens et al. Neural control theory: an overview
CN115081612A (zh) 用以改进机器人策略学习的设备和方法
Hill et al. Neuroevolution with CMA-ES for Real-time Gain Tuning of a Car-like Robot Controller.
Raj et al. Deep neural network approach for navigation of autonomous vehicles
JP2674167B2 (ja) 神経回路網モデルを用いたプロセス制御方法
Li et al. Lateral state estimation of preceding target vehicle based on multiple neural network ensemble
JPH08115309A (ja) 学習制御方法
US20240028903A1 (en) System and method for controlling machine learning-based vehicles
Petrova-Dimitrova Reinforcement learning algorithms using for agent behaviour modelling and researching