JP5330138B2 - 強化学習システム - Google Patents
強化学習システム Download PDFInfo
- Publication number
- JP5330138B2 JP5330138B2 JP2009174585A JP2009174585A JP5330138B2 JP 5330138 B2 JP5330138 B2 JP 5330138B2 JP 2009174585 A JP2009174585 A JP 2009174585A JP 2009174585 A JP2009174585 A JP 2009174585A JP 5330138 B2 JP5330138 B2 JP 5330138B2
- Authority
- JP
- Japan
- Prior art keywords
- value
- reward
- function
- learning
- robot
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
- G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
- G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Automation & Control Theory (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Manipulator (AREA)
- Feedback Control In General (AREA)
Description
本発明はエージェントがタスクを実行するための行動方策を学習するための強化学習システムに関する。
タスクに適した構造を獲得するまでの学習時間の短縮を図るため、外界の状態に基づいた複数の学習器のそれぞれによる学習結果からエージェントの行動方策を決定し、複数の行動方策の中から各学習器の学習性能に基づいて一の行動方策を選択する技術が提案されている（特許文献１参照）。
しかし、前記先行技術によれば一の学習器による学習結果が活かされるだけなので、他の学習器による学習結果をも活かすことにより達成されうるような複雑な動作を伴うタスクをエージェントに実行させることは困難である。
そこで、本発明は、エージェントが複雑な動作を伴うタスクを実行するための行動方策を学習することができる強化学習システムを提供することを解決課題とする。
第１発明の強化学習システムは、エージェントがタスクを実行するための行動方策を学習するための強化学習システムであって、環境を表わす第１〜第ｎ状態変数（ｎ≧２）を認識する環境認識器と、前記環境認識器により認識された第ｊ状態変数（ｊ＝１，２，‥ｎ）に基づいて第ｊ報酬を算出し、当該第ｊ状態変数に基づき、第ｊ価値関数にしたがって第ｊ価値を算出し、前記第ｊ価値および前記第ｊ報酬に基づいて第ｊ誤差を算出し、前記第ｊ誤差に基づいて前記第ｊ価値関数を適宜変更するｎ個の第ｊ学習器と、前記ｎ個の第ｊ学習器により算出された前記第ｊ報酬のうち一部または全部に基づいて前記エージェントが採るべき行動方策を決定する行動方策決定器とを備え、第ｉ＋１学習器（ｉ＝１，２，‥ｎ−１）が第ｉ状態変数に応じた第ｉ報酬関数の値と、第ｉ価値関数の時間微分である第ｉ価値勾配関数の値とに基づいて第ｉ＋１報酬を算出することを特徴とする。
第１発明の強化学習システムによれば、環境から得られる第ｉ報酬に応じて定まる、第ｉ学習器による学習結果としての第ｉ価値関数の時間微分である第ｉ価値勾配関数の値が、第ｉ＋１学習器による学習に際して活用されうる（ｉ＝１，２，‥，ｎ−１）。なお、第ｉ状態変数とはスカラーのほかベクトルをも包含する概念である。これにより、第ｎ学習器による学習に際して直接的には第ｎ−１学習器による学習結果が活用され、第ｎ−２学習器以前の学習器による学習結果が間接的に活用されうる。すなわち、第ｎ学習器による学習結果としての第ｎ価値関数には、第１〜第ｎ学習器のそれぞれの第１〜第ｎ報酬関数により記述される学習方針のすべてが反映されうる。そして、第１〜第ｎ報酬のうち一部または全部に基づいてエージェントが採るべき行動方策が決定される。したがって、複数の状態変数の変化態様により定義される複雑な動作を伴うタスクをエージェントに実行させるための行動方策が学習されうる。
第２発明の強化学習システムは、第１発明の強化学習システムにおいて、前記第ｉ＋１学習器が、前記第ｉ価値勾配関数が大きい負値であるほど前記第ｉ＋１報酬を低く評価することを特徴とする。
第２発明の強化学習システムによれば、第ｉ価値関数の値が時系列的に減少している場合、すなわち、エージェントの行動方策により定義される環境が第ｉ学習器の学習方針に反している場合、第ｉ＋１学習器により第ｉ＋１報酬が低く評価される。これにより、環境が第ｉ＋１学習器の学習方針に合致している一方、第ｉ学習器の学習方針に反している行動方策がエージェントの行動方策として採用される事態が回避されうる。すなわち、一部の状態変数の変化態様に鑑みて適当な行動方策であっても、残りの状態変数の変化態様に鑑みて著しく不適当な行動方策である場合、当該行動方策がエージェントの行動方策として採用される事態が回避されうる。したがって、複数の状態変数の変化態様により定義される複雑な動作を伴うタスクをエージェントに実行させるための行動方策が学習されうる。
第３発明の強化学習システムは、第２発明の強化学習システムにおいて、前記第ｉ＋１学習器が、前記第ｉ価値勾配関数が正値である場合、例外的に前記第ｉ価値勾配関数の値とは無関係に前記第ｉ＋１報酬を評価することを特徴とする。
第３発明の強化学習システムによれば、第ｉ価値関数の値が時系列的に増加している場合、すなわち、エージェントの行動方策により定義される環境が第ｉ学習器の学習方針に合致している場合、第ｉ＋１学習器により例外的に第ｉ価値勾配関数の値とは無関係に第ｉ＋１報酬が評価される。これにより、環境が第ｉ学習器の学習方針に合致しているという理由で第ｉ＋１報酬が過剰に高く評価され、第ｉ＋１学習器の学習方針に反している行動方策が図らずもエージェントの行動方策として採用される事態が回避されうる。すなわち、前の学習器による学習結果が後の学習器による学習に際して過剰に重視された結果、当該後の学習器の学習方針に反する行動方策が採用される事態が回避される。したがって、複数の状態変数の変化態様により定義される複雑な動作を伴うタスクをエージェントに実行させるための行動方策が学習されうる。
本発明の強化学習システムの実施形態について図面を用いて説明する。まず、強化学習システムの構成について説明する。図１に示されている強化学習システム１は、図２に示されているエージェントとしてのロボットＲに搭載されている電子制御ユニット（ＣＰＵ，ＲＯＭ，ＲＡＭ，Ｉ／Ｏ回路等により構成されている。）またはコンピュータにより構成されている。強化学習システム１を構成するコンピュータのＣＰＵがメモリから強化学習プログラム（ソフトウェア）を読み出し、読み出した強化学習プログラムにしたがって後述する学習処理等、さまざまな処理を実行する。強化学習プログラムはＣＤやＤＶＤ等のソフトウェア記録媒体を通じてコンピュータにインストールされてもよいが、ロボットＲからサーバに要求信号が送信されたことに応じて当該サーバによってネットワークや人工衛星を介して当該コンピュータにダウンロードされてもよい。
強化学習システム１は環境認識器１１と、第１学習器１２１と、第２学習器１２２と、行動方策決定器１３とを備えている。
環境認識器１１はロボットＲに搭載されている内部状態センサ群Ｓ１および外部状態センサ群Ｓ２からの出力信号に基づいて環境を表わす第１状態変数および第２状態変数を認識する。
第１学習器１２１は環境認識器１１により認識された第１状態変数（詳細は後述する。）に基づき、第１報酬関数ｒ1にしたがって第１報酬ｒ1(ｔ)を算出する。第１学習器１２１は第１状態変数に基づき、第１価値関数Ｖ1にしたがって第１価値Ｖ1(ｔ)を算出する。第１学習器１２１は第１価値Ｖ1(ｔ)および第１報酬ｒ1(ｔ)に基づいて第１ＴＤ誤差（第１誤差）δ1(ｔ)を算出する。第１学習器１２１は第１誤差δ1(ｔ)に基づいて第１価値関数Ｖ1を適宜変更する。第１報酬関数ｒ1は、手部Ｂ４の位置ｐをその運動エネルギーＥを低く抑えながら目標位置ｐ0に一致させるという学習方針にしたがって定義されている。
第２学習器１２２は環境認識器１１により認識された第２状態変数（詳細は後述する。）に応じた第２報酬関数ｒ2の値と、第１価値関数Ｖ1の時間微分である第１価値勾配関数ｄＶ1／ｄｔの値とに基づいて第２報酬ｒ2(ｔ)を算出する。第２学習器１２２は第２状態変数に基づき、第２価値関数Ｖ2にしたがって第２価値Ｖ2(ｔ)を算出する。第２学習器１２２は第２価値Ｖ2(ｔ)および第２報酬ｒ2(ｔ)に基づいて第２ＴＤ誤差（第２誤差）δ2(ｔ)を算出する。第２学習器１２２は第２誤差δ2(ｔ)に基づいて第２価値関数Ｖ2を適宜変更する。第２報酬関数ｒ2は、手部Ｂ４の姿勢ｑを目標姿勢ｑ0に一致させるという学習方針にしたがって定義されている。
行動方策決定器１３は環境認識器１１による環境認識結果に基づき、第１出力関数にしたがって第１出力（詳細は後述する。）をロボット（エージェント）Ｒが採るべき行動方策の一部として決定する。第１出力関数は第１価値関数Ｖ1と同様に第１誤差δ1(ｔ)に基づいて適宜変更される。行動方策決定器１３は環境認識器１１による環境認識結果に基づき、第２出力関数にしたがって第２出力（詳細は後述する。）をロボットＲが採るべき行動方策の一部として決定する。第２出力関数は第２価値関数Ｖ2と同様に第２誤差δ2(ｔ)に基づいて適宜変更される。第１出力および第２出力の合計がロボットＲに与えられる。
強化学習システム１は行動方策決定器１３により決定された行動方策にしたがってアクチュエータ１００の動作を制御することにより、ロボットＲの行動を制御する。
本発明の構成要素が情報を「認識する」とは、当該構成要素が情報をデータベースから検索すること、メモリ等の記憶装置から情報を読み取ること、センサ等の出力信号に基づき情報を測定、算定、推定、判定すること、測定等された情報をメモリに格納すること等、当該情報をさらなる情報処理のために準備または用意するために必要なあらゆる情報処理を実行することを意味する。
ロボットＲは脚式移動ロボットであり、人間と同様に基体Ｂ０と、基体Ｂ０の上部に設けられた頭部Ｂ１と、基体Ｂ０の上部左右両側から延設された左右の腕部Ｂ２と、腕部Ｂ２の先端部に設けられた手部Ｂ４と、基体Ｂ０の下部から下方に延設された左右の脚部Ｂ３と、脚部Ｂ３の先端部に取り付けられている足部Ｂ５とを備えている。
ロボットＲは、再表０３／０９０９７８号公報や、再表０３／０９０９７９号公報に開示されているように、アクチュエータから伝達される力によって、人間の肩関節、肘関節、手首関節、股関節、膝関節、足関節等の複数の関節に相当する複数の関節機構において腕部Ｂ２や脚部Ｂ３を屈伸運動させることができる。腕部Ｂ２は肩関節機構を介して基体Ｂ０に連結された第１腕リンクと、一端が第１腕リンクの端部に肘関節機構を介して連結され、他端が手首関節を介して手部Ｂ４の付根部に連結されている第２腕リンクとを備えている。脚部Ｂ３は股関節機構を介して基体Ｂ０に連結された第１脚リンクと、一端が第１脚リンクの端部に膝関節機構を介して連結され、他端が足関節を介して足部Ｂ５に連結されている第２脚リンクとを備えている。ロボットＲは、左右の脚部Ｂ３のそれぞれの離床および着床の繰り返しを伴う動きによって自律的に移動することができる。
ロボットＲには内部状態センサ群Ｓ１および外部状態センサ群Ｓ２が搭載されている。内部状態センサ群Ｓ１にはロボットＲの位置（重心位置）を測定するためのＧＰＳ測定装置または加速度センサのほか、基体Ｂ０の姿勢を測定するためのジャイロセンサ、各関節機構の屈曲角度等を測定するロータリーエンコーダ等が含まれている。外部状態センサ群Ｓ２にはロボットＲの把持対象となるコップ等の物体を測定するための、頭部Ｂ１に搭載されているステレオイメージセンサや、基体Ｂ０に搭載されている赤外光を用いたアクティブ型距離センサ等が含まれる。
前記構成の強化学習システム１の機能について説明する。強化学習システム１は、たとえば片方の腕部Ｂ２を動かして手部Ｂ４によりコップ等の対象物を把持するというタスクをロボットＲに実行させるための最適な行動方策を学習するために用いられる。説明の簡単のため、図４に示されているように肩関節位置を原点ＯとするＸ−Ｙ平面に腕部Ｂ２および手部Ｂ４の動きが束縛されるという束縛条件下で行動方策が学習されると仮定する。なお、ロボットＲが採るべき行動方策は、シミュレーションまたはロボット（実機）Ｒを用いた実験により決定される。
まず環境認識器１１により環境が認識される（図３／ＳＴＥＰ００２）。具体的には、手部Ｂ４の２次元位置ｐ(ｔ)＝（ｘ(ｔ)，ｙ(ｔ)）が第１状態変数として認識され、手部Ｂ４の姿勢ｑ(ｔ)が第２状態変数として認識される。
手部Ｂ４の位置ｐ(ｔ)は、第１腕リンクの長さＬ１、第２腕リンクの長さＬ２および手部Ｂ４の長さＬ３と、肩関節角度ｑ1(ｔ)、肘関節角度ｑ2(ｔ)および手首関節角度ｑ3(ｔ)とに基づき、幾何学的関係にしたがって測定される（図４参照）。長さＬ１、Ｌ２およびＬ３を表わすデータはメモリにあらかじめ保存されている。肩関節角度ｑ1(ｔ)はロボットＲを上方から見たときの前額面（ｘ軸）に対する第１腕リンクがなす角度を意味する。肘関節角度ｑ2(ｔ)はロボットＲを上方から見たときの第１腕リンクに対する第２腕リンクの屈曲角度を意味する。手首関節角度ｑ3(ｔ)はロボットＲを上方から見たときの第２腕リンクに対する手部Ｂ４の屈曲角度を意味する。
手部Ｂ４の姿勢ｑ(ｔ)は肩関節角度ｑ1(ｔ)、肘関節角度ｑ2(ｔ)および手首関節角度ｑ3(ｔ)が合計されることにより測定される（図４参照）。関節角度ｑ1(ｔ)、ｑ2(ｔ)およびｑ3(ｔ)のそれぞれはロボットＲの肩関節、肘関節および手首関節のそれぞれの部分に配置されているロータリーエンコーダ（内部状態センサ群Ｓ１を構成する。）のそれぞれの出力信号により測定されうる。
手部Ｂ４の位置（先端部位置）ｐ(ｔ)は、頭部Ｂ１に搭載されているステレオイメージセンサ（外部状態センサ群Ｓ２を構成する。）により測定されてもよい。手部Ｂ４を変移させるための消費電力Ｅ(ｔ)は関節角度ｑ1(ｔ)、ｑ2(ｔ)およびｑ3(ｔ)の変化量に基づき、各関節用のアクチュエータの回転量および消費電力の関係を表わすデータテーブルまたは演算式にしたがって測定されうる。
第１状態変数ｐ(ｔ)および第２状態変数ｑ(ｔ)は、第１学習器１２１および第２学習器１２２のそれぞれに入力される。共通の情報が入力されることにより、第１学習器１２１および第２学習器１２２の間での情報の照合が可能となる。第２状態変数ｑ（ｔ）は行動方策決定器１３に入力される。
続いて第１学習器１２１により第１状態変数ｐ(ｔ)に基づき、関係式(１)で表わされる第１報酬関数ｒ1にしたがって第１報酬ｒ1(ｔ)が評価される（図３／ＳＴＥＰ１０２）。
ｒ1(ｔ)＝ｅｘｐ(−αp｜ｐ(ｔ)−ｐ0｜2)−βＥ(ｔ) ‥(１)
ここで「ｐ0」は手部Ｂ４の目標位置であり、「αp」および「β」は正の係数である。第１報酬関数ｒ1(ｔ)は図５(ａ)に示されているように手部Ｂ４の目標位置ｐ0を頂点とし、手部Ｂ４の位置ｐがその目標位置ｐ0から遠ざかるにつれて低くなる山のような形状である。関係式(１)右辺第１項から明らかなように手部Ｂ４の現在位置ｐ(ｔ)が目標位置ｐ0に近いほど第１報酬ｒ1(ｔ)が高く評価される。関係式(１)右辺第２項から明らかなように運動エネルギーＥ(ｔ)が小さいほど第１報酬ｒ1(ｔ)が高く評価される。運動エネルギーＥ(ｔ)は、肩関節角度ｑ1(ｔ)、肘関節角度ｑ2(ｔ)および手首関節角度ｑ3(ｔ)の変化量に基づき、各関節用のアクチュエータの回転量および運動エネルギーの関係を表わすデータテーブルまたは演算式にしたがって算定されうる。
また、第１学習器１２１により、第１状態変数ｐ(ｔ)に基づき、第１価値関数Ｖ1にしたがって第１価値Ｖ1(ｔ)が算出される（図３／ＳＴＥＰ１０４）。第１価値関数Ｖ1は第１報酬関数ｒ1に基づき、データの出現頻度に重みを掛けるという考え方が現実に適っているＮＧＮｅｔにしたがって決定される（たとえば“Reinforcement Learning in Continuous Time and Space”Kenji Doya, Neural Computation, 12(1), 219-245(2000)参照）。なお、ＲＢＦ、ニューラルネットまたはＣＭＡＣ等、ＮＧＮｅｔとは異なる公知手法にしたがって第１価値関数Ｖ1(ｔ)が決定されてもよい。
さらに、第１報酬ｒ1(ｔ)および第１価値Ｖ1(ｔ)に基づき、関係式(２)にしたがって第１ＴＤ誤差δ1(ｔ)が算出される（図３／ＳＴＥＰ１０６）。
δ1(ｔ)＝ｒ1(ｔ)＋γ1Ｖ1(ｔ＋１)−Ｖ1(ｔ)‥(２)
ここで「γ1」は第１学習器１２１において採用されているＢｅｌｌｍａｎ方程式における割引率を表わしている。第１ＴＤ誤差δ1(ｔ)の大小によりエージェントＲが先にとった行動方策の妥当性が評価される。前記のように第１ＴＤ誤差δ1(ｔ)に基づき、第１価値関数Ｖ1および第１出力関数が適宜修正される。ロボットＲが先にとった行動方策が予想通りであった場合には修正量は小さくなる一方、ロボットＲが先にとった行動が予想通りではなかった場合には修正量は大きくなる傾向がある。
さらに、行動方策決定器１３により、環境認識器１１による認識結果としての手部Ｂ４の姿勢（第２状態変数）ｑ(ｔ)に基づき、第１出力関数にしたがって第１出力がロボットＲの行動方策として決定される（図３／ＳＴＥＰ１０８）。具体的には、第１報酬ｒ1(ｔ)の積分値が最高になるようなロボットＲの肩関節回りのトルクＴ１および肘関節回りのトルクＴ２が第１出力として決定される。
次に第２学習器１２２により第２状態変数ｑ(ｔ)に応じた第２報酬関数の値と、第１価値勾配関数（第１価値関数Ｖ1の時間微分）ｄＶ1／ｄｔの値とに基づき、関係式(３)にしたがって第２報酬ｒ2が評価される（図３／ＳＴＥＰ２０２）。
ｒ2(ｔ)＝ｅｘｐ(−αq｜ｑ(ｔ)−ｑ0｜2)＋ηｘ・Ｙ(−ｘ)，
ｘ＝ｄＶ1／ｄｔ，
Ｙ(ｘ)≡１(ｘ≧０)または０(ｘ＜０) ‥(３)
ｘ＝ｄＶ1／ｄｔ，
Ｙ(ｘ)≡１(ｘ≧０)または０(ｘ＜０) ‥(３)
ここで「ｑ0」は手部Ｂ４の目標姿勢ｑ0であり、「αq」および「η」は正の係数である。
関係式(３)右辺第１項は図５(ｂ)に示されているように手部Ｂ４の目標姿勢ｑ0を頂点とし、手部Ｂ４の姿勢ｑがその目標姿勢ｑ0から遠ざかるにつれて低くなる山（単峰）の形状である。関係式(３)右辺第１項（第２学習器１２２に固有の第２報酬関数に相当する。）から明らかなように手部Ｂ４の現在姿勢ｑ(ｔ)が目標姿勢ｑ0に近いほど第２報酬ｒ2は高く評価される。
関係式(３)右辺第２項の意義を考察するため、図６(ａ)に概念的に示されているように第１価値関数Ｖ1が定義されている状況について考える。手部Ｂ４の位置ｐがｐ1からｐ2まで図６(ｂ)右矢印で表わされるように遷移した場合、図６(ｂ)に示されているように第１価値勾配関数ｄＶ1／ｄｔは目標位置ｐ0の左側で正値を示し、目標位置ｐ0の右側で負値を示すように定義される。
一方、手部Ｂ４の位置ｐがｐ2からｐ1まで図６(ｃ)左矢印で表わされるように遷移した場合、図６(ｃ)に示されているように第１価値勾配関数ｄＶ1／ｄｔは目標位置ｐ0の左側で負値を示し、目標位置ｐ0の右側で正値を示すように定義される。関係式(３)右辺第２項から明らかなように第１価値勾配関数ｄＶ1／ｄｔの値が負側に大きくなるほど第２報酬ｒ2(ｔ)は低く評価される。
さらに、関係式(３)右辺第２項にはステップ関数Ｙ(−ｘ)が含まれているので第１勾配関数(ｄＶ1／ｄｔ)の値が正である場合は「０」になる。これにより、たとえば、ロボットＲの手部Ｂ４の位置ｐ(ｔ)が図６(ｂ)右矢印で表わされているように遷移した場合、当該位置ｐ(ｔ)が第１価値勾配関数ｄＶ1／ｄｔが正値を示す目標位置ｐ0の左側にある状態では関係式(３)右辺第２項は第２報酬ｒ2(ｔ)の評価には寄与しない一方、当該位置ｐ(ｔ)が第１価値勾配関数ｄＶ1／ｄｔが負値を示す目標位置ｐ0の右側にある状態では関係式(３)右辺第２項は第２報酬ｒ2(ｔ)の評価を下げるのに寄与する。その寄与度は第１価値勾配関数ｄＶ1／ｄｔが負側にどれだけ大きいかに依存している（図６(ｂ)(ｃ)下向き矢印の長さ参照）。
また、ロボットＲの手部Ｂ４の位置ｐが図６(ｃ)左矢印で表わされているように遷移した場合、当該位置ｐ(ｔ)が第１価値勾配関数ｄＶ1／ｄｔが正値を示す目標位置ｐ0の右側にある状態では関係式(３)右辺第２項は第２報酬ｒ2(ｔ)の評価には寄与しない一方、当該位置ｐ(ｔ)が第１価値勾配関数ｄＶ1／ｄｔが負値を示す目標位置ｐ0の左側にある状態では関係式(３)右辺第２項は第２報酬ｒ2(ｔ)の評価を下げるのに寄与する。
また、第２学習器１２２により、第２状態変数ｑ(ｔ)に基づき、第２価値関数Ｖ2にしたがって第２価値Ｖ2(ｔ)が算出される（図３／ＳＴＥＰ２０４）。第２価値関数Ｖ2は第２報酬関数ｒ2に基づき、第１価値関数Ｖ1と同様にデータの出現頻度に重みを掛けるという考え方が現実に適っているＮＧＮｅｔにしたがって決定される。なお、ＲＢＦ、ニューラルネットまたはＣＭＡＣ等、ＮＧＮｅｔとは異なる公知手法にしたがって第２価値関数Ｖ2(ｔ)が決定されてもよい。
さらに、第２報酬ｒ2(ｔ)および第２価値Ｖ2(ｔ)に基づき、関係式(４)にしたがって第２ＴＤ誤差δ2(ｔ)が算出される（図３／ＳＴＥＰ２０６）。
δ2(ｔ)＝ｒ2(ｔ)＋γ2Ｖ2(ｔ＋１)−Ｖ2(ｔ)‥(４)
ここで「γ2」は第２学習器１２２において採用されているＢｅｌｌｍａｎ方程式における割引率を表わしている。第２ＴＤ誤差δ2(ｔ)の大小によりエージェントＲが先にとった行動方策の妥当性が評価される。前記のように第２ＴＤ誤差δ2(ｔ)に基づき、第２価値関数Ｖ2および第２出力関数が適宜修正される。ロボットＲが先にとった行動方策が適当であった場合には修正量は小さくなる一方、ロボットＲが先にとった行動が不適当であった場合には修正量は大きくなる傾向がある。
さらに、行動方策決定器１３により、環境認識器１１による認識結果としての手部Ｂ４の姿勢（第２状態変数）ｑ(ｔ)に基づき、第２出力関数にしたがって第２出力がロボットＲの行動方策として決定される（図３／ＳＴＥＰ２０８）。具体的には、第２報酬ｒ2(ｔ)の積分値が最高になるようなロボットＲの手首関節回りのトルクＴ３が第２出力として決定される。
そして、行動方策決定器１３により決定された行動方策にしたがってアクチュエータ１００の動作が制御されることにより、ロボットＲの行動、すなわち、腕部Ｂ２および手部Ｂ４の動作が制御される。具体的には、第１出力にしたがって肩関節回りのトルクＴ１および肘関節回りのトルクＴ２が制御され、第２出力にしたがって手首関節回りのトルクＴ３が制御される。これにより、たとえば、図７に矢印で示すように手部Ｂ４の位置ｐ(ｔ)が変化し、かつ、手部Ｂ４の姿勢ｑ(ｔ)が変化するようにロボットＲの行動が制御される。
前記機能を発揮する強化学習システム１によれば、環境から得られる第１報酬ｒ1(ｔ)に応じて定まる、第１学習器１２１による学習結果としての第１価値関数Ｖ1の時間微分である第１価値勾配関数ｄＶ1／ｄｔの値が、第２学習器１２２による学習、すなわち、第２報酬ｒ2(ｔ)の評価に際して活用され（図３／ＳＴＥＰ１２２，式（２）参照）、第２報酬ｒ2(ｔ)の積分値が最高になるような環境の変化態様がロボットＲがタスクを実行するために採るべき行動方策として決定される（図３／ＳＴＥＰ１３０，図７参照）。
具体的には、第１価値関数Ｖ1(ｔ)が時系列的に減少している場合（ｄＶ1(ｔ)／ｄｔ＜０の場合）、すなわち、ロボットＲの行動方策により定義される環境が第１学習器１２１の学習方針に反している場合、第２学習器１２２により第２報酬ｒ2(ｔ)が低く評価される（関係式(３)右辺第２項参照）。これにより、環境が第２学習器１２２の学習方針（＝手部Ｂ４の姿勢ｑを目標姿勢ｑ0に一致させる）に合致している一方、第１学習器１２１の学習方針（＝手部Ｂ４の位置ｐをその運動エネルギーＥを低く抑えながら目標位置ｐ0に一致させる）に反している行動方策がロボットＲの行動方策として採用される事態が回避されうる。すなわち、手部Ｂ４の姿勢ｑを目標姿勢ｑ0に一致させるためには適当な行動方策であっても、手部Ｂ４の位置ｐをその運動エネルギーＥを低く抑えながら目標位置ｐ0に一致させるためには著しく不適当な行動方策である場合、当該行動方策がロボットＲの行動方策として採用される事態が回避されうる。
さらに、第１価値関数Ｖ1(ｔ)が時系列的に増加している場合（ｄＶ1(ｔ)／ｄｔ＞０の場合）、すなわち、ロボットＲの行動方策（手部Ｂ４の位置ｐ(ｔ)）により定義される環境が第１学習器１２１の学習方針に合致している場合、第２学習器１２２により例外的に第１価値勾配関数ｄＶ1(ｔ)／ｄｔの値とは無関係に第２報酬ｒ2(ｔ)が評価される（関係式(３)右辺第２項のステップ関数Ｙ参照）。これにより、環境が第１学習器１２１の学習方針に合致しているという理由で第２報酬ｒ2（ｔ）が過剰に高く評価され、第２学習器１２２の学習方針に反している行動方策が図らずもロボットＲの行動方策として採用される事態が回避されうる。すなわち、手部Ｂ４の位置ｐをその運動エネルギーＥを低く抑えながら目標位置ｐ0に一致させるためには適当な行動方策であっても、手部Ｂ４の姿勢ｑを目標姿勢ｑ0に一致させるためには著しく不適当な行動方策である場合、当該行動方策がロボットＲの行動方策として採用される事態が回避されうる。
よって、複数の状態変数の変化態様により定義される、腕部Ｂ２および手部Ｂ４の複雑な動作を伴う対象物の把持というタスクをロボットＲに実行させるために最適な行動方策が学習されうる。
なお、前記実施形態とは逆に第１学習器１２１が手部Ｂ４の姿勢ｑを目標姿勢ｑ0に一致させるという学習方針にしたがう学習器として定義され、第２学習器１２２が手部Ｂ４の位置ｐをその運動エネルギーＥを低く抑えながら目標位置ｐ0に一致させるという学習方針にしたがう学習器として定義されていてもよい。この場合、第１報酬ｒ1(ｔ)が関係式(５)にしたがって算出され、第２報酬ｒ2(ｔ)が関係式(６)にしたがって算出されることにより、前記実施形態と同様に複数の状態変数の変化態様により定義される腕部Ｂ２および手部Ｂ４の複雑な動作を伴う対象物の把持というタスクをロボットＲに実行させるために最適な行動方策が学習されうる。
ｒ1(ｔ)＝ｅｘｐ(−αq｜ｑ(ｔ)−ｑ0｜2) ‥(５)
ｒ2(ｔ)＝ｅｘｐ(−αp｜ｐ(ｔ)−ｐ0｜2)−βＥ(ｔ)＋ηｘ・Ｙ(−ｘ)，
ｘ＝ｄＶ1(ｔ)／ｄｔ ‥(６)
ｒ2(ｔ)＝ｅｘｐ(−αp｜ｐ(ｔ)−ｐ0｜2)−βＥ(ｔ)＋ηｘ・Ｙ(−ｘ)，
ｘ＝ｄＶ1(ｔ)／ｄｔ ‥(６)
さらに、強化学習システム１が３つ以上の学習器を備えていてもよい。たとえば、第１学習器１２１および第２学習器１２２に加えて、第２学習器１２２の第２価値関数Ｖ2の時間微分である第２価値勾配関数ｄＶ2／ｄｔに基づいて第３報酬ｒ3(ｔ)を評価する第３学習器を備え、第３学習器の出力に基づいて行動方策の一部または全部が決定されてもよい。これにより、第３学習器による学習に際して直接的には第２学習器１２２による学習結果が活用され、第１学習器１２１による学習結果が間接的に活用されうる。すなわち、第３学習器による学習結果としての第３報酬には、第１学習器１２１および第２学習器１２２のそれぞれの第１報酬関数ｒ1および第２報酬関数ｒ2により記述される学習方針のすべてが反映されうる。したがって、複数の状態変数の変化態様により定義される複雑な動作を伴うタスクをロボットＲに実行させるための行動方策が学習されうる。なお、第ｉ＋１価値関数Ｖi+1（ｉ＝１，２，‥）も第１価値関数Ｖ1と同様にＮＧＮｅｔ、ＲＢＦ、ニューラルネットまたはＣＭＡＣ等、公知手法にしたがって決定されうる。
また、ロボットＲにタスクを実行させるための行動方策が学習されたが、そのほか、エージェントとしての人間に物品の製作、目的位置への移動または着衣等のタスクを実行させるために行動方策が学習されてもよい。
前記実施形態では第１出力関数にしたがって第１出力（肩関節回りのトルクＴ１および肘関節回りのトルクＴ２）がロボットＲの行動方策の一部として決定され、第２出力関数にしたがって第２出力（手首関節回りのトルクＴ３）がロボットＲの行動方策の残り部分として決定された。そのほか、環境認識器１１による認識結果に加えて、第１出力関数にしたがって決定された第１出力に基づき、第２出力関数にしたがって各関節回りのトルクＴ１、Ｔ２およびＴ３がロボットＲの行動方策として決定されてもよい。
１‥強化学習システム、１１‥環境状態認識器、１２１・・第１学習器、１２２‥第２学習器、１３‥行動方策決定器、Ｒ‥ロボット（エージェント）
Claims (3)
- エージェントがタスクを実行するための行動方策を学習するための強化学習システムであって、
環境を表わす第１〜第ｎ状態変数（ｎ≧２）を認識する環境認識器と、
前記環境認識器により認識された第ｊ状態変数（ｊ＝１，２，‥ｎ）に基づいて第ｊ報酬を算出し、当該第ｊ状態変数に基づき、第ｊ価値関数にしたがって第ｊ価値を算出し、前記第ｊ価値および前記第ｊ報酬に基づいて第ｊ誤差を算出し、前記第ｊ誤差に基づいて前記第ｊ価値関数を適宜変更するｎ個の第ｊ学習器と、
前記ｎ個の第ｊ学習器により算出された前記第ｊ報酬のうち一部または全部に基づいて前記エージェントが採るべき行動方策を決定する行動方策決定器とを備え、
第ｉ＋１学習器（ｉ＝１，２，‥ｎ−１）が第ｉ状態変数に応じた第ｉ報酬関数の値と、第ｉ価値関数の時間微分である第ｉ価値勾配関数の値とに基づいて第ｉ＋１報酬を算出することを特徴とする強化学習システム。 - 請求項１記載の強化学習システムにおいて、
前記第ｉ＋１学習器が、前記第ｉ価値勾配関数が大きい負値であるほど前記第ｉ＋１報酬を低く評価することを特徴とする強化学習システム。 - 請求項２記載の強化学習システムにおいて、
前記第ｉ＋１学習器が、前記第ｉ価値勾配関数が正値である場合、例外的に前記第ｉ価値勾配関数の値とは無関係に前記第ｉ＋１報酬を評価することを特徴とする強化学習システム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009174585A JP5330138B2 (ja) | 2008-11-04 | 2009-07-27 | 強化学習システム |
| US12/610,709 US8392346B2 (en) | 2008-11-04 | 2009-11-02 | Reinforcement learning system |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008283677 | 2008-11-04 | ||
| JP2008283677 | 2008-11-04 | ||
| JP2009174585A JP5330138B2 (ja) | 2008-11-04 | 2009-07-27 | 強化学習システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2010134907A JP2010134907A (ja) | 2010-06-17 |
| JP5330138B2 true JP5330138B2 (ja) | 2013-10-30 |
Family
ID=42132664
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009174585A Expired - Fee Related JP5330138B2 (ja) | 2008-11-04 | 2009-07-27 | 強化学習システム |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US8392346B2 (ja) |
| JP (1) | JP5330138B2 (ja) |
Families Citing this family (43)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8648867B2 (en) | 2006-09-25 | 2014-02-11 | Neurala Llc | Graphic processor based accelerator system and method |
| JP5109098B2 (ja) * | 2007-06-14 | 2012-12-26 | 本田技研工業株式会社 | 運動制御システム、運動制御方法および運動制御プログラム |
| CN102200787B (zh) * | 2011-04-18 | 2013-04-17 | 重庆大学 | 机器人行为多层次集成学习方法及系统 |
| US8843236B2 (en) * | 2012-03-15 | 2014-09-23 | GM Global Technology Operations LLC | Method and system for training a robot using human-assisted task demonstration |
| EP3000030A4 (en) | 2013-05-22 | 2017-07-05 | Neurala Inc. | Methods and apparatus for iterative nonspecific distributed runtime architecture and its application to cloud intelligence |
| EP2999940A4 (en) | 2013-05-22 | 2017-11-15 | Neurala Inc. | Methods and apparatus for early sensory integration and robust acquisition of real world knowledge |
| US9509763B2 (en) | 2013-05-24 | 2016-11-29 | Qualcomm Incorporated | Delayed actions for a decentralized system of learning devices |
| US9747554B2 (en) * | 2013-05-24 | 2017-08-29 | Qualcomm Incorporated | Learning device with continuous configuration capability |
| US9679491B2 (en) * | 2013-05-24 | 2017-06-13 | Qualcomm Incorporated | Signaling device for teaching learning devices |
| US20140351182A1 (en) * | 2013-05-24 | 2014-11-27 | Qualcomm Incorporated | Modifying Learning Capabilities of Learning Devices |
| US9358685B2 (en) * | 2014-02-03 | 2016-06-07 | Brain Corporation | Apparatus and methods for control of robot actions based on corrective user inputs |
| US9626566B2 (en) | 2014-03-19 | 2017-04-18 | Neurala, Inc. | Methods and apparatus for autonomous robotic control |
| EP3120300A4 (en) | 2014-03-19 | 2017-11-22 | Neurala Inc. | Methods and apparatus for autonomous robotic control |
| CN104542875B (zh) * | 2014-12-31 | 2016-05-25 | 梧州神冠蛋白肠衣有限公司 | 一种孔状胶原纤维调节机构 |
| WO2017019555A1 (en) | 2015-07-24 | 2017-02-02 | Google Inc. | Continuous control with deep reinforcement learning |
| DE102016015936B8 (de) | 2015-07-31 | 2024-10-24 | Fanuc Corporation | Vorrichtung für maschinelles Lernen, Robotersystem und maschinelles Lernsystem zum Lernen eines Werkstückaufnahmevorgangs |
| JP6522488B2 (ja) * | 2015-07-31 | 2019-05-29 | ファナック株式会社 | ワークの取り出し動作を学習する機械学習装置、ロボットシステムおよび機械学習方法 |
| JP6240689B2 (ja) | 2015-07-31 | 2017-11-29 | ファナック株式会社 | 人の行動パターンを学習する機械学習装置、ロボット制御装置、ロボットシステム、および機械学習方法 |
| US20170061283A1 (en) * | 2015-08-26 | 2017-03-02 | Applied Brain Research Inc. | Methods and systems for performing reinforcement learning in hierarchical and temporally extended environments |
| EP3400558A1 (en) | 2016-02-09 | 2018-11-14 | Google LLC | Reinforcement learning using advantage estimates |
| JP2019518273A (ja) * | 2016-04-27 | 2019-06-27 | ニューララ インコーポレイテッド | 深層ニューラルネットワークベースのｑ学習の経験メモリをプルーニングする方法及び装置 |
| CN106094817B (zh) * | 2016-06-14 | 2018-12-11 | 华南理工大学 | 基于大数据方式的强化学习仿人机器人步态规划方法 |
| JP6517762B2 (ja) * | 2016-08-23 | 2019-05-22 | ファナック株式会社 | 人とロボットが協働して作業を行うロボットの動作を学習するロボットシステム |
| WO2018042730A1 (ja) * | 2016-08-30 | 2018-03-08 | 本田技研工業株式会社 | ロボットの制御装置およびロボットの制御方法 |
| JP6514171B2 (ja) * | 2016-09-27 | 2019-05-15 | ファナック株式会社 | 最適な物品把持経路を学習する機械学習装置、及び機械学習方法 |
| JP6718834B2 (ja) * | 2017-02-28 | 2020-07-08 | 株式会社日立製作所 | 学習システムおよび学習方法 |
| US11138503B2 (en) | 2017-03-22 | 2021-10-05 | Larsx | Continuously learning and optimizing artificial intelligence (AI) adaptive neural network (ANN) computer modeling methods and systems |
| US11893488B2 (en) | 2017-03-22 | 2024-02-06 | Larsx | Continuously learning and optimizing artificial intelligence (AI) adaptive neural network (ANN) computer modeling methods and systems |
| JP6549644B2 (ja) | 2017-06-27 | 2019-07-24 | ファナック株式会社 | 機械学習装置、ロボット制御システム及び機械学習方法 |
| JP6919856B2 (ja) | 2017-09-15 | 2021-08-18 | 富士通株式会社 | 強化学習プログラム、強化学習方法、および強化学習装置 |
| JP6845529B2 (ja) * | 2017-11-08 | 2021-03-17 | 本田技研工業株式会社 | 行動決定システム及び自動運転制御装置 |
| JP6902487B2 (ja) * | 2018-03-14 | 2021-07-14 | 株式会社日立製作所 | 機械学習システム |
| JP7035734B2 (ja) * | 2018-03-30 | 2022-03-15 | 富士通株式会社 | 強化学習プログラム、強化学習方法、および強化学習装置 |
| JP7044244B2 (ja) * | 2018-04-04 | 2022-03-30 | ギリア株式会社 | 強化学習システム |
| US10860926B2 (en) * | 2018-05-18 | 2020-12-08 | Deepmind Technologies Limited | Meta-gradient updates for training return functions for reinforcement learning systems |
| JP2020121381A (ja) * | 2019-01-31 | 2020-08-13 | セイコーエプソン株式会社 | 機械学習器、ロボットシステム、及び機械学習方法 |
| US12061673B1 (en) | 2019-03-05 | 2024-08-13 | Hrl Laboratories, Llc | Multi-agent planning and autonomy |
| KR102120049B1 (ko) * | 2019-06-12 | 2020-06-08 | 한국인터넷진흥원 | 감가율 자동 조정 방식의 강화 학습 방법 |
| DE102019210372A1 (de) * | 2019-07-12 | 2021-01-14 | Robert Bosch Gmbh | Verfahren, Vorrichtung und Computerprogramm zum Erstellen einer Strategie für einen Roboter |
| US11605026B2 (en) | 2020-05-15 | 2023-03-14 | Huawei Technologies Co. Ltd. | Methods and systems for support policy learning |
| CN114047745B (zh) * | 2021-10-13 | 2023-04-07 | 广州城建职业学院 | 机器人运动控制方法、机器人、计算机装置和存储介质 |
| CN114012735B (zh) * | 2021-12-06 | 2022-08-05 | 山西大学 | 一种基于深度强化学习的机械臂控制方法及系统 |
| CN115057006B (zh) * | 2022-06-15 | 2024-10-15 | 中国科学院软件研究所 | 一种基于强化学习的蒸馏策略评估的方法、装置及介质 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3465236B2 (ja) * | 2000-12-20 | 2003-11-10 | 科学技術振興事業団 | ロバスト強化学習方式 |
| JP3703821B2 (ja) * | 2003-09-02 | 2005-10-05 | 株式会社国際電気通信基礎技術研究所 | 並列学習装置、並列学習方法及び並列学習プログラム |
-
2009
- 2009-07-27 JP JP2009174585A patent/JP5330138B2/ja not_active Expired - Fee Related
- 2009-11-02 US US12/610,709 patent/US8392346B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| US20100114807A1 (en) | 2010-05-06 |
| US8392346B2 (en) | 2013-03-05 |
| JP2010134907A (ja) | 2010-06-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5330138B2 (ja) | 強化学習システム | |
| Chen et al. | Tracking control of robot manipulators with unknown models: A jacobian-matrix-adaption method | |
| JP6343559B2 (ja) | 可変剛性の接合を有するロボットおよび最適化剛性の計算方法 | |
| US20210162589A1 (en) | Systems and methods for learning agile locomotion for multiped robots | |
| JP2019166626A (ja) | 制御装置及び機械学習装置 | |
| JP5859036B2 (ja) | ロボット | |
| JP6321905B2 (ja) | 関節システムの制御方法、記憶媒体、制御システム | |
| JP5465142B2 (ja) | ロボットおよびその行動制御システム | |
| CN108555914B (zh) | 一种基于腱驱动灵巧手的dnn神经网络自适应控制方法 | |
| US8805583B2 (en) | Robot and control method thereof | |
| Liang et al. | A novel impedance control method of rubber unstacking robot dealing with unpredictable and time-variable adhesion force | |
| CN113568422B (zh) | 基于模型预测控制优化强化学习的四足机器人控制方法 | |
| Hu et al. | Biped gait optimization using spline function based probability model | |
| Lowrey et al. | Real-time state estimation with whole-body multi-contact dynamics: A modified UKF approach | |
| TWI781708B (zh) | 學習裝置、學習方法、學習程式、控制裝置、控制方法及控制程式 | |
| Chalodhorn et al. | Learning humanoid motion dynamics through sensory-motor mapping in reduced dimensional spaces | |
| KR20100065809A (ko) | 학습에 의한 로봇의 보행 방법 및 학습에 의한 보행 메커니즘을 구비한 로봇 | |
| CN117572877B (zh) | 一种双足机器人步态控制方法、装置、存储介质及设备 | |
| Aloulou et al. | A minimum jerk-impedance controller for planning stable and safe walking patterns of biped robots | |
| Chu et al. | Full-body grasping strategy for planar underactuated soft manipulators using passivity-based control | |
| Li et al. | Kinodynamic Pose Optimization for Humanoid Loco-Manipulation | |
| Zhou et al. | T-TD3: A Reinforcement Learning Framework for Stable Grasping of Deformable Objects Using Tactile Prior | |
| Li et al. | Terrain adaptation of hexapod robot based on ground detection and sliding mode control | |
| Mirzaee et al. | Adaptive Terminal Sliding Mode Control Using Deep Reinforcement Learning for Zero-Force Control of Exoskeleton Robot Systems | |
| Savić et al. | SVM Regression-Based Computed Torque Control of Humanoid Robot Reaching Task |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120726 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20120726 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130709 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130725 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5330138 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |