JP7315037B2 - 方策推定方法、方策推定装置及びプログラム - Google Patents

方策推定方法、方策推定装置及びプログラム Download PDF

Info

Publication number
JP7315037B2
JP7315037B2 JP2021575182A JP2021575182A JP7315037B2 JP 7315037 B2 JP7315037 B2 JP 7315037B2 JP 2021575182 A JP2021575182 A JP 2021575182A JP 2021575182 A JP2021575182 A JP 2021575182A JP 7315037 B2 JP7315037 B2 JP 7315037B2
Authority
JP
Japan
Prior art keywords
policy
reward
optimal
state transition
function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021575182A
Other languages
English (en)
Other versions
JPWO2021157004A1 (ja
Inventor
匡宏 幸島
公海 高橋
健 倉島
浩之 戸田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Publication of JPWO2021157004A1 publication Critical patent/JPWO2021157004A1/ja
Application granted granted Critical
Publication of JP7315037B2 publication Critical patent/JP7315037B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Algebra (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

本発明は、方策推定方法、方策推定装置及びプログラムに関する。
近年注目されるＡＩ技術の中で、強化学習（ＲＬ：Reinforcement Learning）とよばれる、学習者（エージェント）が環境との相互作用を通して振る舞い（方策）を学習するフレームワークを用いた手法が、コンピュータゲーム、囲碁などのゲームＡＩの分野で大きな成果を上げている（非特許文献２、非特許文献３）。
通常の強化学習においては、学習者が環境から得られる（割引）報酬和を最大化する行動ルール（方策）を得ることが目標とされてきた。ところが、近年、報酬だけでなく、報酬と方策のエントロピーとの（割引）和を最大化するエントロピー正則化ＲＬと呼ばれる手法の研究が盛んに進められている。エントロピー正則化ＲＬでは、目的関数内の方策のエントロピーに関する項が、方策がよりランダムに近いほど値が大きくなるため、より探索に長けた方策を得やすくなるなどの効果があることが確認されている（非特許文献１）。
これまで、エントロピー正則化ＲＬの適用先としては、主にロボット制御などが対象となっており、状態遷移関数や報酬関数が、時刻に依存して変化することのない、斉時的なマルコフ決定過程における方策の学習が考えられてきた。斉時的なマルコフ決定過程の利用は、（閉ざされた環境における）ロボットアームの制御などを考える場合は妥当な仮定であると考えられる。
Tuomas Haarnoja, Haoran Tang, Pieter Abbeel, and Sergey Levine. Reinforcementlearning with deep energy-based policies. In Proceedings of the34th International Conference on Machine Learning-Volume 70, pages 1352-1361. JMLR. org, 2017. Volodymyr Mnih, Koray Kavukcuoglu, David Silver, AndreiA. Rusu, JoelVeness, MarcG. Bellemare, Alex Graves, Martin Riedmiller, AndreasK. Fidjeland,Georg Ostrovski, Stig Petersen, Charles Beattie, Amir Sadik, IoannisAntonoglou, Helen King, Dharshan Kumaran, Daan Wierstra, Shane Legg,and Demis Hassabis. Human-level control through deep reinforcement learning.Nature, 518(7540):529-533, 2015. David Silver, Aja Huang, ChrisJ. Maddison, Arthur Guez, Laurent Sifre,George vanden Driessche, Julian Schrittwieser, Ioannis Antonoglou, VedaPanneershelvam, Marc Lanctot, Sander Dieleman, Dominik Grewe, JohnNham, Nal Kalchbrenner, Ilya Sutskever, Timothy Lillicrap, MadeleineLeach, Koray Kavukcuoglu, Thore Graepel, and Demis Hassabis. Masteringthe game of go with deep neural networks and tree search. Nature, 529:484-489, 2016.
しかしながら、ヘルスケア分野などにおいて人に介入するシステムを強化学習を用いて構築する際には、斉時的なマルコフ決定過程を用いるアプローチは適切であるとはいえない。
具体例について述べる。ユーザの健康的な暮らしをサポートするヘルスケアアプリを構築することを考える。この場合、アプリがエージェントに対応し、アプリの利用ユーザが環境に対応する。 "家事"や"仕事"などのユーザが実施中の活動が状態に対応し、アプリからユーザへの介入、例えば、"そろそろ出社したらどうですか"や"ちょっと休憩しませんか"などとユーザに通知する内容が行動に対応する。状態遷移確率は、ユーザがアプリの介入を受けて、現在実施中の活動から次時刻で実施する活動への遷移する確率に対応し、例えば、（ユーザがあらかじめ定めた）一日当たりの運動時間や、睡眠時刻の目標時間への近さが報酬として設定されているとする。
このような例においては、ユーザの状態遷移確率は、時刻、例えば、朝と夜では、状態"入浴"後に行う行動は変わると考えられるため、状態遷移関数が時間的に変化しないという仮定は適切でないと考えられる。
本発明は、上記の点に鑑みてなされたものであって、状態遷移関数及び報酬関数が時間の経過に応じて変化する場合のエントロピー正則化強化学習における価値関数及び方策の推定を可能とすることを目的とする。
そこで上記課題を解決するため、時間の経過に応じて変化する状態遷移確率及び報酬関数を入力する入力手順と、エントロピー正則化強化学習における最適価値関数及び最適方策を、前記状態遷移確率及び前記報酬関数に基づく後ろ向き帰納法アルゴリズムによって推定する推定手順と、をコンピュータが実行する。
状態遷移関数及び報酬関数が時間の経過に応じて変化する場合のエントロピー正則化強化学習における価値関数及び方策の推定を可能とすることができる。
本発明の実施の形態における方策推定装置１０のハードウェア構成例を示す図である。 本発明の実施の形態における方策推定装置１０の機能構成例を示す図である。 方策推定装置１０がパラメタ学習時に実行する処理手順の一例を説明するためのフローチャートである。 価値関数及び方策の推定処理の処理手順の一例を説明するためのフローチャートである。
［マルコフ決定過程（ＭＤＰ：Markov Decision Process）］
本節では、強化学習の概要について説明する。強化学習とは、学習者（Ａｇｅｎｔ）が環境（Ｅｎｖｉｒｏｎｍｅｎｔ）との相互作用を通して、最適な行動ルール（方策）を推定する手法のことを指す。強化学習では、環境の設定として、マルコフ決定過程（ＭＤＰ）（「MartinL Puterman. Markov decision processes: Discrete stochastic dynamicprogramming. 2005.」）が多くの場合利用され、本実施の形態でもＭＤＰが利用される。
通常利用される斉時的なマルコフ決定過程は、４つ組（Ｓ，Ａ，Ｐ，Ｒ）により定義される。Ｓを状態空間、Ａを行動空間と呼び、それぞれの元ｓ∈Ｓを状態、ａ∈Ａを行動と呼ぶ。Ｐ：Ｓ×Ａ×Ｓ→［０，１］は、状態遷移確率と呼ばれ、状態ｓで行動ａを行ったときの次の状態ｓ'への状態遷移確率を定める。Ｒ：Ｓ×Ａ→Ｒ'は、報酬関数である（Ｒ'は、実数全体の集合を表す）。報酬関数が、状態ｓで行動ａを行ったときに得られる報酬を定義している。学習者は、上記の環境の中で将来にわたって得られる報酬の和ができるだけ多くなるように行動を行う。学習者の各状態ｓで行う行動ａを選択する確率を定めたものを方策π：Ｓ×Ａ→［０，１］と呼ぶ。
上記の斉時的なマルコフ決定過程では、状態遷移確率や報酬関数が全ての時刻ｔで同一である設定を考えていた。それに対し、本実施の形態で考える非斉時的なマルコフ決定過程では、状態遷移確率や報酬関数が時刻ｔ毎に応じて異なるものであることを許容し、Ｐ＝｛Ｐｔ｝ｔ，Ｒ＝｛Ｒｔ｝ｔと定義される。但し、Ｐｔ：Ｓ×Ａ×Ｓ→［０，１］，Ｒｔ：Ｓ×Ａ→Ｒ'である。以後の説明では、非斉時的なマルコフ決定過程の設定を用いることとする。
［方策］
学習者の各時刻における方策π＝｛πｔ｝ｔ，πｔ：Ｓ×Ａ→［０，１］を１つ定めると、学習者は、環境との相互作用を行うことが可能となる。各時刻ｔで、状態ｓｔにいる学習者は、方策πｔ（・｜ｓｔ）に従って行動ａｔを決定する。すると、状態遷移確率と報酬関数に従い、学習者の次時刻の状態ｓｔ＋１～Ｐｔ（・｜ｓｔ，ａｔ）と、報酬ｒｔ＝Ｒｔ（ｓｔ，ａｔ）が決定する。これを繰り返すことで、学習者の状態と行動の履歴が得られる。以後、時刻０からＴ回遷移を繰り返した状態と行動の履歴（ｓ０，ａ０，ｓ１，ａ１，...，ｓＴ）をｈＴと表記し、これをエピソードと呼ぶ。
［本実施の形態の概要］
これより本実施の形態の概要について説明する。
［有限期間非斉時的マルコフ決定過程におけるエントロピー正則化強化学習］
本実施の形態の手法では（時間的に変化（時間の経過に応じて変化）する）状態遷移確率と（時間的に変化する）報酬関数を入力とし、最適な方策を出力する。なお、本実施の形態では、エントロピー正則化ＲＬ（Reinforcement Learning（強化学習））の定式化を利用し、最適な方策π＊を、報酬と方策のエントロピーとの和の期待値を最大化するものとして定義する。
Figure 0007315037000001
 但し、Ｅπ ｈＴ［］は、方策πでのエピソードｈＴの出方に関する平均操作（期待値）を表す。Ｈ（π（・｜ｓｋ））は、確率分布｛π（ｋ｜ｓｔ）｝ｋのエントロピーであり、αは、エントロピー項の重みをコントロールするハイパーパラメタである。エントロピー項は、方策の分布が一様分布に近いものであれば大きい値をとるようになることから、常に固定的な行動を選択する決定的な方策ではない確率的な方策ほどエントロピー項の値は大きくなる。よって、最適方策は、得られる報酬がより多い確率的な方策となると期待できる。この性質によって、より探索的な行動を行いやすい方策を得やすくなったり、前述のヘルスケアアプリの例での場合では確率的に振る舞うことで、よりユーザが飽きにくい介入を行うことができるようになったりすると考えられる。なお、エントロピー正則化ＲＬは、α＝０と設定することで通常のＲＬと同一のものとなる。
有限期間非斉時的マルコフ決定過程におけるエントロピー正則化ＲＬの行動価値関数（方策πのもとで、状態ｓにおいて行動ａをとることの価値を定式化する関数（以下、「行動価値関数」という。）を以下の式で定義する。
Figure 0007315037000002
 方策が最適方策であるとき、この行動価値関数は、以下の（有限期間非斉時的マルコフ決定過程におけるエントロピー正則化ＲＬの）最適ベルマン方程式を満たすことが示せる。
Figure 0007315037000003
 但し、Ｖπ ｔ（ｓ）は、方策πのもとで、状態ｓの価値を定式化する関数（以下、「状態価値関数」という。）
したがって、最適方策と最適価値関数（最適行動価値関数、最適状態価値関数）は、後ろ向き帰納法アルゴリズム（図４）によって計算することができる。最適方策は、最適価値関数を用いて以下の式で表現される。
Figure 0007315037000004
 ［方策推定装置１０］
以下、上記を実現するコンピュータである方策推定装置１０について説明する。図１は、本発明の実施の形態における方策推定装置１０のハードウェア構成例を示す図である。図１の方策推定装置１０は、それぞれバスＢで相互に接続されているドライブ装置１００、補助記憶装置１０２、メモリ装置１０３、ＣＰＵ１０４、及びインタフェース装置１０５等を有する。
方策推定装置１０での処理を実現するプログラムは、ＣＤ－ＲＯＭ等の記録媒体１０１によって提供される。プログラムを記憶した記録媒体１０１がドライブ装置１００にセットされると、プログラムが記録媒体１０１からドライブ装置１００を介して補助記憶装置１０２にインストールされる。但し、プログラムのインストールは必ずしも記録媒体１０１より行う必要はなく、ネットワークを介して他のコンピュータよりダウンロードするようにしてもよい。補助記憶装置１０２は、インストールされたプログラムを格納すると共に、必要なファイルやデータ等を格納する。
メモリ装置１０３は、プログラムの起動指示があった場合に、補助記憶装置１０２からプログラムを読み出して格納する。ＣＰＵ１０４は、メモリ装置１０３に格納されたプログラムに従って方策推定装置１０に係る機能を実行する。インタフェース装置１０５は、ネットワークに接続するためのインタフェースとして用いられる。
図２は、本発明の実施の形態における方策推定装置１０の機能構成例を示す図である。図２において、方策推定装置１０は、入力パラメタ処理部１１、設定パラメタ処理部１２、出力パラメタ推定部１３及び出力部１４等を有する。これら各部は、方策推定装置１０にインストールされた１以上のプログラムが、ＣＰＵ１０４に実行させる処理により実現される。方策推定装置１０は、また、入力パラメタ記憶部１２１、設定パラメタ記憶部１２２及び出力パラメタ記憶部１２３等を利用する。これら各記憶部は、例えば、メモリ装置１０３、補助記憶装置１０２、又は方策推定装置１０にネットワークを介して接続可能な記憶装置等を用いて実現可能である。
図３は、方策推定装置１０がパラメタ学習時に実行する処理手順の一例を説明するためのフローチャートである。
ステップＳ１０において、入力パラメタ処理部１１は、状態遷移確率Ｐ＝｛Ｐｔ｝ｔと報酬関数Ｒ＝｛Ｒｔ｝ｔとを入力し、状態遷移確率Ｐ及び報酬関数Ｒを入力パラメタ記憶部１２１に記録する。すなわち、本実施の形態では、状態遷移確率Ｐ及び報酬関数Ｒが予め推定され、既知である状態が想定される。状態遷移確率Ｐ及び報酬関数Ｒは、キーボード等の入力装置が用いられてユーザによって入力されてもよいし、予め保存されている記憶装置から入力パラメタ処理部１１が取得してもよい。
続いて、設定パラメタ処理部１２は、ハイパーパラメタ等の設定パラメタを入力し、当該設定パラメタを設定パラメタ記憶部１２２に記録する（Ｓ２０）。設定パラメタは、キーボード等の入力装置が用いられてユーザによって入力されてもよいし、予め保存されている記憶装置から設定パラメタ処理部１２が取得してもよい。例えば、式（３）及び（４）において利用されるαの値等が入力される。
続いて、出力パラメタ推定部１３は、入力パラメタ記憶部１２１に記録されている状態遷移確率及び報酬関数、並びに設定パラメタ記憶部１２２に記録されている設定パラメタを入力とし、後ろ向き帰納法アルゴリズムによって最適価値関数（Ｑ＊ ｔ及びＶ＊ ｔ）と最適方策π＊とを推定（計算）し、推定結果に関するパラメタを出力パラメタ記憶部１２３に記録する（Ｓ３０）。
続いて、出力部１４は、出力パラメタ記憶部１２３に記録された最適価値関数（Ｑ＊ ｔ及びＶ＊ ｔ）と方策π＊を出力する（Ｓ４０）。
続いて、ステップＳ３０の詳細について説明する。図４は、価値関数及び方策の推定処理の処理手順の一例を説明するためのフローチャートである。
ステップＳ３１において、出力パラメタ推定部１３は、変数ｔ及び状態価値関数ＶＴを初期化する。具体的には、出力パラメタ推定部１３は、変数ｔに対してＴを代入し、全てのｓに対する状態価値関数ＶＴ（ｓ）に０を代入する。なお、変数ｔは、各時刻を示す変数である。Ｔは、図３のステップＳ１０において入力された状態遷移確率Ｐ及び報酬関数Ｒの要素数（すなわち、ｔごとに変化する状態遷移確率の数又はｔごとに変化する報酬関数の数）である。「全てのｓ」は、状態遷移確率Ｐに含まれる全てのｓであり、以下においても同様である。
続いて、出力パラメタ推定部１３は、変数ｔの値を更新する（Ｓ３２）。具体的には、出力パラメタ推定部１３は、変数ｔから１を減じた値を変数ｔに代入する。
続いて、出力パラメタ推定部１３は、全てのｓ及び全てのａの組み合わせについて、上記の式（２）に基づいて、行動価値関数Ｑｔ（ｓ，ａ）を更新する（Ｓ３３）。なお、「全てのａ」とは、ステップＳ１０において入力された状態遷移確率Ｐに含まれる全てのａであり、以下においても同様である。
続いて、出力パラメタ推定部１３は、全てのｓについて、上記の式（３）に基づいて、状態価値関数Ｖｔ（ｓ）を更新する（Ｓ３４）。この際、直前のステップＳ３３において更新（計算）された行動価値関数Ｑｔ（ｓ，ａ）が、式（３）に代入される。
続いて、出力パラメタ推定部１３は、全てのｓ及び全てのａの組み合わせについて、上記の式（４）に基づいて、方策πｔ（ａ｜ｓ）を更新する（Ｓ３５）。この際、直前のステップＳ３３において更新（計算）された行動価値関数Ｑｔ（ｓ，ａ）と、直前のステップＳ３４で更新（計算）されたＶｔ（ｓ）とが式（４）に代入される。
続いて、出力パラメタ推定部１３は、ｔの値が０であるか否かを判定する（Ｓ３６）。ｔの値が０より大きい場合（Ｓ３６でＮｏ）、出力パラメタ推定部１３は、ステップＳ３２以降を繰り返す。ｔの値が０である場合（Ｓ３６でＹｅｓ）、出力パラメタ推定部１３は、図４の処理手順を終了する。すなわち、この時点におけるＱｔ（ｓ，ａ）、Ｖｔ（ｓ）、πｔ（ａ｜ｓ）のそれぞれが、最適行動価値関数、最適状態価値関数、最適方策として推定される。
上述したように、本実施の形態によれば、状態遷移関数及び報酬関数が時間の経過に応じて変化する場合の非斉時的なマルコフ決定過程におけるエントロピー正則化ＲＬにおける価値関数及び方策の推定を可能とすることができる。
その結果、例えば、ユーザの健康的な暮らしをサポートする前述のヘルスケアアプリを構築する際など、状態遷移確率や報酬関数が全ての時刻で同一であるという仮定が満たされない場合であっても、最適価値関数と最適方策を推定することが可能になる。
なお、本実施の形態において、入力パラメタ処理部１１は、入力部の一例である。出力パラメタ推定部１３は、推定部の一例である。
以上、本発明の実施の形態について詳述したが、本発明は斯かる特定の実施形態に限定されるものではなく、請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
１０ 方策推定装置
１１ 入力パラメタ処理部
１２ 設定パラメタ処理部
１３ 出力パラメタ推定部
１４ 出力部
１００ ドライブ装置
１０１ 記録媒体
１０２ 補助記憶装置
１０３ メモリ装置
１０４ ＣＰＵ
１０５ インタフェース装置
１２１ 入力パラメタ記憶部
１２２ 設定パラメタ記憶部
１２３ 出力パラメタ記憶部
Ｂ バス

Claims (5)

  1. 時間の経過に応じて変化する状態遷移確率及び報酬関数を入力する入力手順と、
    エントロピー正則化強化学習における最適価値関数及び最適方策を、前記状態遷移確率及び前記報酬関数に基づく後ろ向き帰納法アルゴリズムによって推定する推定手順と、
    をコンピュータが実行することを特徴とする方策推定方法。
  2. 前記推定手順は、報酬と方策のエントロピーとの和の期待値を最大化するように前記最適方策を推定する、
    ことを特徴とする請求項１記載の方策推定方法。
  3. 時間の経過に応じて変化する状態遷移確率及び報酬関数を入力する入力部と、
    エントロピー正則化強化学習における最適価値関数及び最適方策を、前記状態遷移確率及び前記報酬関数に基づく後ろ向き帰納法アルゴリズムによって推定する推定部と、
    を有することを特徴とする方策推定装置。
  4. 前記推定部は、報酬と方策のエントロピーとの和の期待値を最大化するように前記最適方策を推定する、
    ことを特徴とする請求項３記載の方策推定装置。
  5. 請求項１又は２記載の方策推定方法をコンピュータに実行させることを特徴とするプログラム。
JP2021575182A 2020-02-06 2020-02-06 方策推定方法、方策推定装置及びプログラム Active JP7315037B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/004533 WO2021157004A1 (ja) 2020-02-06 2020-02-06 方策推定方法、方策推定装置及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2021157004A1 JPWO2021157004A1 (ja) 2021-08-12
JP7315037B2 true JP7315037B2 (ja) 2023-07-26

Family

ID=77200831

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021575182A Active JP7315037B2 (ja) 2020-02-06 2020-02-06 方策推定方法、方策推定装置及びプログラム

Country Status (3)

Country Link
US (1) US20230153682A1 (ja)
JP (1) JP7315037B2 (ja)
WO (1) WO2021157004A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114662404B (zh) * 2022-04-07 2024-04-30 西北工业大学 规则数据双驱动的机器人复杂操作过程人机混合决策方法
CN114995137B (zh) * 2022-06-01 2023-04-28 哈尔滨工业大学 基于深度强化学习的绳驱并联机器人控制方法
CN115192452A (zh) * 2022-07-27 2022-10-18 苏州泽达兴邦医药科技有限公司 一种中药生产制粒工艺及工艺策略计算方法
CN117075596B (zh) * 2023-05-24 2024-04-26 陕西科技大学 一种环境和运动不确定下的机器人复杂任务路径规划方法及系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015176328A (ja) 2014-03-14 2015-10-05 インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ 生成装置、選択装置、生成方法、選択方法、及び、プログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015176328A (ja) 2014-03-14 2015-10-05 インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ 生成装置、選択装置、生成方法、選択方法、及び、プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
LIU, Jingbin et al.，"On-policy Reinforcement Learning with Entropy Regularization"，arXiv.org [online]，arXiv:1912.01557v2，Cornell University，2019年12月20日，pp.1-8，[検索日 2020.06.03], インターネット:<URL: https://arxiv.org/pdf/1912.01557v2>

Also Published As

Publication number Publication date
JPWO2021157004A1 (ja) 2021-08-12
WO2021157004A1 (ja) 2021-08-12
US20230153682A1 (en) 2023-05-18

Similar Documents

Publication Publication Date Title
JP7315037B2 (ja) 方策推定方法、方策推定装置及びプログラム
Uchendu et al. Jump-start reinforcement learning
JP6824382B2 (ja) 複数の機械学習タスクに関する機械学習モデルのトレーニング
Milli et al. Should robots be obedient?
Sun et al. Attentive experience replay
Sebt et al. Hybridization of genetic algorithm and fully informed particle swarm for solving the multi-mode resource-constrained project scheduling problem
Amato et al. Incremental policy generation for finite-horizon DEC-POMDPs
Papini et al. Optimistic policy optimization via multiple importance sampling
Pekaslan et al. ADONiS—Adaptive online nonsingleton fuzzy logic systems
Alhindi et al. MOEA/D with tabu search for multiobjective permutation flow shop scheduling problems
Elsayed et al. A surrogate-assisted differential evolution algorithm with dynamic parameters selection for solving expensive optimization problems
Wang et al. Deep deterministic policy gradient with compatible critic network
Bhatt et al. Crossnorm: Normalization for off-policy td reinforcement learning
EP1570427A1 (en) Forward-chaining inferencing
Chang et al. A block based estimation of distribution algorithm using bivariate model for scheduling problems
Mukhopadhyay et al. Reinforcement learning algorithms for uncertain, dynamic, zero-sum games
Mohamed et al. Adaptive position control of a cart moved by a DC motor using integral controller tuned by Jaya optimization with Balloon effect
Liang et al. Reducing variance in temporal-difference value estimation via ensemble of deep networks
Neshat et al. A new hybrid optimization method inspired from swarm intelligence: Fuzzy adaptive swallow swarm optimization algorithm (FASSO)
Zheng et al. Competitive and cooperative heterogeneous deep reinforcement learning
Wang et al. A discrete wolf pack algorithm for job shop scheduling problem
CN116257363A (zh) 资源调度方法、装置、设备及存储介质
Xu et al. A deep deterministic policy gradient algorithm based on averaged state-action estimation
WO2022195494A1 (en) A computer implemented method for real time quantum compiling based on artificial intelligence
WO2022244260A1 (ja) 方策推定装置、方策推定方法、およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220530

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230613

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230626

R150 Certificate of patent or registration of utility model

Ref document number: 7315037

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150