JP7436688B2 - 目的別行動価値関数を使用する多目的強化学習 - Google Patents
目的別行動価値関数を使用する多目的強化学習 Download PDFInfo
- Publication number
- JP7436688B2 JP7436688B2 JP2022548008A JP2022548008A JP7436688B2 JP 7436688 B2 JP7436688 B2 JP 7436688B2 JP 2022548008 A JP2022548008 A JP 2022548008A JP 2022548008 A JP2022548008 A JP 2022548008A JP 7436688 B2 JP7436688 B2 JP 7436688B2
- Authority
- JP
- Japan
- Prior art keywords
- objective
- policy
- action
- objectives
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000009471 action Effects 0.000 title claims description 144
- 230000006870 function Effects 0.000 title claims description 99
- 230000002787 reinforcement Effects 0.000 title claims description 36
- 238000000034 method Methods 0.000 claims description 91
- 238000009826 distribution Methods 0.000 claims description 79
- 230000000875 corresponding effect Effects 0.000 claims description 51
- 238000013528 artificial neural network Methods 0.000 claims description 37
- 238000012549 training Methods 0.000 claims description 23
- 230000004044 response Effects 0.000 claims description 20
- 238000003860 storage Methods 0.000 claims description 13
- 230000001186 cumulative effect Effects 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 2
- 239000003795 chemical substances by application Substances 0.000 description 61
- 230000006399 behavior Effects 0.000 description 30
- 230000003542 behavioural effect Effects 0.000 description 27
- 238000004590 computer program Methods 0.000 description 14
- 238000012545 processing Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 7
- 238000005457 optimization Methods 0.000 description 7
- 230000008901 benefit Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 6
- 230000001276 controlling effect Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 238000013459 approach Methods 0.000 description 5
- 230000006872 improvement Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000007704 transition Effects 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000009977 dual effect Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 239000002131 composite material Substances 0.000 description 2
- 238000001816 cooling Methods 0.000 description 2
- 239000012636 effector Substances 0.000 description 2
- 230000005611 electricity Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002028 premature Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000013515 script Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000010420 art technique Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 230000007786 learning performance Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000010248 power generation Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000013341 scale-up Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/092—Reinforcement learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/004—Artificial life, i.e. computing arrangements simulating life
- G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Feedback Control In General (AREA)
Description
Nは、正規化定数であり、
kは、目的であり、
aは、行動であり、
sは、状態であり、
πold(a|s)は、前のポリシーであり、
Qk(s,a)は、目的に関する行動価値関数であり、
ηkは、温度パラメータである。
εkは、対応する目的に関する差しきい値であり、
μ(s)は、訪問分布である。
i)1つもしくは複数のターゲット位置、1つもしくは複数のターゲット姿勢、または1つもしくは複数の他のターゲット構成に近づくかまたは達成することに対する1つまたは複数の報酬。前述の観測結果、たとえば、ロボットまたは乗り物の位置または姿勢のいずれかに依存する1つまたは複数の報酬。たとえば、ロボットの場合、報酬は、関節の向き(角度)もしくは速度、エンドエフェクタの位置、重心位置、または身体部分のグループの位置および/もしくは向きに依存し得る。
ii)1つまたは複数のコスト、たとえば、負の報酬が、同様に定義され得る。負の報酬、またはコストは、同様にまたは代わりに、たとえば、物体と相互作用するときに適用されるしきい値または最大値に依存するアクチュエータまたはエンドエフェクタによって印加される力に関連付けられ得る。負の報酬は、たとえば、動きを制御するために、1つまたは複数のロボットの身体部分のエネルギーもしくは電力の使用量、過度の動作速度、1つまたは複数の位置にも依存し得る。
1.ポリシー評価:ポリシーπθが与えられた場合にQ関数を推定する
2.ポリシー改善:Q関数が与えられた場合にポリシーを更新する
ニューラルネットワークシステムは、状態行動価値(Q)関数を学習することによって、前のポリシーπoldを評価する。Q分解手法に従って、目的ごとに個別のQ関数がトレーニングされる。原則として、πold(更新の現在の反復の前のポリシー)に関してターゲットQ値が計算される限り、任意のQ学習アルゴリズムが利用され得る。
前のポリシーπold(a|s)および関連するQ関数
1.対応する行動価値関数に基づいて各目的に関する行動分布を決定する(330)。
2.複数の目的に関する行動関数の組合せに基づいて、更新されたポリシーを決定する(335)。
目的ごとの改善された行動分布qk(a|s)を取得するために、強化学習目的は、各目的Qkに対して最適化され、
前のセクションにおいて、各目的kについて、改善された行動分布qk(a|s)(改善された目的別ポリシー)が取得された。次に、これらの分布は、設定された制約εkに従って目的をトレードオフする単一のパラメトリックポリシーを取得するために組み合わされる必要がある。このために、方法は、ステップ1からの目的ごとの行動分布にパラメトリックポリシーを適合させる教師あり学習問題を解き、
上記の実装形態は、バッチ学習について論じている。本明細書で説明する方法は、オンポリシー学習に等しく適用され得る。この場合、前のポリシーπoldを評価するために、利点A(s,a)は、オフポリシー実装形態におけるような状態-行動価値関数Q(s,a)の代わりに、学習された状態-価値関数V(s)から推定される。各目的に対する個別のV関数は、各目的に関連するnステップリターンに回帰することによってトレーニングされる。
εkは、報酬のスケールに対して不変であるので、スカラー化重みを介するよりもεkを介して選好を符号化するほうがより直感的である。言い換えれば、目的全体にわたって所望の選好を有することは、εkの妥当な選択の範囲を狭くするが、スカラー化重みの妥当な選択の範囲を狭くしない。妥当なスカラー化重みを特定するために、RL実践者は、さらに、各目的に対する報酬のスケールに精通している必要がある。実際には、学習性能は、εkの広い範囲のスケールに対してロバストであることがわかっている。目的に対する選好を符号化するために重要なのは、εkの相対スケールであり、特定のεkが他のものよりも大きいほど、その目的kがより優先される。一方、εk=0である場合、目的kは、影響を与えず、事実上無視される。一般に、具体的な実装形態は、0.001から0.1の範囲におけるεkを用いる。
102 行動
104 エージェント
106 状態
108 報酬
110 行動選択ポリシーニューラルネットワーク
120 トレーニングエンジン
Claims (19)
- 強化学習によってニューラルネットワークシステムをトレーニングするための方法であって、前記ニューラルネットワークシステムが、エージェントが対話する環境の状態を特徴付ける入力観測結果を受信し、複数の目的を満たすことを目的とするポリシーに従って行動を選択および出力するように構成され、前記方法が、
1つまたは複数の軌道のセットを取得するステップであって、各軌道が、環境の状態と、前記状態に応答して前のポリシーに従って前記エージェントによって前記環境に適用される行動と、前記行動に対する報酬のセットとを含み、各報酬が、前記複数の目的のうちの対応する目的に関連する、ステップと、
前記1つまたは複数の軌道のセットに基づいて、前記複数の目的の各々について行動価値関数を決定するステップであって、各行動価値関数が、前記エージェントが前記前のポリシーに従って所与の状態に応答して所与の行動を実行する結果として生じる、前記対応する目的に応じた推定されるリターンを表す行動価値を決定する、ステップと、
前記複数の目的に対する前記行動価値関数の組合せに基づいて、更新されたポリシーを決定するステップと
を含み、
更新されたポリシーを決定するステップが、
前記複数の目的における各目的について目的別ポリシーを決定するステップであって、各目的別ポリシーが、前記対応する目的に関する前記対応する行動価値関数に基づいて決定される、ステップと、
前記更新されたポリシーのポリシーパラメータのセットを前記目的別ポリシーの組合せに適合させることによって、前記更新されたポリシーを決定するステップと
を含む
方法。 - 前記更新されたポリシーのポリシーパラメータの前記セットを前記目的別ポリシーの前記組合せに適合させるステップが、前記更新されたポリシーと前記目的別ポリシーの前記組合せとの間の差を最小化するポリシーパラメータのセットを決定するステップを含む、請求項1に記載の方法。
- 前記更新されたポリシーに関するポリシーパラメータの前記セットが、前記更新されたポリシーと前記前のポリシーとの間の差が信頼領域しきい値を超えることができないように制約される、請求項1または2に記載の方法。
- 各目的について目的別ポリシーを決定するステップが、前記対応する目的に関する前記行動価値関数に従って予想される前記リターンを前記前のポリシーと比較して増加させる、前記目的別ポリシーについて目的別ポリシーパラメータを決定するステップを含む、請求項1から3のいずれか一項に記載の方法。
- 各目的について前記目的別ポリシーを決定するステップが、前記目的別ポリシーが、対応する差しきい値を超えて前記前のポリシーと異なり得ないという制約を条件として、前記対応する目的に関する前記行動価値関数に従って、前記予想されるリターンを前記前のポリシーと比較して最大化する、前記目的別ポリシーについて目的別ポリシーパラメータを決定するステップを含む、請求項4に記載の方法。
- 前記対応する差しきい値が、前記更新されたポリシーに対する前記対応する目的の相対的な寄与を表す、請求項5に記載の方法。
- 前記目的別ポリシーが、ノンパラメトリックポリシーである、請求項1から6のいずれか一項に記載の方法。
- 各目的別ポリシーqk(a|s)が、前記目的別ポリシーの前記目的に関するスケーリングされた行動価値関数から決定され、前記スケーリングされた行動価値関数が、前記目的に関する選好に依存する値によってスケーリングされる、請求項1から7のいずれか一項に記載の方法。
- 請求項8に記載の方法であって、請求項8が請求項5を引用する場合、前記目的に関する選好に依存する前記値が、前記目的に関する前記対応する差しきい値に依存する、請求項8に記載の方法。
- 各目的別ポリシーqk(a|s)が、
Nが、正規化定数であり、
kが、前記目的であり、
aが、行動であり、
sが、状態であり、
πold(a|s)が、前記前のポリシーであり、
Qk(s,a)が、前記目的に関する前記行動価値関数であり、
ηkが、温度パラメータである、
請求項7から9のいずれか一項に記載の方法。 - 各目的kについて、前記温度パラメータηkが、以下の式を解くことによって決定され、
εkが、前記対応する目的に関する対応する差しきい値であり、
μ(s)が、訪問分布である、
請求項10に記載の方法。 - 各温度パラメータが、勾配降下を介して決定される、請求項11に記載の方法。
- 各行動価値関数が、前記前のポリシーに関する潜在的な状態行動ペアの範囲にわたって、前記複数の目的のうちの対応する目的に関する行動価値の分布を提供する、請求項1から12のいずれか一項に記載の方法。
- 各行動価値関数は、所与の状態に応答して所与の行動を選択するとき、前記対応する目的に対する予想される累積割引報酬を表す行動価値を出力する、請求項1から13のいずれか一項に記載の方法。
- 強化学習によってニューラルネットワークシステムをトレーニングするための方法であって、前記ニューラルネットワークシステムは、エージェントが対話する環境の状態を特徴付ける入力観測結果を受信し、複数の目的を満たすことを目的とするポリシーに従って行動を選択および出力するように構成され、前記方法が、
1つまたは複数の軌道のセットを取得するステップであって、各軌道が、環境の状態と、前記状態に応答して前のポリシーに従って前記エージェントによって前記環境に適用される行動と、前記行動に対する報酬のセットとを含み、各報酬が、前記複数の目的のうちの対応する目的に関連する、ステップと、
前記複数の目的の各々について確率分布を前記1つまたは複数の軌道のセットに基づいて決定するステップであって、各確率分布が、対応する目的に従って予想されるリターンを前記ポリシーと比較して増加させる行動確率の分布を提供する、ステップと、
前記複数の目的に対する前記確率分布の組合せに基づいて、更新されたポリシーを決定するステップと
を含む、方法。 - 前記複数の目的の各々について確率分布を決定するステップが、各目的について、
所与の状態から前記前のポリシーに従って前記エージェントから結果として生じる、前記対応する目的に応じた予想されるリターンを表す値を定義する価値関数を決定するステップと、
前記目的について前記確率分布を前記価値関数に基づいて決定するステップと
を含む、
請求項15に記載の方法。 - 各確率分布が、状態行動ペアの確率の分布を定義する状態行動分布であり、各目的に関する前記価値関数が、所与の状態から前記前のポリシーに従って前記エージェントから結果として生じる、前記対応する目的に応じた予想されるリターンを表す値を定義する状態価値関数であるか、または
各確率分布が、状態に対する行動の確率の分布を定義する目的別ポリシーであり、前記価値関数が、前記前のポリシーに従って所与の状態に応答して所与の行動を実行する前記エージェントから結果として生じる、前記対応する目的に応じた予想されるリターンを表す行動価値関数である、
請求項16に記載の方法。 - 1つまたは複数のコンピュータと、前記1つまたは複数のコンピュータによって実行されると、前記1つまたは複数のコンピュータに請求項1から17のいずれか一項に記載の方法を実行させる命令を記憶する1つまたは複数の記憶デバイスとを備えるシステム。
- 1つまたは複数のコンピュータによって実行されると、前記1つまたは複数のコンピュータに請求項1から17のいずれか一項に記載の方法を実行させる命令を記憶する1つまたは複数のコンピュータ記憶媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202062971661P | 2020-02-07 | 2020-02-07 | |
US62/971,661 | 2020-02-07 | ||
PCT/EP2021/052986 WO2021156516A1 (en) | 2020-02-07 | 2021-02-08 | Multi-objective reinforcement learning using objective-specific action-value functions |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023512723A JP2023512723A (ja) | 2023-03-28 |
JP7436688B2 true JP7436688B2 (ja) | 2024-02-22 |
Family
ID=74572788
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022548008A Active JP7436688B2 (ja) | 2020-02-07 | 2021-02-08 | 目的別行動価値関数を使用する多目的強化学習 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20230082326A1 (ja) |
EP (1) | EP4085392A1 (ja) |
JP (1) | JP7436688B2 (ja) |
KR (1) | KR20220137956A (ja) |
CN (1) | CN115066695A (ja) |
WO (1) | WO2021156516A1 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20210295130A1 (en) * | 2020-03-19 | 2021-09-23 | Mohammad Rasoolinejad | Artificial intelligent agent rewarding method determined by social interaction with intelligent observers |
DE102021212277A1 (de) | 2021-10-29 | 2023-05-04 | Robert Bosch Gesellschaft mit beschränkter Haftung | Verfahren und Vorrichtung für bestärkendes Lernen |
CN114415663A (zh) * | 2021-12-15 | 2022-04-29 | 北京工业大学 | 基于深度强化学习的路径规划方法及系统 |
CN114418242A (zh) * | 2022-03-28 | 2022-04-29 | 海尔数字科技(青岛)有限公司 | 排料方案确定方法、装置、设备和可读存储介质 |
CA3195081A1 (en) * | 2022-04-05 | 2023-10-05 | Royal Bank Of Canada | System and method for multi-objective reinforcement learning |
WO2023205891A1 (en) * | 2022-04-27 | 2023-11-02 | Royal Bank Of Canada | System and method for multi-objective reinforcement learning with gradient modulation |
CN115065728B (zh) * | 2022-06-13 | 2023-12-08 | 福州大学 | 一种基于多策略强化学习的多目标内容存储方法 |
KR102673897B1 (ko) * | 2022-11-30 | 2024-06-10 | 주식회사 컨테인어스 | 강화학습 보상 함수 가중치 및 계층화 기반 컨테이너 화물 운송 차량 배차 방법 및 시스템 |
CN117789095B (zh) * | 2024-01-02 | 2024-05-14 | 广州汇思信息科技股份有限公司 | 一种切花开放周期优化方法、系统、设备及存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018110305A1 (ja) | 2016-12-14 | 2018-06-21 | ソニー株式会社 | 情報処理装置及び情報処理方法 |
JP2019159888A (ja) | 2018-03-14 | 2019-09-19 | 株式会社日立製作所 | 機械学習システム |
WO2019187548A1 (ja) | 2018-03-26 | 2019-10-03 | ソニー株式会社 | 情報処理装置および情報処理方法 |
-
2021
- 2021-02-08 JP JP2022548008A patent/JP7436688B2/ja active Active
- 2021-02-08 US US17/797,203 patent/US20230082326A1/en active Pending
- 2021-02-08 WO PCT/EP2021/052986 patent/WO2021156516A1/en unknown
- 2021-02-08 EP EP21704259.7A patent/EP4085392A1/en active Pending
- 2021-02-08 CN CN202180013425.4A patent/CN115066695A/zh active Pending
- 2021-02-08 KR KR1020227030756A patent/KR20220137956A/ko unknown
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018110305A1 (ja) | 2016-12-14 | 2018-06-21 | ソニー株式会社 | 情報処理装置及び情報処理方法 |
JP2019159888A (ja) | 2018-03-14 | 2019-09-19 | 株式会社日立製作所 | 機械学習システム |
WO2019187548A1 (ja) | 2018-03-26 | 2019-10-03 | ソニー株式会社 | 情報処理装置および情報処理方法 |
Also Published As
Publication number | Publication date |
---|---|
EP4085392A1 (en) | 2022-11-09 |
WO2021156516A1 (en) | 2021-08-12 |
JP2023512723A (ja) | 2023-03-28 |
KR20220137956A (ko) | 2022-10-12 |
CN115066695A (zh) | 2022-09-16 |
US20230082326A1 (en) | 2023-03-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7436688B2 (ja) | 目的別行動価値関数を使用する多目的強化学習 | |
CN111417964B (zh) | 异策略行动者-评价者强化学习方法和系统 | |
US20220366245A1 (en) | Training action selection neural networks using hindsight modelling | |
EP3788549B1 (en) | Stacked convolutional long short-term memory for model-free reinforcement learning | |
US20230076192A1 (en) | Learning machine learning incentives by gradient descent for agent cooperation in a distributed multi-agent system | |
US20230059004A1 (en) | Reinforcement learning with adaptive return computation schemes | |
EP4014161A1 (en) | Training action selection neural networks using q-learning combined with look ahead search | |
US20230144995A1 (en) | Learning options for action selection with meta-gradients in multi-task reinforcement learning | |
Cai et al. | Risk-aware off-road navigation via a learned speed distribution map | |
Mohanty et al. | Application of deep Q-learning for wheel mobile robot navigation | |
KR20230075497A (ko) | 파레토 프론트 최적화를 사용한 제약된 강화 학습 신경망 시스템 | |
JP7297842B2 (ja) | リスク尺度を示すパラメータに基づいて訓練されたモデルを使用して、与えられた状況に対するデバイスの行動を決定する方法およびシステム | |
CN117223011A (zh) | 使用加权策略投影的多目标强化学习 | |
Park et al. | Learning based robot control with sequential Gaussian process | |
US20240086703A1 (en) | Controlling agents using state associative learning for long-term credit assignment | |
US20240046112A1 (en) | Jointly updating agent control policies using estimated best responses to current control policies | |
WO2024068789A1 (en) | Learning tasks using skill sequencing for temporally-extended exploration | |
Li et al. | A Review of Deep Reinforcement Learning Exploration Methods: Prospects and Challenges for Application to Robot Attitude Control Tasks | |
CN116897357A (zh) | 具有不同策略的神经网络强化学习 | |
WO2024068841A1 (en) | Reinforcement learning using density estimation with online clustering for exploration |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221005 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230816 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230821 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231121 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240115 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240208 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7436688 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |