WO2020149172A1 - エージェント結合装置、方法、及びプログラム - Google Patents

エージェント結合装置、方法、及びプログラム Download PDF

Info

Publication number
WO2020149172A1
WO2020149172A1 PCT/JP2020/000157 JP2020000157W WO2020149172A1 WO 2020149172 A1 WO2020149172 A1 WO 2020149172A1 JP 2020000157 W JP2020000157 W JP 2020000157W WO 2020149172 A1 WO2020149172 A1 WO 2020149172A1
Authority
WO
WIPO (PCT)
Prior art keywords
agent
component
value function
neural network
overall
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2020/000157
Other languages
English (en)
French (fr)
Inventor
匡宏 幸島
達史 松林
浩之 戸田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Inc
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to US17/423,075 priority Critical patent/US20220067528A1/en
Publication of WO2020149172A1 publication Critical patent/WO2020149172A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0499—Feedforward networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/092—Reinforcement learning

Definitions

  • the present invention relates to an agent coupling device, method, and program, and more particularly to an agent coupling device, method, and program for solving a task.
  • an agent for example, a robot
  • the present invention has been made in view of the above circumstances, and an object of the present invention is to provide an agent coupling device, a method, and a program capable of constructing an agent capable of handling a complex task. To do.
  • the agent coupling device relates to a plurality of value functions for determining a behavioral action of an agent that solves an overall task represented by a weighted sum of a plurality of component tasks.
  • An overall weighted sum of a plurality of pre-learned component value functions for determining a behavioral policy of a component agent that solves the component task for each of the plurality of component tasks using a weight for each component task. It is configured to include an agent combination unit that obtains a value function, and an execution unit that determines the action of the agent for the overall task by using the policy obtained from the overall value function and causes the agent to act.
  • the agent coupling unit is configured to perform a plurality of neural network learning in advance so as to approximate the component value function for each of the plurality of component tasks.
  • a neural network configured by adding a layer output by weighting each of the component tasks is obtained as a neural network that approximates the overall value function, and the execution unit outputs the neural network from the neural network that approximates the overall value function.
  • the obtained policy may be used to determine the action of the agent with respect to the overall task and cause the agent to act.
  • the agent coupling device may further include a re-learning unit that re-learns a neural network that approximates the overall value function based on the action result of the agent by the execution unit.
  • the agent coupling unit is configured to perform a plurality of neural network learning in advance so as to approximate the component value function for each of the plurality of component tasks.
  • a neural network configured by adding a layer to be weighted and output with respect to each of the component tasks is obtained as a neural network that approximates the overall value function, and corresponds to the neural network that approximates the overall value function.
  • a neural network having a structure is created, and the execution unit determines the behavior of the agent with respect to the overall task by using the policy obtained from the neural network having the predetermined structure, and causes the agent to act. Good.
  • the agent coupling device may further include a re-learning unit that re-learns the neural network having the predetermined structure based on the action result of the agent by the execution unit.
  • the agent combining unit obtains a value function for finding an action policy of an agent that solves an overall task represented by a weighted sum of a plurality of component tasks, Using the weights for each of the plurality of component tasks, an overall value function that is a weighted sum of a plurality of pre-learned component value functions for determining the action policy of the component agent that solves the component task is calculated.
  • the step of obtaining and the step of causing the execution unit to determine the action of the agent with respect to the overall task by using the policy obtained from the overall value function and to have the agent perform the action are executed.
  • the program according to the third invention is a program for causing a computer to function as each unit of the agent coupling device according to the first invention.
  • agent coupling device According to the agent coupling device, method, and program of the present invention, it is possible to construct an agent capable of handling even complex tasks.
  • the embodiment of the present invention proposes a method of configuring the entire task represented by a weighted sum using the weighted sum of component agents.
  • Overall tasks represented by weighted combinations include, for example, the following shooting games and signal control.
  • a shooting game it is assumed that a learning result A for solving a part task A of shooting down a certain enemy A and a learning result B for solving a part task B of shooting down a certain enemy B have already been obtained.
  • a task that obtains 50 points when the enemy A is shot down and 10 points when the enemy B is shot down is expressed as a weighted sum of the component task A and the component task B.
  • a learning result A for solving a part task A of passing a general vehicle with a short waiting time and a learning result B for solving a part task B of passing a public vehicle such as a bus with a short waiting time have already been obtained.
  • the task of minimizing [waiting time for general vehicle+waiting time for public vehicle ⁇ 5] is expressed as a weighted sum of the component task A and the component task B.
  • the learning result can be configured even for the task represented by the weighted sum as described above, and the component agent can be combined even for a new task. It is possible to obtain a learning result for solving a complicated task without re-learning, or to obtain a learning result in a shorter time than re-learning from zero.
  • Reinforcement learning is a method for finding an optimal policy with a setting defined as a Markov Decision Process (MDP) (Reference 1).
  • MDP Markov Decision Process
  • the robot is given a degree of freedom in which action is executed in each state.
  • a function that determines the probability of executing the action a when the robot is in each state s is called a policy and is written as ⁇ .
  • the policy ⁇ of the action a when the state s is given is expressed as ( ⁇ a ⁇ (a
  • s) 1).
  • an optimal policy ⁇ * std which is a policy that maximizes the expected discount sum of rewards obtained from the most present to the future, is obtained from a plurality of policies that exist.
  • the value function Q ⁇ plays an important role in deriving the optimal policy.
  • the value function Q ⁇ represents the expected discount sum of the reward obtained when the action a is executed in the state s and after the action a infinitely continues according to the policy ⁇ . It is known that the value function Q * (optimal value function) in the optimal policy satisfies the following relation when the policy ⁇ is the optimal policy, and this equation is called Bellman optimal equation.
  • ⁇ ( ⁇ ) represents the delta function
  • the optimal policy ⁇ * me that maximizes the expected discount sum of the entitlement of the reward and the policy obtained from the present to the future most is obtained.
  • ⁇ is a weighting parameter
  • S k ),... which determines the selection probability of each action when H( ⁇ ( ⁇
  • the (optimal) value function Q * soft in maximum entropy reinforcement learning can be defined as in the following expression (1).
  • V * soft is as follows.
  • the optimal policy is expressed as a probabilistic policy.
  • the value function can be estimated by using the following Bellman equation in maximum entropy reinforcement learning.
  • MDP-1 (S, A, P, R 1 , ⁇ )
  • MDP-2 (S, A, P, R 2 , ⁇ )
  • the target MDP-3 having the reward R 3 ⁇ 1 R 1 + ⁇ 2 R 2 defined by the weighted sum: (S,A,P,R 3 , ⁇ ).
  • ⁇ 1 and ⁇ 2 are known weighting parameters.
  • the Q sigma thinks it is the best value function Q 3 of MDP-3, (2) by substituting the equation to determine the bound policy [pi sigma.
  • Q ⁇ generally does not match the optimal value function Q 3 of MDP-3, but the policy ⁇ ⁇ produced by the above method of combining does not match the optimal policy ⁇ * 3 of MDP-3.
  • ⁇ ⁇ is used as a measure for solving the task corresponding to MDP-3. Also, by using it as an initial measure when learning with MDP-3, it may be possible to perform learning with a shorter number of times of learning than when restarting from zero.
  • Non-Patent Document 2 As a specific example of performing re-learning, when a neural network (hereinafter, also referred to as a network) that approximates the component value functions Q 1 and Q 2 has been learned by Deep Q-Network (DQN) (Non-Patent Document 2), An example is shown in which the initial values for re-learning are created by combining them.
  • DQN Deep Q-Network
  • the first method is to use the simple connection of networks as it is.
  • a new network is created by adding a layer that outputs the learned values of Q 1 and the value of Q 2 that are weighted and output as in equation (3) above the output layers of the network that returns the value of Q 1 and the value of Q 2 .
  • Re-learning is performed by using this network as the initial value of the function that returns the value function.
  • FIG. 1 shows a configuration example of a new network using DQN.
  • the second method uses a method called distillation (Non-Patent Document 5).
  • this method in the situation where a network that is a learning result called Teacher Network is given, the Student Network that uses the number of layers of the network and the activation function that are different from the Teacher Network has the same input/output relationship as the Teacher Network. Learned to have.
  • the network used as the initial value can be created.
  • the newly created network will have a number of parameters that is equal to the number of parameters of the networks of Q 1 and Q 2 , so there is a problem in the case of a large number of parameters. May occur. But instead, new networks can simply be created. On the contrary, the second approach requires learning the Student Network, so it takes time to create a new network, but a new network with a small number of parameters can be created.
  • an agent coupling device 100 is a computer including a CPU, a RAM, and a ROM storing a program for executing an agent processing routine described later and various data. Can be configured with.
  • the agent coupling device 100 includes an agent coupling unit 30, an execution unit 32, and a re-learning unit 34, as shown in FIG.
  • the execution unit 32 includes a policy acquisition unit 40, an action determination unit 42, an operation unit 44, and a function output unit 46.
  • the agent combination unit 30 includes a weight parameter processing unit 310, a component agent processing unit 320, a combination agent creation unit 330, a combination agent processing unit 340, a weight parameter recording unit 351, and a component agent.
  • the recording unit 352 and the binding agent recording unit 353 are included.
  • the component value functions Q 1 and Q 2 and the overall value function Q ⁇ of the component task are configured as a neural network previously learned so as to approximate the value function by the method such as DQN. I shall. If it can be expressed easily, a linear sum or the like may be used.
  • the agent combining unit 30 performs a plurality of processes on the neural network preliminarily learned so as to approximate the component value functions (Q 1 , Q 2 ) for each of the plurality of component tasks by the processing by the following processing units.
  • a neural network configured by adding a layer to be weighted and output with respect to each of the component tasks is obtained as a neural network that approximates the overall value function Q ⁇ .
  • the weight parameter processing unit 310 stores in the weight parameter recording unit 351 predetermined weight parameters ⁇ 1 and ⁇ 2 used when combining the component tasks.
  • the component agent processing unit 320 stores in the component agent recording unit 352 information related to the component value function of the component task (such as the component value functions Q 1 and Q 2 themselves, or network parameters that approximate them obtained using DQN). Store.
  • Information about ⁇ 1 Q 1 + ⁇ 2 Q 2 (Q ⁇ itself or a parameter of a neural network that approximates Q ⁇ , etc.) is stored in the binding agent recording unit 353.
  • the combined agent processing unit 340 outputs the network parameter corresponding to the overall value function Q ⁇ of the combined agent recording unit 353 to the execution unit 32.
  • the execution unit 32 determines the action of the agent with respect to the overall task by using the policy obtained from the network corresponding to the overall value function Q ⁇ by each processing unit described below, and causes the agent to act.
  • the policy acquisition unit 40 Based on the network corresponding to the overall value function Q ⁇ output from the agent combining unit 30, the policy acquisition unit 40 replaces Q * soft in the above equation (2) with the network corresponding to the overall value function Q ⁇ , Get policy ⁇ ⁇ .
  • the action determination unit 42 determines the action of the agent for the overall task based on the policy acquired by the policy acquisition unit 40.
  • the operation unit 44 controls the agent to perform the decided action.
  • the function output unit 46 acquires the state S k based on the action result of the agent and outputs it to the re-learning unit 34. After a predetermined number of actions, the function output unit 46 acquires the action result of the agent, and the re-learning unit 34 re-learns the neural network that approximates the overall value function Q ⁇ .
  • the execution unit 32 repeats the processes of the policy acquisition unit 40, the action determination unit 42, and the operation unit 44 using a neural network that approximates the re-learned total value function Q ⁇ until a predetermined condition is satisfied.
  • the agent coupling device 100 executes the agent processing routine shown in FIG.
  • step S100 the agent combination unit 30 performs a plurality of component task operations on a neural network that is pre-learned to approximate the component value function (Q 1 , Q 2 ) for each of a plurality of component tasks.
  • a neural network configured by adding a layer weighted with each weight and output is obtained as a neural network approximating the overall value function Q ⁇ .
  • step S102 policy acquisition unit 40, the Q * soft above (2), by replacing the network to approximate the overall value function Q sigma, acquires measures [pi sigma.
  • step S104 the behavior determination unit 42 determines the behavior of the agent for the overall task based on the policy acquired by the policy acquisition unit 40.
  • step S106 the operation unit 44 controls the agent to perform the determined action.
  • step S108 the function output unit 46 determines whether or not a predetermined number of actions have been performed. If the predetermined number of actions have been performed, the process proceeds to step S110, and if not, the process returns to step S102 to repeat the process. ..
  • step S110 the function output unit 46 determines whether or not a predetermined condition is satisfied. If the condition is satisfied, the process ends, and if not satisfied, the process proceeds to step S112.
  • step S112 the function output unit 46 acquires the state S k based on the action result of the agent and outputs the state S k to the re-learning unit 34.
  • the neural network that approximates the function Q ⁇ is relearned, and the process returns to step S102.
  • the coupling agent processing unit 340 first creates a neural network that approximates an overall value function by simply combining neural networks that approximate the component value functions Q 1 and Q 2. Method is used to learn the parameters of the neural network having a predetermined structure so as to correspond to the neural network approximating the overall value function, and set the initial values of the parameters of the neural network having the predetermined structure.
  • the execution unit 32 determines the action of the agent with respect to the overall task by using the policy obtained from the neural network having the predetermined structure, and causes the agent to act.
  • the re-learning unit 34 re-learns the parameters of the neural network having a predetermined structure based on the action result of the agent by the execution unit 32. Then, the determination and execution of the action of the agent by the execution unit 32 and the re-learning by the re-learning unit 34 may be repeated.
  • the action of the agent may be controlled only by the agent combination unit 30 and the execution unit 32 without performing the re-learning by the re-learning unit 34.
  • the combined agent processing unit 340 outputs the total value function Q ⁇ of the combined agent recording unit 353 to the execution unit 32, and the execution unit 32 uses the strategy obtained from the total value function Q ⁇ to generate the total value function Q ⁇ .
  • the action of the agent on the task may be determined and the action of the agent may be performed. Specifically, measures acquisition unit 40, based on the total value function Q sigma outputted from the agent binding unit 30, the Q * soft in equation (2) by replacing the Q sigma, acquires measures [pi sigma You may do it.
  • Agent Coupling Unit 32 Execution Unit 34 Relearning Unit 40 Policy Acquisition Unit 42 Action Determination Unit 44 Actuation Unit 46 Function Output Unit 100 Agent Coupling Device 310 Parameter Processing Unit 320 Component Agent Processing Unit 330 Coupling Agent Creating Unit 340 Coupling Agent Processing Unit 351 Parameter recording unit 352 Component agent recording unit 353 Combined agent recording unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Feedback Control In General (AREA)

Abstract

複雑なタスクであっても対応することができるエージェントを構築することができる。　複数の部品タスクの重み付け和で表現される全体タスクを解くエージェントの行動の方策を求めるための価値関数について、複数の部品タスクの各々に対する重みを用いて、前記複数の部品タスクの各々に対する、部品タスクを解く部品エージェントの行動の方策を求めるための予め学習された複数の部品価値関数の重み付き和である全体価値関数を求める。全体価値関数から得た方策を用いて、全体タスクに対するエージェントの行動を決定し、前記エージェントに行動させる。

Description

エージェント結合装置、方法、及びプログラム
　本発明は、エージェント結合装置、方法、及びプログラムに係り、特に、タスクを解くためのエージェント結合装置、方法、及びプログラムに関する。
　深層学習のブレイクスルーによりＡＩ（Artificial Intelligence）技術が大きく注目されている。中でも強化学習とよばれる自律的な試行錯誤を行う学習フレームワークと組み合わせた深層強化学習が、ゲームＡＩ（コンピュータゲーム、囲碁ｅｔｃ）などの分野で大きな成果を挙げている（非特許文献１参照）。近年では深層強化学習のロボット制御、ドローン制御、信号機の適応制御（非特許文献２参照）などへの応用が進められている。
Human-level control through deep reinforcement learning, Mnih,Volodymyr and Kavukcuoglu, Koray and Silver, David and Rusu, Andrei A and Veness, Joel and Bellemare, Marc G and Graves, Alex and Riedmiller,Martin and Fidjeland, Andreas K and Ostrovski, Georg and others,Nature, 2015. Using a deep reinforcement learning agent for traffic signal control, Genders,Wade and Razavi, Saiedeh, arXiv preprint arXiv:1611.01142, 2016. Reinforcement Learning with Deep Energy-Based Policies, Haarnoja, Tuomas and Tang, Haoran and Abbeel, Pieter and Levine, Sergey, ICML, 2017. Composable Deep Reinforcement Learning for Robotic Manipulation,Haarnoja, Tuomas and Pong, Vitchyr and Zhou, Aurick and Dalal, Murtaza and Abbeel, Pieter and Levine, Sergey, arXiv preprint arXiv:1803.06773,2018. Distilling the knowledge in a neural network, Hinton, Geoffrey, and Vinyals,Oriol, and Dean, Jeff, arXiv preprint arXiv:1503.02531 (2015).
　もっとも深層強化学習には次の２つの弱点が存在する。
　一つは、エージェントと呼ばれる行動主体（例えばロボット）の試行錯誤が必要であるため一般に長い学習時間を必要とする点である。
　もう一つは、強化学習の学習結果は与えられた環境（タスク）に依存するため、環境が変われば（基本的に）ゼロから学習し直しになってしまう点である。
　したがって人の目から見れば類似したタスクであっても、環境が変わる度に学習し直しになり、多大な労力（人手コスト、計算コスト）が必要になってしまう。
　前述の問題意識のもと、ベースとなるタスクを解くエージェント（それぞれ部品タスク、部品エージェントと呼ぶ）をあらかじめ学習しておき、部品タスクを組み合わせることで、複雑な全体タスクを解くエージェントを作る（構成する）というアプローチが検討されている（非特許文献３、４参照）。しかしながら、この既存手法では、単純平均で表現されるタスクを、部品エージェントの単純平均を用いて構成する場合のみが考察されており、適用シーンが限定されていた。
　本発明は、上記事情を鑑みて成されたものであり、複雑なタスクであっても対応することができるエージェントを構築することができるエージェント結合装置、方法、及びプログラムを提供することを目的とする。
　上記目的を達成するために、第１の発明に係るエージェント結合装置は、複数の部品タスクの重み付け和で表現される全体タスクを解くエージェントの行動の方策を求めるための価値関数について、前記複数の部品タスクの各々に対する重みを用いて、前記複数の部品タスクの各々に対する、前記部品タスクを解く部品エージェントの行動の方策を求めるための予め学習された複数の部品価値関数の重み付き和である全体価値関数を求めるエージェント結合部と、前記全体価値関数から得た方策を用いて、前記全体タスクに対するエージェントの行動を決定し、前記エージェントに行動させる実行部と、を含んで構成されている。
　また、第１の発明に係るエージェント結合装置において、前記エージェント結合部は、前記複数の部品タスクの各々についての前記部品価値関数を近似するように予め学習されたニューラルネットワークに対して、前記複数の部品タスクの各々に対する重みで重み付けて出力する層を追加して構成されるニューラルネットワークを、前記全体価値関数を近似するニューラルネットワークとして求め、前記実行部は、前記全体価値関数を近似するニューラルネットワークから得た方策を用いて、前記全体タスクに対するエージェントの行動を決定し、前記エージェントに行動させるようにしてもよい。
　また、第１の発明に係るエージェント結合装置において、前記実行部による前記エージェントの行動結果に基づいて、前記全体価値関数を近似するニューラルネットワークを再学習する再学習部を更に含むようにしてもよい。
　また、第１の発明に係るエージェント結合装置において、前記エージェント結合部は、前記複数の部品タスクの各々についての前記部品価値関数を近似するように予め学習されたニューラルネットワークに対して、前記複数の部品タスクの各々に対する重みで重み付けて出力する層を追加して構成されるニューラルネットワークを、前記全体価値関数を近似するニューラルネットワークとして求め、前記全体価値関数を近似するニューラルネットワークに対応する、所定の構造となるニューラルネットワークを作成し、前記実行部は、前記所定の構造となるニューラルネットワークから得た方策を用いて、前記全体タスクに対するエージェントの行動を決定し、前記エージェントに行動させるようにしてもよい。
　また、第１の発明に係るエージェント結合装置において、前記実行部による前記エージェントの行動結果に基づいて、前記所定の構造となるニューラルネットワークを再学習する再学習部を更に含むようにしてもよい。
　第２の発明に係るエージェント結合方法は、エージェント結合部が、複数の部品タスクの重み付け和で表現される全体タスクを解くエージェントの行動の方策を求めるための価値関数について、前記複数の部品タスクの各々に対する重みを用いて、前記複数の部品タスクの各々に対する、前記部品タスクを解く部品エージェントの行動の方策を求めるための予め学習された複数の部品価値関数の重み付き和である全体価値関数を求めるステップと、実行部が、前記全体価値関数から得た方策を用いて、前記全体タスクに対するエージェントの行動を決定し、前記エージェントに行動させるステップと、を含んで実行することを特徴とする。
　第３の発明に係るプログラムは、コンピュータを、第１の発明に記載のエージェント結合装置の各部として機能させるためのプログラムである。
　本発明のエージェント結合装置、方法、及びプログラムによれば、複雑なタスクであっても対応することができるエージェントを構築することができる、という効果が得られる。
ＤＱＮによる新たなネットワークの構成例を示す図である。 本発明の実施の形態に係るエージェント結合装置の構成を示すブロック図である。 エージェント結合部の構成を示すブロック図である。 本発明の実施の形態に係るエージェント結合装置におけるエージェント処理ルーチンを示すフローチャートである。
　本発明の実施の形態では、上記の課題に鑑みて、重み付き和で表現される全体タスクを、部品エージェントの重み付き和を用いて構成する手法を提案する。重み付きの組み合わせで表現される全体タスクには例えば次に示すシューティングゲームや信号制御が挙げられる。シューティングゲームにおいて、ある敵Ａを撃ち落とすという部品タスクＡを解く学習結果Ａ、ある敵Ｂを撃ち落とすという部品タスクＢを解く学習結果Ｂがすでに得られているとする。このとき、例えば敵Ａを撃ち落とした時に５０ポイント、敵Ｂを撃ち落とした時に１０ポイントが得られるタスクは、部品タスクＡと部品タスクＢの重み付き和として表現される。同様に信号制御において、一般車両を待ち時間短く通過させるという部品タスクＡを解く学習結果Ａ、バスなどの公共車両を待ち時間短く通過させるという部品タスクＢを解く学習結果Ｂがすでに得られているとする。このとき、例えば［一般車両の待ち時間＋公共車両の待ち時間×５］を最小化するというタスクは、部品タスクＡと部品タスクＢの重み付き和として表現される。本発明の実施の形態によって、上記のような重み付き和で表現されるタスクに対しても、学習結果を構成することができるようになり、新たなタスクに対しても部品エージェントを組み合わせるだけで再学習なしで複雑なタスクを解く学習結果を得る、もしくは、ゼロからの再学習よりも短い時間で学習結果を得ることが可能になる。
　本発明の実施の形態の詳細を説明する前に、前提となる強化学習の手法について説明する。
［強化学習］
　強化学習はマルコフ決定過程（Markov Decision Process，ＭＤＰ）（参考文献１）として定義された設定で最適方策を見つける手法である。
［参考文献１］Reinforcement learning: An introduction, RichardS Sutton and AndrewG Barto, MIT press Cambridge, 1998.
　ＭＤＰは、簡単にいえば行動主体（例えばロボット）と外界の相互作用を記述したものであり、ロボットがとりうる状態の集合Ｓ＝｛ｓ１，ｓ２，．．．，ｓＳ｝、ロボットがとりうる行動の集合Ａ＝｛ａ１，ａ２，．．．，ａＡ｝、ロボットがある状態である行動を取った際の状態の遷移の仕方を定める遷移関数Ｐ＝｛ｐａ ｓｓ′｝ｓ，ｓ′，ａ（ただしΣｓ′ｐａ ｓｓ′＝１）、ロボットがある状態でとった行動の良さに関する情報を与える報酬関数Ｒ＝｛ｒ１，ｒ２，．．．，ｒＳ｝、未来に受け取る報酬の考慮度合いをコントロールする割引率（ただし、０≦γ＜１）の５つ組（Ｓ，Ａ，Ｐ，Ｒ，γ）で定義される。
　このＭＤＰの設定のもと、ロボットには各状態でどの行動を実行するかの自由度が与えられる。このロボットが各状態ｓにいる時に行動ａを実行する確率を定める関数を方策と呼び、πと書く。状態ｓが与えられたときの行動ａの方策πは（Σａπ（ａ｜ｓ）＝１）と表す。強化学習では複数存在する方策のうち、最も現在から将来にいたるまでに得られる報酬の期待割引和を最大化する方策である最適方策π＊ ｓｔｄを求める。
Figure JPOXMLDOC01-appb-I000001
　最適方策を導く際に重要な役割を果たすのが価値関数Ｑπである。
Figure JPOXMLDOC01-appb-I000002
　価値関数Ｑπは、状態ｓで行動ａを実行し、実行後は方策πにしたがって無限に行動し続けた場合に得られる報酬の期待割引和を表している。方策πが最適方策であったとき、最適方策における価値関数Ｑ＊（最適価値関数）は以下の関係を満たすことが知られ、この式のことをベルマン最適方程式と呼ぶ。
Figure JPOXMLDOC01-appb-I000003
　Ｑ学習に代表される強化学習の多くの手法は、上記の式の関係性を利用して、この最適価値関数をまず推定し、推定結果を用いて、以下のように設定することで最適方策π＊を得ている。
Figure JPOXMLDOC01-appb-I000004
　ただし、δ（・）はデルタ関数を表す。
［最大エントロピー強化学習］
　上記の標準的な強化学習をベースに最大エントロピー強化学習と呼ばれるアプローチが提案されている（非特許文献３）。学習結果を結合して新たな方策を構成するうえでは、このアプローチを利用する必要がある。
　最大エントロピー強化学習では、標準的な強化学習と異なり、最も現在から将来にいたるまで得られる報酬と方策のエントロピーの期待割引和を最大化する最適方策π＊ ｍｅを求める。
Figure JPOXMLDOC01-appb-I000005
　ただし、αは重みパラメタ、Ｈ（π（・｜Ｓｋ））が状態Ｓｋにいるときの各行動の選択確率を定める分布｛π（ａ１｜Ｓｋ），．．．，π（ａＡ｜Ｓｋ）｝のエントロピーを表す。前節と同様に最大エントロピー強化学習における（最適）価値関数Ｑ＊ ｓｏｆｔは以下（１）式のように定義できる。
Figure JPOXMLDOC01-appb-I000006
　この価値関数を用いて、最適方策は次の（２）式で与えられる。
Figure JPOXMLDOC01-appb-I000007
　ただし、Ｖ＊ ｓｏｆｔは以下である。
Figure JPOXMLDOC01-appb-I000008
　このように最大エントロピー強化学習では、最適方策が確率的な方策として表現される。なお、通常の強化学習と同様、価値関数の推定には、最大エントロピー強化学習における以下のベルマン方程式を利用することで推定することができる。
Figure JPOXMLDOC01-appb-I000009
［単純平均による方策の構成（既存手法）］
　まず上記の既存手法による学習結果の結合方法について述べる。報酬関数のみ異なる２つのＭＤＰ、ＭＤＰ－１（Ｓ，Ａ，Ｐ，Ｒ１，γ）とＭＤＰ－２（Ｓ，Ａ，Ｐ，Ｒ２，γ）を考え、最大エントロピー強化学習の最適価値関数となる（１）式を、ＭＤＰ－１及びＭＤＰ－２についてのそれぞれの部品価値関数Ｑ１，Ｑ２と書く。それぞれのＭＤＰに対応するタスクはすでに学習されており、Ｑ１，Ｑ２については既知であるとする。これらを用いて、単純平均で定義される報酬Ｒ３＝（Ｒ１＋Ｒ２）／２を持つ目標となるＭＤＰ－３（Ｓ，Ａ，Ｐ，Ｒ３，γ）の方策を構成することを考える。
　既存手法（非特許文献４）では、上記の設定において、全体価値関数ＱΣを以下のように定義する。
Figure JPOXMLDOC01-appb-I000010
　全体価値関数ＱΣをＭＤＰ－３の最適価値関数Ｑ３だと仮定して、（２）式に代入することで、結合した方策πΣを求める。当然ＱΣは一般にＭＤＰ－３の最適価値関数Ｑ３とは一致しないため、上記の結合の方法によって作られた方策πΣとＭＤＰ－３の最適方策π＊ ３は一致しない。しかし、πΣに従って行動するときの価値関数ＱπΣとＱ３の間に成り立つ数式があることが示されており（非特許文献４）、良い近似とまでは言えないまでも両者の値には関係があることが明らかになっている。そこで既存手法では、πΣをＭＤＰ－３で学習する際の初期方策として利用することで、ゼロから学習し直すよりも短い学習回数で学習可能となることを実験的示している。このように価値関数ＱΣを、複数の部品タスクの重み付け和で表現される全体タスクを解くエージェントの行動の方策を求めるために用いる。
　しかしながら、既存手法では単純平均で表現されるタスクを、部品エージェントの単純平均を用いて構成する場合のみが考察されており、適用シーンが限定されていた。
＜本発明の実施の形態の原理＞
　以下、本発明の実施の形態で用いる方策の構成法について説明する。
［重み付き和方策の構成］
　まず既存研究と同様に、報酬関数のみ異なる２つのＭＤＰ、ＭＤＰ－１：（Ｓ，Ａ，Ｐ，Ｒ１，γ）とＭＤＰ－２：（Ｓ，Ａ，Ｐ，Ｒ２，γ）があり、このＭＤＰにおける最大エントロピー強化学習の部品価値関数はすでに学習済みであって、Ｑ１，Ｑ２については既知であるとする。
　この設定のもと、本発明の実施の形態では重み付き和で定義される報酬Ｒ３＝β１Ｒ１＋β２Ｒ２を持つ目標となるＭＤＰ－３：（Ｓ，Ａ，Ｐ，Ｒ３，γ）の方策を構成することを考える。β１，β２は既知の重みパラメタである。
　本発明の実施の形態で提案する方法は次の（３）式のように定義する。
Figure JPOXMLDOC01-appb-I000011
　ＱΣをＭＤＰ－３の最適価値関数Ｑ３だと思って、（２）式に代入することで、結合した方策πΣを求める。ＱΣは一般にＭＤＰ－３の最適価値関数Ｑ３とは一致しないが、上記の結合の方法によってつくられた方策πΣとＭＤＰ－３の最適方策π＊ ３は一致しない。上述したようにπΣに従って行動するときの価値関数ＱπΣとＱ３の間に成り立つ数式がある。そこで、πΣをＭＤＰ－３に対応するタスクを解くための方策として利用することを想定する。また、ＭＤＰ－３で学習する際の初期方策として利用することで、ゼロから学習し直すよりも短い学習回数で学習可能となりうる。
［再学習をする場合］
　再学習を行う具体例として、部品価値関数Ｑ１、Ｑ２を近似するニューラルネットワーク（以下、ネットワークとも記載する）がＤｅｅｐ　Ｑ－Ｎｅｔｗｏｒｋ（ＤＱＮ）（非特許文献２）で学習済みの時にこれを組み合わせて再学習の初期値を作る例を示す。
　大きく次の２通りの方法が考えられる。１つ目はネットワークの単純結合をそのまま用いる方法である。学習済みのＱ１の値を返すネットワークとＱ２の値を返すネットワークの出力層の上にそれらの値を（３）式のように重み付けて出力する層を追加した新たなネットワークを作成する。このネットワークを価値関数を返す関数の初期値として利用することで、再学習を行う。図１にＤＱＮによる新たなネットワークの構成例を示す。
　２つ目は蒸留（非特許文献５）と呼ばれる手法を利用する。この手法では、Ｔｅａｃｈｅｒ　Ｎｅｔｗｏｒｋと呼ばれる学習結果となるネットワークが与えられた状況で、このＴｅａｃｈｅｒ　Ｎｅｔｗｏｒｋとは異なるネットワークの層数や活性化関数などを用いるＳｔｕｄｅｎｔ　Ｎｅｔｗｏｒｋが、　Ｔｅａｃｈｎｅｒ　Ｎｅｔｗｏｒｋと同様の入出力関係を持つように学習される。１つ目の方法のように単純結合で作成したネットワークをＴｅａｃｈｅｒ　ＮｅｔｗｏｒｋとしてＳｔｕｄｅｎｔ　Ｎｅｔｗｏｒｋを作成することで、初期値として利用するネットワークを作成できる。
　１つ目のアプローチを用いる場合、Ｑ１とＱ２のネットワークのパラメタ数を足した分だけのパラメタ数を新たに作成したネットワークは持つことになるため、パラメタ数が大きい問題の場合には問題が生じる場合がある。しかしその変わりに新たなネットワークは単純に作ることができる。その逆に２つ目のアプローチはＳｔｕｄｅｎｔ　Ｎｅｔｗｏｒｋを学習する必要があるため、新たなネットワーク作成には手間がかかるが、パラメタ数の少ない新たなネットワークを作ることができる。
　以下、図面を参照して本発明の実施の形態を詳細に説明する。
＜本発明の実施の形態に係るエージェント結合装置の構成＞
　次に、本発明の実施の形態に係るエージェント結合装置の構成について説明する。図２に示すように、本発明の実施の形態に係るエージェント結合装置１００は、ＣＰＵと、ＲＡＭと、後述するエージェント処理ルーチンを実行するためのプログラム及び各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。このエージェント結合装置１００は、機能的には図２に示すようにエージェント結合部３０と、実行部３２と、再学習部３４とを備えている。
　実行部３２は、方策取得部４０と、行動決定部４２と、作動部４４と、関数出力部４６とを含んで構成されている。
　エージェント結合部３０は、図３に示すように、重みパラメタ処理部３１０と、部品エージェント処理部３２０と、結合エージェント作成部３３０と、結合エージェント処理部３４０と、重みパラメタ記録部３５１と、部品エージェント記録部３５２と、結合エージェント記録部３５３とを含んで構成されている。本発明の実施の形態では、部品タスクの部品価値関数Ｑ１，Ｑ２や全体価値関数ＱΣは、上記ＤＱＮ等の手法により、価値関数を近似するように予め学習されたニューラルネットワークとして構成するものとする。なお、簡単に表現できる場合には線形和などを用いてもよい。
　エージェント結合部３０は、以下の各処理部による処理により、複数の部品タスクの各々についての部品価値関数（Ｑ１，Ｑ２）を近似するように予め学習されたニューラルネットワークに対して、複数の部品タスクの各々に対する重みで重み付けて出力する層を追加して構成されるニューラルネットワークを、全体価値関数ＱΣを近似するニューラルネットワークとして求める。
　重みパラメタ処理部３１０は、部品タスクを結合する際に利用する予め定められた重みパラメタβ１，β２を重みパラメタ記録部３５１に格納する。
　部品エージェント処理部３２０は、部品タスクの部品価値関数に関する情報（部品価値関数Ｑ１，Ｑ２そのもの、またはＤＱＮなどを用いて得たそれらを近似するネットワークのパラメタなど）を部品エージェント記録部３５２に格納する。
　結合エージェント作成部３３０は、重みパラメタ記録部３５１の重みパラメタβ１，β２と、部品エージェント記録部３５２のＱ１，Ｑ２とを入力とし、重み付き結合結果である全体価値関数ＱΣ＝β１Ｑ１＋β２Ｑ２に関する情報（ＱΣそのもの、またはＱΣを近似するニューラルネットワークのパラメタなど）を結合エージェント記録部３５３に格納する。
　結合エージェント処理部３４０は、結合エージェント記録部３５３の全体価値関数ＱΣに対応するネットワークパラメタを実行部３２に出力する。
　実行部３２は、以下に説明する各処理部によって、全体価値関数ＱΣに対応するネットワークから得た方策を用いて、全体タスクに対するエージェントの行動を決定し、エージェントに行動させる。
　方策取得部４０は、エージェント結合部３０から出力された全体価値関数ＱΣに対応するネットワークに基づいて、上記（２）式のＱ＊ ｓｏｆｔを全体価値関数ＱΣに対応するネットワークに置き換えて、方策πΣを取得する。
　行動決定部４２は、方策取得部４０が取得した方策に基づいて、全体タスクに対するエージェントの行動を決定する。
　作動部４４は、決定された行動を行うようにエージェントを制御する。
　関数出力部４６は、エージェントの行動結果に基づく状態Ｓｋを取得して、再学習部３４に出力する。なお、所定の回数の行動後に、関数出力部４６によりエージェントの行動結果を取得し、再学習部３４によって全体価値関数ＱΣを近似するニューラルネットワークを再学習させる。
　再学習部３４は、実行部３２によるエージェントの行動結果に基づく状態Ｓｋに基づいて、報酬関数Ｒ３＝β１Ｒ１＋β２Ｒ２の値が高くなるように、全体価値関数ＱΣを近似するニューラルネットワークを再学習する。
　実行部３２は、再学習された全体価値関数ＱΣを近似するニューラルネットワークを用いて、予め定めた条件を満たすまで、方策取得部４０、行動決定部４２、及び作動部４４の処理を繰り返す。
＜本発明の実施の形態に係るエージェント結合装置の作用＞
　次に、本発明の実施の形態に係るエージェント結合装置１００の作用について説明する。エージェント結合装置１００は、図４に示すエージェント処理ルーチンを実行する。
　まず、ステップＳ１００では、エージェント結合部３０は、複数の部品タスクの各々についての部品価値関数（Ｑ１，Ｑ２）を近似するように予め学習されたニューラルネットワークに対して、複数の部品タスクの各々に対する重みで重み付けて出力する層を追加して構成されるニューラルネットワークを、全体価値関数ＱΣを近似するニューラルネットワークとして求める。
　次に、ステップＳ１０２では、方策取得部４０は、上記（２）式のＱ＊ ｓｏｆｔを、全体価値関数ＱΣを近似するネットワークに置き換えて、方策πΣを取得する。
　ステップＳ１０４では、行動決定部４２は、方策取得部４０が取得した方策に基づいて、全体タスクに対するエージェントの行動を決定する。
　ステップＳ１０６では、作動部４４は、決定された行動を行うようにエージェントを制御する。
　ステップＳ１０８では、関数出力部４６は、所定の回数の行動を行ったかを判定し、所定の回数の行動を行っていればステップＳ１１０へ移行し、行っていなければステップＳ１０２に戻って処理を繰り返す。
　ステップＳ１１０では、関数出力部４６は、予め定めた条件を満たすかを判定し、条件を満たしていれば処理を終了し、満たしていなければステップＳ１１２に移行する。
　ステップＳ１１２では、関数出力部４６は、エージェントの行動結果に基づく状態Ｓｋを取得して、再学習部３４に出力する。
　ステップＳ１１４では、再学習部３４は、実行部３２によるエージェントの行動結果に基づく状態Ｓｋに基づいて、報酬関数Ｒ３＝β１Ｒ１＋β２Ｒ２の値が高くなるように、全体価値関数ＱΣを近似するニューラルネットワークを再学習し、ステップＳ１０２に戻る。
　以上説明したように、本発明の実施の形態に係るエージェント結合装置によれば、多様なタスクに対応することができる。
　なお、本発明は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
　例えば、上述した実施の形態では、再学習において、部品価値関数Ｑ１、Ｑ２を近似するニューラルネットワークを単純結合して作成したニューラルネットワークのパラメタを学習する場合を説明したが、これに限定されるものではない。蒸留の手法を利用する場合には、結合エージェント処理部３４０は、まず、部品価値関数Ｑ１、Ｑ２を近似するニューラルネットワークを単純結合して全体価値関数を近似するニューラルネットワークを作成し、蒸留の手法を利用して、全体価値関数を近似するニューラルネットワークに対応するように、所定の構造となるニューラルネットワークのパラメタを学習し、所定の構造となるニューラルネットワークのパラメタの初期値とする。そして、実行部３２は、所定の構造となるニューラルネットワークから得た方策を用いて、全体タスクに対するエージェントの行動を決定し、エージェントに行動させる。再学習部３４は、実行部３２によるエージェントの行動結果に基づいて、所定の構造となるニューラルネットワークのパラメタを再学習する。そして、実行部３２によるエージェントの行動の決定及び実行と、再学習部３４による再学習とを繰り返すようにすればよい。
　また、再学習部３４による再学習を行わずに、エージェント結合部３０、及び実行部３２のみでエージェントの行動を制御するようにしてもよい。この場合には、結合エージェント処理部３４０は、結合エージェント記録部３５３の全体価値関数ＱΣを実行部３２に出力し、実行部３２は、全体価値関数ＱΣから得た方策を用いて、全体タスクに対するエージェントの行動を決定し、エージェントに行動させるようにしてもよい。具体的には、方策取得部４０は、エージェント結合部３０から出力された全体価値関数ＱΣに基づいて、上記（２）式のＱ＊ ｓｏｆｔをＱΣに置き換えて、方策πΣを取得するようにしてもよい。
３０ エージェント結合部
３２ 実行部
３４ 再学習部
４０ 方策取得部
４２ 行動決定部
４４ 作動部
４６ 関数出力部
１００ エージェント結合装置
３１０ パラメタ処理部
３２０ 部品エージェント処理部
３３０ 結合エージェント作成部
３４０ 結合エージェント処理部
３５１ パラメタ記録部
３５２ 部品エージェント記録部
３５３ 結合エージェント記録部

Claims (7)

  1. 　複数の部品タスクの重み付け和で表現される全体タスクを解くエージェントの行動の方策を求めるための価値関数について、前記複数の部品タスクの各々に対する重みを用いて、前記複数の部品タスクの各々に対する、前記部品タスクを解く部品エージェントの行動の方策を求めるための予め学習された複数の部品価値関数の重み付き和である全体価値関数を求めるエージェント結合部と、
    　前記全体価値関数から得た方策を用いて、前記全体タスクに対するエージェントの行動を決定し、前記エージェントに行動させる実行部と、
    　を含むエージェント結合装置。
  2. 　前記エージェント結合部は、前記複数の部品タスクの各々についての前記部品価値関数を近似するように予め学習されたニューラルネットワークに対して、前記複数の部品タスクの各々に対する重みで重み付けて出力する層を追加して構成されるニューラルネットワークを、前記全体価値関数を近似するニューラルネットワークとして求め、
    　前記実行部は、前記全体価値関数を近似するニューラルネットワークから得た方策を用いて、前記全体タスクに対するエージェントの行動を決定し、前記エージェントに行動させる請求項１に記載のエージェント結合装置。
  3. 　前記実行部による前記エージェントの行動結果に基づいて、前記全体価値関数を近似するニューラルネットワークを再学習する再学習部を更に含む請求項２に記載のエージェント結合装置。
  4. 　前記エージェント結合部は、前記複数の部品タスクの各々についての前記部品価値関数を近似するように予め学習されたニューラルネットワークに対して、前記複数の部品タスクの各々に対する重みで重み付けて出力する層を追加して構成されるニューラルネットワークを、前記全体価値関数を近似するニューラルネットワークとして求め、
    　前記全体価値関数を近似するニューラルネットワークに対応する、所定の構造となるニューラルネットワークを作成し、
    　前記実行部は、前記所定の構造となるニューラルネットワークから得た方策を用いて、前記全体タスクに対するエージェントの行動を決定し、前記エージェントに行動させる請求項１に記載のエージェント結合装置。
  5. 　前記実行部による前記エージェントの行動結果に基づいて、前記所定の構造となるニューラルネットワークを再学習する再学習部を更に含む請求項４に記載のエージェント結合装置。
  6. 　エージェント結合部が、複数の部品タスクの重み付け和で表現される全体タスクを解くエージェントの行動の方策を求めるための価値関数について、前記複数の部品タスクの各々に対する重みを用いて、前記複数の部品タスクの各々に対する、前記部品タスクを解く部品エージェントの行動の方策を求めるための予め学習された複数の部品価値関数の重み付き和である全体価値関数を求めるステップと、
    　実行部が、前記全体価値関数から得た方策を用いて、前記全体タスクに対するエージェントの行動を決定し、前記エージェントに行動させるステップと、
    　を含むエージェント結合方法。
  7. 　コンピュータを、請求項１～請求項５のいずれか１項に記載のエージェント結合装置の各部として機能させるためのプログラム。
PCT/JP2020/000157 2019-01-16 2020-01-07 エージェント結合装置、方法、及びプログラム Ceased WO2020149172A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/423,075 US20220067528A1 (en) 2019-01-16 2020-01-07 Agent joining device, method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-005326 2019-01-16
JP2019005326A JP7225813B2 (ja) 2019-01-16 2019-01-16 エージェント結合装置、方法、及びプログラム

Publications (1)

Publication Number Publication Date
WO2020149172A1 true WO2020149172A1 (ja) 2020-07-23

Family

ID=71613846

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/000157 Ceased WO2020149172A1 (ja) 2019-01-16 2020-01-07 エージェント結合装置、方法、及びプログラム

Country Status (3)

Country Link
US (1) US20220067528A1 (ja)
JP (1) JP7225813B2 (ja)
WO (1) WO2020149172A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022038655A1 (ja) * 2020-08-17 2022-02-24 日本電信電話株式会社 価値関数導出方法、価値関数導出装置及びプログラム

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12484959B2 (en) * 2020-12-16 2025-12-02 Biosense Webster (Israel) Ltd. Accurate tissue proximity
CN115983358B (zh) * 2022-07-12 2025-08-15 安徽大学 一种基于策略迭代的贝尔曼方程的硬件实现方法
CN115588303B (zh) * 2022-07-18 2025-12-12 上海人工智能创新中心 基于最大熵框架的强化学习的交通信号控制方法
CN120296326B (zh) * 2025-06-13 2025-08-26 湖南财政经济学院 一种微型虚拟仪器信息采集方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3523758B1 (en) * 2016-10-10 2024-10-02 DeepMind Technologies Limited Neural networks for selecting actions to be performed by a robotic agent

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MAINEGRA HING, M. ET AL.: "Order acceptance with reinforcement learning", BETA-PUBLICATE: WP-66, December 2001 (2001-12-01), pages 18 - 22, XP009100058, ISSN: 1386-9213, Retrieved from the Internet <URL:https://www.researchgate.net/publication/241863945_Order_acceptance_with_reinforcement_learning/link/53ff24ea0cf21edafdl5bdlf/download>> [retrieved on 20200316] *
NATARAJAN, S. ET AL.: "Dynamic preferences in multi-criteria reinforcement learning", PROCEEDINGS OF THE 22ND INTERNATIONAL CONFERENCE ON MACHINE LEARNING (ICML'05, August 2005 (2005-08-01), pages 601 - 608, XP058203961, DOI: 10.1145/1102351.1102427 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022038655A1 (ja) * 2020-08-17 2022-02-24 日本電信電話株式会社 価値関数導出方法、価値関数導出装置及びプログラム
JP7529026B2 (ja) 2020-08-17 2024-08-06 日本電信電話株式会社 価値関数導出方法、価値関数導出装置及びプログラム

Also Published As

Publication number Publication date
JP7225813B2 (ja) 2023-02-21
JP2020113192A (ja) 2020-07-27
US20220067528A1 (en) 2022-03-03

Similar Documents

Publication Publication Date Title
WO2020149172A1 (ja) エージェント結合装置、方法、及びプログラム
US11759947B2 (en) Method for controlling a robot device and robot device controller
Zhang et al. A hybrid particle swarm optimization–back-propagation algorithm for feedforward neural network training
Li et al. Unsupervised reinforcement learning of transferable meta-skills for embodied navigation
US9367797B2 (en) Methods and apparatus for spiking neural computation
KR102766208B1 (ko) 퓨샷 모방을 위한 시연 조건부 보강 학습
CN109635917B (zh) 一种多智能体合作决策及训练方法
CN109711529B (zh) 一种基于值迭代网络的跨领域联邦学习模型及方法
US9111225B2 (en) Methods and apparatus for spiking neural computation
EP3117274B1 (en) Method, controller, and computer program product for controlling a target system by separately training a first and a second recurrent neural network models, which are initally trained using oparational data of source systems
CN114529010B (zh) 一种机器人自主学习方法、装置、设备及存储介质
CN115167136B (zh) 一种基于深度强化学习和条件熵瓶颈的智能体控制方法
CN111783944A (zh) 基于组合训练的规则嵌入多智能体强化学习方法及装置
Liu et al. Distilling motion planner augmented policies into visual control policies for robot manipulation
US20250209338A1 (en) Exploration by bootstrapped prediction
CN118133930A (zh) 基于多模态自适应融合的机器人技能连续学习方法及系统
Giraldo et al. Sailboat navigation control system based on spiking neural networks
CN112884148A (zh) 嵌入多步规则的混合强化学习训练方法、设备及存储介质
CN110450164A (zh) 机器人控制方法、装置、机器人及存储介质
CN110610231A (zh) 一种信息处理方法、电子设备和存储介质
Arie et al. Creating novel goal-directed actions at criticality: A neuro-robotic experiment
Lin et al. Nonlinear system control using self-evolving neural fuzzy inference networks with reinforcement evolutionary learning
US20230351195A1 (en) Neurosynaptic Processing Core with Spike Time Dependent Plasticity (STDP) Learning For a Spiking Neural Network
CN118014054B (zh) 一种基于平行重组网络的机械臂多任务强化学习方法
Hu et al. Time series prediction with a weighted bidirectional multi-stream extended Kalman filter

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20741366

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20741366

Country of ref document: EP

Kind code of ref document: A1