JP6621923B2 - 優先順位付けされた経験メモリを使用したニューラルネットワークの訓練 - Google Patents

優先順位付けされた経験メモリを使用したニューラルネットワークの訓練 Download PDF

Info

Publication number
JP6621923B2
JP6621923B2 JP2018524787A JP2018524787A JP6621923B2 JP 6621923 B2 JP6621923 B2 JP 6621923B2 JP 2018524787 A JP2018524787 A JP 2018524787A JP 2018524787 A JP2018524787 A JP 2018524787A JP 6621923 B2 JP6621923 B2 JP 6621923B2
Authority
JP
Japan
Prior art keywords
experience data
elements
neural network
training
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018524787A
Other languages
English (en)
Other versions
JP2018537775A (ja
Inventor
トム・ショール
ジョン・チュエン
デイヴィッド・シルヴァー
Original Assignee
ディープマインド テクノロジーズ リミテッド
ディープマインド テクノロジーズ リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ディープマインド テクノロジーズ リミテッド, ディープマインド テクノロジーズ リミテッド filed Critical ディープマインド テクノロジーズ リミテッド
Publication of JP2018537775A publication Critical patent/JP2018537775A/ja
Application granted granted Critical
Publication of JP6621923B2 publication Critical patent/JP6621923B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/092—Reinforcement learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Machine Translation (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Feedback Control In General (AREA)

Description

本明細書は、強化学習に関する。
強化学習システムでは、エージェントは、環境の現在の状態を特徴付ける観測を受信したことに応じて強化学習システムによって選択される行動を行うことによって環境とのインタラクションを行う。
いくつかの強化学習システムは、ニューラルネットワークの出力に従って所与の観測を受信したことに応じてエージェントによって行われることになる行動を選択する。
ニューラルネットワークは、非線形ユニットの1つまたは複数の層を使用して、受信した入力に対する出力を予測する機械学習モデルである。いくつかのニューラルネットワークは、出力層に加えて1つまたは複数の隠れ層を含むディープニューラルネットワークである。各隠れ層の出力は、ネットワークにおける次の層、すなわち、次の隠れ層または出力層に対する入力として使用される。ネットワークの各層は、パラメータのそれぞれのセットの現在の値に従って受信した入力から出力を生成する。
一般に、本明細書において説明した発明特定事項の1つの革新的な態様は、環境に状態を遷移させる行動を行うことによって環境とのインタラクションを行う強化学習エージェントによって行われる行動を選択するために使用されるニューラルネットワークを訓練するための方法であって、方法は、強化学習エージェントが環境とのインタラクションを行った結果として生成される経験データの要素を記憶するリプレイメモリを保持するステップであって、経験データの要素の各々は、ニューラルネットワークが経験データの要素について訓練される場合にニューラルネットワークの訓練においてなされる進展の期待量の度合いであるそれぞれの期待学習進展度を有する、ステップと、比較的より高い期待学習進展度を有する経験データの要素を選択のために優先順位付けをすることによってリプレイメモリから経験データの要素を選択するステップと、選択された経験データの要素についてニューラルネットワークを訓練するステップとのアクションを含む、方法に符号化され得る。
本態様の他の実施形態は、対応するコンピュータシステム、装置、1つまたは複数のコンピュータストレージデバイス上に記録されるコンピュータプログラムを含み、各々が方法のアクションを行うように構成される。1つまたは複数のコンピュータのシステムは、動作時にシステムにアクションを行わせるシステム上にインストールされたソフトウェア、ファームウェア、ハードウェア、または任意のその組合せにより、特定の動作またはアクションを行うように構成され得る。1つまたは複数のコンピュータプログラムは、データ処理装置によって実行されると装置にアクションを行わせる命令を含むことにより、特定の動作またはアクションを行うように構成され得る。
実施形態は、以下の特徴の1つまたは複数を含み得る。いくつかの実施形態においては、経験データの要素を選択するステップは、(i)より高い期待学習進展度を有する経験データの要素が比較的より低い期待学習進展度を有する経験データの要素より高い確率を有するように各々の経験データの要素についてのそれぞれの確率を決定するステップと、(ii)決定した確率に従って経験データの要素をサンプリングするステップとを含む。
いくつかの実施形態においては、経験データの要素iについての確率P(i)は、
Figure 0006621923
 を満足し、αは、所定の定数であり、kは、リプレイメモリ内の経験データの要素全体の範囲を表し、piは、経験データの要素iについての期待学習進展度から導出された経験データの要素iについての優先度である。
いくつかの実施形態においては、優先度は、期待学習度に一定値を加えたものである。いくつかの実施形態においては、優先度は、分子として所定の正の値と、分母としてそれらの期待学習進展度に従ったリプレイメモリ内の経験データの要素のランキングにおける経験データの要素iのランクとを有する、分数である。いくつかの実施形態においては、優先度は、訓練の際にまだ使用されたことのない経験データの要素については最大値に設定される。
いくつかの実施形態においては、各々の経験データの要素は、環境のそれぞれの現在の状態を特徴付けるそれぞれの現在の観測、現在の観測に応じてエージェントによって行われるそれぞれの現在の行動、環境のそれぞれの次の状態を特徴づけるそれぞれの次の状態、エージェントが現在の行動を行ったことに応じて受ける報酬を含み、経験タプルである。
いくつかの実施形態においては、選択された経験データの要素についてニューラルネットワークを訓練するステップは、選択された経験タプルについての時間差分学習誤差を決定するステップと、ニューラルネットワークのパラメータの値を調整する際に時間差分学習誤差を使用するステップとを含む。
いくつかの実施形態においては、パラメータの値を調整する際に時間差分学習誤差を使用するステップは、選択された経験タプルについての期待学習進展度を使用して時間差分学習誤差についての重みを決定するステップと、重みを使用して時間差分学習誤差を調整するステップと、ニューラルネットワークのパラメータの値を調整するために目標誤差として調整された時間差分学習誤差を使用するステップとを含む。
いくつかの実施形態においては、方法は、ニューラルネットワークの訓練の間に重みを算出する際に使用される指数をアニーリングするステップをさらに含む。
いくつかの実施形態においては、リプレイメモリ内の各経験タプルについての期待学習進展度は、経験タプルがニューラルネットワークを訓練する際に使用された以前の時点の経験タプルについて決定された時間差分学習誤差の絶対値である。
いくつかの実施形態においては、リプレイメモリ内の各経験タプルについての期待学習進展度は、経験タプルがニューラルネットワークを訓練する際に使用された以前の時点の経験タプルについて決定された時間差分学習誤差の絶対値についての導出値である。
いくつかの実施形態においては、リプレイメモリ内の各経験タプルについての期待学習進展度は、経験タプルを使用してニューラルネットワークを訓練することによって生じた重み変化のノルムである。
いくつかの実施形態においては、方法は、期待学習進展度を使用してリプレイメモリから経験データの要素をいつ削除するかを決定するステップをさらに含む。
本明細書において説明した発明特定事項は、具体的には、以下の利点のうちの1つまたは複数を実現するために実施形態を実施され得る。リプレイメモリからのデータを訓練することは、ニューラルネットワークを訓練するために選択されたデータの値を増大させる方法で選択され得る。このことは、回りまわって、エージェントによって行われることになる行動を選択する際に使用されるニューラルネットワークの訓練の速度を増大させ、これらのニューラルネットワークを効率的に訓練するのに必要となる訓練データの量を低減することができる。そのため、ニューラルネットワークの訓練に必要なコンピューティングリソースの量を低減することができる。例えば、訓練データを記憶するのに必要となるメモリの量を低減し得るし、訓練プロセスによって使用される処理リソースの量を低減し得るし、またはその両方を低減し得る。ニューラルネットワークの訓練の増大された速度は、訓練することがより困難である複雑なニューラルネットワークにとって、または、複雑な強化学習タスクを行うエージェントによって行われることになる行動を選択するためにニューラルネットワークを訓練することにとって、特に意義深いことであり得る。
本明細書の発明特定事項の1つまたは複数の実施形態の詳細を以下の添付の図面および説明に記載している。他の特徴、態様、および発明特定事項の利点は、説明、図面、および特許請求の範囲から明らかとなるであろう。
例示的な強化学習システムを示す図である。 リプレイメモリを使用してニューラルネットワークを訓練するための例示的なプロセスのフローチャートである。 経験データの決定した確率に基づいて経験データをサンプリングするための例示的なプロセスのフローチャートである。 経験タプルについてニューラルネットワークを訓練するための例示的なプロセスのフローチャートである。
類似の参照番号および様々な図面内の記号は、類似の要素を示す。
本明細書は、環境とのインタラクションを行う強化学習エージェントによって行われることになる行動を選択する強化学習システムを一般的に説明している。エージェントが環境とのインタラクションを行うために、システムは、環境の現在の状態を特徴付けるデータを受信し、受信データに応じてエージェントによって行われることになる行動の所定のセットから行動を選択する。環境の状態を特徴付けるデータを、本明細書では観測(observation)と称することにする。
いくつかの実施形態においては、環境は、シミュレート環境であり、エージェントは、シミュレート環境とのインタラクションを行う1つまたは複数のコンピュータプログラムとして実装される。例えば、シミュレート環境は、ビデオゲームであり得るし、エージェントは、ビデオゲームをプレイするシミュレートされたユーザであり得る。別の例としては、シミュレート環境は、例えば、運転シミュレーションまたはフライトシミュレーションといった、モーションシミュレーション環境であり得るし、エージェントは、モーションシミュレーションを介して操作するシミュレートされた車両である。これらの実施形態においては、行動は、入力を制御してシミュレートされたユーザまたはシミュレートされた車両を制御し得る。
いくつかの他の実施形態においては、環境は、現実世界の環境であり、エージェントは、現実世界の環境とのインタラクションを行うメカニカルエージェントである。例えば、エージェントは、特定のタスクを達成するために環境とのインタラクションを行うロボットであり得る。別の例としては、エージェントは、環境における自律または半自律走行車両のナビゲーション処理であり得る。これらの実施形態においては、行動は、入力を制御してロボットまたは自律走行車両を制御し得る。
図1は、例示的な強化学習システム100を示している。強化学習システム100は、以下で説明したシステム、コンポーネント、および技法を実施する、1つまたは複数のロケーションにある1つまたは複数のコンピュータ上のコンピュータプログラムとして実装されるシステムの例である。
強化学習システム100は、環境104とのインタラクションを行う強化学習エージェント102によって行われることになる行動を選択する。すなわち、強化学習システム100は、観測を受信し、環境104のそれぞれの状態を特徴付ける各観測を用い、各観測に応じて、行動を観測に応じて強化学習エージェント102によって行われることになる行動の所定のセットから選択する。エージェント102によって行われる行動の一部またはすべてに応じて、強化学習システム100は報酬を受ける。各報酬は、エージェントが行動を行った結果として環境104から受信する数値である、すなわち、報酬は、エージェント102が行動を行った結果として環境104が遷移する状態によって異なることになる。具体的には、強化学習システム100は、行動選択ニューラルネットワーク110と訓練エンジン120とを使用してエージェント102によって行われることになる行動を選択する。
行動選択ニューラルネットワーク110は、入力として環境104の状態に関する観測を受信して、出力として各行動についてのそれぞれのQ値、すなわち、観測に応じて行動を行うエージェント102からもたらされる期待収益の予測を生成する、ニューラルネットワークである。
エージェント102が環境104とのインタラクションを効率的に行うことを可能とするために、強化学習システム100は、行動選択ニューラルネットワーク110を訓練する訓練エンジン120を含み、行動選択ニューラルネットワーク110のパラメータの訓練済みの値を決定する。
行動選択ニューラルネットワークの訓練の際の支援のために、訓練エンジン120は、リプレイメモリ130を保持する。
リプレイメモリ130は、行動選択ネットワーク110を訓練する際の使用のために、環境104とのまたは環境の別のインスタンスとのエージェント102または別のエージェントのインタラクションの結果として生成された経験データの要素を記憶する。
訓練エンジン120は、リプレイメモリから経験データの要素130を選択することと、選択された経験データの要素について行動選択ニューラルネットワーク110を訓練することとを繰り返すことによって、行動選択ニューラルネットワーク110を訓練する。リプレイメモリ130内の経験データを使用して行動選択ニューラルネットワーク110を訓練することについては図2および3を参照して以下でより詳細に説明している。
図2は、リプレイメモリを使用してニューラルネットワークを訓練するための例示的なプロセス200のフローチャートである。便宜上、プロセス200は、1つまたは複数のロケーションに位置する1つまたは複数のコンピュータのシステムによって行われるものとして説明している。例えば、本明細書に従って適切にプログラムされた、強化学習システム、例えば、図1の強化学習システム100が、プロセス200を実施し得る。
システムが、リプレイメモリを保持する(202)。リプレイメモリは、エージェントが環境とのインタラクションを行った結果として生成される経験データの要素を記憶する。各々の経験データの要素は、環境とのエージェントのインタラクションに関する情報を表す。
いくつかの実施形態においては、各々の経験データの要素は、(1)ある時点における環境の現在の状態を特徴付ける現在の観測と、(2)現在の観測に応じてエージェントによって行われる現在の行動と、(3)エージェントが現在の行動を行った後の環境の次の状態、すなわち、エージェントが現在の行動を行った結果として環境が遷移した状態を特徴付ける次の観測と、(4)エージェントが現在の行動を行ったことに応じて受けられる報酬とを含む経験タプルである。
システムはまた、(リプレイメモリにまたは別個のストレージコンポーネントに)経験データの要素の一部またはすべてについての期待学習進展度を保持する。経験データの要素に関連付けられた期待学習進展度は、ニューラルネットワークが経験データの要素を使用して訓練される場合にニューラルネットワークの訓練においてなされる進展の期待量の度合いである。換言すれば、期待学習進展度は、どれくらいニューラルネットワークが経験データの要素から学習することが期待できるかのインディケーションである。
いくつかの実施形態においては、システムは、経験タプルについての以前計算された時間差分誤差、すなわち、経験タプルがニューラルネットワークを訓練する際に使用された以前の時点からの時間差分誤差に基づいて経験タプルに関連付けられた期待学習進展度を決定する。経験タプルについての時間差分誤差を決定することについては図3を参照して以下でより詳細に説明している。
いくつかの実施形態においては、期待学習進展度は、経験タプルがニューラルネットワークを訓練する際に使用された以前の時点の経験タプルについて決定された時間差分学習誤差の絶対値である。いくつかの実施形態においては、期待学習進展度は、経験タプルがニューラルネットワークを訓練する際に使用された以前の時点の経験タプルについて決定された時間差分学習誤差の絶対値についての導出値である。
いくつかの実施形態においては、経験タプルに関連付けられた期待学習進展度は、経験タプルについての以前計算された時間差分学習誤差の絶対値の調整された度合いである。時間差分誤差の調整は、以前計算された時間差分学習誤差のその絶対値が等しい2つの経験タプルについて、その時間差分学習誤差が正の値を有するタプルがより高い期待学習進展度を有することになるように構成される。
いくつかの実施形態においては、リプレイメモリ内の各経験タプルについての期待学習進展度は、経験タプルを使用してニューラルネットワークを訓練することからもたらされて生じた重み変化のノルムである。
システムが、経験データの要素をリプレイメモリから選択する(204)。経験データの要素を選択する際に、システムは、リプレイメモリ内の経験データの他の要素に対する比較的より高い期待学習進展度を有する経験データの要素の選択を優先順位付けする。
いくつかの実施形態においては、システムは、期待学習進展度を使用して各々の経験データの要素についてのそれぞれの確率を決定し、決定した確率に従って経験データの要素をサンプリングする。決定した確率に従って経験データをサンプリングすることについては図3を参照して以下でより詳細に説明している。
システムが、選択された経験データの要素についてニューラルネットワークを訓練する(206)。いくつかの実施形態においては、システムは、ニューラルネットワークのパラメータの値を調整するために選択された経験データの要素を使用する。経験データについてニューラルネットワークを訓練することについては図4を参照して以下でさらに詳細に説明している。
いくつかの実施形態においては、ニューラルネットワークの訓練の間に、システムは、期待学習進展度を使用してリプレイメモリから経験データの要素をいつ削除するかを決定する。
これらの実施形態の一部においては、システムは、経験データの要素に関連付けられたそれぞれの期待学習度が閾値を下回ると、経験データの要素を削除すると決定する。閾値は、所定の一定値であり得る、または、リプレイメモリ内の経験データの要素の期待学習度の例えば平均値または中央値といった中心傾向の度合いの関数であり得る。
これらの実施形態のその他のものにおいては、システムは、経験データの期待学習進展度から少なくとも部分的に導出された値(例えば、経験データの要素についての確率または優先度)が閾値を下回ると経験データの要素を削除すると決定する。
図3は、経験データの決定した確率に基づいて経験データをサンプリングするための例示的なプロセス300のフローチャートである。便宜上、プロセス300は、1つまたは複数のロケーションに位置する1つまたは複数のコンピュータのシステムによって行われるものとして説明している。例えば、本明細書に従って適切にプログラムされた、強化学習システム、例えば、図1の強化学習システム100が、プロセス300を実施し得る。
システムが、各々の経験データの要素についてのそれぞれの優先度を決定する(302)。具体的には、システムは、経験データの要素の期待学習度に基づいて各々の経験データの要素についての優先度を決定する。
いくつかの実施形態においては、経験データの要素についての優先度は、経験データの要素の期待学習度に一定値を加えたものである。
いくつかの他の実施形態においては、経験データの要素についての優先度は、分子として所定の正の値と、分母としてそれらの期待学習進展度に従ったリプレイメモリ内の経験データの要素のランキングにおける経験データの要素のランクとを有する、分数である。
いくつかの実施形態においては、時間差分学習誤差の以前の度合いを有していない新規経験タプルがリプレイメモリに追加されると、システムは、タプルに最大優先度の度合いを割り当てる、すなわち、システムが優先度を決定する方法に従って任意の経験タプルについて決定することができる考えられる最大の優先度である経験タプル優先度を割り当てる。このことは、システムが少なくとも一度は訓練においてすべての経験タプルを使用する可能性を増大する。
システムが、各々の経験データの要素についての確率を決定する(304)。システムは、より高い期待学習進展度を有する経験データの要素が比較的より低い期待学習進展度を有する経験データの要素より高い確率を有するように経験データの要素についての確率を設定する。具体的には、システムは、経験データの要素についての優先度に基づいて各々の経験データの要素についての確率を決定する。
いくつかの実施形態においては、経験データの要素iについての確率P(i)は、
Figure 0006621923
 を満足し、αは、所定の定数であり、kは、リプレイメモリ内の経験データの要素全体の範囲を表し、piは、経験データの要素iについての優先度である。
いくつかの実施形態においては、定数αは、どれくらい経験データの要素の優先順位付けが経験データの要素をサンプリングする際に使用されるべきか度合いである。そのため、α=0である場合には、優先順位付けは実施されない。αが増大すると、経験データの要素iについての優先度piは、経験データの要素についての確率P(i)を決定する際のより重要な因子となる。
システムが、リプレイメモリから経験データの要素をサンプリングする(306)。システムは、経験データの要素の決定した確率に従ってサンプリングを行う。いくつかの実施形態においては、システムは、最高決定した確率を有する経験の1つまたは複数の要素をサンプリングする。いくつかの他の実施形態においては、システムは、経験データの要素についての決定した確率に等しい確率を有する各々の経験データの要素をサンプリングする。
図4は、経験タプルについてニューラルネットワークを訓練するための例示的なプロセス400のためのフローチャートである。便宜上、プロセス400は、1つまたは複数のロケーションに位置する1つまたは複数のコンピュータのシステムによって行われるものとして説明している。例えば、本明細書に従って適切にプログラムされた、強化学習システム、例えば、図1の強化学習システム100が、プロセス400を実施し得る。
システムが、経験タプルについての時間差分学習誤差を決定する(402)。現在の経験タプルに関連付けられた時間差分誤差は、(i)タプル内の現在の行動がタプル内の現在の観測に応じて行われる場合にニューラルネットワークによって決定されるような現在の期待収益と、(ii)(a)次の行動がタプル内の次の観測に応じて行われる場合に時間割引された次の期待収益および(b)タプル内の報酬の合計との間の差分であり得る。
システムが次の行動を選択して次の期待収益を決定する方式は、ニューラルネットワークを訓練するために使用される強化学習アルゴリズムによって決まる。例えば、深層Q学習技法では、システムは、入力として次の観測と組み合わせてターゲットニューラルネットワークに提供されると最高のQ値を出力するターゲットニューラルネットワークをもたらす行動を次の行動として選択して、ターゲットニューラルネットワークによって生成される次の行動についてのQ値を次の収益として使用する。別の例としては、ダブル深層Q学習技法では、システムは、入力として次の観測と組み合わせてニューラルネットワークに提供されると最高のQ値を出力するターゲットニューラルネットワークをもたらす行動を次の行動として選択して、入力として次の行動および次の観測をターゲットニューラルネットワークに提供することによって生成されるQ値を次の収益として使用する。さらに別の例としては、Sarsa学習技法では、次の行動は、次の観測に応じてエージェントによって実際に行われた行動であり、次の収益は、入力として次の行動および次の観測をターゲットニューラルネットワークに提供することによって生成されるQ値である。ターゲットニューラルネットワークは、行動選択ニューラルネットワークとして同一の機構を有するが異なるパラメータを有し得るニューラルネットワークである。
システムが、時間差分学習誤差についての重みを決定する(404)。いくつかの実施形態においては、経験タプルiについての時間差分学習誤差についての重みwiは、
Figure 0006621923
 を満足し、Nは、リプレイメモリ内の経験タプルの数であり、P(i)は、経験タプルiについての確率であり、βは、バイアス因子である。
いくつかの実施形態においては、バイアス因子は、所定の一定値である。いくつかの他の実施形態においては、システムは、ニューラルネットワークの訓練の間に重みを算出する際に使用される指数(例えば、バイアス因子β)をアニーリングする。いくつかの実施形態においては、システムは、ニューラルネットワークの訓練の間に指数をその所定の初期値から1に線形的にアニーリングする。
システムが、重みを使用して時間差分学習誤差を調整する(406)。いくつかの実施形態においては、システムは、誤差を重みと乗算することによって時間差分学習誤差を調整する。
システムが、ニューラルネットワークのパラメータ値を調整するために調整された時間差分学習誤差を使用する(408)。いくつかの実施形態においては、システムは、従来の強化学習技法、例えば、Sarsa、深層Q学習(deep Q-learning)、またはダブル深層Q学習の一部として、ニューラルネットワークのパラメータの値を調整するために目標誤差として調整された時間差分学習誤差を使用する。
いくつかの実施形態においては、システムは、リプレイメモリから経験データを選択する際にのみ、訓練中は時間差分学習誤差を重み付けしない、時間差分学習誤差を使用する。すなわち、いくつかの実施形態においては、図4を用いて上述したような調整された時間差分学習誤差を使用するのではなく、その代わりに、システムは、時間差分学習誤差を直接使用してパラメータ値を調整する。
本明細書において説明した発明特定事項の実施形態および機能的な動作は、デジタル電子回路で、有形に具現化されたコンピュータソフトウェアもしくはファームウェアで、本明細書において開示した構造およびそれらの構造的均等物を含むコンピュータハードウェアで、またはそれらの組合せのうちの1つまたは複数で実装され得る。本明細書において説明した発明特定事項の実施形態は、1つまたは複数のコンピュータプログラム、すなわち、データ処理装置によって、または、データ処理装置の動作を制御するために、実行のための有形非一時的プログラムキャリアに符号化されたコンピュータプログラム命令の1つまたは複数のモジュールとして実装され得る。あるいはまたは加えて、プログラム命令は、人工的に生成された伝搬信号、例えば、データ処理装置による実行に適した受信機装置への伝送のための情報を符号化するために生成される、機械生成された電気、光学、または電磁気信号上に符号化され得る。コンピュータ記憶媒体は、機械可読ストレージデバイス、機械可読ストレージ回路基板、ランダムもしくはシリアルアクセスメモリデバイス、またはそれらの組合せのうちの1つまたは複数であり得る。しかしながら、コンピュータ記憶媒体は、伝搬信号ではない。
「データ処理装置」という用語は、例として、プログラマブルプロセッサ、コンピュータ、またはマルチプルプロセッサまたはコンピュータを含む、処理データのためのすべての種類の装置、デバイス、および機械を含む。装置は、特殊用途ロジック回路、例えば、FPGA(フィールドプログラマブルゲートアレイ)またはASIC(特定用途向け集積回路)を含み得る。装置はまた、ハードウェアに加えて、当該のコンピュータプログラムのための実行環境を作成するコード、例えば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、またはそれらの組合せのうちの1つまたは複数を構成するコードを含み得る。
コンピュータプログラム(プログラム、ソフトウェア、ソフトウェアアプリケーション、モジュール、ソフトウェアモジュール、スクリプト、またはコードとしても称されまたは開示され得る)は、コンパイル型もしくはインタプリタ型言語、または、宣言型もしくは手続き型言語を含む、任意の形式のプログラミング言語で書かれ得るし、スタンドアロンプログラムとして、または、モジュール、コンポーネント、サブルーチン、またはコンピューティング環境における使用に適した他のユニットとしてを含む、任意の形式でデプロイされ得る。コンピュータプログラムは、ファイルシステム内のファイルに対応してもよい必ずしも対応する必要はない。プログラムは、他のプログラムもしくはデータ、例えば、マークアップ言語のドキュメントに記憶されている1つまたは複数のスクリプトを保持するファイルの一部に、当該のプログラム専用の単一のファイルに、または、複数の協調ファイル、例えば、1つまたは複数のモジュール、サブプログラム、またはコードの一部を記憶するファイルに、記憶され得る。コンピュータプログラムは、1つのコンピュータ上で、または、1つのサイトに位置するもしくは複数のサイトにわたって分散され通信ネットワークによって相互通信する複数のコンピュータ上で、実行されるようにデプロイされ得る。
本明細書において使用しているように、「エンジン」または「ソフトウェアエンジン」は、入力とは異なる出力を提供する入力/出力システムを実装するソフトウェアを指す。エンジンは、ライブラリ、プラットフォーム、ソフトウェア開発キット(「SDK」)、またはオブジェクトなどといった、機能性の符号化ブロックであり得る。各エンジンは、1つまたは複数のプロセッサとコンピュータ可読媒体とを含む、任意の適切なタイプのコンピュータデバイス、例えば、サーバ、モバイル電話、タブレットコンピュータ、ノードブックコンピュータ、音楽プレーヤ、電子書籍リーダ、ラップトップもしくはデスクトップコンピュータ、PDA、スマートフォン、または他の固定もしくはポータブルデバイスに実装され得る。加えて、2つ以上のエンジンが、同一のコンピュータデバイス上にまたは異なるコンピュータデバイス上に実装され得る。
本明細書において説明したプロセスおよびロジックフローは、入力データを処理して出力を生成することによって機能を実施するために1つまたは複数のコンピュータプログラムを実行する1つまたは複数のプログラマブルコンピュータによって実施され得る。プロセスおよびロジックフローはまた、特殊用途ロジック回路、例えば、FPGA(フィールドプログラマブルゲートアレイ)またはASIC(特定用途向け集積回路)によって実装され得るし、装置はまた、そのような特殊用途ロジック回路として実装され得る。
コンピュータプログラムの実行に適したコンピュータは、例として、汎用もしくは特殊用途マイクロプロセッサまたはその両方、または任意の他の種類の中央処理装置を含むまたは基づき得る。一般的に、中央処理装置は、リードオンリーメモリもしくはランダムアクセスメモリまたはその両方から命令およびデータを受信することになる。コンピュータの必須要素は、命令を実施または実行するための中央処理装置と、命令およびデータを記憶するための1つまたは複数のメモリデバイスとである。一般的に、コンピュータはまた、例えば、磁気、光磁気ディスク、または光ディスクといった、データを記憶するための1つまたは複数のマスストレージデバイスを含むことになる、または、そのような1つまたは複数のマスストレージデバイスからデータを受信もしくはそのような1つまたは複数のマスストレージデバイスにデータを送信またはその両方を行うことが動作可能に接続されることになる。しかしながら、コンピュータは、必ずしもそのようなデバイスを有する必要はない。さらに、コンピュータは、別のデバイス、例えば、数例挙げるとすれば、モバイル電話、携帯情報端末(PDA)、モバイルオーディオもしくはビデオプレーヤ、ゲームコンソール、グローバルポジショニングシステム(GPS)受信機、または、例えば、ユニバーサルシリアルバス(USB)フラッシュドライブといったポータブルストレージデバイスに組み込まれ得る。
コンピュータプログラム命令およびデータを記憶するのに適したコンピュータ可読媒体は、例として、例えば、EPROM、EEPROM、およびフラッシュメモリデバイスといった半導体メモリデバイス、例えば、内部ハードディスクまたはリムーバブルディスクといった磁気ディスク、光磁気ディスク、ならびにCD ROMおよびDVD-ROMディスクを含む、すべての形式の不揮発性メモリ、メディアおよびメモリデバイスを含む。プロセッサおよびメモリは、特殊用途ロジック回路によって補完され得る、または、特殊用途ロジック回路に組み込まれ得る。
ユーザとのインタラクションを提供するために、本明細書において説明した発明特定事項の実施形態は、例えば、CRT(陰極線管)もしくはLCD(液晶ディスプレイ)モニタといった、ユーザに情報を表示するための表示デバイスと、ユーザがそれによってコンピュータに入力を提供することを可能にする、キーボードおよび例えばマウスまたはトラックボールといったポインティングデバイスとを有する、コンピュータに実装され得る。他の種類のデバイスも同様に、ユーザとのインタラクションを提供するために使用され得るし、例えば、ユーザに提供されるフィードバックは、例えば、視覚フィードバック、聴覚フィードバック、または触覚フィードバックといった、任意の形式の感覚フィードバックであり得るし、ユーザからの入力は、音響、音声、または触覚入力を含む、任意の形式で受信され得る。加えて、コンピュータは、ユーザによって使用されるデバイスにドキュメントを送信するとともにユーザによって使用されるデバイスからドキュメントを受信することによって、例えば、ウェブブラウザから受信した要求に応じてユーザのクライアントデバイス上のウェブブラウザにウェブページを送信することによって、ユーザとのインタラクションを行い得る。
本明細書において説明した発明特定事項の実施形態は、例えば、データサーバとして、バックエンドコンポーネントを含む、または、例えば、アプリケーションサーバといった、ミドルウェアコンポーネントを含む、または、例えば、ユーザがそれを介して本明細書において説明した発明特定事項の実施形態とのインタラクションを行い得る、グラフィックユーザインターフェースもしくはウェブブラウザを有するクライアントコンピュータといった、フロントエンドコンポーネントを含む、コンピューティングシステムにおいて実装され得る、または、1つまたは複数のそのようなバックエンド、ミドルウェア、またはフロントエンドコンポーネントの任意の組合せで実装され得る。システムのコンポーネントは、任意の形式または媒体のデジタルデータ通信によって相互接続され得る、例えば、通信ネットワークによって相互接続され得る。通信ネットワークの例としては、ローカルエリアネットワーク(「LAN」)およびワイドエリアネットワーク(「WAN」)を含む、例えば、インターネットを含む。
コンピューティングシステムは、クライアントおよびサーバを含み得る。クライアントおよびサーバは、一般的に互いにリモートに存在しており、通信ネットワークを介して通常はインタラクションを行う。クライアントとサーバとの関係は、それぞれのコンピュータ上で動作するとともに互いにクライアント-サーバの関係を有するコンピュータプログラムによって生じる。
本明細書は、多くの特定の実施形態詳細を含んでいるが、これらは、任意の発明の範囲または主張される可能性がある範囲を制限するものとして解釈されるべきではなく、特定の発明の特定の実施形態に特有であり得る特徴の説明として解釈されるべきである。別個の実施形態に関連して本明細書に説明したある特徴はまた、単一の実施形態における組合せで実施され得る。反対に、単一の実施形態に関連して説明した様々な特徴はまた、複数の実施形態で別々にまたは任意の適切なサブコンビネーションで実施され得る。さらに、特徴を、ある組合せで動作するように上述しているとしても、たとえそのようにはじめは主張していたとしても、いくつかのケースでは、主張した組合せのうちの1つまたは複数の特徴を、組合せから削除し得るし、主張した組合せは、サブコンビネーションまたはサブコンビネーションの変形を対象とし得る。
同様に、動作を特定の順序で図面に図示しているが、このことを、望ましい結果を達成するためには、図示した特定の順序でもしくはシーケンシャルな順序でそのような動作を行う必要がある、または、図示した動作をすべて行う必要がある、と理解すべきではない。ある環境においては、マルチタスク処理およびパラレル処理が有利となる場合もある。さらに、上述した実施形態における様々なシステムモジュールおよびコンポーネントの分離はすべての実施形態においてそのような分離が必要であると理解すべきではないし、説明したプログラムコンポーネントおよびシステムは一般的に単一のソフトウェア製品内に一緒に統合され得るまたは複数のソフトウェア製品にパッケージされ得ると理解すべきである。
発明特定事項の特定の実施形態を説明してきた。他の実施形態も以下の特許請求の範囲の範囲内にある。例えば、特許請求の範囲に記載のアクションは、異なる順序で行われ、望ましい結果をそれでも達成し得る。一例として、添付の図面に図示したプロセスは、望ましい結果を達成するために、図示した特定の順序またはシーケンシャルな順序を必ずしも必要としているわけでない。ある実施形態においては、マルチタスク処理およびパラレル処理が有利となる場合もある。
100 強化学習システム
102 エージェント
104 環境
110 行動選択ニューラルネットワーク
120 訓練エンジン
130 リプレイメモリ

Claims (20)

  1. 環境に状態を遷移させる行動を行うことによって前記環境とのインタラクションを行う強化学習エージェントによって行われる行動を選択するために使用されるニューラルネットワークを訓練するための方法であって、前記方法は、
    リプレイメモリを保持するステップであって、前記リプレイメモリは、前記ニューラルネットワークを訓練する際の使用のために経験データの要素を記憶し、
    各々の経験データの要素は、前記強化学習エージェントが前記環境とのインタラクションを行った結果として生成されたものであり、
    各々の経験データの要素は、前記環境のそれぞれの現在の状態を特徴付けるそれぞれの現在の観測、前記現在の観測に応じて前記エージェントによって行われるそれぞれの現在の行動、前記環境のそれぞれの次の状態を特徴づけるそれぞれの次の状態、および前記エージェントが前記現在の行動を行ったことに応じて受ける報酬を含み、
    複数の前記経験データの要素は、各々が、(i)前記ニューラルネットワークが前記経験データの要素について訓練される場合に前記ニューラルネットワークの前記訓練においてなされるであろう進展の期待量の度合いであるとともに(ii)前記経験データの要素がニューラルネットワークを訓練する際に使用された以前の時点の結果から導出されたそれぞれの期待学習進展度に関連付けられる、ステップと、
    比較的より高い期待学習進展度を有する経験データの要素を選択のために優先順位付けをすることによって前記リプレイメモリから経験データの要素を選択するステップであって、
    前記経験データの要素についての前記それぞれの期待学習進展度に基づいて前記リプレイメモリ内の複数の前記経験データの要素の各々についてのそれぞれの確率を決定するステップと、
    前記決定した確率に従って前記リプレイメモリから経験データの要素をサンプリングするステップと
    を含む、ステップと、
    強化学習技法を使用して、選択された前記経験データの要素について前記ニューラルネットワークを訓練するステップと、
    前記リプレイメモリにおいて、選択された前記経験データの要素についての前記ニューラルネットワークの訓練の結果から導出された新規期待学習進展度と選択された前記経験データの要素を関連付けるステップと
    を含む、方法。
  2. 前記経験データの要素についての前記それぞれの期待学習進展度に基づいて前記リプレイメモリ内の複数の前記経験データの要素の各々についてのそれぞれの確率を決定するステップは、
    より高い期待学習進展度を有する経験データの要素が比較的より低い期待学習進展度を有する経験データの要素より高い確率を有するように各々の経験データの要素についてのそれぞれの確率を決定するステップを含む、請求項1に記載の方法。
  3. 経験データの要素iについての確率P(i)は、
    Figure 0006621923
     を満足し、αは、所定の定数であり、kは、前記リプレイメモリ内の前記経験データの要素全体の範囲を表し、piは、前記経験データの要素iについての前記期待学習進展度から導出された前記経験データの要素iについての優先度である、請求項2に記載の方法。
  4. 前記優先度は、前記期待学習進展度に一定値を加えたものである、請求項3に記載の方法。
  5. 前記優先度は、分子として所定の正の値と、分母としてそれらの期待学習進展度に従った前記リプレイメモリ内の前記経験データの要素のランキングにおける前記経験データの要素iのランクとを有する、分数である、請求項3に記載の方法。
  6. 前記優先度は、前記ニューラルネットワークにおける訓練の際にまだ使用されたことのない経験データの要素については最大値に設定される、請求項3に記載の方法。
  7. 選択された前記経験データの要素について前記ニューラルネットワークを訓練するステップは、
    選択された前記経験データの要素についての時間差分学習誤差を決定するステップと、
    前記ニューラルネットワークのパラメータの値を調整する際に前記時間差分学習誤差を使用するステップと
    を含む、請求項1に記載の方法。
  8. 前記パラメータの前記値を調整する際に前記時間差分学習誤差を使用するステップは、
    選択された前記経験データの要素についての前記期待学習進展度を使用して前記時間差分学習誤差についての重みを決定するステップと、
    前記重みを使用して前記時間差分学習誤差を調整するステップと、
    前記ニューラルネットワークの前記パラメータの前記値を調整するために目標誤差として前記調整された時間差分学習誤差を使用するステップとを含む、請求項7に記載の方法。
  9. 前記ニューラルネットワークの前記訓練の間に前記重みを算出する際に使用される指数をアニーリングするステップをさらに含む、請求項8に記載の方法。
  10. 前記リプレイメモリ内の各々の経験データの要素についての前記期待学習進展度は、前記経験データの要素が前記ニューラルネットワークを訓練する際に使用された以前の時点の前記経験データの要素について決定された時間差分学習誤差の絶対値である、請求項1に記載の方法。
  11. 前記リプレイメモリ内の各々の経験データの要素についての前記期待学習進展度は、前記経験データの要素が前記ニューラルネットワークを訓練する際に使用された以前の時点の前記経験データの要素について決定された時間差分学習誤差の絶対値についての導出値である、請求項1に記載の方法。
  12. 前記リプレイメモリ内の各々の経験データの要素についての前記期待学習進展度は、前記経験データの要素を使用して前記ニューラルネットワークを訓練することによって生じた重み変化のノルムである、請求項1に記載の方法。
  13. 前記期待学習進展度を使用して前記リプレイメモリから経験データの要素をいつ削除するかを決定するステップをさらに含む、請求項1に記載の方法。
  14. (i)特定の経験データの要素についての期待学習進展度または(ii)特定の前記経験データの要素についての前記期待学習進展度から導出された値が閾値を下回ると決定するステップと、
    それに応じて、特定の前記経験データの要素を前記リプレイメモリから削除するステップと
    を含む、請求項13に記載の方法。
  15. 前記強化学習エージェントが環境とのインタラクションを行う中で前記ニューラルネットワークを使用して前記強化学習エージェントを制御するステップをさらに含む、請求項1に記載の方法。
  16. 1つまたは複数のコンピュータを含み、1つまたは複数のストレージデバイスは、前記1つまたは複数のコンピュータによって実行されると、前記1つまたは複数のコンピュータに、環境に状態を遷移させる行動を行うことによって前記環境とのインタラクションを行う強化学習エージェントによって行われる行動を選択するために使用されるニューラルネットワークを訓練するための方法についての動作を行わせるように動作可能な命令を記憶し、前記方法は、
    リプレイメモリを保持するステップであって、前記リプレイメモリは、前記ニューラルネットワークを訓練する際の使用のために経験データの要素を記憶し、
    各々の経験データの要素は、前記強化学習エージェントが前記環境とのインタラクションを行った結果として生成されたものであり、
    各々の経験データの要素は、前記環境のそれぞれの現在の状態を特徴付けるそれぞれの現在の観測、前記現在の観測に応じて前記エージェントによって行われるそれぞれの現在の行動、前記環境のそれぞれの次の状態を特徴づけるそれぞれの次の状態、および前記エージェントが前記現在の行動を行ったことに応じて受ける報酬を含み、
    複数の前記経験データの要素は、各々が、(i)前記ニューラルネットワークが前記経験データの要素について訓練される場合に前記ニューラルネットワークの前記訓練においてなされるであろう進展の期待量の度合いであるとともに(ii)前記経験データの要素がニューラルネットワークを訓練する際に使用された以前の時点の結果から導出されたそれぞれの期待学習進展度に関連付けられる、ステップと、
    比較的より高い期待学習進展度を有する経験データの要素を選択のために優先順位付けをすることによって前記リプレイメモリから経験データの要素を選択するステップであって、
    前記経験データの要素についての前記それぞれの期待学習進展度に基づいて前記リプレイメモリ内の複数の前記経験データの要素の各々についてのそれぞれの確率を決定するステップと、
    前記決定した確率に従って前記リプレイメモリから経験データの要素をサンプリングするステップと
    を含む、ステップと、
    強化学習技法を使用して、選択された前記経験データの要素について前記ニューラルネットワークを訓練するステップと、
    前記リプレイメモリにおいて、選択された前記経験データの要素についての前記ニューラルネットワークの訓練の結果から導出された新規期待学習進展度と選択された前記経験データの要素を関連付けるステップと
    を含む、システム。
  17. 前記経験データの要素についての前記それぞれの期待学習進展度に基づいて前記リプレイメモリ内の複数の前記経験データの要素の各々についてのそれぞれの確率を決定するステップは、
    より高い期待学習進展度を有する経験データの要素が比較的より低い期待学習進展度を有する経験データの要素より高い確率を有するように各々の経験データの要素についてのそれぞれの確率を決定するステップを含む、請求項16に記載のシステム。
  18. 経験データの要素iについての確率P(i)は、
    Figure 0006621923
     を満足し、αは、所定の定数であり、kは、前記リプレイメモリ内の前記経験データの要素全体の範囲を表し、piは、前記経験データの要素iについての前記期待学習進展度から導出された前記経験データの要素iについての優先度である、請求項17に記載のシステム。
  19. 選択された前記経験データの要素について前記ニューラルネットワークを訓練するステップは、
    選択された前記経験データの要素についての時間差分学習誤差を決定するステップと、
    前記ニューラルネットワークのパラメータの値を調整する際に前記時間差分学習誤差を使用するステップと
    を含む、請求項17に記載のシステム。
  20. 1つまたは複数のコンピュータによって実行されると前記1つまたは複数のコンピュータに、環境に状態を遷移させる行動を行うことによって前記環境とのインタラクションを行う強化学習エージェントによって行われる行動を選択するために使用されるニューラルネットワークを訓練するための動作を行わせる命令で符号化されたコンピュータ記憶媒体であって、前記動作は、
    リプレイメモリを保持するステップであって、前記リプレイメモリは、前記ニューラルネットワークを訓練する際の使用のために経験データの要素を記憶し、
    各々の経験データの要素は、前記強化学習エージェントが前記環境とのインタラクションを行った結果として生成されたものであり、
    各々の経験データの要素は、前記環境のそれぞれの現在の状態を特徴付けるそれぞれの現在の観測、前記現在の観測に応じて前記エージェントによって行われるそれぞれの現在の行動、前記環境のそれぞれの次の状態を特徴づけるそれぞれの次の状態、および前記エージェントが前記現在の行動を行ったことに応じて受ける報酬を含み、
    複数の前記経験データの要素は、各々が、(i)前記ニューラルネットワークが前記経験データの要素について訓練される場合に前記ニューラルネットワークの前記訓練においてなされるであろう進展の期待量の度合いであるとともに(ii)前記経験データの要素がニューラルネットワークを訓練する際に使用された以前の時点の結果から導出されたそれぞれの期待学習進展度に関連付けられる、ステップと、
    比較的より高い期待学習進展度を有する経験データの要素を選択のために優先順位付けをすることによって前記リプレイメモリから経験データの要素を選択するステップであって、
    前記経験データの要素についての前記それぞれの期待学習進展度に基づいて前記リプレイメモリ内の複数の前記経験データの要素の各々についてのそれぞれの確率を決定するステップと、
    前記決定した確率に従って前記リプレイメモリから経験データの要素をサンプリングするステップと
    を含む、ステップと、
    強化学習技法を使用して、選択された前記経験データの要素について前記ニューラルネットワークを訓練するステップと、
    前記リプレイメモリにおいて、選択された前記経験データの要素についての前記ニューラルネットワークの訓練の結果から導出された新規期待学習進展度と選択された前記経験データの要素を関連付けるステップと
    を含む、コンピュータ記憶媒体。
JP2018524787A 2015-11-12 2016-11-11 優先順位付けされた経験メモリを使用したニューラルネットワークの訓練 Active JP6621923B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562254610P 2015-11-12 2015-11-12
US62/254,610 2015-11-12
PCT/US2016/061693 WO2017083767A1 (en) 2015-11-12 2016-11-11 Training neural networks using a prioritized experience memory

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2019208761A Division JP6828121B2 (ja) 2015-11-12 2019-11-19 優先順位付けされた経験メモリを使用したニューラルネットワークの訓練

Publications (2)

Publication Number Publication Date
JP2018537775A JP2018537775A (ja) 2018-12-20
JP6621923B2 true JP6621923B2 (ja) 2019-12-18

Family

ID=57485888

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2018524787A Active JP6621923B2 (ja) 2015-11-12 2016-11-11 優先順位付けされた経験メモリを使用したニューラルネットワークの訓練
JP2019208761A Active JP6828121B2 (ja) 2015-11-12 2019-11-19 優先順位付けされた経験メモリを使用したニューラルネットワークの訓練

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2019208761A Active JP6828121B2 (ja) 2015-11-12 2019-11-19 優先順位付けされた経験メモリを使用したニューラルネットワークの訓練

Country Status (6)

Country Link
US (4) US10650310B2 (ja)
EP (1) EP3360086A1 (ja)
JP (2) JP6621923B2 (ja)
KR (1) KR102191444B1 (ja)
CN (4) CN117910544A (ja)
WO (1) WO2017083767A1 (ja)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3360086A1 (en) * 2015-11-12 2018-08-15 Deepmind Technologies Limited Training neural networks using a prioritized experience memory
CN109348707A (zh) * 2016-04-27 2019-02-15 纽拉拉股份有限公司 针对基于深度神经网络的q学习修剪经验存储器的方法和装置
EP3523760B1 (en) * 2016-11-04 2024-01-24 DeepMind Technologies Limited Reinforcement learning systems
KR102399535B1 (ko) * 2017-03-23 2022-05-19 삼성전자주식회사 음성 인식을 위한 학습 방법 및 장치
US20180314925A1 (en) * 2017-04-27 2018-11-01 Facebook, Inc. Systems and methods for sending notifications based on predicted effectiveness
CN107292392B (zh) * 2017-05-11 2019-11-22 苏州大学 基于深度带权双q学习的大范围监控方法及监控机器人
KR102391452B1 (ko) * 2017-06-02 2022-04-27 에스케이텔레콤 주식회사 신경망에 복수의 태스크를 순차 학습시키는 방법
US11604941B1 (en) * 2017-10-27 2023-03-14 Deepmind Technologies Limited Training action-selection neural networks from demonstrations using multiple losses
US11037056B2 (en) * 2017-11-21 2021-06-15 Distech Controls Inc. Computing device and method for inferring a predicted number of data chunks writable on a flash memory before wear out
US20190311042A1 (en) * 2018-04-04 2019-10-10 Didi Research America, Llc Intelligent incentive distribution
WO2019240047A1 (ja) * 2018-06-11 2019-12-19 Ｎｅｃソリューションイノベータ株式会社 行動学習装置、行動学習方法、行動学習システム、プログラム、及び記録媒体
US11735028B2 (en) 2018-06-12 2023-08-22 Intergraph Corporation Artificial intelligence applications for computer-aided dispatch systems
US11397888B2 (en) 2018-06-14 2022-07-26 Accenture Global Solutions Limited Virtual agent with a dialogue management system and method of training a dialogue management system
US10679613B2 (en) 2018-06-14 2020-06-09 Accenture Global Solutions Limited Spoken language understanding system and method using recurrent neural networks
JP7016295B2 (ja) * 2018-06-28 2022-02-04 三菱重工業株式会社 意思決定装置、無人システム、意思決定方法、及びプログラム
US11132211B1 (en) * 2018-09-24 2021-09-28 Apple Inc. Neural finite state machines
US20200097811A1 (en) * 2018-09-25 2020-03-26 International Business Machines Corporation Reinforcement learning by sharing individual data within dynamic groups
EP3834138B1 (en) * 2018-09-27 2024-06-26 DeepMind Technologies Limited Reinforcement learning neural networks grounded in learned visual entities
FR3087922A1 (fr) * 2018-10-31 2020-05-01 Amadeus S.A.S. Procédés et systèmes d'apprentissage de renforcement pour le contrôle d'inventaire et l'optimisation
US11199846B2 (en) * 2018-11-29 2021-12-14 Baidu Usa Llc Learning-based dynamic modeling methods for autonomous driving vehicles
US20200241542A1 (en) * 2019-01-25 2020-07-30 Bayerische Motoren Werke Aktiengesellschaft Vehicle Equipped with Accelerated Actor-Critic Reinforcement Learning and Method for Accelerating Actor-Critic Reinforcement Learning
KR102576157B1 (ko) 2019-02-22 2023-09-07 한국전자통신연구원 인공 신경망을 이용한 고속 객체 검출 방법 및 장치
CN110308873B (zh) * 2019-06-24 2023-04-07 浙江大华技术股份有限公司 一种数据存储方法、装置、设备及介质
US20220339787A1 (en) * 2019-07-01 2022-10-27 Kuka Deutschland Gmbh Carrying out an application using at least one robot
CN110414618B (zh) * 2019-08-05 2023-07-14 上海图趣信息科技有限公司 一种动态平衡分类数据的神经网络训练系统、方法及存储介质
US11574244B2 (en) 2019-09-12 2023-02-07 International Business Machines Corporation States simulator for reinforcement learning models
CN110738860B (zh) * 2019-09-18 2021-11-23 平安科技（深圳）有限公司 基于强化学习模型的信息控制方法、装置和计算机设备
KR102272501B1 (ko) * 2020-04-24 2021-07-01 연세대학교 산학협력단 분산 강화 학습 장치 및 방법
EP4268134A1 (en) * 2021-02-04 2023-11-01 DeepMind Technologies Limited Temporal difference scaling when controlling agents using reinforcement learning
CN113190542B (zh) * 2021-05-19 2023-02-24 西安图迹信息科技有限公司 一种电网用大数据清洗去噪方法、系统和计算机存储介质
US11385925B1 (en) * 2021-07-06 2022-07-12 Bank Of America Corporation System and method for provisioning hosted virtual desktop resources to remote users
WO2023212808A1 (en) * 2022-05-06 2023-11-09 Ai Redefined Inc. Systems and methods for managing interaction records between ai agents and human evaluators

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6473851B1 (en) * 1999-03-11 2002-10-29 Mark E Plutowski System for combining plurality of input control policies to provide a compositional output control policy
US7003158B1 (en) * 2002-02-14 2006-02-21 Microsoft Corporation Handwriting recognition with mixtures of Bayesian networks
US9679258B2 (en) * 2013-10-08 2017-06-13 Google Inc. Methods and apparatus for reinforcement learning
US10248675B2 (en) * 2013-10-16 2019-04-02 University Of Tennessee Research Foundation Method and apparatus for providing real-time monitoring of an artifical neural network
EP3360086A1 (en) 2015-11-12 2018-08-15 Deepmind Technologies Limited Training neural networks using a prioritized experience memory
DK3535705T3 (da) * 2016-11-04 2022-05-30 Deepmind Tech Ltd Forstærkningslæring med hjælpeopgaver

Also Published As

Publication number Publication date
KR20180091842A (ko) 2018-08-16
JP6828121B2 (ja) 2021-02-10
US20170140269A1 (en) 2017-05-18
CN117910545A (zh) 2024-04-19
US20200265312A1 (en) 2020-08-20
EP3360086A1 (en) 2018-08-15
CN117910543A (zh) 2024-04-19
KR102191444B1 (ko) 2020-12-15
JP2020047285A (ja) 2020-03-26
US10282662B2 (en) 2019-05-07
CN117910544A (zh) 2024-04-19
JP2018537775A (ja) 2018-12-20
US10650310B2 (en) 2020-05-12
US11568250B2 (en) 2023-01-31
CN108701252A (zh) 2018-10-23
US20180260707A1 (en) 2018-09-13
US20230244933A1 (en) 2023-08-03
WO2017083767A1 (en) 2017-05-18
CN108701252B (zh) 2024-02-02

Similar Documents

Publication Publication Date Title
JP6621923B2 (ja) 優先順位付けされた経験メモリを使用したニューラルネットワークの訓練
US11803750B2 (en) Continuous control with deep reinforcement learning
JP6591672B2 (ja) デュエリングディープニューラルネットワーク
CN110235148B (zh) 训练动作选择神经网络
JP2021185492A (ja) 補助タスクを伴う強化学習
CN107851216B (zh) 一种用于选择待由与环境进行交互的强化学习代理执行的动作的方法
JP6667674B2 (ja) 疑似カウントを使用する強化学習
US20200265317A1 (en) Neural episodic control

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180606

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180606

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190624

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190701

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190930

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191007

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191016

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191021

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191120

R150 Certificate of patent or registration of utility model

Ref document number: 6621923

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250