JP6854921B2 - タスク固有のポリシーおよび共有ポリシーをもつマルチタスクニューラルネットワークシステム - Google Patents

タスク固有のポリシーおよび共有ポリシーをもつマルチタスクニューラルネットワークシステム Download PDF

Info

Publication number
JP6854921B2
JP6854921B2 JP2019559288A JP2019559288A JP6854921B2 JP 6854921 B2 JP6854921 B2 JP 6854921B2 JP 2019559288 A JP2019559288 A JP 2019559288A JP 2019559288 A JP2019559288 A JP 2019559288A JP 6854921 B2 JP6854921 B2 JP 6854921B2
Authority
JP
Japan
Prior art keywords
policy
task
multitasking
training
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019559288A
Other languages
English (en)
Other versions
JP2020521205A (ja
Inventor
ラズバン・パシュカヌ
ライア・タイス・ハドセル
ヴィクター・コンスタント・バプスト
ヴォイチェフ・チャルネッキ
ジェームズ・カークパトリック
イー・ウィー・テ
ニコラス・マンフレート・オットー・ヒース
Original Assignee
ディープマインド テクノロジーズ リミテッド
ディープマインド テクノロジーズ リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ディープマインド テクノロジーズ リミテッド, ディープマインド テクノロジーズ リミテッド filed Critical ディープマインド テクノロジーズ リミテッド
Publication of JP2020521205A publication Critical patent/JP2020521205A/ja
Application granted granted Critical
Publication of JP6854921B2 publication Critical patent/JP6854921B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/10—Interfaces, programming languages or software development kits, e.g. for simulating neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/043—Distributed expert systems; Blackboards

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Machine Translation (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Transfer Between Computers (AREA)

Description

関連出願の相互参照
本出願は、2017年5月19日に出願された米国仮特許出願第62/508,991号の非仮出願であり、これに基づく優先権を主張し、その内容全体が参照により本明細書に組み込まれる。
本明細書は、複数のタスクを行うようにニューラルネットワークを訓練する方法、および複数のタスクを行うための、ニューラルネットワークシステムなどの適応コンピュータシステムに関する。
ニューラルネットワークは、受け取った入力に対する出力を予測するために非線形ユニットの1つまたは複数の層を用いる機械学習モデルである。いくつかのニューラルネットワークは、出力層に加えて1つまたは複数の隠れ層を含む深層ニューラルネットワークである。各隠れ層の出力は、ネットワークの次の層、すなわち次の隠れ層または出力層への入力として使用される。ネットワークの各層が、パラメータのそれぞれのセットの現在の値に従って、受け取った入力から出力を生成する。
本明細書で説明する技法のいくつかは、強化学習の分野における適用例を有する。強化学習システムでは、エージェントが、環境の現在の状態を特徴づける観測値(observation)を受け取ることに応答して強化学習システムによって選択されるアクションを行うことによって環境と対話する。いくつかの強化学習システムが、ニューラルネットワークの出力に従って所与の観測値を受け取ることに応答してエージェントによって行われるべきアクションを選択する。
J. Schulman、P. Abbeel、およびX. Chen. Equivalence between policy gradients and soft Q-Learning、arXiv:1704.06440、2017
本明細書は、複数の異なるタスクを行うために、1つまたは複数の場所で1つまたは複数のコンピュータにコンピュータプログラムとして実装される、ニューラルネットワークシステムなどの適応システム、およびそのようなタスクを行うためにシステムを訓練するための方法について説明する。好ましくは、タスクは関連しており、システムのそれぞれの部分が、したがって、共有行動(behavior)と、タスク固有行動とを学習してもよい。知識は、システムのこれらの部分の間で共有されてもよい。
ワーカ(worker)は、対応するタスクまたはタスク群に関連付けられてもよい。各タスクまたはタスク群に関連付けられたワーカは、そのタスクまたはタスク群を行うように配置される。システムは、各タスクに対して、そのタスクに関連付けられたワーカがどのようにタスクを行うべきかを示す、少なくとも1つのそれぞれの「タスクポリシー」を採用および/または生成してもよい。ポリシーにつき1つのワーカがある場合、これは「ワーカポリシー」と同等に見なされてもよい。タスクの所与の1つに関連付けられた複数のワーカがある場合、ワーカは、そのタスクに対するタスクポリシーを共有してもよく(すなわち、タスクポリシーは、それらの複数のワーカの各々に対するワーカポリシーとして使用される)、または代替的に、複数のワーカの各々が、そのタスクに対するタスクポリシーであるそれぞれのワーカポリシーを有してもよい。
システムの共有または共通部分が、マルチタスクポリシーを学習してもよい。共有部分は、ニューラルネットワークであってもよいが、ニューラルネットワークである必要はない。
タスクポリシーは、ポリシー間の距離の測度に従って、共通の、マルチタスクポリシー近くにとどまってもよく、たとえば、マルチタスクポリシーは、タスクポリシーの重心を定義してもよい。タスクポリシーは、それぞれのニューラルネットワークを使用して実装されてもよいが、そうである必要はない。タスクポリシーは、互いとは実質的に無関係に動作してもよいが、そうである必要はない。
一例では、システムは、強化学習システムの一部であってもよい。タスクは、1つまたは複数の環境(たとえば、同じ環境またはそれぞれの環境)上または内で作動するそれぞれのエージェント(「ワーカ」)の制御装置を含んでもよい。システムは、エージェントが行うアクションを選択するためのデータ(「アクションデータ」)を出力してもよい。たとえば、システムは、環境の状態に関係するデータを観測する、または場合によっては受け取るために、データを入力してもよく、観測される状態に基づいて、行うアクションを決定してもよい。各環境は、実際のもの、またはシミュレートされたものであってもよい。行うアクションを選択するためのデータは、1つまたは複数のタスクポリシーを使用して生成されてもよい。各タスクポリシーは、観測された状態に対して行われるべきアクションを指定してもよく、または、観測された状態に対して行われるべきアクションがサンプルとして取得され得る分布を指定してもよい。
システムは、強化学習システムの一部であってもよいが、そうである必要はない。たとえば、説明する技法は、たとえば、畳み込みを用いるフィードフォワードネットワークを使用して、画像またはビデオ認識または分類などのタスクに適用することができる。一般に、システムは、任意の種類のデジタルデータ入力を受け取ることと、入力に基づいて任意の種類のスコア、分類、または回帰出力を生成することとを行うように構成することができる。
たとえば、ニューラルネットワークへの入力が、画像または画像から抽出された特徴である場合、所与の画像に対してニューラルネットワークによって生成される出力は、物体カテゴリのセットの各々に対するスコアであってもよく、各スコアは、画像がカテゴリに属する物体の画像を含んでいる推定尤度(estimated likelihood)を表す。
別の例として、ニューラルネットワークへの入力がインターネットリソース(たとえば、ウェブページ)、文書、または文書の一部、またはインターネットリソース、文書、もしくは文書の一部から抽出された特徴である場合、所与のインターネットリソース、文書、または文書の一部に対してニューラルネットワークによって生成される出力は、トピックのセットの各々に対するスコアであってもよく、各スコアは、インターネットリソース、文書、または文書部分がトピックに関するものである推定尤度を表す。
別の例として、ニューラルネットワークへの入力が、特定の広告に対するインプレッションコンテキスト(impression context)の特徴である場合、ニューラルネットワークによって生成される出力は、特定の広告がクリックされる推定尤度を表すスコアであってもよい。
別の例として、ニューラルネットワークへの入力が、ユーザに対する個人化された推薦の特徴、たとえば、推薦のためのコンテキストを描写する特徴、たとえば、ユーザがとった前のアクションを描写する特徴である場合、ニューラルネットワークによって生成される出力は、コンテンツ項目のセットの各々に対するスコアであってもよく、各スコアは、ユーザがコンテンツ項目の推薦に好意的に反応する推定尤度を表す。
別の例として、ニューラルネットワークへの入力が1つの言語のテキストのシーケンスである場合、ニューラルネットワークによって生成される出力は、別の言語のいくつかのテキストのセットの各々に対するスコアであってもよく、各スコアは、その別の言語のテキストが、入力されたテキストを別の言語に適切に翻訳したものである推定尤度を表す。
別の例として、ニューラルネットワークへの入力が、口頭発話を表すシーケンスである場合、ニューラルネットワークによって生成される出力は、いくつかのテキストのセットの各々に対するスコアであってもよく、各スコアは、テキストが発話に対する正しい文字起こしである推定尤度を表す。
強化学習システムの一部として使用されるとき、環境は、ビデオゲームなどのシミュレートされた環境であってもよく、ワーカは、ビデオゲームをプレイするシミュレートされたユーザであってもよい。別の例として、シミュレートされた環境は、モーションシミュレーション環境、たとえば、ドライビングシミュレーションまたはフライトシミュレーションであってもよく、ワーカは、モーションシミュレーションにより走行するシミュレートされた車両である。これらの実装形態では、アクションは、シミュレートされたユーザまたはシミュレートされた車両を制御するための制御入力であってもよい。
いくつかの他の実装形態では、環境は、実世界の環境であり、ワーカは、実世界の環境と対話する機械的ワーカ(mechanical worker)である。たとえば、ワーカは、特定のタスクを達成するために環境と対話するロボットであってもよい。別の例として、ワーカは、環境により走行する自律または半自律車両であってもよい。これらの実装形態では、アクションは、ロボットまたは自律車両を制御するための制御入力であってもよい。
一般に、本明細書で説明する主題の1つの革新的な態様は、マルチタスクニューラルネットワークシステムなどのマルチタスクコンピュータシステムを訓練する方法において具体化することができ、このシステムは、共有ポリシーネットワークなどの共有モジュールと組み合わせて、訓練可能なワーカのセットを含む。上記訓練可能なワーカおよび共有モジュールは、各ワーカがそれぞれのタスクポリシーに従って対応する関連タスクを行うことを学習し、共有モジュールが、タスクに対する共通の行動を表すマルチタスクポリシーを学習するように、複数の異なるタスクで協調的に訓練されてもよい。たとえば、訓練中に、協調訓練からの誤差/重み調整が、共有ポリシーネットワークと訓練可能ワーカの両方を介して伝播されてもよい。システムは、たとえば強化学習とともに、教師ありまたは教師なし損失(loss)により学習してもよい。システムの共有部分(すなわち、共有モジュール、たとえば、共有ポリシーネットワーク)は、ワーカの行動で訓練されてもよく、その逆も同様である。
伝播誤差は、目的関数を最適化することによって決定されてもよい。目的関数は、タスクポリシーの分布とマルチタスクポリシーの分布との差を測定する第1のエントロピー項を含んでもよい。この項は、カルバック-ライブラーダイバージェンス(Kullback-Leibler divergence)を含んでもよく、割引率(discount factor)で割り引かれてもよい。目的関数はまた、探索を促進するために、タスクポリシーの分布によって決まる第2のエントロピー項を含んでもよい。第2のエントロピー項もまた、同じまたは異なる割引率で割り引かれてもよい。
強化学習システムでは、タスクポリシー分布およびマルチタスクポリシー分布は、状態-アクション分布を含んでもよい。目的関数は、ある状態であるアクションをとることからの期待報酬によって決まる割り引かれた報酬項を含んでもよい。そのような強化学習システムは、たとえば、Deep Q-Network (DQN)、Double-DQN、Advantage Actor Critic (A3C)ネットワーク、または他のアーキテクチャに基づいてもよい。学習は、同期または非同期であってもよく、たとえば、Hogwild!アルゴリズムが、並列確率的勾配降下(または上昇)学習に採用されてもよい。
協調訓練は、訓練可能なワーカの1つまたは複数(すなわち、関連タスクのそれぞれのタスクポリシー)を訓練することと、共有ポリシーネットワークを訓練することとを交互に行うことを含んでもよい。したがって、システムは、たとえば、反復して学習して、タスク(ワーカ)ポリシーを学習することと、マルチタスクポリシーを蒸留することとを交互に行ってもよい。代替的に、ワーカニューラルネットワークおよび共有ポリシーネットワークのセットが、一緒に訓練される、すなわち、たとえば、上述の組み合わせられた損失関数を使用することによって、ワーカ(タスク)とマルチタスクポリシーの両方に対して一緒に最適化される場合がある。別個のネットワークが各ワーカ(タスク)ポリシーに対して使用され、共有ポリシーネットワークは、単にマルチタスクポリシーに対して使用されてもよく、または、ワーカネットワークが、マルチタスクポリシーについてソフトアドバンテージを定義してもよく、ソフトアドバンテージは、制御可能な温度値によってパラメータ化されてもよい。
一般に、協調訓練は、タスクポリシーからマルチタスクポリシーを蒸留するために、タスクポリシーからの確率を、マルチタスクポリシーからの確率に一致させることを目標とする勾配項を含む逆伝播を含んでもよい。
別の態様では、マルチタスクニューラルネットワークシステムが、行われるべき複数の学習されたタスクのうちの1つに関係する入力データを処理し、タスクの実行を制御するために出力データを提供する。そのようなシステムは、入力データを受け取るための入力と、入力に結合されたワーカのセットであって、各々が、それぞれのタスクポリシーに従ってアクションデータを出力することによってそれぞれのタスクを行うように構成された、ワーカのセットとを含んでもよい。共有ポリシーネットワークが、入力、およびワーカのセットの一方または両方に結合されてもよく、タスクに対する共通の行動を表す学習されたマルチタスクポリシーを定義してもよい。マルチタスクニューラルネットワークシステムは、少なくとも1つのワーカが対応する学習されたタスクを行うことができるように、タスクに対するタスクポリシーを定義するために、各タスクに対する適応システムの出力を、学習されたマルチタスクポリシーと結合するように構成されてもよい。
ワーカ(エージェント)は、ニューラルネットワークを含んでもよく、ニューラルネットワークは、共有ポリシーネットワークと重みを一部、または全部共有してもよく、または共有しなくてもよい。システムは、ワーカニューラルネットワークモジュールが、ニューラルネットワーク層の少なくとも1つの列を定義し、共有ポリシーネットワークが、ニューラルネットワーク層の第2の列を定義する、複数列(multicolumn)アーキテクチャを有してもよい。ワーカおよび共有ポリシーネットワークは、たとえば、強化学習システムまたはフィードフォワードニューラルネットワークを、たとえば畳み込みを用いて、一緒に定義してもよい。
本明細書で説明する主題は、以下の利点のうちの1つまたは複数を実現するために、特定の実施形態で実装することができる。方法は、ニューラルネットワークをより効率的に訓練するために使用することができる。たとえば、ネットワークは、1つのタスクでの訓練が、別の関係するタスクでの訓練をブートストラップするために使用され得る転移学習から、より効率的に恩恵を受けることができる。これは、タスク当たりに必要とされる訓練データの総量を削減し得る。方法は、複数の異なるタスクで動作しているワーカからの共通の行動を蒸留するために使用することができる。さらに、そのようなシステムは、より高速に学習し、訓練後にタスクでの改善された最終的実行をもたらすことができる。そのようなシステムは、ハイパーパラメータ設定に対してよりロバストであり得る。そのようなシステムはまた、各タスクでの所与の実行に対して全体的にパラメータが少なくてもよい。この技法は、一般的に、教師ありおよび教師なし学習のためのアーキテクチャ、強化学習のためのアーキテクチャ、およびデータ分類のためのアーキテクチャを含む、多くの異なるニューラルネットワークアーキテクチャに適用できる。
マルチタスクニューラルネットワークシステムなどのマルチタスク適応コンピュータシステムを概略的に示す図である。 強化学習を行うために使用される、図1のマルチタスク適応コンピュータシステムを示す図である。 マルチタスク適応コンピュータシステムによって行われる方法を示す図である。 マルチタスク適応コンピュータシステムを訓練するための方法を示す図である。 第1のマルチタスクニューラルネットワークシステムの一部分を示す図である。 第2のマルチタスクニューラルネットワークシステムの一部分を示す図である。
様々な図面における同じ参照番号および名称は、同じ要素を示す。
本明細書は、マルチタスクニューラルネットワークシステムなどのマルチタスク適応コンピュータシステムを開示する。このシステムは、特定の動作またはアクションを行うように構成された1つまたは複数のコンピュータによって実装されるものである。各コンピュータは、動作時にコンピュータに動作またはアクションを行わせるソフトウェア、ファームウェア、ハードウェア、またはそれらの組合せをコンピュータ上にインストールしている。1つまたは複数のコンピュータプログラムが特定の動作またはアクションを行うように構成されるとは、1つまたは複数のプログラムが、データ処理装置によって実行されると、装置に動作またはアクションを行わせる命令を含むことを意味する。
図1は、マルチタスク適応コンピュータシステムのハイレベル図を提供する。単に例のために、4つのタスクを行うためのものとして示されているが、システムは、任意の複数のタスクに容易に一般化される。4つのタスクの場合、ニューラルネットワークシステムは、各々がタスクのそれぞれの1つを行うためのものである4つのワーカ11、12、13、14を含んでもよい。システムの変形形態では、ワーカの数は、タスク数よりも大きくてもよく、タスクの1つまたは複数が、複数のワーカを含む、ワーカのそれぞれのサブセットに関連付けられる場合があり、それらのタスクが、ワーカの関連付けられたセットによって行われるようにする。ワーカのサブセットは、重複しないものであってもよい。
各ワーカは、それの入力のそれぞれの関数である出力を生成する。関数は、ワーカが行うタスクによって決まり、それぞれのタスクポリシーと呼ばれる(代替的に、ワーカポリシーと呼ばれることがある)。4つのワーカのそれぞれのタスクポリシーは、π1、π2、π3、およびπ4で示される。各ポリシーは、確定的でなくてもよい。言い換えれば、各ポリシーは、ワーカのすべての考えられる出力に対するそれぞれの確率を指定する、それぞれのポリシーによって定義される確率分布からのサンプルであってもよい。
さらに、マルチタスク適応コンピュータシステムは、共有モジュール15を含み、共有モジュール15は、同じくそれの入力から少なくとも1つの出力を生成する関数である、π0と示される「マルチタスクポリシー」を記憶する。やはり、関数は、場合によっては確率であってもよく、すなわち、関数は、マルチタスクポリシーによって定義される確率分布からのサンプルであってもよい。共有モジュール15は、ここでは「共有ポリシーネットワーク」と呼ばれるニューラルネットワークとして実装されてもよい。
タスクポリシーπ1、π2、π3、およびπ4、およびマルチタスクポリシーπ0は、以下で説明する協調訓練手順で一緒に生成される。この訓練中に、各ワーカは、それぞれのタスクポリシーに従ってタスクのそれぞれの1つを行うことを学習し、共有ポリシーネットワークは、マルチタスクポリシーπ0を学習する。詳細には、協調訓練手順中に、マルチタスクポリシーπ0は、タスク固有のタスクポリシーπ1、π2、π3、およびπ4から共通の行動または表現を「蒸留する」ように適合される。同時に、タスクポリシーがマルチタスクポリシーから過度に分岐しないように、マルチタスクポリシーπ0は、タスクポリシーπ1、π2、π3、およびπ4を「正則化する(regularize)」ために使用される。以下でより詳細に説明するように、正則化は、カルバック-ライブラー(KL)ダイバージェンスに基づくものであってもよい。このようにして、1つのタスクで得られた知識は、共有ポリシーに蒸留され、次いで他のタスクに転移される。
一例では、それぞれのワーカによって行われるタスクは、1つまたは複数の環境上または内で作動するそれぞれのエージェントによって行われるべきアクションを生成することである。たとえば、各エージェントは、同じ環境上または内で作動する場合があり、以下でこれを仮定する。変形形態では、複数の環境がある場合があり、エージェントの対応する1つまたは複数が、各環境上または内で作動する場合があり、環境は、一般的に何らかの基準により互いに似ている。
環境と対話するために、コンピュータシステムは、環境の現在の状態を特徴づけるデータ(「状態データ」)を受け取り、受け取ったデータに応答して、各エージェントに、Aで示されるアクション空間、すなわち、離散アクション空間または連続アクション空間の要素の、それぞれのアクションaを行わせる。環境の状態を特徴づけるデータは、本明細書では観測値と呼ぶ。いくつかの時間の各々をtで示すと、状態データは、stと示されてもよく、時間tにおける(対応する)環境の状態を示す。状態データのすべての考えられる実現値のセットは、Sで示される。したがって、st∈Sである。
状況の一例を図2に示し、ここでは簡単にするために、単一のコンピュータ2を示す。コンピュータ2は、図1に示すマルチタスク適応コンピュータシステムを実装する。4つのタスクは、環境20上または内で作動する4つのそれぞれのエージェント21、22、23、24を制御することである。
図3は、図1のマルチタスクコンピュータシステムによって行われる方法300を示す。時間tにおいて、コンピュータ1は、環境20から状態データstを受け取る(ステップ1)。整数インデックスiは、タスクにラベルを付けるために使用される(したがって、iが値1、2、3、または4のうちの1つをとる)。この例では、タスク数はワーカ数に等しいので、インデックスiは、ワーカにラベルを付けるとみなすこともできる。
ステップ302において、図1のマルチタスクコンピュータシステムの4つのワーカは、それぞれのアクションデータを生成する。アクションデータは、エージェント21、22、23、24の各々に対して、Aのそれぞれの要素であるそれぞれのアクションatを指定する。
ステップ303において、コンピュータ2は、それぞれのエージェント21、22、23、24にアクションデータを送信する。
ステップ304において、エージェント21、22、23、24が環境20上でそれぞれのアクションatを行うと、マルチタスクコンピュータシステムは、タスクの各々に対して報酬を指定する報酬データ{Ri (at,st)}を受け取る。これらは、環境20からコンピュータ2に送信される、または別個のモジュール(図示せず)によって計算される場合がある。
ステップ305において、エージェントの各々のポリシーおよびマルチタスクポリシーは更新される。
ステップ306において、終了基準が満たされるかどうかが決定される。満たされる場合、方法は終了する(ステップ307)。満たされない場合、方法はステップ301に戻って、次の状態データを待つ。インデックスtが、t+1に更新される。
図2の状況は、いくつかの点で変わることがある。第1に、コンピュータ2は、マルチタスク適応コンピュータシステムを実装するために連携して作動する複数のコンピュータに置き換えられる場合がある。
いくつかの実装形態では、複数の環境があり、環境の各々でエージェントの1つまたは複数が作動する。
いくつかの実装形態では、環境は、シミュレートされた環境(たとえば、コンピュータ2によってシミュレートされる)であり、各エージェントが、シミュレートされた環境と対話する1つまたは複数のコンピュータとして実装される。たとえば、シミュレートされた環境は、ビデオゲームであってもよく、エージェントは、ビデオゲームをプレイするシミュレートされたユーザであってもよい。
他の実装形態では、環境は、実世界の環境であり、エージェントは、実世界の環境と対話する機械エージェントである。たとえば、エージェントは、特定のタスクを達成するために環境と対話するロボット、または環境により走行する自律もしくは半自律車両であってもよい。これらの場合、観測値は、エージェントが環境と対話するとき、エージェントの1つまたは複数のセンサー、たとえば、カメラ、LIDARセンサー、温度センサーなどによって取り込まれるデータであることがある。
システムは、ロボット、または自律もしくは半自律車両などの各エージェントが、シミュレートされたまたは実世界の環境とのそれの対話を改善することができるという利点を有する。
次に訓練手順について、数学レベルで説明する。タスク数は、nとして示され、すなわち、インデックスi=1,....nである。簡単にするために、各タスクは、無限範囲(infinite horizon)を有し、各々が同じ割引率γを有すると仮定する。方法は、割り引かれていない有限範囲のような他のシナリオに、容易に一般化することができる。簡単にするために、アクション空間Aおよび状態空間Sはすべてのタスクに対して同じであるとも仮定する。所与のアクションが、aで示され、ここでa∈Aである。転移ダイナミクスpi (s'│s,a)および報酬関数Ri (a,s)は、タスクiごとに異なる。
さらに、単一のそれぞれのワーカが、各タスクと関連付けられると仮定し、πiを、それぞれの第iのタスクに対するタスク固有の確率的タスクポリシーとする。(タスクにつき1つのワーカがあるので、タスクポリシーは、ワーカポリシーと同等に考えられ得る。)ダイナミクスおよびポリシーは、ある初期状態から始まる状態およびアクション軌道にわたって同時分布を生じ、これらの分布もπiで示す。ニューラルネットワークシステムは、「マルチタスクポリシー」π0もまた記憶する。マルチタスクポリシーπ0は、タスクにわたって共通のエージェント行動を取り込む。
タスクポリシーおよびマルチタスクポリシーは、期待リターンを示す項と、ポリシー正則化を行う1つまたは複数の正則化項とを含む目的関数を最適化することによって、協調訓練プロセスにおいて一緒に生成される。第1の正則化項は、各タスクポリシーがマルチタスクポリシーに向かって正則化されることを保証し、割り引かれたKLダイバージェンス
Figure 0006854921
を使用して定義され得る。さらなる正則化項は、探索をさらに促進するために、割り引かれたエントロピーに基づく。
詳細には、最大化されるべき目的関数は、以下の通りである。
Figure 0006854921
ここで、cKLおよびcEntは、KLおよびエントロピー正則化の強度、α≡cKL/(cKL+cEnt)およびβ≡1/(cKL+cEnt)を決定する、0より大きいスカラー因子である。logπ0 (at│st)項は、マルチタスクポリシーの下で高い確率を有するアクションを促進する報酬成形(reward shaping)項と考えることができ、エントロピー項-logπi (at│st)は、探索を促進する。上記では、すべてのタスクに対して同じ正則化コストcKLおよびcEntを使用した。しかしながら、これをタスク固有のコストに一般化することは簡単であり、これは、さらなるハイパーパラメータを導入するが、タスクがそれらの報酬規模および必要とされる探索の量において実質的に異なる場合、重要であることがある。
文献にある様々な最適化技法が、上記の目的関数(1)を最大化するために適用され得る。次に、そのような2つの手法を提示する。第1の手法は、ソフトQ学習(soft Q Learning)および蒸留として知られる公開された技法に基づく。表形式表現の単純な場合、すなわち、表または他の適切なデータ構造が、aおよびsの値のいくつかの組合せに対するπ0およびπ1に対して明示的な値、ならびにπ0を与えられたπiについて、πiを与えられたπ0について最適化する、交互最大化手順を含む場合から始める。
この訓練プロセス400を、図4に示している。ステップ401において、マルチタスクポリシーπ0の初期推定が設定される(たとえば、すべてのアクションの可能性が等しい)。
ステップ401において、π0を固定してπiが変更される。π0を固定すると、(1)は分解して、タスクごとの別個の最大化問題になり、再定義された(正則化された)報酬
Figure 0006854921
付きのエントロピー正則化期待リターンとなる。これは、状態およびアクション価値に対する以下の「軟化された(softened)」Bellman更新を導出することに基づくソフトQ学習(G学習としても知られる)を使用して最適化することができる(たとえば、J. Schulman、P. Abbeel、およびX. Chen. Equivalence between policy gradients and soft Q-Learning、arXiv:1704.06440、2017参照)。
Figure 0006854921
Bellman更新は、状態価値Viに対するアクションについての通常のmaxオペレータが、硬化して、β→∞としてmaxオペレータになる、逆温度でsoft-maxに取って代わるという意味で軟化される。最適なポリシーπiは、逆温度βではボルツマン(Boltzmann)ポリシーである。
Figure 0006854921
ここで、Ai (a,s) = Qi (a,s)-Vi (st)は、軟化されたアドバンテージ関数である。軟化された状態価値Vi(s)が上記では対数正規化群(log normalizer)として働く。マルチタスクポリシーπ0は、従来のポリシー、確率的推論としてRLで文字通り知られている観点と解釈することができる。しかしながら、過去の研究とは異なりそれは、α≦1の累乗まで高められている。これは、従来のπ0のπiへの影響を軟化させ、KLダイバージェンスを超えたさらなるエントロピー正則化の結果である。
ステップ403において、変更されたタスクポリシーπiの各々を与えられたマルチタスクポリシーπ0に変更が行われる。したがって、ニューラルネットワークシステムは、いくつかの以前のマルチタスク学習技法の場合のように(一般的にはアクションにわたる一様分布として)事前設定されるのではなく、π0を学習することになる。π0によって決まる(1)の唯一の項は、
Figure 0006854921
これは単に、モデルπ0を、ポリシーπiの下でタスクiごとに1つの、γで割り引かれた状態アクション分布の混合に合わせるための対数尤度である。各タスクにおけるロールアウトの下での状態-アクションの訪問回数(visitation frequency)から、最尤(ML)推定量を導出することができ、最適ML解は、状態-条件付きアクション分布の混合によって与えられる。代替的に、表形式でない場合は、確率的勾配上昇法が採用されることがあり、これは、タスクポリシーπiをπ0に蒸留する更新に正確につながる。しかしながら、蒸留ステップは、ポリシーについてのKL正則化目的から自然に導かれることに留意する。深層学習における蒸留の使用に関する従来の研究との別の違いは、マルチタスクポリシーが、次に最適化されるとき、タスクポリシーを改善するために「フィードバックイン(feed back in)」され、共通の、転移できる知識がタスクポリシーにわたって共有される、コンジット(conduit)として働くことである。
ステップ404において、終了基準が満たされたかどうかが決定される。満たされない場合、方法400はステップ402に戻る。満たされる場合、方法はステップ405において終了する。
余分のエントロピー正則化の影響を考える。まず、余分のエントロピー正則化がない、すなわち、α=1と仮定し、単にn = 1タスクの単純なシナリオを考える。すると(5)は、マルチタスクポリシーπ0およびタスクポリシーπiが等しいとき最大化され、KL正則化項は0である。したがって、目的関数は、正則化されていない期待リターンとなり、つまりタスクポリシーπiは、期待リターンを局所的に最大化する貪欲ポリシー(greedy policy)に収束する。別の観点から、交互最大化方式は、以前のポリシーを中心とするKLボールを使用し、貪欲ポリシーに収束すると理解される、自然勾配またはTRPOのような信頼領域法に等しい。
α<1の場合、(1)にはさらなるエントロピー項がある。つまりπ0 = π1かつKL(π1 ||π0)の場合でも、目的(1)は、もはや貪欲ポリシーによって最大化されない。代わりに(1)は、エントロピー正則化因子(entropy regularization factor)β'=β/(1-α)=1/cEntを有するエントロピー正則化期待リターンとなり、最適ポリシーは、逆温度β'を有するボルツマン形式のものである。結論として、余分なエントロピー項は、タスクポリシーが貪欲にならないことを保証し、cEntを適切に調整することによって探索の量を制御することができる。
探索の量についてのこのさらなる制御は、2つ以上のタスクがあるとき、有益である。タスクの1つがより容易であり、最初に解決され、他のタスクはより難しく、報酬がはるかに少ないシナリオを考える。エントロピー項がなく、他のタスクの報酬に遭遇する前は、マルチタスクポリシーとすべてのタスクポリシーの両方が、容易なタスクを解決するものに収束することができる。さらに、このポリシーは貪欲であるので、さらに報酬に遭遇するために他のタスクを十分に探索せず、準最適な行動に至ることがある。
目的関数の最小化への第2の手法は、ポリシー勾配およびより良いパラメタリゼーション(parameterization)の使用に基づく。第1の手法のアルゴリズムは、マルチタスクポリシーπ0とタスクポリシーπiの最大化を交互に行い、潜在変数モデルを学習するためのEMアルゴリズムを思い出させ、π0がパラメータの役割を果たし、πiが潜在変数の事後分布の役割を果たす。しかしながら、表形式の場合にとどまらず、π0とπiの両方が、たとえば、深層ニューラルネットワークを使用して実装される場合、そのような交互最大化手順は、確率的勾配上昇法によって一緒に、タスクポリシーおよびマルチタスクポリシーに対して最適化する(1)よりも遅いことがある。この場合、πiの勾配更新は、ポリシー勾配は、単に、エントロピー正則化でポリシー勾配によって与えられ、アドバンテージactor-criticなどの枠組み内で実行され得る。
ニューラルネットワークによって実行される関数と、ポリシーπ0およびπiとの関係を「パラメタリゼーション」と呼ぶ。
ポリシーの1つの簡単なパラメタリゼーションは、ネットワークによって実行される関数hθi (a|s)がπiと同等と見なされるように、各タスクポリシーπiを実装するために、パラメータθiを有するそれぞれのニューラルネットワーク(「タスクネットワーク」、すなわち、タスクにつき1つのワーカがある場合「ワーカネットワーク」)を使用することである。別のニューラルネットワーク(「共有ポリシーネットワーク」)は、マルチタスクポリシーπ0を実装するために使用され、ポリシーネットワークによって実行される関数h0は、π0と同等と見なされる。このパラメタリゼーションが、図5に概略的に示され、共有ポリシーネットワークは50で示され、タスクネットワークの1つが5iで示される。ポリシーネットワーク50は、ポリシーπ0を実装する。各タスクネットワーク5iは、それぞれのポリシーπiを実装するように動作する。ネットワーク50および5i間の唯一の対話は、訓練プロセス中にあり、マルチタスクニューラルネットワークシステムが、タスクを実施して使用中であるときではない。ネットワーク50および5iは、KL正則化により対話する。しかしながら、目的関数の報酬項は、タスクネットワーク5iが期待報酬を増やすためにポリシーネットワーク50から分岐することを引き起こす。目的関数のエントロピー項は、ネットワーク50および5iが分岐するさらなる傾向を生み出す。
より高速な転移をもたらす場合がある、代替的パラメタリゼーションは、最適ボルツマンポリシー(4)の形態を考えることによって取得できる。具体的には、ニューラルネットワークシステムは、パラメータを持つポリシーネットワークを使用して、マルチタスクポリシーをパラメータ化し、
Figure 0006854921
関数
Figure 0006854921
を実行する、パラメータθiを持つ別のそれぞれのネットワーク(「タスクネットワーク」、すなわちタスクにつき1つのワーカがある「ワーカネットワーク」)を使用して、タスクiごとにソフトアドバンテージを推定することができる。
Figure 0006854921
式(6)および式(7)は、対応する量のパラメータ化された近似器(approximator)を示すために、「ハット」表記を使用する。タスクiのポリシーは、したがって以下のようにパラメータ化されるようになる。
Figure 0006854921
アドバンテージ推定を取得するために式(7)を使用するのではなく、ニューラルネットワークシステムは、ポリシー勾配によって最適化されるポリシーをパラメータ化するために(8)を使用する場合があることに留意する。
状況は、図6に概略的に示され、ポリシーネットワークは、60で示され、第iのタスクネットワークは6iで示される。共有ポリシーネットワーク60は、ポリシーπ0を実装する。図5とは対照的に、図6では、ポリシーネットワーク60および各タスクネットワーク6iは、それぞれのポリシーπiを生成するために一緒に動作する。これは、ポリシーの2列アーキテクチャとして見ることができ、一方の列がマルチタスクポリシーであり、他方の列が、タスクiに特定化するために必要とされる調整である。訓練中と動作中の両方に、ネットワーク60および6i間に対話がある。訓練中、これは、KL正則化によるものである。目的関数の報酬項は、タスクネットワーク6iが期待報酬を増やすためにポリシーネットワーク60から分岐することを引き起こす。目的関数のエントロピー項は、ネットワーク60および6iが分岐するさらなる傾向を生み出す。
上記のパラメタリゼーションの場合、ここで、ポリシー勾配を導出することができる。タスク固有のパラメータθiに関する勾配は、標準的なポリシー勾配定理によって与えられる。
Figure 0006854921
ここで、
Figure 0006854921
は、正則化された報酬である。被積分関数におけるエントロピーの偏微分は、対数微分トリック(log-derivative trick)のために期待値
Figure 0006854921
を有することに留意する。価値ベースラインが推定される場合、それは、制御変量として正則化されたリターンから引かれ得る。θ0に対する勾配は、
Figure 0006854921
第1の項が、θiのポリシー勾配の場合と同じであることに留意する。第2の項は、タスクポリシー
Figure 0006854921
に従った確率、およびマルチタスクポリシー
Figure 0006854921
に従った確率を一致させようと試みる。システムが同じアーキテクチャ
Figure 0006854921
を使用してπiをパラメータ化したが、ポリシーにKL正則化を使用しなかった場合、第2の項は、存在しない。KL正則化があると、
Figure 0006854921
の場合、第2の項が0であるという意味において、マルチタスクポリシーにすべてのタスクポリシーの重心であるように学習させ、タスクにわたって、および新しいタスクに情報を直ちに転移させる助けとなる。実験において、KL正則化がないと、アルゴリズムの安定性に著しく影響を与えることがわかった。KL正則化に加えて、エントロピー正則化があると、転移および探索の量を別々に制御することが可能になる。
説明した枠組みは、目的、アルゴリズム、およびアーキテクチャの組合せとして生じる、いくつかの考えられるアルゴリズムのインスタンス化(algorithmic instantiation)を可能にし、これについて以下で説明し、概要を示す。
第1に、KLダイバージェンス対エントロピー正則化のトレードオフを考える。α=0の場合、マルチタスクニューラルネットワークシステムは、タスクにわたって結合および転移しない、完全エントロピー正則化(purely entropy-regularized)目的関数を有する。α=1の場合、マルチタスクニューラルネットワークシステムは、タスクにわたって結合および転移しないが、マルチタスクおよびタスクポリシーが類似し、貪欲になる場合、早期に探索を停止する、完全KL正則化目的関数を有する。0>α>1の場合、マルチタスクニューラルネットワークシステムは、両方の項を含む目的関数を有する。
第2に、(図4の場合のような)代替的最適化を同時最適化(joint optimization)と比較する。交互最適化が、ポリシー蒸留/アクター模倣(actor-mimic)に似ているが、マルチタスクポリシーがタスクポリシー最適化にフィードバックする、本質的に反復であるアルゴリズムにつながる。また、ポリシー勾配の代わりに、ソフトQ学習を各タスクに適用することができる。交互最適化はより遅い場合があるが、詳細には著しく異なるタスクの場合に、より安定して学習することを、ポリシー蒸留/アクター模倣システムの経験による証拠が示す。
第3に、(図5の場合のような)別個のパラメタリゼーションを、(図6の場合のような)2つの2列パラメタリゼーションと比較する。2列の場合、各タスクポリシーがマルチタスクポリシーを使用するためにパラメータ化され、マルチタスクポリシーに蒸留された行動が、タスクポリシーに「直ちに利用可能」であり、転移がより早くなり得る。しかしながら、転移のプロセスの発生が早すぎる場合、個々のタスクの効果的な探索を妨げる可能性がある。
本明細書は、システムおよびコンピュータプログラムコンポーネントに関連して「構成される」という用語を使用する。1つまたは複数のコンピュータのシステムが特定の動作またはアクションを行う「ように構成される」とは、動作時にシステムに動作またはアクションを行わせるソフトウェア、ファームウェア、ハードウェア、またはそれらの組合せをシステムがインストールしていることを意味する。1つまたは複数のコンピュータが特定の動作またはアクションを行うように構成されるとは、1つまたは複数のプログラムが、データ処理装置によって実行されると、装置に動作またはアクションを行わせる命令を含むことを意味する。
本明細書で説明する主題および機能的動作の実施形態は、デジタル電子回路において、有形に具現化されたコンピュータソフトウェアもしくはファームウェアにおいて、本明細書で開示する構造およびそれらの構造的に同等のものを含む、コンピュータハードウェアにおいて、またはそれらの1つもしくは複数の組合せにおいて、実装されることがある。本明細書で説明する主題の実施形態は、1つまたは複数のコンピュータプログラムとして実装されることがあり、すなわち、データ処理装置によって実行されるように、またはデータ処理装置の動作を制御するために、有形の非一時的プログラムキャリア上に符号化されたコンピュータプログラム命令の1つまたは複数のモジュールとして実装されることがある。代替的にまたは追加として、プログラム命令は、人為的に生成された伝搬信号、たとえば、データ処理装置による実行のために好適な受信装置に送信するための情報を符号化するために生成される機械生成の電気、光、または電磁信号上で符号化されることがある。コンピュータ記憶媒体は、機械可読ストレージデバイス、機械可読記憶基板、ランダムもしくはシリアルアクセスメモリデバイス、またはそれらのうちの1つもしくは複数の組合せであることがある。しかしながら、コンピュータ記憶媒体は伝搬信号ではない。
「データ処理装置」という用語は、例としてプログラマブルプロセッサ、コンピュータ、または複数のプロセッサもしくはコンピュータを含む、データを処理するためのすべての種類の装置、デバイス、および機械を包含する。装置は、専用の論理回路、たとえばFPGA(フィールドプログラマブルゲートアレイ)またはASIC(特定用途向け集積回路)を含むことができる。装置はまた、ハードウェアに加えて、当該のコンピュータプログラムのための実行環境を作成するコード、たとえば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、またはそれらの1つもしくは複数の組合せを構成するコードを含むことができる。
(プログラム、ソフトウェア、ソフトウェアアプリケーション、モジュール、ソフトウェアモジュール、スクリプト、またはコードと呼ばれる、または説明される場合もある)コンピュータプログラムは、コンパイラ型もしくはインタープリタ型言語、または宣言型もしくは手続き型言語を含む、プログラム言語の任意の形態で書くことができ、またコンピュータプログラムは、スタンドアロンプログラムとして、またはモジュール、コンポーネント、サブルーチン、もしくはコンピューティング環境で使用するのに適した他のユニットとしてなど、任意の形態で配置されることがある。コンピュータプログラムは、ファイルシステムのファイルに対応する場合があるが、対応する必要はない。プログラムは、他のプログラムまたはデータ、たとえば、マークアップ言語ドキュメントに記憶された1つまたは複数のスクリプトを入れたファイルの一部分に、当該プログラムに専用の単一ファイルに、または複数の協調ファイル、たとえば、1つもしくは複数のモジュール、サブプログラム、もしくはコードの一部を記憶するファイルに、記憶することができる。コンピュータプログラムは、1つのコンピュータ上で、または1つのサイトに位置するもしくは複数のサイトにわたって分散し、通信ネットワークによって相互接続された複数のコンピュータ上で実行されるように配置することができる。
本明細書において使用される、「エンジン」または「ソフトウェアエンジン」は、入力とは異なる出力を提供するソフトウェア実装入出力システムを指す。エンジンは、ライブラリ、プラットフォーム、ソフトウェア開発キット(「SDK」)、またはオブジェクトなど、機能の符号化されたブロックであることがある。各エンジンは、1つまたは複数のプロセッサと、コンピュータ可読媒体とを含む任意の適切なタイプのコンピューティングデバイス、たとえば、サーバ、携帯電話、タブレットコンピュータ、ノートブックコンピュータ、音楽プレーヤ、電子ブックリーダー、ラップトップもしくはデスクトップコンピュータ、PDA、スマートフォン、または他の据置型もしくは携帯型デバイス上に実装することができる。加えて、エンジンの2つ以上が、同じコンピューティングデバイス上に、または異なるコンピューティングデバイス上に実装される場合がある。
本明細書で説明するプロセスおよび論理フローは、入力データで動作し、出力を生成することによって機能を行うために1つまたは複数のコンピュータプログラムを1つまたは複数のプログラマブルコンピュータが実行することによって実行可能である。プロセスおよび論理フローはまた、専用の論理回路、たとえばFPGA(フィールドプログラマブルゲートアレイ)またはASIC(特定用途向け集積回路)によって実行可能であり、装置もまたこれらとして実装可能である。たとえば、プロセスおよび論理フローは、グラフィックス処理ユニット(GPU)によって実行されることがあり、また装置は、GPUとして実装されることがある。
コンピュータプログラムの実行に好適なコンピュータは、一例として、汎用または専用マイクロプロセッサ、または両方、または他の種類の中央処理ユニットを含み、これらに基づくことがある。一般的に中央処理ユニットは、読取り専用メモリ、またはランダムアクセスメモリ、または両方から命令およびデータを受け取ることになる。コンピュータの必須要素は、命令を行うまたは実行するための中央処理ユニット、ならびに命令およびデータを記憶するための1つまたは複数のメモリデバイスである。一般的にコンピュータはまた、データを記憶するための1つもしくは複数の大容量ストレージデバイス、たとえば、磁気ディスク、光磁気ディスク、もしくは光ディスクを含むことになり、またはこれらからデータを受け取ること、もしくはこれらにデータを転送すること、もしくはその両方を行うために動作可能に結合されることになる。しかしながら、コンピュータがそのようなデバイスを有する必要はない。さらに、コンピュータが別のデバイス、たとえば、ほんのいくつかの例を挙げれば、携帯電話、携帯情報端末(PDA)、モバイルオーディオもしくはビデオプレーヤ、ゲーム機、全地球測位システム(GPS)レシーバ、またはポータブルストレージデバイス、たとえば、ユニバーサルシリアルバス(USB)フラッシュドライブに埋め込まれることがある。
コンピュータプログラム命令およびデータを記憶するのに好適なコンピュータ可読媒体は、あらゆる形態の不揮発性メモリ、媒体、およびメモリデバイスを含み、例として、半導体メモリデバイス、たとえばEPROM、EEPROM、およびフラッシュメモリデバイス、磁気ディスク、たとえば内蔵ハードディスクまたはリムーバブルディスク、光磁気ディスク、ならびにCD ROMおよびDVD-ROMディスクを含む。プロセッサおよびメモリは、専用論理回路によって補われる、または専用論理回路に組み込まれることがある。
ユーザとの対話を可能にするために、本明細書で説明する主題の実施形態は、ユーザに情報を表示するためのディスプレイデバイス、たとえばCRT(陰極線管)またはLCD(液晶ディスプレイ)モニタ、ならびにユーザがそれによってコンピュータへの入力を行うことができるキーボードおよびポインティングデバイス、たとえばマウスまたはトラックボールを有するコンピュータに実装されることがある。ユーザとの対話を可能にするために他の種類のデバイスが使用されることもあり、たとえばユーザに提供されるフィードバックは、任意の形態の感覚フィードバック、たとえば視覚フィードバック、聴覚フィードバック、もしくは触覚フィードバックであることが可能であり、ユーザからの入力は、音響入力、音声入力、もしくは触覚入力など、任意の形態で受け取ることができる。加えて、コンピュータが、ユーザによって使用されるデバイスに文書を送り、そのデバイスから文書を受け取ることによって、たとえば、ウェブブラウザから受け取られる要求に応じてユーザのクライアントデバイス上のウェブブラウザにウェブページを送ることによって、ユーザと対話することができる。
本明細書で説明する主題の実施形態は、たとえばデータサーバとして、バックエンド構成要素を含むコンピューティングシステム、またはミドルウェア構成要素、たとえばアプリケーションサーバを含むコンピューティングシステム、またはフロントエンド構成要素、たとえば、それによりユーザが本明細書で説明する主題の実装形態と対話することができるグラフィカルユーザインタフェース、もしくはウェブブラウザを有するクライアントコンピュータを含む、コンピューティングシステム、または1つもしくは複数のそのようなバックエンド構成要素、ミドルウェア構成要素、もしくはフロントエンド構成要素の任意の組合せを含むコンピューティングシステムにおいて実装可能である。システムの構成要素は、デジタルデータ通信の任意の形態または媒体、たとえば通信ネットワークによって、相互接続可能である。通信ネットワークの例には、ローカルエリアネットワーク(「LAN」)、およびワイドエリアネットワーク(「WAN」)、たとえばインターネットが含まれる。
コンピューティングシステムは、クライアントと、サーバとを含むことができる。クライアントおよびサーバは、一般的に互いから遠くにあり、典型的には通信ネットワークを介して対話する。クライアントとサーバの関係は、それぞれのコンピュータで実行している、互いにクライアント-サーバ関係を有するコンピュータプログラムによって生じる。
本明細書は、多くの特定の実装形態の詳細を含むが、これらは任意の発明の範囲への、または特許請求される可能性のあるものの範囲への制限として解釈されるべきではなく、むしろ特定の発明の特定の実施形態に固有である場合がある特徴の説明として解釈されるべきである。本明細書で別個の実施形態の文脈で説明されるいくつかの特徴は、単一の実施形態において組み合わせて実装されることもある。逆に、単一の実施形態の文脈で説明される様々な特徴は、複数の実施形態において別々に、または任意の適切な部分的組合せで実装されることもある。さらに、特徴は、ある組合せで機能するものとして上記で説明され、さらに当初はそのように特許請求される場合があるが、特許請求される組合せからの1つまたは複数の特徴は、場合によってはその組合せから削除されることがあり、特許請求される組合せは、部分的組合せ、または部分的組合せの変形形態を対象とすることがある。
同様に、動作は、特定の順序で図面に示されるが、これは、望ましい結果を達成するために、このような動作が図示された特定の順序でもしくは順次に行われること、または例示したすべての動作が行われることを必要とするものと理解されるべきではない。いくつかの環境では、マルチタスクおよび並列処理が有利である場合がある。さらに、上記で説明した実施形態における様々なシステムモジュールおよび構成要素の分離は、すべての実施形態においてそのような分離を必要とすると理解されるべきではなく、記載するプログラム構成要素およびシステムは、一般的に単一のソフトウェア製品に統合される、または複数のソフトウェア製品にパッケージ化されることがあると理解されるべきである。
主題の特定の実施形態について説明した。他の実施形態も、特許請求の範囲内である。たとえば、特許請求の範囲に記載するアクションは、異なる順序で行われ、やはり望ましい結果を実現することがある。一例として、添付図に示すプロセスは、望ましい結果を達成するために、示した特定の順序、または逐次的な順序を必ずしも必要としない。いくつかの実装形態では、マルチタスクおよび並列処理が有利である場合がある。
2 コンピュータ
11 ワーカ
12 ワーカ
13 ワーカ
14 ワーカ
15 共有モジュール
20 環境
21 エージェント
22 エージェント
23 エージェント
24 エージェント

Claims (30)

  1. マルチタスクニューラルネットワークシステムを訓練する方法であって、前記ニューラルネットワークシステムが、共有ポリシーネットワークと組み合わせた訓練可能なワーカのセットを含み、前記方法が、
    複数の異なるタスクでの、前記訓練可能なワーカおよび前記共有ポリシーネットワークの協調訓練を含み、各ワーカがそれぞれのタスクポリシーに従って前記タスクの対応する1つを行うことを学習し、前記共有ポリシーネットワークが前記タスクに対する共通の行動を表すマルチタスクポリシーを学習するようにし、
    前記協調訓練が、前記共有ポリシーネットワークと前記訓練可能なワーカの両方を介して前記協調訓練からの誤差を伝播することを含む、方法。
  2. 前記協調訓練が、目的関数を最適化することによって行われ、前記目的関数が、タスクごとに、
    前記タスクポリシーに従って前記タスクを行う際にワーカによって得られる期待報酬を示す報酬項と、
    前記タスクポリシーの分布と前記マルチタスクポリシーの分布との差を測定して、前記タスクポリシーの前記分布を前記マルチタスクポリシーの前記分布に向かって正則化する、少なくとも第1のエントロピー項と
    を含む、請求項1に記載の方法。
  3. 前記目的関数が、タスクごとに、探索を促進するために前記タスクポリシーの前記分布によって決まる第2の、探索エントロピー項をさらに含む、請求項2に記載の方法。
  4. 前記ニューラルネットワークシステムが、環境と対話するとき、前記ワーカの1つまたは複数によって行われるべきアクションを選択するために強化学習システムを含み、前記タスクが、状態に応じて各々行われるべき一連のアクションを含み、前記タスクポリシーの各々のそれぞれの分布および前記マルチタスクポリシーの分布が各々、状態-アクション分布を含む、請求項1、2、または3に記載の方法。
  5. 報酬項が、ある状態であるアクションをとることからの期待報酬によって決まる割り引かれた報酬項である、請求項2に従属する請求項4に記載の方法。
  6. 前記訓練可能なワーカを訓練するとき、前記訓練可能なワーカに対する前記タスクポリシーを決定する際に、前記共有ポリシーネットワークからの前記マルチタスクポリシーを使用するステップを含む、請求項1から5のいずれか一項に記載の方法。
  7. 前記協調訓練が、前記訓練可能なワーカの1つまたは複数を訓練することと、前記共有ポリシーネットワークを訓練することとを交互に行うことを含む、請求項1から6のいずれか一項に記載の方法。
  8. 前記協調訓練が、前記共有ポリシーネットワークの前記マルチタスクポリシーと、前記タスクポリシーの1つまたは複数とを一緒に最適化することを含む、請求項1から7のいずれか一項に記載の方法。
  9. 前記マルチタスクポリシーを使用して、前記タスクポリシーをパラメータ化するステップをさらに含む、請求項1から8のいずれか一項に記載の方法。
  10. 前記訓練可能なワーカが、1つまたは複数のニューラルネットワークを含み、前記協調訓練が、逆伝播により、前記1つまたは複数のニューラルネットワークおよび前記共有ポリシーネットワークを一緒に訓練することを含む、請求項1から9のいずれか一項に記載の方法。
  11. 前記逆伝播が、前記タスクポリシーからの前記マルチタスクポリシーを蒸留するために、前記タスクポリシーからの確率を、前記マルチタスクポリシーからの確率に一致させるための項を含む目的関数を使用する、請求項10に記載の方法。
  12. 適応マルチタスクコンピュータシステムを訓練する方法であって、前記コンピュータシステムが、訓練可能なワーカおよび共有モジュールのセットを含み、前記方法が、
    複数の異なるタスクでの、前記訓練可能なワーカおよび前記共有モジュールの協調訓練を含み、各ワーカがそれぞれのタスクポリシーに従って前記タスクの対応する1つを行うことを学習し、共有ポリシーネットワークが前記タスクに対する共通の行動を表すマルチタスクポリシーを学習するようにし、
    前記協調訓練が、目的関数を最適化することによって行われ、前記目的関数が、タスクごとに、
    前記タスクを行う際にワーカによって得られる期待報酬を示す報酬項と、
    前記タスクポリシーの分布と前記マルチタスクポリシーの分布との差を測定して、前記タスクポリシーの前記分布を前記マルチタスクポリシーの前記分布に向かって正則化する、少なくとも第1のエントロピー項と
    を含む、方法。
  13. 前記目的関数が、タスクごとに、探索を促進するために前記タスクポリシーの前記分布によって決まる第2の、探索エントロピー項をさらに含む、請求項12に記載の方法。
  14. 前記コンピュータシステムが、環境と対話するとき、前記ワーカの1つまたは複数によって行われるべきアクションを選択するために強化学習システムを含み、前記タスクが、状態に応じて各々行われるべき一連のアクションを含み、前記タスクポリシーの各々のそれぞれの分布および前記マルチタスクポリシーの分布が各々、状態-アクション分布を含む、請求項12または13に記載の方法。
  15. 前記報酬項が、ある状態であるアクションをとることからの期待報酬によって決まる割り引かれた報酬項である、請求項14に記載の方法。
  16. 前記訓練可能なワーカを訓練するとき、前記訓練可能なワーカに対する前記タスクポリシーを決定する際に、前記マルチタスクポリシーを使用するステップを含む、請求項12から15のいずれか一項に記載の方法。
  17. 前記協調訓練が、前記訓練可能なワーカの1つまたは複数を訓練することと、前記共有モジュールを訓練することとを交互に行うことを含む、請求項12から16のいずれか一項に記載の方法。
  18. 前記協調訓練が、前記共有モジュールの前記マルチタスクポリシーと、前記タスクポリシーの1つまたは複数とを一緒に最適化することを含む、請求項12から17のいずれか一項に記載の方法。
  19. 前記マルチタスクポリシーを使用して、前記タスクポリシーをパラメータ化するステップをさらに含む、請求項12から18のいずれか一項に記載の方法。
  20. 前記訓練可能なワーカおよび前記共有モジュールが各々、1つまたは複数のニューラルネットワークを含み、前記協調訓練が、逆伝播により、前記1つまたは複数のニューラルネットワークを一緒に訓練することを含む、請求項12から19のいずれか一項に記載の方法。
  21. 行われるべき複数の学習されたタスクに関係する入力データを処理し、前記タスクの実行を制御するために出力データを提供するマルチタスクニューラルネットワークシステムであって、
    前記入力データを受け取るための入力と、
    前記入力に結合されたワーカのセットであって、各々が、それぞれの学習されたタスクポリシーに従ってアクションデータを出力することによって、前記複数の学習されたタスクのうちの関連する1つを実行するように構成され、各タスクが制御モジュールと関連付けられる、ワーカのセットと、
    前記入力、および前記ワーカのセットの一方または両方に結合された、共有ポリシーネットワークであって、前記タスクに対する共通の行動を表す学習されたマルチタスクポリシーを定義する、共有ポリシーネットワークと
    を含み、
    マルチタスクニューラルネットワークシステムが、タスクごとに、それぞれのタスクポリシーを定義するために、前記関連する制御モジュールの出力を、前記学習されたマルチタスクポリシーと結合するように構成される、マルチタスクニューラルネットワークシステム。
  22. 前記制御モジュールの各々がニューラルネットワークモジュールである、請求項21に記載のマルチタスクニューラルネットワークシステム。
  23. 前記ニューラルネットワークモジュールが、ニューラルネットワーク層の少なくとも1つの列を定義し、前記共有ポリシーネットワークが、ニューラルネットワーク層の第2の列を定義する、複数列アーキテクチャを有する、請求項22に記載のマルチタスクニューラルネットワークシステム。
  24. 前記アクションデータが、行われるべきアクションの期待価値を定義するアクション価値データを含む、請求項21、22、または23に記載のマルチタスクニューラルネットワークシステム。
  25. 前記アクションデータが、前記ワーカによって行われ得る複数の考えられるアクションの各々に対する尤度を定義するデータを含む、請求項21から24のいずれか一項に記載のマルチタスクニューラルネットワークシステム。
  26. 前記制御モジュールが、互いとは実質的に無関係に動作する、請求項21から25のいずれか一項に記載のマルチタスクニューラルネットワークシステム。
  27. 前記ワーカが、共有される重みを含むニューラルネットワークを含む、請求項21から26のいずれか一項に記載のマルチタスクニューラルネットワークシステム。
  28. 1つまたは複数のコンピュータと、前記1つまたは複数のコンピュータによって実行されると、請求項1から20のいずれか一項に記載のそれぞれの方法の動作を、前記1つまたは複数のコンピュータに行わせる命令を記憶する1つまたは複数のストレージデバイスとを備える、システム。
  29. 前記1つまたは複数のコンピュータによって実行されると、請求項1から20のいずれか一項に記載のそれぞれの方法の動作を、前記1つまたは複数のコンピュータに行わせる命令を記憶する1つまたは複数のコンピュータ記憶媒体。
  30. 1つまたは複数のコンピュータによって実行されると、前記1つまたは複数のコンピュータに請求項21から27のいずれか一項に記載のシステムを実行させる命令を記憶する1つまたは複数のコンピュータ記憶媒体。
JP2019559288A 2017-05-19 2018-05-22 タスク固有のポリシーおよび共有ポリシーをもつマルチタスクニューラルネットワークシステム Active JP6854921B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762508991P 2017-05-19 2017-05-19
US62/508,991 2017-05-19
PCT/EP2018/063275 WO2018211138A1 (en) 2017-05-19 2018-05-22 Multitask neural network systems

Publications (2)

Publication Number Publication Date
JP2020521205A JP2020521205A (ja) 2020-07-16
JP6854921B2 true JP6854921B2 (ja) 2021-04-07

Family

ID=62217991

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019559288A Active JP6854921B2 (ja) 2017-05-19 2018-05-22 タスク固有のポリシーおよび共有ポリシーをもつマルチタスクニューラルネットワークシステム

Country Status (5)

Country Link
US (2) US11132609B2 (ja)
EP (1) EP3602412A1 (ja)
JP (1) JP6854921B2 (ja)
CN (1) CN110892418A (ja)
WO (1) WO2018211138A1 (ja)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11250327B2 (en) 2016-10-26 2022-02-15 Cognizant Technology Solutions U.S. Corporation Evolution of deep neural network structures
US11507844B2 (en) 2017-03-07 2022-11-22 Cognizant Technology Solutions U.S. Corporation Asynchronous evaluation strategy for evolution of deep neural networks
WO2018211138A1 (en) * 2017-05-19 2018-11-22 Deepmind Technologies Limited Multitask neural network systems
US11562287B2 (en) 2017-10-27 2023-01-24 Salesforce.Com, Inc. Hierarchical and interpretable skill acquisition in multi-task reinforcement learning
US10573295B2 (en) * 2017-10-27 2020-02-25 Salesforce.Com, Inc. End-to-end speech recognition with policy learning
WO2019118299A1 (en) 2017-12-13 2019-06-20 Sentient Technologies (Barbados) Limited Evolving recurrent networks using genetic programming
EP3724819A4 (en) 2017-12-13 2022-06-22 Cognizant Technology Solutions U.S. Corporation SCALABLE ARCHITECTURES FOR THE EVOLUTION OF DEEP NEURAL NETWORKS
US11527308B2 (en) 2018-02-06 2022-12-13 Cognizant Technology Solutions U.S. Corporation Enhanced optimization with composite objectives and novelty-diversity selection
WO2019241145A1 (en) 2018-06-12 2019-12-19 Intergraph Corporation Artificial intelligence applications for computer-aided dispatch systems
US11481639B2 (en) 2019-02-26 2022-10-25 Cognizant Technology Solutions U.S. Corporation Enhanced optimization with composite objectives and novelty pulsation
US11669716B2 (en) 2019-03-13 2023-06-06 Cognizant Technology Solutions U.S. Corp. System and method for implementing modular universal reparameterization for deep multi-task learning across diverse domains
CA3131688A1 (en) 2019-03-27 2020-10-01 Olivier Francon Process and system including an optimization engine with evolutionary surrogate-assisted prescriptions
US20200327379A1 (en) * 2019-04-09 2020-10-15 GE Precision Healthcare LLC Fastestimator healthcare ai framework
US11699062B2 (en) * 2019-09-06 2023-07-11 Honda Motor Co., Ltd. System and method for implementing reward based strategies for promoting exploration
US11403668B2 (en) 2019-10-30 2022-08-02 Target Brands, Inc. Multitask transfer learning for optimization of targeted promotional programs
SG11202103113XA (en) * 2020-04-02 2021-04-29 Alipay Hangzhou Inf Tech Co Ltd Determining action selection policies of an execution device
CN111309893A (zh) * 2020-05-15 2020-06-19 支付宝(杭州)信息技术有限公司 基于源问题生成相似问题的方法和装置
US11775841B2 (en) 2020-06-15 2023-10-03 Cognizant Technology Solutions U.S. Corporation Process and system including explainable prescriptions through surrogate-assisted evolution
CN111708355B (zh) * 2020-06-19 2023-04-18 中国人民解放军国防科技大学 基于强化学习的多无人机动作决策方法和装置
CN111783606B (zh) * 2020-06-24 2024-02-20 北京百度网讯科技有限公司 一种人脸识别网络的训练方法、装置、设备及存储介质
CN111680934B (zh) * 2020-06-30 2023-04-07 西安电子科技大学 基于群体熵和q学习的无人机任务分配方法
CN112001585B (zh) * 2020-07-14 2023-09-22 北京百度网讯科技有限公司 多智能体决策方法、装置、电子设备及存储介质
WO2022025568A1 (ko) * 2020-07-27 2022-02-03 옴니어스 주식회사 멀티 태스크 러닝을 이용하여 상품의 속성을 인식하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
CN114528469A (zh) * 2020-11-23 2022-05-24 中兴通讯股份有限公司 推荐方法、装置、电子设备、存储介质
CN112784958B (zh) * 2020-12-31 2023-05-23 中电海康集团有限公司 一种基于持续学习方法的家庭服务型机器人
CN112685318A (zh) * 2021-01-07 2021-04-20 广州三星通信技术研究有限公司 产生测试脚本的方法和系统
CN112766493B (zh) * 2021-01-19 2023-04-07 北京市商汤科技开发有限公司 多任务神经网络的训练方法、装置、电子设备及存储介质
CN113240796B (zh) * 2021-05-14 2023-12-12 Oppo广东移动通信有限公司 视觉任务处理方法及装置、计算机可读介质和电子设备
CN113556287B (zh) * 2021-06-15 2022-10-14 南京理工大学 一种基于多智能体强化学习的软件定义网络路由方法
CN113485203B (zh) * 2021-08-03 2022-05-31 上海德衡数据科技有限公司 一种智能控制网络资源共享的方法及系统
CN114968520B (zh) * 2022-05-19 2023-11-24 北京百度网讯科技有限公司 任务搜索方法及装置、服务器和存储介质
CN114936783B (zh) * 2022-06-02 2023-01-17 暨南大学 一种基于mmddpg算法的rgv小车调度方法及系统
WO2024056891A1 (en) * 2022-09-15 2024-03-21 Deepmind Technologies Limited Data-efficient reinforcement learning with adaptive return computation schemes
CN115545188A (zh) * 2022-10-24 2022-12-30 上海人工智能创新中心 基于不确定性估计的多任务离线数据共享方法及系统
CN115496208B (zh) * 2022-11-15 2023-04-18 清华大学 协同模式多样化导向的无监督多智能体强化学习方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4803212B2 (ja) * 2008-05-28 2011-10-26 ソニー株式会社 データ処理装置、データ処理方法、及びプログラム
JP5733166B2 (ja) * 2011-11-14 2015-06-10 富士通株式会社 パラメータ設定装置、コンピュータプログラム及びパラメータ設定方法
US10977551B2 (en) * 2016-12-14 2021-04-13 Microsoft Technology Licensing, Llc Hybrid reward architecture for reinforcement learning
WO2018211138A1 (en) * 2017-05-19 2018-11-22 Deepmind Technologies Limited Multitask neural network systems
US20230376961A1 (en) * 2022-05-19 2023-11-23 Oracle Financial Services Software Limited Reinforcement learning agent simulation to measure monitoring system strength

Also Published As

Publication number Publication date
US11983634B2 (en) 2024-05-14
US11132609B2 (en) 2021-09-28
US20200090048A1 (en) 2020-03-19
EP3602412A1 (en) 2020-02-05
CN110892418A (zh) 2020-03-17
WO2018211138A8 (en) 2019-12-26
US20220083869A1 (en) 2022-03-17
JP2020521205A (ja) 2020-07-16
WO2018211138A1 (en) 2018-11-22

Similar Documents

Publication Publication Date Title
JP6854921B2 (ja) タスク固有のポリシーおよび共有ポリシーをもつマルチタスクニューラルネットワークシステム
KR102313472B1 (ko) 훈련된 생성 모델을 사용하여 질의 변형들을 생성
EP3711000B1 (en) Regularized neural network architecture search
JP7017640B2 (ja) データ拡張方策の学習
EP3696737B1 (en) Training action selection neural networks
JP7157154B2 (ja) 性能予測ニューラルネットワークを使用したニューラルアーキテクチャ探索
EP3459021B1 (en) Training neural networks using synthetic gradients
US20230153617A1 (en) Distributed training using actor-critic reinforcement learning with off-policy correction factors
CN110326004B (zh) 使用路径一致性学习训练策略神经网络
JP6901633B2 (ja) カプセルニューラルネットワーク
KR102208989B1 (ko) 강화 학습을 통한 디바이스 배치 최적화
JP6722713B2 (ja) ネットワークレーティング予測エンジン
JP2021185492A (ja) 補助タスクを伴う強化学習
WO2019099193A1 (en) Learning neural network structure
US11922281B2 (en) Training machine learning models using teacher annealing
CN110476173B (zh) 利用强化学习的分层设备放置
CN110770759A (zh) 神经网络系统
WO2019101836A1 (en) Population based training of neural networks
US11755879B2 (en) Low-pass recurrent neural network systems with memory
CN113302605A (zh) 鲁棒且数据效率的黑盒优化
CN113348472A (zh) 具有软内核选择的卷积神经网络
US11423300B1 (en) Selecting actions by reverting to previous learned action selection policies
EP4383136A2 (en) Population based training of neural networks

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191226

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210129

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210215

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210316

R150 Certificate of patent or registration of utility model

Ref document number: 6854921

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250