JP7213241B2 - ニューラルネットワークに関するマルチタスク学習のためのメタ学習 - Google Patents
ニューラルネットワークに関するマルチタスク学習のためのメタ学習 Download PDFInfo
- Publication number
- JP7213241B2 JP7213241B2 JP2020523791A JP2020523791A JP7213241B2 JP 7213241 B2 JP7213241 B2 JP 7213241B2 JP 2020523791 A JP2020523791 A JP 2020523791A JP 2020523791 A JP2020523791 A JP 2020523791A JP 7213241 B2 JP7213241 B2 JP 7213241B2
- Authority
- JP
- Japan
- Prior art keywords
- network
- meta
- task
- tasks
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013528 artificial neural network Methods 0.000 title claims description 99
- 238000012549 training Methods 0.000 claims description 152
- 230000006870 function Effects 0.000 claims description 106
- 238000000034 method Methods 0.000 claims description 88
- 230000011218 segmentation Effects 0.000 claims description 42
- 230000003044 adaptive effect Effects 0.000 claims description 34
- 238000013527 convolutional neural network Methods 0.000 claims description 15
- 238000004891 communication Methods 0.000 claims description 11
- 238000005457 optimization Methods 0.000 claims description 10
- 230000000306 recurrent effect Effects 0.000 claims description 8
- 238000012544 monitoring process Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 description 28
- 230000008569 process Effects 0.000 description 24
- 238000001514 detection method Methods 0.000 description 20
- 238000012360 testing method Methods 0.000 description 20
- 230000015654 memory Effects 0.000 description 19
- 238000013459 approach Methods 0.000 description 13
- 238000010606 normalization Methods 0.000 description 11
- 238000011176 pooling Methods 0.000 description 10
- 230000003190 augmentative effect Effects 0.000 description 9
- 238000002474 experimental method Methods 0.000 description 9
- 230000001052 transient effect Effects 0.000 description 9
- 230000000007 visual effect Effects 0.000 description 9
- 238000003058 natural language processing Methods 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 7
- 238000010801 machine learning Methods 0.000 description 7
- 230000006403 short-term memory Effects 0.000 description 7
- 238000013507 mapping Methods 0.000 description 6
- 238000005259 measurement Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000003709 image segmentation Methods 0.000 description 5
- 230000004913 activation Effects 0.000 description 4
- 238000001994 activation Methods 0.000 description 4
- 230000006399 behavior Effects 0.000 description 4
- 201000010099 disease Diseases 0.000 description 4
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 230000008447 perception Effects 0.000 description 4
- 238000000926 separation method Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000001419 dependent effect Effects 0.000 description 3
- 230000004807 localization Effects 0.000 description 3
- 210000002569 neuron Anatomy 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 238000013529 biological neural network Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004820 blood count Methods 0.000 description 2
- 230000008045 co-localization Effects 0.000 description 2
- 210000000613 ear canal Anatomy 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000009533 lab test Methods 0.000 description 2
- 210000000265 leukocyte Anatomy 0.000 description 2
- 230000006855 networking Effects 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000012502 risk assessment Methods 0.000 description 2
- 241000256837 Apidae Species 0.000 description 1
- 206010061818 Disease progression Diseases 0.000 description 1
- 206010035664 Pneumonia Diseases 0.000 description 1
- 238000002679 ablation Methods 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000002730 additional effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000001054 cortical effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000005750 disease progression Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 230000000946 synaptic effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
- Feedback Control In General (AREA)
Description
本願は、参照することによってその全体として本明細書に組み込まれる、「Meta Learning for Multi-Task Learning」と題され、2017年11月14日に出願された、米国特許出願第62/586,154号の優先権の利益を主張する。
本発明は、例えば、以下を提供する。
(項目1)
メタ学習を使用してマルチタスクニューラルネットワークを訓練するためのシステムであって、前記システムは、
非一過性記憶装置であって、
複数のタスクと関連付けられる出力を決定するように構成されるマルチタスクニューラルネットワークであって、前記複数のタスクの各タスクは、タスク損失関数と関連付けられ、マルチタスク損失関数と関連付けられる前記マルチタスクニューラルネットワークは、前記複数のタスクの各タスクに対するタスク加重および前記タスク損失関数の組み合わせを含む、マルチタスクニューラルネットワークと、
前記複数のタスクのうちのタスクの各々と関連付けられる前記タスク加重を出力するように構成されるメタネットワークであって、メタネットワーク損失関数と関連付けられる前記メタネットワークは、少なくとも部分的に前記マルチタスク損失関数に基づいた予期される損失を含む、メタネットワークと
を記憶するように構成される、非一過性記憶装置と、
前記非一過性記憶装置と通信するハードウェアプロセッサであって、前記ハードウェアプロセッサは、
前記複数のタスクに関する複数の基準タスク出力と関連付けられる訓練データにアクセスすることと、
前記メタネットワーク損失関数を低減または最小限にし、前記複数のタスクのうちのタスクの各々と関連付けられる推定されるタスク加重を決定することと、
少なくとも部分的に前記推定されるタスク加重に基づいて、前記マルチタスク損失関数を低減または最小限にすることと、
訓練されたマルチタスクニューラルネットワークを出力することと
を行うようにプログラムされる、ハードウェアプロセッサと
を備える、システム。
(項目2)
前記マルチタスクニューラルネットワークのタスクは、場面理解と関連付けられる、項目1に記載のシステム。
(項目3)
前記タスクは、意味論セグメント化、深度、または面法線のうちの少なくとも1つを含む、項目2に記載のシステム。
(項目4)
前記マルチタスク損失関数は、前記複数のタスク内のタスクの全てに関して、前記タスク加重×前記タスク損失関数の線形結合を含む、項目1に記載のシステム。
(項目5)
前記メタネットワークは、長・短期記憶(LSTM)モジュールを備える、項目1に記載のシステム。
(項目6)
前記メタネットワーク損失関数は、訓練窓に関する最適化軌跡にわたる前記マルチタスク損失関数の和を含む、項目1に記載のシステム。
(項目7)
前記メタネットワーク損失関数を低減または最小限にするために、前記ハードウェアプロセッサは、適応モーメント推定を使用して、時間を通して誤差逆伝搬法を適用するようにプログラムされる、項目1に記載のシステム。
(項目8)
前記マルチタスク損失関数を低減または最小限にするために、前記ハードウェアプロセッサは、確率勾配降下法を適用するようにプログラムされる、項目1に記載のシステム。
(項目9)
前記マルチタスクニューラルネットワークは、畳み込みニューラルネットワークを含む、項目1に記載のシステム。
(項目10)
前記ハードウェアプロセッサはさらに、
各訓練時間において、前記マルチタスク損失関数および前記メタネットワーク損失関数の値を監視することと、
前記複数のタスクをともに訓練するためのタスクレベルのカリキュラムを決定することと
を行うようにプログラムされる、項目1に記載のシステム。
(項目11)
メタ学習およびメタネットワークを使用し、子ニューラルネットワークを訓練するための方法であって、前記方法は、
子ニューラルネットワークに関する適応加重を出力するように構成されるメタネットワークにアクセスすることと、
少なくとも部分的に、前記子ニューラルネットワークに関する子損失関数に基づいて、前記メタネットワークを訓練することであって、前記子損失関数は、少なくとも部分的に前記適応加重に依存する、ことと、
前記メタネットワークを用いて、更新された適応加重を出力することと、
前記更新された適応加重を使用して、前記子ニューラルネットワークを訓練することと、
訓練された子ネットワークを出力することと
を含む、方法。
(項目12)
前記メタネットワークおよび前記子ネットワークを訓練するための訓練データセットにアクセスすることをさらに含む、項目11に記載の方法。
(項目13)
前記メタネットワークは、再帰ニューラルネットワークを含む、項目12に記載の方法。
(項目14)
前記再帰ニューラルネットワークは、長・短期記憶(LSTM)モジュールを備える、項目13に記載の方法。
(項目15)
前記子ニューラルネットワークは、マルチタスクニューラルネットワークを含む、項目13に記載の方法。
(項目16)
前記マルチタスクニューラルネットワークは、個々のタスクと関連付けられる前記適応加重およびタスク損失関数の組み合わせを含むマルチタスク損失関数を含む、項目15に記載の方法。
(項目17)
前記個々のタスクをともに訓練することと関連付けられるタスクレベルのカリキュラムを決定することをさらに含む、項目16に記載の方法。
(項目18)
前記メタネットワークを訓練することは、訓練窓にわたるメタネットワーク損失関数の軌跡を監視することを含む、項目13に記載の方法。
(項目19)
頭部搭載型ディスプレイシステムであって、
非一過性メモリであって、
実行可能命令と、
複数のタスクと関連付けられる出力を決定するためのマルチタスクネットワークであって、前記マルチタスクネットワークは、
前記マルチタスクネットワークの複数のタスクに関する適応加重を出力するように構成されるメタネットワークと、
マルチタスクニューラルネットワークに関するマルチタスク損失関数であって、前記マルチタスク損失関数は、少なくとも部分的に前記メタネットワークによって学習される前記適応加重に依存する、マルチタスク損失関数と
を使用して訓練される、マルチタスクネットワークと
を記憶するように構成される、非一過性メモリと、
ディスプレイと、
センサと、
前記非一過性メモリおよび前記ディスプレイおよび前記センサと通信するハードウェアプロセッサであって、前記ハードウェアプロセッサは、前記実行可能命令によって、
前記センサによって捕捉されるセンサデータを受信することと、
入力として前記センサデータを伴う前記マルチタスクネットワークを使用して、前記複数のタスクの各タスクに対してタスク出力を決定することと、
前記ディスプレイに、前記頭部搭載型ディスプレイシステムのユーザに、前記決定されたタスク出力に関連する情報を示させることと
を行うようにプログラムされる、ハードウェアプロセッサと
を備える、システム。
(項目20)
前記複数のタスクは、複数の知覚タスクを含む、項目19に記載のシステム。
(項目21)
前記複数の知覚タスクは、顔認識、視覚的検索、ジェスチャ識別、意味論セグメント化、深度推定、面法線推定、場面認識、オブジェクト検出、照明検出、同時位置特定およびマッピング、再位置特定、またはそれらの組み合わせを含む、項目20に記載のシステム。
(項目22)
前記センサは、慣性測定ユニット、外向きに向いたカメラ、深度感知カメラ、マイクロホン、眼結像カメラ、またはそれらの組み合わせを含む、項目21に記載のシステム。
(項目23)
ニューラルネットワークを訓練し、タスクのセットを学習するためのシステムであって、前記システムは、
非一過性メモリであって、
実行可能命令と、
複数のタスクを学習するための子ネットワークであって、前記子ネットワークは、前記複数のタスクに関する損失関数と関連付けられ、タスク加重は、前記複数のタスクの各タスクに割り当てられる、子ネットワークと
を記憶するように構成される、非一過性メモリと、
前記非一過性メモリと通信するハードウェアプロセッサであって、前記ハードウェアプロセッサは、前記実行可能命令によって、
前記子ネットワークの損失関数と関連付けられる第1の子ネットワーク損失を決定することと、
前記第1の子ネットワーク損失に基づいて、前記複数のタスクの各タスクに対して更新されたタスク加重を決定することと、
前記複数のタスクの各タスクに対して前記更新されたタスク加重に基づいて、更新された子ネットワークを決定することと、
前記更新された子ネットワークの損失関数と関連付けられる第2の子ネットワーク損失を決定することと、
少なくとも前記第2の子ネットワーク損失に基づいて、前記複数のタスクの各タスクに対して第2の更新されたタスク加重を決定することと
を行うようにプログラムされる、ハードウェアプロセッサと
を備える、システム。
(項目24)
前記ハードウェアプロセッサはさらに、前記第1および第2の子ネットワーク損失間の関係を学習するようにプログラムされる、項目23に記載のシステム。
(項目25)
前記ハードウェアプロセッサは、少なくとも前記第1および第2の子ネットワーク損失間の前記関係に基づいて、前記第2の更新されたタスク加重を決定するようにプログラムされる、項目24に記載のシステム。
(項目26)
前記複数のタスクは、少なくとも、意味論セグメント化と、深度予測と、面法線推定とを含む、項目23に記載のシステム。
(項目27)
前記複数のタスクは、回帰タスク、分類タスク、またはそれらの組み合わせを含む、項目23に記載のシステム。
(項目28)
前記分類タスクは、知覚、顔認識、視覚的検索、ジェスチャ認識、意味論セグメント化、オブジェクト検出、部屋レイアウト推定、直方体検出、照明検出、同時位置特定およびマッピング、再位置特定、発話処理、発話認識、自然言語処理、または組み合わせを含む、項目27に記載のシステム。
学習するための学習、すなわち、メタ学習は、DNNを訓練するための十分な利点を有し得る。1つの具体的なタスク(例えば、意味論セグメント化)のためにDNNを訓練するステップは、ネットワークアーキテクチャの慎重な設計を通して行われ得る。しかしながら、複数のものを解決するために単一のDNNを訓練するステップは、課題をもたらす。例えば、複数の目的が存在するときに学習目的を平衡させることは、1つのそのような課題である。本多目的問題は、各目的が、異なる性質(例えば、クロスエントロピ、二乗損失、コサイン損失等)であり、種々のスケールを有するときに、より困難なものになり得る。
複数のタスクに関する深層ニューラルネットワークを訓練するための1つの方法は、自動的にタスクのセットを学習するための、手動で設計されるアルゴリズム/ネットワークアーキテクチャを作成することである。しかしながら、人間の体験ベースまたは手動で設計されたアルゴリズムの調整は、あるタスクのためには最適ではない場合がある。人間が設計した学習アルゴリズムの一実施例は、カリキュラム学習である。実施例に関して無作為の順序で訓練するのではなく、カリキュラム学習は、人が設計した難易度メトリックに基づいて、意味のある順序を使用して訓練実施例を再加重することに焦点を置く(例えば、順序は、徐々に、より多くの実施例と、徐々に、より複雑な実施例とに関して訓練する)。継続方法は、非凸基準の最小化に対処するための最適化方略を含む。これらのアプローチは、最初に、容易な訓練実施例を用いてモデルを最適化し、徐々に、困難な訓練実施例に向かって移行することを目的とする。1つの基本的パラダイムは、問題の平滑なバージョンが、大域的な像を明らかにするという直感を用いて、最初に、平滑化された目的を最適化し、徐々に、平滑化を考慮しなくなることである。
マルチタスク学習を解決するステップにおいて使用され得る、1つの技法は、グリッド検索を使用することによってK個の異なるタスクに関する最適平衡加重αkを発見することによるものである。いったん加重αkが、選択されると、加重は、訓練全体を通して定数としてとどまることができる。いくつかの実施形態では、メタネットワークは、最初に、タスクが訓練される順序が重要であるかどうかを確認してもよい。これに対処するために、アブレーション研究が、訓練順序が学習に影響を及ぼす方法を決定するために、タスクが1つの単一ネットワーク内で訓練される順序を並べ替えることによって実施された。
(メタ学習による例示的マルチタスク学習)
コンピュータビジョンにおける最も一般的かつ自然なマルチタスク学習問題の1つは、場面の幾何学形状を捕捉し、場面内のオブジェクトを認識することである。オブジェクト認識は、拡張現実のための、および自律運転に対するオブジェクト間の支援関係を推測するステップのための、リアルタイムの3次元(3D)再構成等の幅広い一連の用途を有する。
図4は、メタ学習およびメタネットワークを使用して子ネットワークを訓練するための、例示的プロセス800のフロー図である。子ネットワークは、複数のタスク(例えば、場面理解)と関連付けられた出力を決定するために使用される、マルチタスクネットワークを備えることができる。子ネットワークは、複数の共有層と、複数のタスク特有フィルタを備える、出力層とを備えることができる。非一過性メモリと、ハードウェアプロセッサとを伴う、コンピューティングシステム等のコンピューティングシステムは、プロセス800を実施し、子ネットワークを訓練することができる。コンピューティングシステムの非一過性メモリは、実行可能命令を記憶する、または記憶するように構成されることができる。ハードウェアプロセッサは、非一過性メモリと通信し、実行可能命令によって、プロセス800を実施し、メタ学習の実施形態を使用して、子ネットワークを訓練するようにプログラムされることができる。
関数、アルゴリズム、システム、および同等物等のデータ関係およびパターンを表す、モデルは、入力を受け取り、ある方法において、入力に対応する、出力を生産し得る。例えば、モデルは、畳み込みニューラルネットワーク(CNN)または深層ニューラルネットワーク(DNN)等の機械学習方法として実装されてもよい。深層学習は、タスク特有方法とは対照的に、学習データ表現の概念に基づく、より広義の機械学習方法の系統の一部であって、拡張現実(AR)、複合現実(MR)、仮想現実(VR)、および機械知能のために有用な視聴覚算出問題を解決する際の大きな有望性を示す。機械学習では、畳み込みニューラルネットワーク(CNNまたはConvNet)は、あるクラスの深層フィードフォワード人工ニューラルネットワークを含むことができ、CNNは、視覚的画像の分析への適用において成功を収めている。機械学習方法は、眼画像セグメント化または眼追跡を含む、多種多様な問題に対するロバストかつ正確なソリューションを有効にし得る、ある系統の方法を含む。
いくつかの実施形態では、ユーザデバイスは、ウェアラブルディスプレイデバイスであり得る、またはウェアラブルディスプレイデバイス内に含まれることができ、これは、有利なこととして、より没入型の仮想現実(VR)、拡張現実(AR)、または複合現実(MR)体験を提供し得、デジタル的に再現された画像またはその一部が、それらが現実のように見える、または現実として知覚され得る様式で装着者に提示される。
メタ学習の実施形態は、メタネットワークが画像または視覚的データ上で訓練される、コンピュータビジョンタスクに限定されない。他の実施形態では、訓練サンプルは、オーディオデータ、加速データ、測位データ、温度データ、無線周波数データ、および光学追跡データ等のセンサによって捕捉された非架空データを含むことができる。センサの実施例は、オーディオセンサ(例えば、マイクロホン)、慣性測定ユニット(IMU)、加速度計、コンパス、ジャイロスコープ、温度センサ、移動センサ、深度センサ、全地球測位システム(GPS)ユニット、および無線デバイスを含む。他の実施形態では、訓練サンプルは、性別、年齢、心拍数、体温、白血球数、疾患状態、疾患進行度、症状、疾患診断等の測定値を含むことができる。例えば、発話認識または自然言語処理に関連するタスクに関して、訓練サンプルは、オーディオデータセット(またはビデオに添付されるオーディオデータ)または単語、文、段落、およびテキストの電子表現または埋め込み(例えば、n-グラム)を含むことができる。タスクは、例えば、品詞(POS)タグ付け、チャンキング、係り受け解析、意味的関連性、またはテキスト含意を含むことができる。
第1の側面では、メタ学習を使用してマルチタスクニューラルネットワークを訓練するためのシステムが、開示される。本システムは、複数のタスクと関連付けられる出力を決定するように構成される、マルチタスクニューラルネットワークであって、複数のタスクの各タスクは、タスク損失関数と関連付けられ、マルチタスク損失関数と関連付けられるマルチタスクニューラルネットワークは、複数のタスクのタスク毎のタスク加重およびタスク損失関数の組み合わせを含む、マルチタスクニューラルネットワークと、複数のタスクのタスクのそれぞれと関連付けられるタスク加重を出力するように構成される、メタネットワークであって、メタネットワーク損失関数と関連付けられるメタネットワークは、少なくとも部分的にマルチタスク損失関数に基づいた、予期される損失を含む、メタネットワークとを記憶するように構成される、非一過性記憶装置と、非一過性記憶装置と通信する、ハードウェアプロセッサであって、複数のタスクに関する複数の基準タスク出力と関連付けられる、訓練データにアクセスし、メタネットワーク損失関数を低減または最小限にし、複数のタスクのタスクのそれぞれと関連付けられる、推定されるタスク加重を決定し、少なくとも部分的に推定されるタスク加重に基づいて、マルチタスク損失関数を低減または最小限にし、訓練されたマルチタスクニューラルネットワークを出力するようにプログラムされる、ハードウェアプロセッサとを備える。
本明細書に説明される、および/または添付される図に描写されるプロセス、方法、およびアルゴリズムはそれぞれ、具体的かつ特定のコンピュータ命令を実行するように構成される、1つ以上の物理的コンピューティングシステム、ハードウェアコンピュータプロセッサ、特定用途向け回路、および/または電子ハードウェアによって実行される、コードモジュールにおいて具現化され、それによって完全または部分的に自動化され得る。例えば、コンピューティングシステムは、具体的コンピュータ命令とともにプログラムされた汎用コンピュータ(例えば、サーバ)または専用コンピュータ、専用回路等を含むことができる。コードモジュールは、実行可能プログラムにコンパイルおよびリンクされる、動的リンクライブラリ内にインストールされ得る、またはインタープリタ型プログラミング言語において書き込まれ得る。いくつかの実装では、特定の動作および方法が、所与の機能に特有の回路によって実施され得る。
Claims (15)
- メタ学習を使用してマルチタスクニューラルネットワークを訓練するためのシステムであって、前記システムは、
非一過性記憶装置であって、
複数のタスクと関連付けられる出力を決定するように構成されるマルチタスクニューラルネットワークであって、前記複数のタスクの各タスクは、タスク損失関数と関連付けられ、マルチタスク損失関数と関連付けられる前記マルチタスクニューラルネットワークは、前記複数のタスクの各タスクに対するタスク加重および前記タスク損失関数の組み合わせを含む、マルチタスクニューラルネットワークと、
前記複数のタスクのうちのタスクの各々と関連付けられる前記タスク加重を出力するように構成されるメタネットワークであって、メタネットワーク損失関数と関連付けられる前記メタネットワークは、前記マルチタスク損失関数に少なくとも部分的に基づいた予期される損失を含む、メタネットワークと
を記憶するように構成される、非一過性記憶装置と、
前記非一過性記憶装置と通信するハードウェアプロセッサであって、前記ハードウェアプロセッサは、
前記複数のタスクに関する複数の基準タスク出力と関連付けられる訓練データにアクセスすることと、
前記メタネットワーク損失関数を低減または最小限にし、前記複数のタスクのうちのタスクの各々と関連付けられる推定されるタスク加重を決定することと、
前記推定されるタスク加重に少なくとも部分的に基づいて、前記マルチタスク損失関数を低減または最小限にすることと、
訓練されたマルチタスクニューラルネットワークを出力することと
を行うようにプログラムされる、ハードウェアプロセッサと
を備える、システム。 - 前記マルチタスクニューラルネットワークのタスクは、場面理解と関連付けられる、請求項1に記載のシステム。
- 前記タスクは、意味論セグメント化、深度、または面法線のうちの少なくとも1つを含む、請求項2に記載のシステム。
- 前記マルチタスク損失関数は、前記複数のタスク内のタスクの全てに関して、前記タスク加重×前記タスク損失関数の線形結合を含む、請求項1に記載のシステム。
- 前記メタネットワーク損失関数は、訓練窓に関する最適化軌跡にわたる前記マルチタスク損失関数の和を含む、請求項1に記載のシステム。
- 前記メタネットワーク損失関数を低減または最小限にするために、前記ハードウェアプロセッサは、適応モーメント推定を使用して、時間を通して誤差逆伝搬法を適用するようにプログラムされる、請求項1に記載のシステム。
- 前記マルチタスクニューラルネットワークは、畳み込みニューラルネットワークを含む、請求項1に記載のシステム。
- 前記ハードウェアプロセッサは、
各訓練時間において、前記マルチタスク損失関数および前記メタネットワーク損失関数の値を監視することと、
前記複数のタスクをともに訓練するためのタスクレベルのカリキュラムを決定することと
を行うようにさらにプログラムされる、請求項1に記載のシステム。 - メタ学習およびメタネットワークを使用し、子ニューラルネットワークを訓練するための方法であって、前記方法は、
子ニューラルネットワークに関する適応加重を出力するように構成されるメタネットワークにアクセスすることと、
前記子ニューラルネットワークに関する子損失関数に少なくとも部分的に基づいて、前記メタネットワークを訓練することであって、前記子損失関数は、少なくとも部分的に前記適応加重に依存する、ことと、
前記メタネットワークを用いて、更新された適応加重を出力することと、
前記更新された適応加重を使用して、前記子ニューラルネットワークを訓練することと、
訓練された子ネットワークを出力することと
を含む、方法。 - 前記メタネットワークおよび前記子ネットワークを訓練するための訓練データセットにアクセスすることをさらに含む、請求項9に記載の方法。
- 前記メタネットワークは、再帰ニューラルネットワークを含む、請求項10に記載の方法。
- 前記子ニューラルネットワークは、マルチタスクニューラルネットワークを含む、請求項11に記載の方法。
- 前記マルチタスクニューラルネットワークは、個々のタスクと関連付けられる前記適応加重およびタスク損失関数の組み合わせを含むマルチタスク損失関数を含む、請求項12に記載の方法。
- 前記個々のタスクをともに訓練することと関連付けられるタスクレベルのカリキュラムを決定することをさらに含む、請求項13に記載の方法。
- 前記メタネットワークを訓練することは、訓練窓にわたるメタネットワーク損失関数の軌跡を監視することを含む、請求項11に記載の方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201762586154P | 2017-11-14 | 2017-11-14 | |
US62/586,154 | 2017-11-14 | ||
PCT/US2018/060158 WO2019099305A1 (en) | 2017-11-14 | 2018-11-09 | Meta-learning for multi-task learning for neural networks |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2021503122A JP2021503122A (ja) | 2021-02-04 |
JP2021503122A5 JP2021503122A5 (ja) | 2021-12-16 |
JP7213241B2 true JP7213241B2 (ja) | 2023-01-26 |
Family
ID=66431300
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020523791A Active JP7213241B2 (ja) | 2017-11-14 | 2018-11-09 | ニューラルネットワークに関するマルチタスク学習のためのメタ学習 |
Country Status (9)
Country | Link |
---|---|
US (2) | US11048978B2 (ja) |
EP (1) | EP3710990A4 (ja) |
JP (1) | JP7213241B2 (ja) |
KR (1) | KR20200087780A (ja) |
CN (1) | CN111328400A (ja) |
AU (1) | AU2018368279A1 (ja) |
CA (1) | CA3080005A1 (ja) |
IL (1) | IL274424B2 (ja) |
WO (1) | WO2019099305A1 (ja) |
Families Citing this family (73)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20200087780A (ko) | 2017-11-14 | 2020-07-21 | 매직 립, 인코포레이티드 | 뉴럴 네트워크들에 대한 멀티-태스크 학습을 위한 메타-학습 |
EP3502978A1 (en) * | 2017-12-22 | 2019-06-26 | Siemens Healthcare GmbH | Meta-learning system |
US10802489B1 (en) | 2017-12-29 | 2020-10-13 | Apex Artificial Intelligence Industries, Inc. | Apparatus and method for monitoring and controlling of a neural network using another neural network implemented on one or more solid-state chips |
US11501076B2 (en) * | 2018-02-09 | 2022-11-15 | Salesforce.Com, Inc. | Multitask learning as question answering |
EP3841529A1 (en) | 2018-09-27 | 2021-06-30 | DeepMind Technologies Limited | Scalable and compressive neural network data storage system |
CN113227973A (zh) * | 2019-02-26 | 2021-08-06 | 谷歌有限责任公司 | 用于选择软件策略网络并且基于所选择的策略网络自主控制对应软件客户端的强化学习技术 |
US11610414B1 (en) * | 2019-03-04 | 2023-03-21 | Apple Inc. | Temporal and geometric consistency in physical setting understanding |
US11669716B2 (en) * | 2019-03-13 | 2023-06-06 | Cognizant Technology Solutions U.S. Corp. | System and method for implementing modular universal reparameterization for deep multi-task learning across diverse domains |
WO2020198520A1 (en) | 2019-03-27 | 2020-10-01 | Cognizant Technology Solutions U.S. Corporation | Process and system including an optimization engine with evolutionary surrogate-assisted prescriptions |
CN110298330B (zh) * | 2019-07-05 | 2023-07-18 | 东北大学 | 一种输电线路巡检机器人单目检测与定位方法 |
US20210049298A1 (en) * | 2019-08-14 | 2021-02-18 | Google Llc | Privacy preserving machine learning model training |
US11392796B2 (en) | 2019-08-20 | 2022-07-19 | Micron Technology, Inc. | Feature dictionary for bandwidth enhancement |
CN110580500B (zh) * | 2019-08-20 | 2023-04-18 | 天津大学 | 一种面向人物交互的网络权重生成少样本图像分类方法 |
US11636334B2 (en) | 2019-08-20 | 2023-04-25 | Micron Technology, Inc. | Machine learning with feature obfuscation |
US11755884B2 (en) | 2019-08-20 | 2023-09-12 | Micron Technology, Inc. | Distributed machine learning with privacy protection |
CN110598711B (zh) * | 2019-08-31 | 2022-12-16 | 华南理工大学 | 一种结合分类任务的目标分割方法 |
CN110533184B (zh) * | 2019-08-31 | 2023-01-06 | 南京人工智能高等研究院有限公司 | 一种网络模型的训练方法及装置 |
US11551675B2 (en) | 2019-09-03 | 2023-01-10 | Samsung Electronics Co., Ltd. | Electronic device and method for controlling the electronic device thereof |
CN110705756B (zh) * | 2019-09-07 | 2023-05-12 | 创新奇智(重庆)科技有限公司 | 一种基于输入凸神经网络的电力能耗优化控制方法 |
CN110796260B (zh) * | 2019-09-11 | 2022-04-19 | 浙江大学 | 一种基于类扩张学习的神经网络模型优化方法 |
US11640528B2 (en) * | 2019-10-22 | 2023-05-02 | Baidu Usa Llc | Method, electronic device and computer readable medium for information processing for accelerating neural network training |
CN110852447B (zh) * | 2019-11-15 | 2023-11-07 | 腾讯云计算(北京)有限责任公司 | 元学习方法和装置、初始化方法、计算设备和存储介质 |
CN110909885B (zh) * | 2019-11-19 | 2022-09-23 | 支付宝(杭州)信息技术有限公司 | 一种平衡多个任务的方法及系统 |
US11366434B2 (en) | 2019-11-26 | 2022-06-21 | Apex Artificial Intelligence Industries, Inc. | Adaptive and interchangeable neural networks |
US10691133B1 (en) * | 2019-11-26 | 2020-06-23 | Apex Artificial Intelligence Industries, Inc. | Adaptive and interchangeable neural networks |
US11367290B2 (en) | 2019-11-26 | 2022-06-21 | Apex Artificial Intelligence Industries, Inc. | Group of neural networks ensuring integrity |
US12081646B2 (en) | 2019-11-26 | 2024-09-03 | Apex Ai Industries, Llc | Adaptively controlling groups of automated machines |
US10956807B1 (en) | 2019-11-26 | 2021-03-23 | Apex Artificial Intelligence Industries, Inc. | Adaptive and interchangeable neural networks utilizing predicting information |
CN112734798B (zh) * | 2019-11-27 | 2023-11-07 | 上海联影智能医疗科技有限公司 | 神经网络的在线自适应系统和方法 |
CN110929794B (zh) * | 2019-11-28 | 2022-12-13 | 哈尔滨工程大学 | 一种基于多任务学习的侧扫声呐图像分类方法 |
US11348291B2 (en) * | 2019-11-29 | 2022-05-31 | Shanghai United Imaging Intelligence Co., Ltd. | System and method for reconstructing magnetic resonance images |
CN111192248B (zh) * | 2019-12-30 | 2023-05-05 | 山东大学 | 一种用于核磁共振成像中的椎体定位、识别和分割的多任务关系学习方法 |
CN111324695B (zh) * | 2020-02-06 | 2022-12-16 | 鼎富智能科技有限公司 | 一种多任务学习方法及装置 |
CN113365072B (zh) * | 2020-03-06 | 2022-07-01 | 腾讯美国有限责任公司 | 特征图压缩方法、装置、计算设备以及存储介质 |
CN113468924B (zh) * | 2020-03-31 | 2024-06-18 | 北京沃东天骏信息技术有限公司 | 关键点检测模型训练方法和装置、关键点检测方法和装置 |
CN111476292B (zh) * | 2020-04-03 | 2021-02-19 | 北京全景德康医学影像诊断中心有限公司 | 医学图像分类处理人工智能的小样本元学习训练方法 |
KR20210150233A (ko) * | 2020-06-03 | 2021-12-10 | 삼성전자주식회사 | 이미지 처리 알고리즘의 최적화 방법 및 이를 구비한 전자 장치 |
US11586919B2 (en) * | 2020-06-12 | 2023-02-21 | International Business Machines Corporation | Task-oriented machine learning and a configurable tool thereof on a computing environment |
US11775841B2 (en) | 2020-06-15 | 2023-10-03 | Cognizant Technology Solutions U.S. Corporation | Process and system including explainable prescriptions through surrogate-assisted evolution |
CN111860840B (zh) * | 2020-07-28 | 2023-10-17 | 上海联影医疗科技股份有限公司 | 深度学习模型训练方法、装置、计算机设备及存储介质 |
CN111967594A (zh) * | 2020-08-06 | 2020-11-20 | 苏州浪潮智能科技有限公司 | 一种神经网络压缩方法、装置、设备及存储介质 |
CN113743111B (zh) * | 2020-08-25 | 2024-06-04 | 国家计算机网络与信息安全管理中心 | 基于文本预训练和多任务学习的金融风险预测方法及装置 |
KR102397079B1 (ko) * | 2020-09-07 | 2022-05-12 | 울산과학기술원 | 단일 뉴럴 네트워크를 이용한 로봇 파지 방법 및 이를 수행하는 장치 |
EP3965020A1 (en) * | 2020-09-07 | 2022-03-09 | Siemens Aktiengesellschaft | A model for a rapid continual anomaly detector |
CN112116002A (zh) * | 2020-09-18 | 2020-12-22 | 北京旋极信息技术股份有限公司 | 一种检测模型的确定方法、验证方法和装置 |
CN114248265B (zh) * | 2020-09-25 | 2023-07-07 | 广州中国科学院先进技术研究所 | 一种基于元模拟学习的多任务智能机器人学习方法及装置 |
CN112115265A (zh) * | 2020-09-25 | 2020-12-22 | 中国科学院计算技术研究所苏州智能计算产业技术研究院 | 文本分类中的小样本学习方法 |
CN112180726A (zh) * | 2020-09-29 | 2021-01-05 | 北京航空航天大学 | 一种基于元学习的航天器相对运动轨迹规划方法 |
CN112466281A (zh) * | 2020-10-13 | 2021-03-09 | 讯飞智元信息科技有限公司 | 有害音频识别解码方法及装置 |
US11977602B2 (en) * | 2020-11-10 | 2024-05-07 | Nec Corporation | Domain generalized margin via meta-learning for deep face recognition |
US11868439B2 (en) | 2020-11-13 | 2024-01-09 | Toyota Research Institute, Inc. | Mixed-batch training of a multi-task network |
CN112560948B (zh) * | 2020-12-15 | 2024-04-26 | 中南大学 | 数据偏差下的眼底图分类方法及成像方法 |
CN112561180B (zh) * | 2020-12-21 | 2022-05-17 | 深圳大学 | 基于元学习的短期风速预测方法、装置、计算机设备及存储介质 |
EP4200720A4 (en) * | 2020-12-23 | 2023-09-27 | Huawei Technologies Co., Ltd. | APPARATUS AND METHOD FOR PREDICTIVE COMPUTER MODELING |
CN112562069B (zh) * | 2020-12-24 | 2023-10-27 | 北京百度网讯科技有限公司 | 三维模型的构造方法、装置、设备和存储介质 |
CN112766323A (zh) * | 2020-12-30 | 2021-05-07 | 清华大学 | 一种影像识别方法和装置 |
KR102639179B1 (ko) * | 2020-12-31 | 2024-02-20 | 서울과학기술대학교 산학협력단 | 딥러닝 네트워크의 불확실도 판단방법 |
CN112328646B (zh) * | 2021-01-04 | 2021-04-06 | 平安科技(深圳)有限公司 | 多任务课程推荐方法、装置、计算机设备及存储介质 |
CN112785005B (zh) * | 2021-01-22 | 2023-02-03 | 中国平安人寿保险股份有限公司 | 多目标任务的辅助决策方法、装置、计算机设备及介质 |
CN113159275A (zh) * | 2021-03-05 | 2021-07-23 | 深圳市商汤科技有限公司 | 网络训练方法、图像处理方法、装置、设备及存储介质 |
US12086695B2 (en) * | 2021-03-18 | 2024-09-10 | Toyota Research Institute, Inc. | System and method for training a multi-task model |
CN113128432B (zh) * | 2021-04-25 | 2022-09-06 | 四川大学 | 基于演化计算的机器视觉多任务神经网络架构搜索方法 |
CN113568735B (zh) * | 2021-06-17 | 2024-01-23 | 阿里巴巴新加坡控股有限公司 | 数据处理方法及系统 |
CN113538349A (zh) * | 2021-06-29 | 2021-10-22 | 山东师范大学 | 基于模型无关元学习的小样本糖尿病视网膜病变分类系统 |
CN113837379B (zh) * | 2021-09-14 | 2024-08-13 | 上海商汤智能科技有限公司 | 神经网络的训练方法及装置、计算机可读存储介质 |
KR102631937B1 (ko) * | 2021-12-22 | 2024-01-30 | 고려대학교 산학협력단 | 메타 학습을 통한 삼차원 사람 메쉬 복원 방법 및 장치 |
CN114037024A (zh) * | 2022-01-07 | 2022-02-11 | 心鉴智控(深圳)科技有限公司 | 一种基于多任务神经网络数据识别系统及方法 |
TWI795173B (zh) * | 2022-01-17 | 2023-03-01 | 中華電信股份有限公司 | 多語言語音辨識系統、方法及電腦可讀媒介 |
DE102022202030A1 (de) | 2022-02-28 | 2023-08-31 | Robert Bosch Gesellschaft mit beschränkter Haftung | Verfahren zum Trainieren eines bedingten neuronalen Prozesses zur Ermittlung einer Position eines Objektes aus Bilddaten |
WO2024150861A1 (ko) * | 2023-01-13 | 2024-07-18 | 엘지전자 주식회사 | 무선 통신 시스템에서 송수신기 모델에 대한 온라인 학습을 수행하기 위한 장치 및 방법 |
CN115984804B (zh) * | 2023-03-14 | 2023-07-07 | 安徽蔚来智驾科技有限公司 | 一种基于多任务检测模型的检测方法及车辆 |
CN117591048B (zh) * | 2024-01-18 | 2024-04-12 | 中关村科学城城市大脑股份有限公司 | 任务信息处理方法、装置、电子设备和计算机可读介质 |
CN118261749B (zh) * | 2024-05-31 | 2024-08-09 | 四川高路文化旅游发展有限责任公司 | 一种基于实时动态模型的桥梁道路预测维护系统及方法 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160358104A1 (en) | 2015-06-02 | 2016-12-08 | Nec Laboratories America, Inc. | Annealed Sparsity Via Adaptive and Dynamic Shrinking |
Family Cites Families (35)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6222525B1 (en) | 1992-03-05 | 2001-04-24 | Brad A. Armstrong | Image controllers with sheet connected sensors |
US5670988A (en) | 1995-09-05 | 1997-09-23 | Interlink Electronics, Inc. | Trigger operated electronic device |
US11428937B2 (en) | 2005-10-07 | 2022-08-30 | Percept Technologies | Enhanced optical and perceptual digital eyewear |
US20070081123A1 (en) | 2005-10-07 | 2007-04-12 | Lewis Scott W | Digital eyewear |
US8696113B2 (en) | 2005-10-07 | 2014-04-15 | Percept Technologies Inc. | Enhanced optical and perceptual digital eyewear |
US9304319B2 (en) | 2010-11-18 | 2016-04-05 | Microsoft Technology Licensing, Llc | Automatic focus improvement for augmented reality displays |
CA2822978C (en) | 2010-12-24 | 2019-02-19 | Hong Hua | An ergonomic head mounted display device and optical system |
US10156722B2 (en) | 2010-12-24 | 2018-12-18 | Magic Leap, Inc. | Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality |
CN103635891B (zh) | 2011-05-06 | 2017-10-27 | 奇跃公司 | 大量同时远程数字呈现世界 |
EP2760363A4 (en) | 2011-09-29 | 2015-06-24 | Magic Leap Inc | TACTILE GLOVE FOR HUMAN COMPUTER INTERACTION |
CN104011788B (zh) | 2011-10-28 | 2016-11-16 | 奇跃公司 | 用于增强和虚拟现实的系统和方法 |
BR112014024941A2 (pt) | 2012-04-05 | 2017-09-19 | Magic Leap Inc | dispositivo de imagem de campo de visão amplo com capacidade de focalização ativa |
US9671566B2 (en) | 2012-06-11 | 2017-06-06 | Magic Leap, Inc. | Planar waveguide apparatus with diffraction element(s) and system employing same |
JP2015534108A (ja) | 2012-09-11 | 2015-11-26 | マジック リープ, インコーポレイテッド | 人間工学的な頭部搭載型ディスプレイデバイスおよび光学システム |
IL283193B (en) | 2013-01-15 | 2022-08-01 | Magic Leap Inc | A system for scanning electromagnetic imaging radiation |
IL313175A (en) | 2013-03-11 | 2024-07-01 | Magic Leap Inc | System and method for augmentation and virtual reality |
NZ735754A (en) | 2013-03-15 | 2019-04-26 | Magic Leap Inc | Display system and method |
US9874749B2 (en) | 2013-11-27 | 2018-01-23 | Magic Leap, Inc. | Virtual and augmented reality systems and methods |
US10262462B2 (en) | 2014-04-18 | 2019-04-16 | Magic Leap, Inc. | Systems and methods for augmented and virtual reality |
IL295157B2 (en) | 2013-10-16 | 2023-10-01 | Magic Leap Inc | An augmented or virtual reality head device with intrapupillary distance adjustment |
US9730643B2 (en) | 2013-10-17 | 2017-08-15 | Siemens Healthcare Gmbh | Method and system for anatomical object detection using marginal space deep neural networks |
CN107315249B (zh) | 2013-11-27 | 2021-08-17 | 奇跃公司 | 虚拟和增强现实系统与方法 |
US9857591B2 (en) | 2014-05-30 | 2018-01-02 | Magic Leap, Inc. | Methods and system for creating focal planes in virtual and augmented reality |
CN111552079B (zh) | 2014-01-31 | 2022-04-15 | 奇跃公司 | 多焦点显示系统和方法 |
NZ722904A (en) | 2014-01-31 | 2020-05-29 | Magic Leap Inc | Multi-focal display system and method |
US10203762B2 (en) | 2014-03-11 | 2019-02-12 | Magic Leap, Inc. | Methods and systems for creating virtual and augmented reality |
AU2015297036B2 (en) | 2014-05-09 | 2017-09-28 | Google Llc | Systems and methods for discerning eye signals and continuous biometric identification |
CA3124368C (en) | 2014-05-30 | 2023-04-25 | Magic Leap, Inc. | Methods and systems for generating virtual content display with a virtual or augmented reality apparatus |
US9805305B2 (en) | 2015-08-07 | 2017-10-31 | Yahoo Holdings, Inc. | Boosted deep convolutional neural networks (CNNs) |
US10319374B2 (en) * | 2015-11-25 | 2019-06-11 | Baidu USA, LLC | Deployed end-to-end speech recognition |
US11354565B2 (en) * | 2017-03-15 | 2022-06-07 | Salesforce.Com, Inc. | Probability-based guider |
US11836611B2 (en) * | 2017-07-25 | 2023-12-05 | University Of Massachusetts | Method for meta-level continual learning |
CA3078530A1 (en) * | 2017-10-26 | 2019-05-02 | Magic Leap, Inc. | Gradient normalization systems and methods for adaptive loss balancing in deep multitask networks |
KR20200087780A (ko) | 2017-11-14 | 2020-07-21 | 매직 립, 인코포레이티드 | 뉴럴 네트워크들에 대한 멀티-태스크 학습을 위한 메타-학습 |
US20200042825A1 (en) * | 2018-08-02 | 2020-02-06 | Veritone, Inc. | Neural network orchestration |
-
2018
- 2018-11-09 KR KR1020207015255A patent/KR20200087780A/ko not_active Application Discontinuation
- 2018-11-09 CN CN201880072862.1A patent/CN111328400A/zh active Pending
- 2018-11-09 EP EP18877988.8A patent/EP3710990A4/en active Pending
- 2018-11-09 CA CA3080005A patent/CA3080005A1/en active Pending
- 2018-11-09 JP JP2020523791A patent/JP7213241B2/ja active Active
- 2018-11-09 IL IL274424A patent/IL274424B2/en unknown
- 2018-11-09 WO PCT/US2018/060158 patent/WO2019099305A1/en unknown
- 2018-11-09 AU AU2018368279A patent/AU2018368279A1/en not_active Abandoned
- 2018-11-09 US US16/185,582 patent/US11048978B2/en active Active
-
2021
- 2021-06-10 US US17/344,758 patent/US11853894B2/en active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160358104A1 (en) | 2015-06-02 | 2016-12-08 | Nec Laboratories America, Inc. | Annealed Sparsity Via Adaptive and Dynamic Shrinking |
Non-Patent Citations (2)
Title |
---|
CHEN, Zhao, et al.,GradNorm: Gradient Normalization for Adaptive Loss Balancing in Deep Multitask Networks,arXiv,v1,2017年11月07日,[online] [検索日:2022.12.20] <URL: https://arxiv.org/abs/1711.02257> |
GRAVES, Alex, et al.,Automated Curriculum Learning for Neural Networks,arXiv,v1,2017年04月10日,[online] [検索日:2022.12.20] <URL: https://arxiv.org/abs/1704.03003> |
Also Published As
Publication number | Publication date |
---|---|
IL274424B1 (en) | 2024-03-01 |
EP3710990A1 (en) | 2020-09-23 |
US20210406609A1 (en) | 2021-12-30 |
JP2021503122A (ja) | 2021-02-04 |
AU2018368279A1 (en) | 2020-05-14 |
IL274424B2 (en) | 2024-07-01 |
IL274424A (en) | 2020-06-30 |
EP3710990A4 (en) | 2021-10-27 |
US20190147298A1 (en) | 2019-05-16 |
US11048978B2 (en) | 2021-06-29 |
CN111328400A (zh) | 2020-06-23 |
KR20200087780A (ko) | 2020-07-21 |
US11853894B2 (en) | 2023-12-26 |
WO2019099305A1 (en) | 2019-05-23 |
CA3080005A1 (en) | 2019-05-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7213241B2 (ja) | ニューラルネットワークに関するマルチタスク学習のためのメタ学習 | |
JP7328993B2 (ja) | ニューラルネットワークの勾配型敵対的訓練 | |
JP7181928B2 (ja) | 深層マルチタスクネットワークにおける適応的損失平衡のための勾配正規化システムおよび方法 | |
JP7305859B2 (ja) | 部屋レイアウト推定方法および技法 | |
US20180144185A1 (en) | Method and apparatus to perform facial expression recognition and training | |
KR102387305B1 (ko) | 멀티모달 데이터 학습 방법 및 장치 | |
KR20200071990A (ko) | 전자 장치 및 그의 3d 이미지 표시 방법 | |
JP2023513613A (ja) | 適応共蒸留モデル | |
JP2017059071A (ja) | 最適化装置、最適化方法および最適化プログラム | |
Li et al. | Smartphone-sensors based activity recognition using IndRNN | |
CN115984963A (zh) | 一种动作计数方法及其相关设备 | |
JP7489247B2 (ja) | プログラム、情報処理方法、情報処理装置及びモデル生成方法 | |
Saurav et al. | Dynamic image networks for human fall detection in 360-degree videos | |
Prieto et al. | Automatic neural-based pattern classification of motion behaviors in autonomous robots | |
CN114254688A (zh) | 一种数据处理方法及其设备 | |
Murata et al. | Proposal and Evaluation of Multi-Object Recognition Method Inspired by Multimodal Information Processing in the Human Brain | |
Subbakrishna Adishesha | Prediction and Estimation of Human Motion using Generative-Adversarial Network |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211102 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211102 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221124 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221223 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230116 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7213241 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |