JP6952201B2 - 質問応答としてのマルチタスク学習 - Google Patents
質問応答としてのマルチタスク学習 Download PDFInfo
- Publication number
- JP6952201B2 JP6952201B2 JP2020542614A JP2020542614A JP6952201B2 JP 6952201 B2 JP6952201 B2 JP 6952201B2 JP 2020542614 A JP2020542614 A JP 2020542614A JP 2020542614 A JP2020542614 A JP 2020542614A JP 6952201 B2 JP6952201 B2 JP 6952201B2
- Authority
- JP
- Japan
- Prior art keywords
- context
- word
- layer
- attention
- encoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012549 training Methods 0.000 claims description 172
- 238000000034 method Methods 0.000 claims description 50
- 238000013519 translation Methods 0.000 claims description 17
- 230000015654 memory Effects 0.000 claims description 13
- 238000003058 natural language processing Methods 0.000 claims description 12
- 239000011159 matrix material Substances 0.000 claims description 7
- 230000007787 long-term memory Effects 0.000 claims description 4
- 230000002457 bidirectional effect Effects 0.000 claims description 3
- 230000006403 short-term memory Effects 0.000 claims description 2
- 239000002131 composite material Substances 0.000 claims 6
- 239000010410 layer Substances 0.000 description 105
- 230000008569 process Effects 0.000 description 22
- 238000010586 diagram Methods 0.000 description 20
- 239000013598 vector Substances 0.000 description 14
- 238000010606 normalization Methods 0.000 description 11
- 230000008451 emotion Effects 0.000 description 8
- 238000012986 modification Methods 0.000 description 8
- 230000004048 modification Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 238000012546 transfer Methods 0.000 description 5
- 230000006872 improvement Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000002996 emotional effect Effects 0.000 description 2
- 238000012886 linear function Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000004836 empirical method Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 238000012856 packing Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/242—Query formulation
- G06F16/243—Natural language query formulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/3332—Query translation
- G06F16/3334—Selection or weighting of terms from queries, including natural language queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3344—Query execution using natural language analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/40—Processing or translation of natural language
- G06F40/55—Rule-based translation
- G06F40/56—Natural language generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/20—Ensemble learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/16—Speech classification or search using artificial neural networks
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/18—Speech classification or search using natural language modelling
- G10L15/1822—Parsing for meaning understanding
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Databases & Information Systems (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Machine Translation (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
本願は、2018年2月9日に出願された米国仮特許出願第62/628,850号及び2018年5月8日に出願された米国非仮特許出願第15/974,118号の利益を主張するものであり、どちらの出願も“Multitask Learning as Question Answering”という表題であり、これら両文献は、その全体が参照により組み込まれる。
の要素としてエンコードされるGloVeエンコーディングに基づいている。いくつかの例では、各ワードのエンコーディングは、各ワードが
の要素としてエンコードされる文字n−gramエンコーディングに基づいている。いくつかの例では、各ワードのエンコーディングは、GloVeと文字エングラム(engram)・エンコーディングとの連結に基づいている。いくつかの例では、ワードにGloVe及び/又は文字n−gramエンコーディングがない場合(例えば、ワードが英語ではない場合)に、GloVeエンコーディングと同じである、平均及び標準偏差を有する(例えば、平均がゼロ、標準偏差が0.4の)正規分布から、ランダム・エンコーディングが選択され、同じランダム・エンコーディングが、それぞれのワードの出現毎に一貫して使用される。
の要素になるように低減される。
が形成され、biLSTM325によってさらにエンコードされて、
が形成される。いくつかの例では、biLSTM320及び/又は325は、コンテキストc及び質問qに対するエンコーディングの次元をさらに低減し得る。biLSTM320及び325のそれぞれは、各タイムステップiにおいて、式2に従ってhi →とhi ←との連結としてhiの出力を生成する。ここで、xは、それぞれのbiLSTMへの入力であり、LSTMは長・短期メモリ・ネットワークに対応する。いくつかの例では、biLSTM320及び/又は325は200の隠れサイズを有しており、
の要素に対する
及び
のエンコーディングの次元をさらに低減する。
hi ←=LSTM(xi,hi+1 ←) 式2(両方で式2)
及び
は、次に、コアテンション(coattention)・レイヤ330に渡される。コアテンション・レイヤ330は、最初にコンテキスト・センチネル(sentinel)・ベクトルを
の先頭に付加し、質問センチネル・ベクトルを
の先頭に付加する。センチネル・ベクトルにより、コアテンション・レイヤ330のコアテンション・メカニズムが2つのシーケンスの間で全てのトークンを整列させるのをやめさせることができる。次に、コアテンション・レイヤ330は、ベクトルを、時間次元に沿ってベクトル
及びベクトル
を積み重ねて、
及び
をそれぞれ取得する。次に、コアテンション・レイヤ330は、式3に従って類似性(affinity)マトリックスAを生成する。
Ac=softmax(A)
Aq=softmax(AT) 式4(両方で式4)
及び
の連結としてコアテンション要約Sを生成する。コアテンション要約Sには一連のベクトルsが含まれており、sからの(センチネル位置に対応する)第1のベクトルは削除できる。次に、SがbiLSTM340に渡される。biLSTM340は、位置エンコーディングが追加される出力
を生成する。
は、マルチレイヤのセルフアテンション(self-attention)ベースのトランスフォーマの各レイヤiのエンコーディング
を生成するマルチレイヤのセルフアテンションベースのトランスフォーマに渡される。図3に示されるように、マルチレイヤのセルフアテンションベースのトランスフォーマはトランスフォーマ・レイヤ351及び352を含む。また、マルチレイヤのセルフアテンションベースのトランスフォーマが2つのレイヤで示されているが、いくつかの実施形態では、マルチレイヤのセルフアテンションベースのトランスフォーマは、単一のレイヤのみ又は3つ以上のレイヤを含むことができる。各トランスフォーマ・レイヤ351及び352は、図4及び図5に関して以下でさらに詳細に説明するように、残余接続(residual connection)及びレイヤ正規化とともに位置毎に完全に接続されたフィードフォワード・ネットワークが続くマルチヘッドのセルフアテンション・メカニズムを含む。
、キーk
及び値
を受け取る。q、k、及びvのそれぞれは、式6〜式8に従って、それぞれの重みWQ410、WK420、及びWV430の影響を受ける。重みWQ410、WK420、及びWV430は、バック・プロパゲーション(back propagation)を使用した訓練中に変更される。
arXiv preprint arXiv: 1706.03762にさらに記載されており、この文献は、その全体が参照により組み込まれる。
出力が提供される。マルチヘッドのアテンション・レイヤ521の各ヘッドは、アテンション・ネットワーク400と一致する。いくつかの例では、マルチヘッドのアテンション・レイヤ522は、3つのヘッドを含むが、2つ又は3つ以上等の他の数のヘッドが可能である。いくつかの例では、各アテンション・レイヤの次元は200であり、隠れサイズは128である。マルチヘッドのアテンション・レイヤ522の出力は、フィードフォワード・ネットワーク523に提供され、フィードフォワード・ネットワーク523の入力と出力との両方が、エンコード化レイヤ510のレイヤ出力を生成する追加及び正規化モジュール524に提供される。いくつかの例では、フィードフォワード・ネットワーク523及び追加及び正規化モジュール524は、それぞれ、フィードフォワード・ネットワーク512及び追加及び正規化モジュール513と実質的に同様である。
)がbiLSTM360に渡され、biLSTM360は最終的なエンコード化シーケンスhを生成する。次に、図6に関して以下でさらに詳細に説明するように、最終的なエンコード化シーケンスhは、ワード生成器(word generator)370に渡される。いくつかの例では、biLSTM360は、200の隠れサイズを有する。
との連結に基づいて、式12を使用して、コンテキスト調整済み隠れ状態
を生成する。
に基づいて、各エンコード化時間ステップの現在のデコーダ状態への関連性を表すアテンション重みαtのベクトルを生成する。ここで、Hは時間次元に亘って積み重ねられたhの要素であり、W1及びb1は、アテンション・レイヤ620の訓練可能な重み及びバイアスである。
に基づいて、現在のタイムステップの隠れ状態
を生成する。ここで、Hは時間次元に亘って積み重ねられたhの要素であり、W2及びb2は、tanhレイヤ630の訓練可能な重み及びバイアスである。
に基づいて、式15を使用して、回答pの次のワードptとしての候補である語彙pvocab(wt)内の各ワードの分布状態を生成する。ここで、Wout及びboutは、softmaxレイヤ640の訓練可能な重み及びバイアスである。
、コンテキスト調整済み隠れ状態
、及びマルチレイヤのセルフアテンションベースのトランスフォーマのデコーダ側からの以前の入力zt−1の連結に基づいて、式17を使用して重み係数γを生成する。ここで、σは、対数シグモイド(log-sigmoid)、双曲線正接シグモイド等のシグモイド伝達関数を表し、及び/又はWswitchは、重み係数レイヤの訓練可能な重みである。いくつかの例では、重み係数γは、訓練可能なバイアスbswitchを使用してさらに決定してもよい。
Networks with Multitask Learning,” International Conference on Machine Learning, pp. 160-167、及び橋本らの、“A Joint
Many-task Model: Growing a Neural Network for Multiple NLP Tasks,” Conference
on Empirical Method in Natural Language Processing, 2017, pp. 1923-33に詳細に説明されており、これら文献のそれぞれは、その全体が参照により組み込まれる。
of the National Academy of Sciences, 2017, pp. 3521-3526に詳細に説明されており、この文献はその全体が参照により組み込まれる。
Claims (15)
- 自然言語処理のためのシステムであって、当該システムは、
コンテキスト及び質問を受け取り、前記コンテキストからの第1のワードと前記質問からの第2のワードとをエンコーディングするためのモジュールと、
該モジュールからの出力と回答の一部とを受け取るためのエンコーダ及びデコーダを含むセルフアテンションベースのトランスフォーマと、
前記エンコーダの出力をさらにエンコーディングするための第1の双方向長・短期メモリ(biLSTM)と、
前記デコーダの前記出力及び隠れ状態に基づいてコンテキスト調整済み隠れ状態を生成するための長・短期メモリ(LSTM)と、
前記第1のbiLSTMの出力及び前記LSTMの出力に基づいて、第1のアテンション重みを生成するためのアテンション・ネットワークと、
前記第1のアテンション重みに基づいて、語彙の第3のワードの分布状態を生成するための語彙レイヤと、
前記第1のアテンション重みに基づいて、前記コンテキストから前記第1のワードの分布状態を生成するためのコンテキスト・レイヤと、
スイッチと、を含んでおり、
該スイッチは、
前記コンテキスト調整済み隠れ状態に少なくとも部分的に基づいて、前記語彙からの前記第3のワードの前記分布状態と前記コンテキストからの前記第1のワードの前記分布状態との間の重みを生成し、
前記語彙からの前記第3のワードの前記分布状態と前記コンテキストからの前記第1のワードの前記分布状態との間の前記重みに基づいて、複合(composite)分布状態を生成し、且つ
該複合分布状態を使用して前記回答に含めるワードを選択する、
システム。 - 前記モジュールは、線形レイヤ、該線形レイヤに接続された第2のbiLSTM、該第2のbiLSTMに接続されたコアテンション・レイヤ、及び該コアテンション・レイヤに接続された第3のbiLSTMを含む、請求項1に記載のシステム。
- 前記コアテンション・レイヤは、
前記コンテキストと前記質問とのエンコーディングされた表現同士の間の類似性マトリックスを生成し、
該類似性マトリックスに基づいて、第2のアテンション重みを生成し、且つ
該第2のアテンション重みを使用して、前記コンテキストと前記質問との加重和を生成する、請求項2に記載のシステム。 - 前記語彙レイヤは、
前記第1のアテンション重み、前記エンコーダの前記出力の更なるエンコーディング、及び前記コンテキスト調整済み隠れ状態に基づいて、前記隠れ状態を生成するためのtanhレイヤと、
前記隠れ状態に基づいて、前記語彙内の前記第3のワードの前記分布状態を生成するためのsoftmaxレイヤと、を含む、請求項1乃至3のいずれか一項に記載のシステム。 - 前記セルフアテンションベースのトランスフォーマ、前記LSTM、前記アテンション・ネットワーク、前記語彙レイヤ、前記コンテキスト・レイヤ、及び前記スイッチは、前記回答の各ワードを繰り返し選択する、請求項1乃至4のいずれか一項に記載のシステム。
- 前記トランスフォーマは複数のトランスフォーマ・レイヤを含み、該複数のトランスフォーマ・レイヤのそれぞれが、第1のマルチヘッドのセルフアテンション・ネットワークを有するエンコーダ部と、第2のマルチヘッドのセルフアテンション・ネットワーク及び第3のマルチヘッドのアテンション・ネットワークを有するデコーダ部とを含む、請求項1乃至5のいずれか一項に記載のシステム。
- 前記システムは、該システムが、シーケンシャル訓練戦略を使用して複数のタスクタイプに対して最初に訓練され、次にジョイント訓練戦略を使用して前記複数のタスクタイプに対して訓練されるハイブリッド式訓練戦略を使用して訓練される、請求項1乃至6のいずれか一項に記載のシステム。
- 前記複数のタスクタイプのそれぞれが、言語翻訳タスクタイプ、分類タスクタイプ、又は質問応答タスクタイプである、請求項7に記載のシステム。
- 自然言語処理のための方法であって、当該方法は、
コンテキストからの第1のワードと質問からの第2のワードとを受け取るステップと、
前記コンテキストからの前記第1のワードと前記質問からの前記第2のワードをエンコーディングして、第1のエンコーディングを生成するステップと、
セルフアテンションベースのトランスフォーマを使用して、前記第1のエンコーディングをさらにエンコーディングして、前記コンテキストからの前記第1のワードと前記質問からの前記第2のワードとの第2のエンコーディングを生成するステップと、
前記セルフアテンションベースのトランスフォーマを使用して、前記第2のエンコーディングをデコーディングして、デコーダ出力を生成するステップと、
第1の双方向長・短期メモリ(biLSTM)を使用して、前記第2のエンコーディングをさらにエンコーディングして、第3のエンコーディングを生成するステップと、
長・短期記憶(LSTM)を使用して、前記第3のエンコーディングと隠れ状態とに基づいてコンテキスト調整済み隠れ状態を生成するステップと、
アテンション・ネットワークを使用して、前記第3のエンコーディングと前記コンテキスト調整済み隠れ状態とに基づいて、第1のアテンション重みを生成するステップと、
語彙レイヤを使用して、前記第1のアテンション重みに基づいて、語彙の第3のワードの分布状態を生成するステップと、
コンテキスト・レイヤを使用して、前記第1のアテンション重みに基づいて、前記コンテキストから前記第1のワードの分布状態を生成するステップと、
スイッチを使用して、前記コンテキスト調整済み隠れ状態に少なくとも部分的に基づいて、前記語彙からの前記第3のワードの前記分布状態と前記コンテキストからの前記第1のワードの前記分布状態との間の重みを生成するステップと、
前記スイッチを使用して、前記語彙からの前記第3のワードの前記分布状態と前記コンテキストからの前記第1のワードの前記分布状態との間の前記重みに基づいて、複合分布状態を生成するステップと、
前記スイッチを使用して、前記複合分布状態を使用して回答に含めるワードを選択するステップと、を含む、
方法。 - コアテンション・レイヤを使用して、前記コンテキストと前記質問とのエンコーディングされた表現同士の間の類似性マトリックスを生成するステップと、
前記コアテンション・レイヤを使用して、前記類似性マトリックスに基づいて第2のアテンション重みを生成するステップと、
前記コアテンション・レイヤを使用して、前記第2のアテンション重みを使用して前記コンテキストと前記質問との加重和を生成するステップと、をさらに含む、請求項9に記載の方法。 - 前記語彙レイヤのtanhレイヤを使用して、前記第1のアテンション重み、前記第2のエンコーディング、及び前記コンテキスト調整済み隠れ状態に基づいて、前記隠れ状態を生成するステップと、
前記語彙レイヤのsoftmaxレイヤを使用して、前記隠れ状態に基づいて、前記語彙内の前記第3のワードの前記分布状態を生成するステップと、をさらに含む、請求項9又は10に記載の方法。 - 前記セルフアテンションベースのトランスフォーマ、前記LSTM、前記アテンション・ネットワーク、前記語彙レイヤ、前記コンテキスト・レイヤ、及び前記スイッチを使用して、前記回答の各ワードを繰り返し選択するステップをさらに含む、請求項9乃至11のいずれか一項に記載の方法。
- 前記第2のエンコーディングを生成するステップは、1つ又は複数のエンコーディングレイヤを使用するステップを含み、各エンコーディングレイヤには、第1のマルチヘッドのセルフアテンション・ネットワークが含まれ、
前記デコーダ出力を生成するステップは、1つ又は複数のデコーディングレイヤを使用するステップを含み、各デコーディングレイヤには、第2のマルチヘッドのセルフアテンション・ネットワーク及び第3のマルチヘッドのアテンション・ネットワークが含まれる、請求項9乃至12のいずれか一項に記載の方法。 - 複数の機械可読命令を含む非一時的な機械可読媒体であって、前記命令がコンピュータ装置に関連付けられた1つ又は複数のプロセッサによって実行されたときに、該1つ又は複数のプロセッサに、
コンテキストからの第1のワードと質問からの第2のワードとを受け取ること、
前記コンテキストからの前記第1のワードと前記質問からの前記第2のワードとをエンコーディングして、第1のエンコーディングを生成すること、
セルフアテンションを使用して、前記第1のエンコーディングをさらにエンコーディングして、前記コンテキストからの前記第1のワードと前記質問からの前記第2のワードとの第2のエンコーディングを生成すること、
セルフアテンションを使用して、前記第2のエンコーディングをデコーディングして、デコーダ出力を生成すること、
前記第2のエンコーディングをさらにエンコーディングして、第3のエンコーディングを生成すること、
前記第3のエンコーディングと隠れ状態とに基づいてコンテキスト調整済み隠れ状態を生成すること、
前記第3のエンコーディングと前記コンテキスト調整済み隠れ状態とに基づいて、第1のアテンション重みを生成すること、
前記第1のアテンション重みに基づいて、語彙の第3のワードの分布状態を生成すること、
前記第1のアテンション重みに基づいて、前記コンテキストから前記第1のワードの分布状態を生成すること、
前記コンテキスト調整済み隠れ状態に少なくとも部分的に基づいて、前記語彙からの前記第3のワードの前記分布状態と前記コンテキストからの前記第1のワードの前記分布状態との間の重みを生成すること、
前記語彙からの前記第3のワードの前記分布状態と前記コンテキストからの前記第1のワードの前記分布状態との間の前記重みに基づいて、複合分布状態を生成すること、及び
前記複合分布状態を使用して、回答に含めるワードを選択すること、を実行させる段階を含むように適合される、
非一時的な機械可読媒体。 - 前記段階には、
前記コンテキストと前記質問とのエンコーディングされた表現同士の間の類似性マトリックスを生成すること、
該類似性マトリックスに基づいて、第2のアテンション重みを生成すること、及び
該第2のアテンション重みを使用して、前記コンテキストと前記質問との加重和を生成することがさらに含まれる、請求項14に記載の非一時的な機械可読媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021156339A JP7285895B2 (ja) | 2018-02-09 | 2021-09-27 | 質問応答としてのマルチタスク学習 |
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201862628850P | 2018-02-09 | 2018-02-09 | |
US62/628,850 | 2018-02-09 | ||
US15/974,118 | 2018-05-08 | ||
US15/974,118 US10776581B2 (en) | 2018-02-09 | 2018-05-08 | Multitask learning as question answering |
PCT/US2019/015909 WO2019156875A1 (en) | 2018-02-09 | 2019-01-30 | Multitask learning as question answering |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021156339A Division JP7285895B2 (ja) | 2018-02-09 | 2021-09-27 | 質問応答としてのマルチタスク学習 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021507429A JP2021507429A (ja) | 2021-02-22 |
JP6952201B2 true JP6952201B2 (ja) | 2021-10-20 |
Family
ID=67540543
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020542614A Active JP6952201B2 (ja) | 2018-02-09 | 2019-01-30 | 質問応答としてのマルチタスク学習 |
JP2020542861A Active JP7109557B2 (ja) | 2018-02-09 | 2019-01-30 | 質問応答としてのマルチタスク学習 |
JP2021156339A Active JP7285895B2 (ja) | 2018-02-09 | 2021-09-27 | 質問応答としてのマルチタスク学習 |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020542861A Active JP7109557B2 (ja) | 2018-02-09 | 2019-01-30 | 質問応答としてのマルチタスク学習 |
JP2021156339A Active JP7285895B2 (ja) | 2018-02-09 | 2021-09-27 | 質問応答としてのマルチタスク学習 |
Country Status (5)
Country | Link |
---|---|
US (3) | US11501076B2 (ja) |
EP (2) | EP3750111A1 (ja) |
JP (3) | JP6952201B2 (ja) |
CN (2) | CN111712836B (ja) |
WO (2) | WO2019156875A1 (ja) |
Families Citing this family (124)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10565305B2 (en) | 2016-11-18 | 2020-02-18 | Salesforce.Com, Inc. | Adaptive attention model for image captioning |
US11386327B2 (en) | 2017-05-18 | 2022-07-12 | Salesforce.Com, Inc. | Block-diagonal hessian-free optimization for recurrent and convolutional neural networks |
US10817650B2 (en) | 2017-05-19 | 2020-10-27 | Salesforce.Com, Inc. | Natural language processing using context specific word vectors |
US10542270B2 (en) | 2017-11-15 | 2020-01-21 | Salesforce.Com, Inc. | Dense video captioning |
US11501076B2 (en) | 2018-02-09 | 2022-11-15 | Salesforce.Com, Inc. | Multitask learning as question answering |
US10929607B2 (en) | 2018-02-22 | 2021-02-23 | Salesforce.Com, Inc. | Dialogue state tracking using a global-local encoder |
US11227218B2 (en) | 2018-02-22 | 2022-01-18 | Salesforce.Com, Inc. | Question answering from minimal context over documents |
US10783875B2 (en) | 2018-03-16 | 2020-09-22 | Salesforce.Com, Inc. | Unsupervised non-parallel speech domain adaptation using a multi-discriminator adversarial network |
US11106182B2 (en) | 2018-03-16 | 2021-08-31 | Salesforce.Com, Inc. | Systems and methods for learning for domain adaptation |
US11600194B2 (en) * | 2018-05-18 | 2023-03-07 | Salesforce.Com, Inc. | Multitask learning as question answering |
US10909157B2 (en) | 2018-05-22 | 2021-02-02 | Salesforce.Com, Inc. | Abstraction of text summarization |
US10740536B2 (en) * | 2018-08-06 | 2020-08-11 | International Business Machines Corporation | Dynamic survey generation and verification |
US10970486B2 (en) | 2018-09-18 | 2021-04-06 | Salesforce.Com, Inc. | Using unstructured input to update heterogeneous data stores |
US11436481B2 (en) | 2018-09-18 | 2022-09-06 | Salesforce.Com, Inc. | Systems and methods for named entity recognition |
US11087177B2 (en) | 2018-09-27 | 2021-08-10 | Salesforce.Com, Inc. | Prediction-correction approach to zero shot learning |
US11029694B2 (en) | 2018-09-27 | 2021-06-08 | Salesforce.Com, Inc. | Self-aware visual-textual co-grounded navigation agent |
US11645509B2 (en) | 2018-09-27 | 2023-05-09 | Salesforce.Com, Inc. | Continual neural network learning via explicit structure learning |
US11514915B2 (en) | 2018-09-27 | 2022-11-29 | Salesforce.Com, Inc. | Global-to-local memory pointer networks for task-oriented dialogue |
US10891951B2 (en) * | 2018-10-17 | 2021-01-12 | Ford Global Technologies, Llc | Vehicle language processing |
CN109543824B (zh) * | 2018-11-30 | 2023-05-23 | 腾讯科技(深圳)有限公司 | 一种序列模型的处理方法和装置 |
US11822897B2 (en) | 2018-12-11 | 2023-11-21 | Salesforce.Com, Inc. | Systems and methods for structured text translation with tag alignment |
US10963652B2 (en) | 2018-12-11 | 2021-03-30 | Salesforce.Com, Inc. | Structured text translation |
CN109800294B (zh) * | 2019-01-08 | 2020-10-13 | 中国科学院自动化研究所 | 基于物理环境博弈的自主进化智能对话方法、系统、装置 |
US11922323B2 (en) | 2019-01-17 | 2024-03-05 | Salesforce, Inc. | Meta-reinforcement learning gradient estimation with variance reduction |
US11966389B2 (en) * | 2019-02-13 | 2024-04-23 | International Business Machines Corporation | Natural language to structured query generation via paraphrasing |
US11568306B2 (en) | 2019-02-25 | 2023-01-31 | Salesforce.Com, Inc. | Data privacy protected machine learning systems |
US11366969B2 (en) | 2019-03-04 | 2022-06-21 | Salesforce.Com, Inc. | Leveraging language models for generating commonsense explanations |
US11003867B2 (en) | 2019-03-04 | 2021-05-11 | Salesforce.Com, Inc. | Cross-lingual regularization for multilingual generalization |
US11087092B2 (en) | 2019-03-05 | 2021-08-10 | Salesforce.Com, Inc. | Agent persona grounded chit-chat generation framework |
US11580445B2 (en) | 2019-03-05 | 2023-02-14 | Salesforce.Com, Inc. | Efficient off-policy credit assignment |
US10902289B2 (en) | 2019-03-22 | 2021-01-26 | Salesforce.Com, Inc. | Two-stage online detection of action start in untrimmed videos |
US11281863B2 (en) | 2019-04-18 | 2022-03-22 | Salesforce.Com, Inc. | Systems and methods for unifying question answering and text classification via span extraction |
US11487939B2 (en) | 2019-05-15 | 2022-11-01 | Salesforce.Com, Inc. | Systems and methods for unsupervised autoregressive text compression |
US11620572B2 (en) | 2019-05-16 | 2023-04-04 | Salesforce.Com, Inc. | Solving sparse reward tasks using self-balancing shaped rewards |
US11562251B2 (en) | 2019-05-16 | 2023-01-24 | Salesforce.Com, Inc. | Learning world graphs to accelerate hierarchical reinforcement learning |
US11604965B2 (en) | 2019-05-16 | 2023-03-14 | Salesforce.Com, Inc. | Private deep learning |
US11775775B2 (en) | 2019-05-21 | 2023-10-03 | Salesforce.Com, Inc. | Systems and methods for reading comprehension for a question answering task |
US11687588B2 (en) | 2019-05-21 | 2023-06-27 | Salesforce.Com, Inc. | Weakly supervised natural language localization networks for video proposal prediction based on a text query |
US11669712B2 (en) | 2019-05-21 | 2023-06-06 | Salesforce.Com, Inc. | Robustness evaluation via natural typos |
US11657269B2 (en) | 2019-05-23 | 2023-05-23 | Salesforce.Com, Inc. | Systems and methods for verification of discriminative models |
CN110427490B (zh) * | 2019-07-03 | 2021-11-09 | 华中科技大学 | 一种基于自注意力机制的情感对话生成方法与装置 |
US11615240B2 (en) | 2019-08-15 | 2023-03-28 | Salesforce.Com, Inc | Systems and methods for a transformer network with tree-based attention for natural language processing |
CN110597970B (zh) * | 2019-08-19 | 2023-04-07 | 华东理工大学 | 一种多粒度医疗实体联合识别的方法及装置 |
CN110598221B (zh) * | 2019-08-29 | 2020-07-07 | 内蒙古工业大学 | 利用生成对抗网络构造蒙汉平行语料提高蒙汉翻译质量的方法 |
CN110704588B (zh) * | 2019-09-04 | 2023-05-30 | 平安科技(深圳)有限公司 | 基于长短期记忆网络的多轮对话语义分析方法和系统 |
US11600067B2 (en) * | 2019-09-12 | 2023-03-07 | Nec Corporation | Action recognition with high-order interaction through spatial-temporal object tracking |
CN110766955B (zh) * | 2019-09-18 | 2022-08-26 | 平安科技(深圳)有限公司 | 基于动作预测模型的信号调节方法、装置和计算机设备 |
US11599792B2 (en) | 2019-09-24 | 2023-03-07 | Salesforce.Com, Inc. | System and method for learning with noisy labels as semi-supervised learning |
US11568000B2 (en) | 2019-09-24 | 2023-01-31 | Salesforce.Com, Inc. | System and method for automatic task-oriented dialog system |
US11640527B2 (en) | 2019-09-25 | 2023-05-02 | Salesforce.Com, Inc. | Near-zero-cost differentially private deep learning with teacher ensembles |
CN110674783B (zh) * | 2019-10-08 | 2022-06-28 | 山东浪潮科学研究院有限公司 | 一种基于多级预测架构的视频描述方法及系统 |
KR20210043995A (ko) * | 2019-10-14 | 2021-04-22 | 삼성전자주식회사 | 모델 학습 방법 및 장치, 및 시퀀스 인식 방법 |
CN110738059B (zh) * | 2019-10-21 | 2023-07-14 | 支付宝(杭州)信息技术有限公司 | 一种文本相似度计算方法及系统 |
CN110866098B (zh) * | 2019-10-29 | 2022-10-28 | 平安科技(深圳)有限公司 | 基于transformer和lstm的机器阅读方法、装置及可读存储介质 |
US11620515B2 (en) | 2019-11-07 | 2023-04-04 | Salesforce.Com, Inc. | Multi-task knowledge distillation for language model |
US11347708B2 (en) | 2019-11-11 | 2022-05-31 | Salesforce.Com, Inc. | System and method for unsupervised density based table structure identification |
US11288438B2 (en) | 2019-11-15 | 2022-03-29 | Salesforce.Com, Inc. | Bi-directional spatial-temporal reasoning for video-grounded dialogues |
US11334766B2 (en) | 2019-11-15 | 2022-05-17 | Salesforce.Com, Inc. | Noise-resistant object detection with noisy annotations |
US11537899B2 (en) | 2019-11-18 | 2022-12-27 | Salesforce.Com, Inc. | Systems and methods for out-of-distribution classification |
US11922303B2 (en) | 2019-11-18 | 2024-03-05 | Salesforce, Inc. | Systems and methods for distilled BERT-based training model for text classification |
KR20210071471A (ko) * | 2019-12-06 | 2021-06-16 | 삼성전자주식회사 | 뉴럴 네트워크의 행렬 곱셈 연산을 수행하는 장치 및 방법 |
CN110969010A (zh) * | 2019-12-06 | 2020-04-07 | 浙江大学 | 一种基于关系指导及双通道交互机制的问题生成方法 |
CN111027562B (zh) * | 2019-12-06 | 2023-07-18 | 中电健康云科技有限公司 | 基于多尺度cnn和结合注意力机制的rnn的光学字符识别方法 |
US11748356B2 (en) | 2019-12-06 | 2023-09-05 | Nec Corporation | Answering complex queries in knowledge graphs with bidirectional sequence encoders |
US11640505B2 (en) | 2019-12-09 | 2023-05-02 | Salesforce.Com, Inc. | Systems and methods for explicit memory tracker with coarse-to-fine reasoning in conversational machine reading |
US11416688B2 (en) | 2019-12-09 | 2022-08-16 | Salesforce.Com, Inc. | Learning dialogue state tracking with limited labeled data |
US11487999B2 (en) | 2019-12-09 | 2022-11-01 | Salesforce.Com, Inc. | Spatial-temporal reasoning through pretrained language models for video-grounded dialogues |
US12086539B2 (en) | 2019-12-09 | 2024-09-10 | Salesforce, Inc. | System and method for natural language processing using neural network with cross-task training |
US11256754B2 (en) | 2019-12-09 | 2022-02-22 | Salesforce.Com, Inc. | Systems and methods for generating natural language processing training samples with inflectional perturbations |
US11573957B2 (en) | 2019-12-09 | 2023-02-07 | Salesforce.Com, Inc. | Natural language processing engine for translating questions into executable database queries |
CN111160038A (zh) * | 2019-12-16 | 2020-05-15 | 浙江大学 | 一种基于自注意机制进行视频对话答案与问题的生成方法 |
CN111160050A (zh) * | 2019-12-20 | 2020-05-15 | 沈阳雅译网络技术有限公司 | 一种基于上下文记忆网络的篇章级神经机器翻译方法 |
CN111125316B (zh) * | 2019-12-26 | 2022-04-22 | 北京工业大学 | 一种融合多损失函数及注意力机制的知识库问答方法 |
US11669745B2 (en) | 2020-01-13 | 2023-06-06 | Salesforce.Com, Inc. | Proposal learning for semi-supervised object detection |
CN111241244A (zh) * | 2020-01-14 | 2020-06-05 | 平安科技(深圳)有限公司 | 基于大数据的答案位置获取方法、装置、设备及介质 |
US11562147B2 (en) | 2020-01-23 | 2023-01-24 | Salesforce.Com, Inc. | Unified vision and dialogue transformer with BERT |
US20210249105A1 (en) | 2020-02-06 | 2021-08-12 | Salesforce.Com, Inc. | Systems and methods for language modeling of protein engineering |
US11921711B2 (en) * | 2020-03-06 | 2024-03-05 | Alibaba Group Holding Limited | Trained sequence-to-sequence conversion of database queries |
CN111476031A (zh) * | 2020-03-11 | 2020-07-31 | 重庆邮电大学 | 一种基于Lattice-LSTM的改进中文命名实体识别方法 |
US11263476B2 (en) | 2020-03-19 | 2022-03-01 | Salesforce.Com, Inc. | Unsupervised representation learning with contrastive prototypes |
CN111582020B (zh) * | 2020-03-25 | 2024-06-18 | 平安科技(深圳)有限公司 | 信号处理方法、装置、计算机设备及存储介质 |
US11328731B2 (en) | 2020-04-08 | 2022-05-10 | Salesforce.Com, Inc. | Phone-based sub-word units for end-to-end speech recognition |
CN111241263A (zh) * | 2020-04-24 | 2020-06-05 | 支付宝(杭州)信息技术有限公司 | 文本生成方法、装置和电子设备 |
US11669699B2 (en) | 2020-05-31 | 2023-06-06 | Saleforce.com, inc. | Systems and methods for composed variational natural language generation |
US11720559B2 (en) | 2020-06-02 | 2023-08-08 | Salesforce.Com, Inc. | Bridging textual and tabular data for cross domain text-to-query language semantic parsing with a pre-trained transformer language encoder and anchor text |
CN111723548B (zh) * | 2020-06-10 | 2024-04-30 | 腾讯科技(深圳)有限公司 | 评论扩展方法及装置 |
CN111813895B (zh) * | 2020-08-07 | 2022-06-03 | 深圳职业技术学院 | 一种基于层次注意力机制和门机制的属性级别情感分析方法 |
US20220050877A1 (en) | 2020-08-14 | 2022-02-17 | Salesforce.Com, Inc. | Systems and methods for query autocompletion |
US11934952B2 (en) | 2020-08-21 | 2024-03-19 | Salesforce, Inc. | Systems and methods for natural language processing using joint energy-based models |
US11934781B2 (en) | 2020-08-28 | 2024-03-19 | Salesforce, Inc. | Systems and methods for controllable text summarization |
CN112100328B (zh) * | 2020-08-31 | 2023-05-30 | 广州探迹科技有限公司 | 一种基于多轮对话的意向判断方法 |
CN111815426B (zh) * | 2020-09-11 | 2020-12-15 | 深圳司南数据服务有限公司 | 一种涉及金融投研的数据处理方法及终端 |
CN112131362B (zh) * | 2020-09-22 | 2023-12-12 | 腾讯科技(深圳)有限公司 | 对话语句生成方法和装置、存储介质及电子设备 |
US11995111B2 (en) * | 2020-11-13 | 2024-05-28 | Tencent America LLC | Efficient and compact text matching system for sentence pairs |
US11829442B2 (en) | 2020-11-16 | 2023-11-28 | Salesforce.Com, Inc. | Methods and systems for efficient batch active learning of a deep neural network |
CN112131370B (zh) * | 2020-11-23 | 2021-03-12 | 四川大学 | 问答模型构建方法及系统、问答方法及装置、审判系统 |
CN112508265A (zh) * | 2020-12-02 | 2021-03-16 | 中国极地研究中心 | 面向业务流程管理的时间与活动多任务预测方法及系统 |
CN113377961B (zh) * | 2020-12-07 | 2022-12-06 | 北京理工大学 | 基于知识图谱和用户主题的意图-语义槽联合识别系统 |
CN112487172B (zh) * | 2020-12-16 | 2023-07-18 | 北京航空航天大学 | 一种面向深度答案推荐模型的主动学习方法 |
CN112257393B (zh) * | 2020-12-22 | 2021-04-13 | 北京百度网讯科技有限公司 | 实现文本生成的方法、装置、设备和介质 |
CN112669816B (zh) * | 2020-12-24 | 2023-06-02 | 北京有竹居网络技术有限公司 | 模型的训练方法、语音识别方法、装置、介质及设备 |
CN112905819B (zh) * | 2021-01-06 | 2022-09-23 | 中国石油大学(华东) | 基于复合注意力的原始特征注入网络的视觉问答方法 |
CN112699244A (zh) * | 2021-03-16 | 2021-04-23 | 成都信息工程大学 | 基于深度学习的输变电设备缺陷文本分类方法及系统 |
CN112905777B (zh) * | 2021-03-19 | 2023-10-17 | 北京百度网讯科技有限公司 | 一种扩展问推荐方法、装置、电子设备及存储介质 |
US11715480B2 (en) * | 2021-03-23 | 2023-08-01 | Qualcomm Incorporated | Context-based speech enhancement |
CN113127591B (zh) * | 2021-04-13 | 2022-09-23 | 河海大学 | 一种基于Transformer和LSTM的位置预测方法 |
CN113011196B (zh) * | 2021-04-28 | 2023-01-10 | 陕西文都教育科技有限公司 | 一种概念增强表示与单向蕴含注意力的主观题自动阅卷神经网络模型 |
CN115438156B (zh) * | 2021-05-17 | 2024-02-02 | 中山大学 | 一种多任务学习的答案选择和问题分类的方法及系统 |
CN113761157B (zh) * | 2021-05-28 | 2024-05-24 | 腾讯科技(深圳)有限公司 | 应答语句生成方法和装置 |
CN113032545B (zh) * | 2021-05-29 | 2021-09-03 | 成都晓多科技有限公司 | 基于无监督对话预训练的对话理解与答案配置方法及系统 |
CN113901191A (zh) * | 2021-06-16 | 2022-01-07 | 北京金山数字娱乐科技有限公司 | 问答模型的训练方法及装置 |
CN113627196A (zh) * | 2021-07-21 | 2021-11-09 | 前海企保科技(深圳)有限公司 | 一种基于语境和Transformer的多语言对话机器人系统及其对话方法 |
US11520815B1 (en) * | 2021-07-30 | 2022-12-06 | Dsilo, Inc. | Database query generation using natural language text |
US11615523B2 (en) | 2021-08-18 | 2023-03-28 | Zhejiang Gongshang University | Methods for recognizing small targets based on deep learning networks |
CN113673594B (zh) * | 2021-08-18 | 2022-07-12 | 浙江工商大学 | 一种基于深度学习网络的瑕疵点识别方法 |
CN113704437B (zh) * | 2021-09-03 | 2023-08-11 | 重庆邮电大学 | 一种融合多头注意力机制和相对位置编码的知识库问答方法 |
CN115796167A (zh) * | 2021-09-07 | 2023-03-14 | 株式会社理光 | 机器阅读理解方法、装置及计算机可读存储介质 |
CN113779252A (zh) * | 2021-09-09 | 2021-12-10 | 安徽理工大学 | 一种基于electra+atten+BiLSTM的针对中文短文本情感分类方法 |
CN113901172B (zh) * | 2021-09-16 | 2024-04-26 | 昆明理工大学 | 基于关键词结构编码的涉案微博评价对象抽取方法 |
CN113627195B (zh) * | 2021-10-14 | 2022-01-18 | 华东交通大学 | 基于层次Transformer和图神经网络的评论情感分析方法及系统 |
CN114840648B (zh) * | 2022-03-21 | 2024-08-20 | 阿里巴巴(中国)有限公司 | 答案生成方法、装置及计算机程序产品 |
KR20240027347A (ko) * | 2022-08-23 | 2024-03-04 | 주식회사 Lg 경영개발원 | 입력 시퀀스를 변환하기 위한 시퀀스 변환 신경망 구현 장치 및 이를 이용한 학습 방법 |
CN115392260B (zh) * | 2022-10-31 | 2023-04-07 | 暨南大学 | 一种面向特定目标的社交媒体推文情感分析方法 |
CN116737894B (zh) * | 2023-06-02 | 2024-02-20 | 深圳市客一客信息科技有限公司 | 基于模型训练的智能机器人服务系统 |
Family Cites Families (64)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040044791A1 (en) * | 2001-05-22 | 2004-03-04 | Pouzzner Daniel G. | Internationalized domain name system with iterative conversion |
US8355550B2 (en) | 2007-05-01 | 2013-01-15 | Siemens Aktiengesellschaft | Methods and apparatus for virtual coronary mapping |
US8121367B2 (en) | 2007-09-21 | 2012-02-21 | Siemens Aktiengesellschaft | Method and system for vessel segmentation in fluoroscopic images |
US10224036B2 (en) * | 2010-10-05 | 2019-03-05 | Infraware, Inc. | Automated identification of verbal records using boosted classifiers to improve a textual transcript |
KR101303936B1 (ko) | 2011-11-28 | 2013-09-05 | 한국과학기술연구원 | 가스 센서용 복합 분리막 구조체, 이를 포함하는 가스 센서 장치, 이를 이용한 가스 농도 측정 방법 및 장치 |
US20140006012A1 (en) * | 2012-07-02 | 2014-01-02 | Microsoft Corporation | Learning-Based Processing of Natural Language Questions |
US9239828B2 (en) * | 2013-12-05 | 2016-01-19 | Microsoft Technology Licensing, Llc | Recurrent conditional random fields |
US20150179170A1 (en) * | 2013-12-20 | 2015-06-25 | Microsoft Corporation | Discriminative Policy Training for Dialog Systems |
US9842105B2 (en) * | 2015-04-16 | 2017-12-12 | Apple Inc. | Parsimonious continuous-space phrase representations for natural language processing |
US20160350653A1 (en) | 2015-06-01 | 2016-12-01 | Salesforce.Com, Inc. | Dynamic Memory Network |
US11113598B2 (en) | 2015-06-01 | 2021-09-07 | Salesforce.Com, Inc. | Dynamic memory network |
CN106294505B (zh) * | 2015-06-10 | 2020-07-07 | 华中师范大学 | 一种反馈答案的方法和装置 |
US20170140240A1 (en) | 2015-07-27 | 2017-05-18 | Salesforce.Com, Inc. | Neural network combined image and text evaluator and classifier |
US20170032280A1 (en) | 2015-07-27 | 2017-02-02 | Salesforce.Com, Inc. | Engagement estimator |
US10083157B2 (en) * | 2015-08-07 | 2018-09-25 | Google Llc | Text classification and transformation based on author |
CN110688891B (zh) | 2015-08-15 | 2024-05-31 | 硕动力公司 | 采用3d批归一化的三维(3d)卷积 |
US20170076199A1 (en) * | 2015-09-14 | 2017-03-16 | National Institute Of Information And Communications Technology | Neural network system, and computer-implemented method of generating training data for the neural network |
US11010550B2 (en) | 2015-09-29 | 2021-05-18 | Apple Inc. | Unified language modeling framework for word prediction, auto-completion and auto-correction |
JP6447465B2 (ja) | 2015-11-09 | 2019-01-09 | 株式会社デンソー | 運転支援装置 |
US10319374B2 (en) * | 2015-11-25 | 2019-06-11 | Baidu USA, LLC | Deployed end-to-end speech recognition |
US10102844B1 (en) * | 2016-03-29 | 2018-10-16 | Amazon Technologies, Inc. | Systems and methods for providing natural responses to commands |
JP2017204857A (ja) | 2016-05-12 | 2017-11-16 | 現代自動車株式会社Hyundai Motor Company | ネットワークにおいてストリームの通信経路設定方法 |
CN109313540B (zh) * | 2016-05-13 | 2021-12-03 | 微软技术许可有限责任公司 | 口语对话系统的两阶段训练 |
US11580407B2 (en) * | 2016-09-06 | 2023-02-14 | Mitsubishi Electric Corporation | Learning device, signal processing device, and learning method |
US10565493B2 (en) | 2016-09-22 | 2020-02-18 | Salesforce.Com, Inc. | Pointer sentinel mixture architecture |
WO2018058046A1 (en) * | 2016-09-26 | 2018-03-29 | Google Llc | Neural machine translation systems |
US11222253B2 (en) | 2016-11-03 | 2022-01-11 | Salesforce.Com, Inc. | Deep neural network model for processing data through multiple linguistic task hierarchies |
US10366292B2 (en) | 2016-11-03 | 2019-07-30 | Nec Corporation | Translating video to language using adaptive spatiotemporal convolution feature representation with dynamic abstraction |
US10963782B2 (en) | 2016-11-04 | 2021-03-30 | Salesforce.Com, Inc. | Dynamic coattention network for question answering |
US20180129937A1 (en) | 2016-11-04 | 2018-05-10 | Salesforce.Com, Inc. | Quasi-recurrent neural network |
US10565305B2 (en) | 2016-11-18 | 2020-02-18 | Salesforce.Com, Inc. | Adaptive attention model for image captioning |
US10083162B2 (en) | 2016-11-28 | 2018-09-25 | Microsoft Technology Licensing, Llc | Constructing a narrative based on a collection of images |
US10268679B2 (en) * | 2016-12-02 | 2019-04-23 | Microsoft Technology Licensing, Llc | Joint language understanding and dialogue management using binary classification based on forward and backward recurrent neural network |
US11354565B2 (en) | 2017-03-15 | 2022-06-07 | Salesforce.Com, Inc. | Probability-based guider |
US10565318B2 (en) | 2017-04-14 | 2020-02-18 | Salesforce.Com, Inc. | Neural machine translation with latent tree attention |
US10474709B2 (en) | 2017-04-14 | 2019-11-12 | Salesforce.Com, Inc. | Deep reinforced model for abstractive summarization |
US20180299841A1 (en) * | 2017-04-17 | 2018-10-18 | Intel Corporation | Autonomous vehicle neural network optimization |
CN107256228A (zh) | 2017-05-02 | 2017-10-17 | 清华大学 | 基于结构化注意力机制的答案选择系统及方法 |
US10733380B2 (en) | 2017-05-15 | 2020-08-04 | Thomson Reuters Enterprise Center Gmbh | Neural paraphrase generator |
US11386327B2 (en) | 2017-05-18 | 2022-07-12 | Salesforce.Com, Inc. | Block-diagonal hessian-free optimization for recurrent and convolutional neural networks |
US10747761B2 (en) | 2017-05-18 | 2020-08-18 | Salesforce.Com, Inc. | Neural network based translation of natural language queries to database queries |
US10817650B2 (en) | 2017-05-19 | 2020-10-27 | Salesforce.Com, Inc. | Natural language processing using context specific word vectors |
US12014257B2 (en) | 2017-05-19 | 2024-06-18 | Salesforce, Inc. | Domain specific language for generation of recurrent neural network architectures |
CN107357838B (zh) * | 2017-06-23 | 2020-09-01 | 上海交大知识产权管理有限公司 | 基于多任务学习的对话策略在线实现方法 |
CN107562792B (zh) | 2017-07-31 | 2020-01-31 | 同济大学 | 一种基于深度学习的问答匹配方法 |
CN107480144B (zh) * | 2017-08-03 | 2020-10-20 | 中国人民大学 | 具备跨语言学习能力的图像自然语言描述生成方法和装置 |
US10671918B2 (en) | 2017-10-24 | 2020-06-02 | International Business Machines Corporation | Attention based sequential image processing |
US20190130896A1 (en) | 2017-10-26 | 2019-05-02 | Salesforce.Com, Inc. | Regularization Techniques for End-To-End Speech Recognition |
US11928600B2 (en) | 2017-10-27 | 2024-03-12 | Salesforce, Inc. | Sequence-to-sequence prediction using a neural network model |
US10592767B2 (en) | 2017-10-27 | 2020-03-17 | Salesforce.Com, Inc. | Interpretable counting in visual question answering |
US10573295B2 (en) | 2017-10-27 | 2020-02-25 | Salesforce.Com, Inc. | End-to-end speech recognition with policy learning |
US11604956B2 (en) | 2017-10-27 | 2023-03-14 | Salesforce.Com, Inc. | Sequence-to-sequence prediction using a neural network model |
US11170287B2 (en) | 2017-10-27 | 2021-11-09 | Salesforce.Com, Inc. | Generating dual sequence inferences using a neural network model |
US11562287B2 (en) | 2017-10-27 | 2023-01-24 | Salesforce.Com, Inc. | Hierarchical and interpretable skill acquisition in multi-task reinforcement learning |
US10346721B2 (en) | 2017-11-01 | 2019-07-09 | Salesforce.Com, Inc. | Training a neural network using augmented training datasets |
KR20200087780A (ko) * | 2017-11-14 | 2020-07-21 | 매직 립, 인코포레이티드 | 뉴럴 네트워크들에 대한 멀티-태스크 학습을 위한 메타-학습 |
US10542270B2 (en) | 2017-11-15 | 2020-01-21 | Salesforce.Com, Inc. | Dense video captioning |
CN107995535B (zh) | 2017-11-28 | 2019-11-26 | 百度在线网络技术(北京)有限公司 | 一种展示视频的方法、装置、设备和计算机存储介质 |
US11276002B2 (en) | 2017-12-20 | 2022-03-15 | Salesforce.Com, Inc. | Hybrid training of deep networks |
US11501076B2 (en) | 2018-02-09 | 2022-11-15 | Salesforce.Com, Inc. | Multitask learning as question answering |
US11170158B2 (en) * | 2018-03-08 | 2021-11-09 | Adobe Inc. | Abstractive summarization of long documents using deep learning |
AU2019239454B2 (en) * | 2018-03-22 | 2021-12-16 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Method and system for retrieving video temporal segments |
US11055557B2 (en) * | 2018-04-05 | 2021-07-06 | Walmart Apollo, Llc | Automated extraction of product attributes from images |
EP3787372A4 (en) | 2018-04-23 | 2021-12-22 | NGK Insulators, Ltd. | INFRARED RADIATION DEVICE |
-
2018
- 2018-05-08 US US15/974,075 patent/US11501076B2/en active Active
- 2018-05-08 US US15/974,118 patent/US10776581B2/en active Active
-
2019
- 2019-01-30 WO PCT/US2019/015909 patent/WO2019156875A1/en unknown
- 2019-01-30 JP JP2020542614A patent/JP6952201B2/ja active Active
- 2019-01-30 CN CN201980012680.XA patent/CN111712836B/zh active Active
- 2019-01-30 CN CN201980012699.4A patent/CN111699498B/zh active Active
- 2019-01-30 EP EP19705642.7A patent/EP3750111A1/en not_active Withdrawn
- 2019-01-30 WO PCT/US2019/015901 patent/WO2019156873A1/en unknown
- 2019-01-30 JP JP2020542861A patent/JP7109557B2/ja active Active
- 2019-01-30 EP EP19705854.8A patent/EP3750112A1/en not_active Ceased
-
2020
- 2020-08-18 US US16/996,726 patent/US11615249B2/en active Active
-
2021
- 2021-09-27 JP JP2021156339A patent/JP7285895B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
WO2019156873A1 (en) | 2019-08-15 |
JP2021507429A (ja) | 2021-02-22 |
US10776581B2 (en) | 2020-09-15 |
CN111712836A (zh) | 2020-09-25 |
US20190251168A1 (en) | 2019-08-15 |
US11615249B2 (en) | 2023-03-28 |
JP2022023064A (ja) | 2022-02-07 |
JP7285895B2 (ja) | 2023-06-02 |
US20190251431A1 (en) | 2019-08-15 |
US11501076B2 (en) | 2022-11-15 |
CN111699498B (zh) | 2021-08-13 |
CN111699498A (zh) | 2020-09-22 |
EP3750111A1 (en) | 2020-12-16 |
US20200380213A1 (en) | 2020-12-03 |
JP7109557B2 (ja) | 2022-07-29 |
JP2021513165A (ja) | 2021-05-20 |
WO2019156875A1 (en) | 2019-08-15 |
CN111712836B (zh) | 2023-09-19 |
EP3750112A1 (en) | 2020-12-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6952201B2 (ja) | 質問応答としてのマルチタスク学習 | |
JP7408574B2 (ja) | 質問応答としてのマルチタスク学習 | |
US20220044093A1 (en) | Generating dual sequence inferences using a neural network model | |
Kamath et al. | Deep learning for NLP and speech recognition | |
JP7072585B2 (ja) | 文脈固有の単語ベクトルを用いた自然言語処理 | |
Lin et al. | Variational transformers for diverse response generation | |
US20190354567A1 (en) | Universal transformers | |
CN114514540A (zh) | 语言任务的对比预训练 | |
Berger | Large scale multi-label text classification with semantic word vectors | |
CN113641819B (zh) | 基于多任务稀疏共享学习的论辩挖掘系统及方法 | |
JP7276498B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
Glauner | Comparison of training methods for deep neural networks | |
CN115080715B (zh) | 基于残差结构和双向融合注意力的跨度提取阅读理解方法 | |
Amiri | Neural self-training through spaced repetition | |
KR20200023664A (ko) | 응답 추론 방법 및 장치 | |
Andrew et al. | Sequential deep belief networks | |
CN118159985A (zh) | 使用存储器来增强神经网络中的自注意力 | |
Dun et al. | Extending answer prediction for deep bi-directional transformers | |
WO2022185457A1 (ja) | 特徴量抽出装置、学習装置、特徴量抽出方法、学習方法、及びプログラム | |
US20220245432A1 (en) | Machine-Learned Attention Models Featuring Echo-Attention Layers | |
Fan et al. | Augmenting transformers with KNN-based composite memory | |
WO2024192438A1 (en) | Attention neural networks with conditional computation attention layers | |
SOLTANI | LANGUAGE MODELING USING RECURRENT NEURAL NETWORK |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200806 Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200828 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200828 Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200806 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20200828 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20201211 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210302 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210601 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210831 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210927 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6952201 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |