JP7072585B2 - 文脈固有の単語ベクトルを用いた自然言語処理 - Google Patents
文脈固有の単語ベクトルを用いた自然言語処理 Download PDFInfo
- Publication number
- JP7072585B2 JP7072585B2 JP2019561306A JP2019561306A JP7072585B2 JP 7072585 B2 JP7072585 B2 JP 7072585B2 JP 2019561306 A JP2019561306 A JP 2019561306A JP 2019561306 A JP2019561306 A JP 2019561306A JP 7072585 B2 JP7072585 B2 JP 7072585B2
- Authority
- JP
- Japan
- Prior art keywords
- sequence
- encoder
- natural language
- language processing
- processing task
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/12—Use of codes for handling textual entities
- G06F40/126—Character encoding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/40—Processing or translation of natural language
- G06F40/42—Data-driven translation
- G06F40/47—Machine-assisted translation, e.g. using translation memory
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/40—Processing or translation of natural language
- G06F40/42—Data-driven translation
- G06F40/44—Statistical methods, e.g. probability models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/40—Processing or translation of natural language
- G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Machine Translation (AREA)
Description
本願は2018年5月17日に出願された米国特許出願第15/982,841号、2017年5月19日に出願された米国仮特許出願第62/508,977号および2017年7月25日に出願された米国仮特許出願第62/536,959号の優先権を主張するものである。これらの出願の内容はここに参照によってその全体においてあらゆる目的のために組み込まれる。
本開示は、概括的にはニューラル・ネットワークに、より詳細には文脈固有の単語ベクトルを用いた自然言語処理のためのニューラル・ネットワークに関する。
He, et al.、"Deep Residual Learning for Image Recognition"、arXiv:1512.03385、提出日December 10, 2015 Iandola, et al.、"Densenet: Implementing Efficient Convnet Descriptor Pyramids"、arXiv:1404.1869、提出日April 7, 2014 Han, et al.、"Deep Pyramidal Residual Networks"、arXiv:1610.02915、提出日October 10, 2016 Hu, et al.、"Squeeze-and-Excitation Networks"、arXiv:1709.01507、September 5, 2017 Bradbury, et al.、"Quasi-Recurrent Neural Networks"、arXiv:1611.01576、提出日November 5, 2016
Specia, et al.、"A shared task on multimodal machine translation and crosslingual image description"、Proceedings of the 1st Conference on Machine Translation, WMT, 2016, pp.543-553 Cettolo, et al.、"The IWSLT 2015 evaluation campaign"、International Workshop on Spoken Language Translation, 2015 Koehn, et al.、"Moses: Open source toolkit for statistical machine translation"、Proceedings of the 45th Annual Meeting of the Association of the Computational Linguistics, 2007, pp.177-180
h=MT-LSTM(GloVe(wx)) (1)
の、結果として得られるシーケンスを返す。機械翻訳のために、MT-LSTMは、各時間ステップtにおける出力単語にわたる分布
αt=softmax(H(W1ht dec+b1)) (3)
CoVe(w)=MT-LSTM(GloVe(w)) (5)
は、MT-LSTMによって生成されたコンテキスト・ベクトルのシーケンスである。図5の参照に戻ると、たとえばGloVe(w)は320a~eに対応し、CoVe(w)は520a~eに対応する。いくつかの実施形態では、下流のNLPタスクのために、入力シーケンスwについて、GloVe(w)における各ベクトルはCoVe(w)におけるその対応するベクトルと連結されて、ベクトル・シーケンス(w)を生じることができる。
Voorhees, et al.、"The TREC-8 question answering track evaluation"、The Eighth Text Retrieval Conference, volume 1999, p.83 Rajpurkar, et al.、"SQuAD: 100,000+ questions for machine comprehension of text"、arXiv preprint arXiv:1606.05250、提出日June 16, 2016 Socher, et al.、"Recursive deep models for semantic compositionality over a sentiment Treebank"、Empirical Methods in Natural Language Processing, 2013 Maas, et al.、"Learning word vectors for sentiment analysis"、Proceedings of the 49th Annual Meetings of the Association for Computational Linguistics: Human Language Technologies, pp.142-150, Portland, Oregon, USA, June 2011. Association for Computational Linguistics. URL http://www.aclweb.org/anthology.P11-1015 Bowman, et al.、"Recursive neural networks for learning logical semantics"、arXiv preprint arXiv:1406.1827、提出日June 6, 2014
Nair et al.、"Rectified linear units improve restricted Boltzmann machines"、Proceedings of the 27th International Conference on Machine Learning, 2010
Seo, et al.、"Bidirectional attention flow for machine comprehension"、International Conference on Learning Representations, 2017 Xiong, et al.、"Dynamic coattention networks for question answering"、International Conference on Learning Representations, 2017
Ax=softmax(A) Ay=softmax(AT) (9)
これは、タスク固有の表現が同じである(x=y)ときの自己注目の形であることができる。次に、双注目機構836は、各シーケンスを他方のシーケンスで条件付けるよう、文脈要約(context summary)(CxおよびCy)
Cx=Ax TX Cy=Ay TY (10)
を使う。
βx=softmax(X|yv1+d1) βy=softmax(X|xv2+d2) (13)
重み(βxおよびβy)は、各シーケンスの重み付けされた和(xselfおよびyself)を得るために使われる:
xself=X|y Tβx xself=X|y Tβx (14)
プールされた表現は、すべての入力についての一つの結合された表現(xpoolおよびypool)を得るために組み合わされる:
xpool=[max(X|y);mean(X|y);min(X|y);xself] (15)
ypool=[max(Y|x);mean(Y|x);min(Y|x);yself] (16)
Ioffee, et al.、"Batch normalization: Accelerating deep network training by reducing internal covariate shift"、Proceedings of the 32nd International Conference on Machine Learning, 2015 Goodfellow, et al.、"Maxout networks"、Proceedings of the 30th Annual Conference on Machine Learning, 2013
Xiong, et al.、"Dynamic memory networks for visual and textual question answering"、Proceedings of the 33rd International Conference on Machine Learning, pp.2397-2406, 2016
Hashimoto, et al.、"A joint many-task model: Growing a neural network for multiple NLP tasks"、arXiv preprint arXiv 1611.01587、提出日November 5, 2016
いくつかの態様を記載しておく。
〔態様1〕
自然言語処理のためのシステムであって:
当該システムは多層ニューラル・ネットワークを有し;
当該システムは:
第一の言語の単語の少なくとも一つの入力シーケンスを単語ベクトルのシーケンスに変換し;
句を前記第一の言語から第二の言語の句に翻訳するためのトレーニング・データを使って事前トレーニングされたエンコーダを使って、前記第一の言語の単語の前記少なくとも一つの入力シーケンスについての文脈固有の単語ベクトルを生成し;
前記単語ベクトルおよび前記文脈固有の単語ベクトルを連結し;
連結された単語ベクトルおよび文脈固有の単語ベクトルを使って、前記第一の言語の単語の前記少なくとも一つの入力シーケンスに対して第一の自然言語処理タスクを実行するよう構成されている、
システム。
〔態様2〕
前記第一の自然言語処理タスクが、感情分析、質問分類、含意分類および質問回答のうちの一つである、態様1記載のシステム。
〔態様3〕
前記エンコーダが、前記シーケンス内の単語ベクトルの少なくとも一つを処理するよう構成された少なくとも一つの双方向長期短期メモリを有する、態様1記載のシステム。
〔態様4〕
前記エンコーダが、前記少なくとも一つの双方向長期短期メモリの出力に基づいて注目重みを計算するよう構成された注目機構を有する、態様3記載のシステム。
〔態様5〕
前記エンコーダの前記事前トレーニングにおいてデコーダが使用され、該デコーダは前記エンコーダによって生成された隠れベクトルを用いて初期化される、態様1記載のシステム。
〔態様6〕
前記デコーダが、前記エンコーダのトレーニングの間に前記第二の言語の少なくとも一つの単語ベクトルを処理するよう構成された少なくとも一つの双方向長期短期メモリを有する、態様5記載のシステム。
〔態様7〕
前記連結された単語ベクトルおよび文脈固有の単語ベクトルに基づいて注目重みを生成するよう構成された双注目分類ネットワークをさらに有する、態様1記載のシステム。
〔態様8〕
自然言語処理のためのシステムであって:
単語の少なくとも一つの入力シーケンスについての文脈固有の単語ベクトルを生成するエンコーダであって、該エンコーダは第一の自然言語処理タスクを実行するためのトレーニング・データを使って事前トレーニングされている、エンコーダと;
前記文脈固有の単語ベクトルを使って、単語の前記少なくとも一つの入力シーケンスに対して第二の自然言語処理タスクを実行するためのニューラル・ネットワークであって、前記第一の自然言語処理タスクは前記第二の自然言語処理タスクとは異なり、前記ニューラル・ネットワークは前記エンコーダとは別個にトレーニングされる、ニューラル・ネットワークとを有する、
システム。
〔態様9〕
前記第一の自然言語処理タスクが機械翻訳である、態様8記載のシステム。
〔態様10〕
前記第二の自然言語処理タスクが、感情分析、質問分類、含意分類および質問回答のうちの一つである、態様8記載のシステム。
〔態様11〕
前記エンコーダが、機械翻訳データセットを使って事前トレーニングされている、態様8記載のシステム。
〔態様12〕
前記ニューラル・ネットワークが、感情分析、質問分類、含意分類および質問回答のうちの一つのためのデータセットを使ってトレーニングされる、態様8記載のシステム。
〔態様13〕
前記第一の自然言語処理タスクが前記第二の自然言語処理タスクとは異なる、態様8記載のシステム。
〔態様14〕
前記エンコーダが少なくとも一つの双方向長期短期メモリを有する、態様8記載のシステム。
〔態様15〕
エンコーダを使って、単語の少なくとも一つの入力シーケンスについての文脈固有の単語ベクトルを生成する段階であって、該エンコーダは第一の自然言語処理タスクを実行するためのトレーニング・データを使って事前トレーニングされている、段階と;
ニューラル・ネットワークを使って、前記文脈固有の単語ベクトルを使って、単語の前記少なくとも一つの入力シーケンスに対して第二の自然言語処理タスクを実行する段階であって、前記第一の自然言語処理タスクは前記第二の自然言語処理タスクとは異なり、前記ニューラル・ネットワークは前記エンコーダとは別個にトレーニングされる、段階とを含む、
方法。
〔態様16〕
前記第一の自然言語処理タスクが機械翻訳である、態様15記載の方法。
〔態様17〕
前記第二の自然言語処理タスクが、感情分析、質問分類、含意分類および質問回答のうちの一つである、態様15記載の方法。
〔態様18〕
前記エンコーダが、機械翻訳データセットを使って事前トレーニングされている、態様15記載の方法。
〔態様19〕
前記ニューラル・ネットワークが、感情分析、質問分類、含意分類および質問回答のうちの一つのためのデータセットを使ってトレーニングされる、態様15記載の方法。
〔態様20〕
前記第一の自然言語処理タスクが前記第二の自然言語処理タスクとは異なる、態様15記載の方法。
Claims (20)
- 自然言語処理のためのシステムであって:
当該システムは多層ニューラル・ネットワークを有し;
当該システムは:
第一の言語の単語の少なくとも一つの入力シーケンスを単語ベクトルのシーケンスに変換し;
句を前記第一の言語から第二の言語の句に翻訳するためのトレーニング・データを使って事前トレーニングされたエンコーダを使って、前記第一の言語の単語の前記少なくとも一つの入力シーケンスについての文脈固有の単語ベクトルのシーケンスを生成し;
前記単語ベクトルのシーケンスおよび前記文脈固有の単語ベクトルのシーケンスを連結して連結されたベクトルのシーケンスにし;
前記連結されたベクトルのシーケンスを使って、前記第一の言語の単語の前記少なくとも一つの入力シーケンスに対して第一の自然言語処理タスクを実行するよう構成されている、
システム。 - 前記第一の自然言語処理タスクが、感情分析、質問分類、含意分類および質問回答のうちの一つである、請求項1記載のシステム。
- 前記エンコーダが、前記シーケンス内の単語ベクトルの少なくとも一つを処理するよう構成された少なくとも一つの双方向長期短期メモリを有する、請求項1記載のシステム。
- 前記エンコーダが、前記少なくとも一つの双方向長期短期メモリの出力に基づいて注目重みを計算するよう構成された注目機構を有する、請求項3記載のシステム。
- 前記エンコーダの前記事前トレーニングにおいてデコーダが使用され、該デコーダは前記エンコーダによって生成された隠れベクトルを用いて初期化される、請求項1記載のシステム。
- 前記デコーダが、前記エンコーダのトレーニングの間に前記第二の言語の少なくとも一つの単語ベクトルを処理するよう構成された少なくとも一つの双方向長期短期メモリを有する、請求項5記載のシステム。
- 前記連結されたベクトルのシーケンスに基づいて注目重みを生成するよう構成された双注目分類ネットワークをさらに有する、請求項1記載のシステム。
- 自然言語処理のためのシステムであって:
単語の少なくとも一つの入力シーケンスについての文脈固有の単語ベクトルのシーケンスを生成するエンコーダであって、該エンコーダは第一の自然言語処理タスクを実行するためのトレーニング・データを使って事前トレーニングされている、エンコーダと;
前記エンコーダに通信上結合されており、前記エンコーダから前記文脈固有の単語ベクトルのシーケンスを受領するニューラル・ネットワークであって、該ニューラル・ネットワークは、単語の前記少なくとも一つの入力シーケンスから変換された単語ベクトルのシーケンスおよび前記文脈固有の単語ベクトルのシーケンスを連結した、連結されたベクトルのシーケンスを使って、単語の前記少なくとも一つの入力シーケンスに対して第二の自然言語処理タスクを実行するものであり、前記第一の自然言語処理タスクは前記第二の自然言語処理タスクとは異なり、前記ニューラル・ネットワークは前記エンコーダとは別個にトレーニングされる、ニューラル・ネットワークとを有する、
システム。 - 前記第一の自然言語処理タスクが機械翻訳である、請求項8記載のシステム。
- 前記第二の自然言語処理タスクが、感情分析、質問分類、含意分類および質問回答のうちの一つである、請求項8記載のシステム。
- 前記エンコーダが、機械翻訳データセットを使って事前トレーニングされている、請求項8記載のシステム。
- 前記ニューラル・ネットワークが、感情分析、質問分類、含意分類および質問回答のうちの一つのためのデータセットを使ってトレーニングされる、請求項8記載のシステム。
- 前記第一の自然言語処理タスクが前記第二の自然言語処理タスクとは異なる、請求項8記載のシステム。
- 前記エンコーダが少なくとも一つの双方向長期短期メモリを有する、請求項8記載のシステム。
- エンコーダを使って、単語の少なくとも一つの入力シーケンスについての文脈固有の単語ベクトルのシーケンスを生成する段階であって、該エンコーダは第一の自然言語処理タスクを実行するためのトレーニング・データを使って事前トレーニングされている、段階と;
ニューラル・ネットワークを使って、単語の前記少なくとも一つの入力シーケンスから変換された単語ベクトルのシーケンスおよび前記文脈固有の単語ベクトルのシーケンスを連結した、連結されたベクトルのシーケンスを使って、単語の前記少なくとも一つの入力シーケンスに対して第二の自然言語処理タスクを実行する段階であって、前記第一の自然言語処理タスクは前記第二の自然言語処理タスクとは異なり、前記ニューラル・ネットワークは前記エンコーダとは別個にトレーニングされる、段階とを含む、
方法。 - 前記第一の自然言語処理タスクが機械翻訳である、請求項15記載の方法。
- 前記第二の自然言語処理タスクが、感情分析、質問分類、含意分類および質問回答のうちの一つである、請求項15記載の方法。
- 前記エンコーダが、機械翻訳データセットを使って事前トレーニングされている、請求項15記載の方法。
- 前記ニューラル・ネットワークが、感情分析、質問分類、含意分類および質問回答のうちの一つのためのデータセットを使ってトレーニングされる、請求項15記載の方法。
- 前記第一の自然言語処理タスクが前記第二の自然言語処理タスクとは異なる、請求項15記載の方法。
Applications Claiming Priority (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201762508977P | 2017-05-19 | 2017-05-19 | |
US62/508,977 | 2017-05-19 | ||
US201762536959P | 2017-07-25 | 2017-07-25 | |
US62/536,959 | 2017-07-25 | ||
US15/982,841 | 2018-05-17 | ||
US15/982,841 US10817650B2 (en) | 2017-05-19 | 2018-05-17 | Natural language processing using context specific word vectors |
PCT/US2018/033487 WO2018213763A1 (en) | 2017-05-19 | 2018-05-18 | Natural language processing using context-specific word vectors |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020520505A JP2020520505A (ja) | 2020-07-09 |
JP7072585B2 true JP7072585B2 (ja) | 2022-05-20 |
Family
ID=64459677
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019561306A Active JP7072585B2 (ja) | 2017-05-19 | 2018-05-18 | 文脈固有の単語ベクトルを用いた自然言語処理 |
Country Status (6)
Country | Link |
---|---|
US (3) | US10817650B2 (ja) |
JP (1) | JP7072585B2 (ja) |
CN (1) | CN110678881B (ja) |
CA (1) | CA3062891C (ja) |
DE (1) | DE112018002601T5 (ja) |
WO (1) | WO2018213763A1 (ja) |
Families Citing this family (136)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10706351B2 (en) * | 2016-08-30 | 2020-07-07 | American Software Safety Reliability Company | Recurrent encoder and decoder |
US10565305B2 (en) | 2016-11-18 | 2020-02-18 | Salesforce.Com, Inc. | Adaptive attention model for image captioning |
US11386327B2 (en) | 2017-05-18 | 2022-07-12 | Salesforce.Com, Inc. | Block-diagonal hessian-free optimization for recurrent and convolutional neural networks |
US10817650B2 (en) * | 2017-05-19 | 2020-10-27 | Salesforce.Com, Inc. | Natural language processing using context specific word vectors |
US10762637B2 (en) * | 2017-10-27 | 2020-09-01 | Siemens Healthcare Gmbh | Vascular segmentation using fully convolutional and recurrent neural networks |
JP6894534B2 (ja) * | 2017-10-31 | 2021-06-30 | ▲騰▼▲訊▼科技(深▲セン▼)有限公司 | 情報処理方法及び端末、コンピュータ記憶媒体 |
US10542270B2 (en) | 2017-11-15 | 2020-01-21 | Salesforce.Com, Inc. | Dense video captioning |
KR102608469B1 (ko) * | 2017-12-22 | 2023-12-01 | 삼성전자주식회사 | 자연어 생성 방법 및 장치 |
US11501076B2 (en) | 2018-02-09 | 2022-11-15 | Salesforce.Com, Inc. | Multitask learning as question answering |
US10783875B2 (en) | 2018-03-16 | 2020-09-22 | Salesforce.Com, Inc. | Unsupervised non-parallel speech domain adaptation using a multi-discriminator adversarial network |
US11106182B2 (en) | 2018-03-16 | 2021-08-31 | Salesforce.Com, Inc. | Systems and methods for learning for domain adaptation |
US11776036B2 (en) * | 2018-04-19 | 2023-10-03 | Adobe Inc. | Generating and utilizing classification and query-specific models to generate digital responses to queries from client device |
US10909157B2 (en) | 2018-05-22 | 2021-02-02 | Salesforce.Com, Inc. | Abstraction of text summarization |
US11205121B2 (en) | 2018-06-20 | 2021-12-21 | Disney Enterprises, Inc. | Efficient encoding and decoding sequences using variational autoencoders |
CN109086348B (zh) * | 2018-07-13 | 2023-04-18 | 腾讯科技(深圳)有限公司 | 超链接的处理方法和装置及存储介质 |
US11138392B2 (en) * | 2018-07-26 | 2021-10-05 | Google Llc | Machine translation using neural network models |
US11194974B2 (en) * | 2018-08-09 | 2021-12-07 | Nec Corporation | Teaching syntax by adversarial distraction |
CN112889073A (zh) * | 2018-08-30 | 2021-06-01 | 谷歌有限责任公司 | 使用多语言神经机器翻译的跨语言分类 |
US11010559B2 (en) * | 2018-08-30 | 2021-05-18 | International Business Machines Corporation | Multi-aspect sentiment analysis by collaborative attention allocation |
US10970486B2 (en) | 2018-09-18 | 2021-04-06 | Salesforce.Com, Inc. | Using unstructured input to update heterogeneous data stores |
US11436481B2 (en) | 2018-09-18 | 2022-09-06 | Salesforce.Com, Inc. | Systems and methods for named entity recognition |
US11029694B2 (en) | 2018-09-27 | 2021-06-08 | Salesforce.Com, Inc. | Self-aware visual-textual co-grounded navigation agent |
US11645509B2 (en) | 2018-09-27 | 2023-05-09 | Salesforce.Com, Inc. | Continual neural network learning via explicit structure learning |
US11087177B2 (en) | 2018-09-27 | 2021-08-10 | Salesforce.Com, Inc. | Prediction-correction approach to zero shot learning |
US11514915B2 (en) | 2018-09-27 | 2022-11-29 | Salesforce.Com, Inc. | Global-to-local memory pointer networks for task-oriented dialogue |
DE102018218098A1 (de) * | 2018-10-23 | 2020-04-23 | Volkswagen Aktiengesellschaft | Verfahren und Vorrichtung zum Abstrahieren eines Datensatzes |
US10789429B2 (en) * | 2018-11-21 | 2020-09-29 | Intuit, Inc. | Visualizing comment sentiment |
CN111178099B (zh) * | 2018-11-28 | 2023-03-10 | 腾讯科技(深圳)有限公司 | 一种文本翻译的方法以及相关装置 |
US11822897B2 (en) | 2018-12-11 | 2023-11-21 | Salesforce.Com, Inc. | Systems and methods for structured text translation with tag alignment |
US10963652B2 (en) | 2018-12-11 | 2021-03-30 | Salesforce.Com, Inc. | Structured text translation |
CN109740148B (zh) * | 2018-12-16 | 2023-12-22 | 北京工业大学 | 一种BiLSTM结合Attention机制的文本情感分析方法 |
CN109726299B (zh) * | 2018-12-19 | 2023-03-17 | 中国科学院重庆绿色智能技术研究院 | 一种不完备专利自动标引方法 |
CN111400461B (zh) * | 2019-01-02 | 2023-03-31 | 中国移动通信有限公司研究院 | 智能客服问题匹配方法及装置 |
JP2020113035A (ja) * | 2019-01-11 | 2020-07-27 | 株式会社東芝 | 分類支援システム、分類支援装置、学習装置、分類支援方法、及びプログラム |
CN109977199B (zh) * | 2019-01-14 | 2021-06-29 | 浙江大学 | 一种基于注意力池化机制的阅读理解方法 |
US11922323B2 (en) | 2019-01-17 | 2024-03-05 | Salesforce, Inc. | Meta-reinforcement learning gradient estimation with variance reduction |
US11106873B2 (en) * | 2019-01-22 | 2021-08-31 | Sap Se | Context-based translation retrieval via multilingual space |
CN110147532B (zh) * | 2019-01-24 | 2023-08-25 | 腾讯科技(深圳)有限公司 | 编码方法、装置、设备及存储介质 |
CN110147533B (zh) * | 2019-01-24 | 2023-08-29 | 腾讯科技(深圳)有限公司 | 编码方法、装置、设备及存储介质 |
US10937416B2 (en) * | 2019-02-01 | 2021-03-02 | International Business Machines Corporation | Cross-domain multi-task learning for text classification |
US11281867B2 (en) * | 2019-02-03 | 2022-03-22 | International Business Machines Corporation | Performing multi-objective tasks via primal networks trained with dual networks |
US11151324B2 (en) * | 2019-02-03 | 2021-10-19 | International Business Machines Corporation | Generating completed responses via primal networks trained with dual networks |
US11069352B1 (en) * | 2019-02-18 | 2021-07-20 | Amazon Technologies, Inc. | Media presence detection |
US11568306B2 (en) | 2019-02-25 | 2023-01-31 | Salesforce.Com, Inc. | Data privacy protected machine learning systems |
US11366969B2 (en) | 2019-03-04 | 2022-06-21 | Salesforce.Com, Inc. | Leveraging language models for generating commonsense explanations |
US11003867B2 (en) | 2019-03-04 | 2021-05-11 | Salesforce.Com, Inc. | Cross-lingual regularization for multilingual generalization |
US11580445B2 (en) | 2019-03-05 | 2023-02-14 | Salesforce.Com, Inc. | Efficient off-policy credit assignment |
US11087092B2 (en) | 2019-03-05 | 2021-08-10 | Salesforce.Com, Inc. | Agent persona grounded chit-chat generation framework |
US11742879B2 (en) | 2019-03-13 | 2023-08-29 | Samsung Electronics Co., Ltd. | Machine-learning error-correcting code controller |
US11221769B2 (en) * | 2019-09-27 | 2022-01-11 | Samsung Electronics Co., Ltd. | Performing noise cancellation on a memory device using a neural network |
US10902289B2 (en) | 2019-03-22 | 2021-01-26 | Salesforce.Com, Inc. | Two-stage online detection of action start in untrimmed videos |
JP2020160917A (ja) * | 2019-03-27 | 2020-10-01 | 国立研究開発法人情報通信研究機構 | ニューラル機械翻訳モデルを訓練する方法及びコンピュータプログラム |
US11281863B2 (en) | 2019-04-18 | 2022-03-22 | Salesforce.Com, Inc. | Systems and methods for unifying question answering and text classification via span extraction |
CN109948165B (zh) * | 2019-04-24 | 2023-04-25 | 吉林大学 | 基于混合注意力网络的细粒度情感极性预测方法 |
US11176333B2 (en) | 2019-05-07 | 2021-11-16 | International Business Machines Corporation | Generation of sentence representation |
US11132513B2 (en) | 2019-05-07 | 2021-09-28 | International Business Machines Corporation | Attention-based natural language processing |
US11487939B2 (en) | 2019-05-15 | 2022-11-01 | Salesforce.Com, Inc. | Systems and methods for unsupervised autoregressive text compression |
US11620572B2 (en) | 2019-05-16 | 2023-04-04 | Salesforce.Com, Inc. | Solving sparse reward tasks using self-balancing shaped rewards |
US11562251B2 (en) | 2019-05-16 | 2023-01-24 | Salesforce.Com, Inc. | Learning world graphs to accelerate hierarchical reinforcement learning |
US11604965B2 (en) | 2019-05-16 | 2023-03-14 | Salesforce.Com, Inc. | Private deep learning |
US11687588B2 (en) | 2019-05-21 | 2023-06-27 | Salesforce.Com, Inc. | Weakly supervised natural language localization networks for video proposal prediction based on a text query |
US11775775B2 (en) | 2019-05-21 | 2023-10-03 | Salesforce.Com, Inc. | Systems and methods for reading comprehension for a question answering task |
US11669712B2 (en) | 2019-05-21 | 2023-06-06 | Salesforce.Com, Inc. | Robustness evaluation via natural typos |
US11657269B2 (en) | 2019-05-23 | 2023-05-23 | Salesforce.Com, Inc. | Systems and methods for verification of discriminative models |
CN110188200A (zh) * | 2019-05-27 | 2019-08-30 | 哈尔滨工程大学 | 一种使用社交上下文特征的深度微博情感分析方法 |
CN111160467B (zh) * | 2019-05-31 | 2021-12-10 | 北京理工大学 | 一种基于条件随机场和内部语义注意力的图像描述方法 |
CN112116095B (zh) * | 2019-06-19 | 2024-05-24 | 北京搜狗科技发展有限公司 | 一种多任务学习模型训练的方法及相关装置 |
CN111611375B (zh) * | 2019-07-03 | 2022-06-07 | 北京航空航天大学 | 一种基于深度学习和转折关系的文本情感分类方法 |
CN110457682B (zh) * | 2019-07-11 | 2022-08-09 | 新华三大数据技术有限公司 | 电子病历词性标注方法、模型训练方法及相关装置 |
CN110472244B (zh) * | 2019-08-14 | 2020-05-29 | 山东大学 | 一种基于Tree-LSTM和情感信息的短文本情感分类方法 |
US11615240B2 (en) | 2019-08-15 | 2023-03-28 | Salesforce.Com, Inc | Systems and methods for a transformer network with tree-based attention for natural language processing |
CN110489567B (zh) * | 2019-08-26 | 2022-03-22 | 重庆邮电大学 | 一种基于跨网络特征映射的节点信息获取方法及其装置 |
US11568000B2 (en) | 2019-09-24 | 2023-01-31 | Salesforce.Com, Inc. | System and method for automatic task-oriented dialog system |
US11599792B2 (en) | 2019-09-24 | 2023-03-07 | Salesforce.Com, Inc. | System and method for learning with noisy labels as semi-supervised learning |
US11640527B2 (en) | 2019-09-25 | 2023-05-02 | Salesforce.Com, Inc. | Near-zero-cost differentially private deep learning with teacher ensembles |
US11132492B2 (en) * | 2019-10-07 | 2021-09-28 | Vyasa Analytics, LLC | Methods for automated filling of columns in spreadsheets |
KR20210043995A (ko) * | 2019-10-14 | 2021-04-22 | 삼성전자주식회사 | 모델 학습 방법 및 장치, 및 시퀀스 인식 방법 |
CN110826344B (zh) * | 2019-10-24 | 2022-03-01 | 北京小米智能科技有限公司 | 神经网络模型压缩方法、语料翻译方法及其装置 |
CN111008517A (zh) * | 2019-10-30 | 2020-04-14 | 天津大学 | 一种基于张量分解技术的神经语言模型的压缩方法 |
US11620515B2 (en) | 2019-11-07 | 2023-04-04 | Salesforce.Com, Inc. | Multi-task knowledge distillation for language model |
US11347708B2 (en) | 2019-11-11 | 2022-05-31 | Salesforce.Com, Inc. | System and method for unsupervised density based table structure identification |
CN111026937B (zh) | 2019-11-13 | 2021-02-19 | 百度在线网络技术(北京)有限公司 | 提取poi名称的方法、装置、设备和计算机存储介质 |
US11288438B2 (en) | 2019-11-15 | 2022-03-29 | Salesforce.Com, Inc. | Bi-directional spatial-temporal reasoning for video-grounded dialogues |
US11334766B2 (en) | 2019-11-15 | 2022-05-17 | Salesforce.Com, Inc. | Noise-resistant object detection with noisy annotations |
US11481636B2 (en) | 2019-11-18 | 2022-10-25 | Salesforce.Com, Inc. | Systems and methods for out-of-distribution classification |
US11922303B2 (en) | 2019-11-18 | 2024-03-05 | Salesforce, Inc. | Systems and methods for distilled BERT-based training model for text classification |
CN111813913B (zh) * | 2019-11-27 | 2024-02-20 | 上海交通大学 | 以问题为导向的两阶段问题生成系统 |
CN111078881B (zh) * | 2019-12-09 | 2023-04-07 | 携程计算机技术(上海)有限公司 | 细粒度情感分析方法、系统、电子设备和存储介质 |
US11640505B2 (en) | 2019-12-09 | 2023-05-02 | Salesforce.Com, Inc. | Systems and methods for explicit memory tracker with coarse-to-fine reasoning in conversational machine reading |
US11256754B2 (en) | 2019-12-09 | 2022-02-22 | Salesforce.Com, Inc. | Systems and methods for generating natural language processing training samples with inflectional perturbations |
US11599730B2 (en) | 2019-12-09 | 2023-03-07 | Salesforce.Com, Inc. | Learning dialogue state tracking with limited labeled data |
US11573957B2 (en) | 2019-12-09 | 2023-02-07 | Salesforce.Com, Inc. | Natural language processing engine for translating questions into executable database queries |
US11487999B2 (en) | 2019-12-09 | 2022-11-01 | Salesforce.Com, Inc. | Spatial-temporal reasoning through pretrained language models for video-grounded dialogues |
CN111125317A (zh) * | 2019-12-27 | 2020-05-08 | 携程计算机技术(上海)有限公司 | 对话型文本分类的模型训练、分类、系统、设备和介质 |
CN111144507B (zh) * | 2019-12-30 | 2021-06-08 | 北京百度网讯科技有限公司 | 情感分析模型预训练方法、装置及电子设备 |
WO2021134432A1 (en) * | 2019-12-31 | 2021-07-08 | Paypal, Inc. | Framework for managing natural language processing tools |
CN111222344B (zh) * | 2020-01-03 | 2023-07-18 | 支付宝(杭州)信息技术有限公司 | 训练神经网络的方法、装置及电子设备 |
US11669745B2 (en) | 2020-01-13 | 2023-06-06 | Salesforce.Com, Inc. | Proposal learning for semi-supervised object detection |
US11562147B2 (en) | 2020-01-23 | 2023-01-24 | Salesforce.Com, Inc. | Unified vision and dialogue transformer with BERT |
US11341334B2 (en) * | 2020-01-28 | 2022-05-24 | Here Global B.V. | Method and apparatus for evaluating natural language input to identify actions and landmarks |
US20210249104A1 (en) | 2020-02-06 | 2021-08-12 | Salesforce.Com, Inc. | Systems and methods for language modeling of protein engineering |
CN111325028B (zh) * | 2020-02-20 | 2021-06-18 | 齐鲁工业大学 | 一种基于深度分层编码的智能语义匹配方法和装置 |
CN111368058B (zh) * | 2020-03-09 | 2023-05-02 | 昆明理工大学 | 一种基于迁移学习的问答匹配方法 |
US11263476B2 (en) | 2020-03-19 | 2022-03-01 | Salesforce.Com, Inc. | Unsupervised representation learning with contrastive prototypes |
US11328731B2 (en) | 2020-04-08 | 2022-05-10 | Salesforce.Com, Inc. | Phone-based sub-word units for end-to-end speech recognition |
CN111476184B (zh) * | 2020-04-13 | 2023-12-22 | 河南理工大学 | 一种基于双注意力机制的人体关键点检测方法 |
CN111581351B (zh) * | 2020-04-30 | 2023-05-02 | 识因智能科技(北京)有限公司 | 一种基于多头自注意力机制的动态元嵌入方法 |
CN111767710B (zh) * | 2020-05-13 | 2023-03-28 | 广东外语外贸大学 | 印尼语的情感分类方法、装置、设备及介质 |
US11947925B2 (en) * | 2020-05-21 | 2024-04-02 | International Business Machines Corporation | Adaptive language translation using context features |
CN111667158B (zh) * | 2020-05-26 | 2022-06-10 | 南开大学 | 一种基于多图神经网络联合学习的工作技能预测方法 |
US11625543B2 (en) | 2020-05-31 | 2023-04-11 | Salesforce.Com, Inc. | Systems and methods for composed variational natural language generation |
US11720559B2 (en) | 2020-06-02 | 2023-08-08 | Salesforce.Com, Inc. | Bridging textual and tabular data for cross domain text-to-query language semantic parsing with a pre-trained transformer language encoder and anchor text |
US11625544B2 (en) * | 2020-08-13 | 2023-04-11 | Naver Corporation | Method and system for training document-level natural language processing models |
US20220050877A1 (en) | 2020-08-14 | 2022-02-17 | Salesforce.Com, Inc. | Systems and methods for query autocompletion |
US11934952B2 (en) | 2020-08-21 | 2024-03-19 | Salesforce, Inc. | Systems and methods for natural language processing using joint energy-based models |
US11934781B2 (en) | 2020-08-28 | 2024-03-19 | Salesforce, Inc. | Systems and methods for controllable text summarization |
US11664010B2 (en) | 2020-11-03 | 2023-05-30 | Florida Power & Light Company | Natural language domain corpus data set creation based on enhanced root utterances |
US11829442B2 (en) | 2020-11-16 | 2023-11-28 | Salesforce.Com, Inc. | Methods and systems for efficient batch active learning of a deep neural network |
US11574130B2 (en) * | 2020-11-24 | 2023-02-07 | International Business Machines Corporation | Enhancing multi-lingual embeddings for cross-lingual question-answer system |
CN112287698B (zh) * | 2020-12-25 | 2021-06-01 | 北京百度网讯科技有限公司 | 篇章翻译方法、装置、电子设备和存储介质 |
CN112699216A (zh) * | 2020-12-28 | 2021-04-23 | 平安科技(深圳)有限公司 | 端到端的语言模型预训练方法、系统、设备及存储介质 |
CN112732915A (zh) * | 2020-12-31 | 2021-04-30 | 平安科技(深圳)有限公司 | 情感分类方法、装置、电子设备及存储介质 |
CN113158659B (zh) * | 2021-02-08 | 2024-03-08 | 银江技术股份有限公司 | 一种基于司法文本的涉案财物计算方法 |
CN113204640B (zh) * | 2021-04-02 | 2023-05-30 | 南京邮电大学 | 一种基于注意力机制的文本分类方法 |
CN112966096B (zh) * | 2021-04-07 | 2022-05-24 | 重庆大学 | 一种基于多任务学习的云服务发现方法 |
WO2022246194A1 (en) * | 2021-05-21 | 2022-11-24 | Google Llc | Machine-learned language models which generate intermediate textual analysis in service of contextual text generation |
CN113254592B (zh) * | 2021-06-17 | 2021-10-22 | 成都晓多科技有限公司 | 基于门机制的多级注意力模型的评论方面检测方法及系统 |
US11720615B2 (en) * | 2021-07-30 | 2023-08-08 | DSilo Inc. | Self-executing protocol generation from natural language text |
WO2023069017A2 (en) * | 2021-10-19 | 2023-04-27 | Grabtaxi Holdings Pte. Ltd. | System and method for recognizing sentiment of user's feedback |
CN114330474B (zh) * | 2021-10-20 | 2024-04-26 | 腾讯科技(深圳)有限公司 | 一种数据处理方法、装置、计算机设备以及存储介质 |
CN113688212B (zh) * | 2021-10-27 | 2022-02-08 | 华南师范大学 | 句子情感分析方法、装置以及设备 |
US11431472B1 (en) | 2021-11-22 | 2022-08-30 | Morgan Stanley Services Group Inc. | Automated domain language parsing and data extraction |
CN114549534B (zh) * | 2022-01-17 | 2022-11-15 | 中国矿业大学(北京) | 矿区土地利用识别方法、装置、设备及介质 |
CN114139532B (zh) * | 2022-01-30 | 2022-04-19 | 北京语言大学 | 一种基于多任务框架进行简单释义生成的方法与系统 |
CN116055293B (zh) * | 2023-04-03 | 2023-06-20 | 深圳市纵联网络科技有限公司 | 路由器的远程故障监控方法及路由器 |
CN116794115B (zh) * | 2023-05-30 | 2024-01-30 | 恩迈智能数字医疗(嘉兴)有限公司 | 基于多元掺杂导电聚合物的气敏传感器电极及制作方法 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160247061A1 (en) | 2015-02-19 | 2016-08-25 | Digital Reasoning Systems, Inc. | Systems and Methods for Neural Language Modeling |
Family Cites Families (80)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8355550B2 (en) | 2007-05-01 | 2013-01-15 | Siemens Aktiengesellschaft | Methods and apparatus for virtual coronary mapping |
US8121367B2 (en) | 2007-09-21 | 2012-02-21 | Siemens Aktiengesellschaft | Method and system for vessel segmentation in fluoroscopic images |
US8775341B1 (en) * | 2010-10-26 | 2014-07-08 | Michael Lamport Commons | Intelligent control with hierarchical stacked neural networks |
US9015093B1 (en) * | 2010-10-26 | 2015-04-21 | Michael Lamport Commons | Intelligent control with hierarchical stacked neural networks |
US11113598B2 (en) * | 2015-06-01 | 2021-09-07 | Salesforce.Com, Inc. | Dynamic memory network |
US20160350653A1 (en) * | 2015-06-01 | 2016-12-01 | Salesforce.Com, Inc. | Dynamic Memory Network |
US20170032280A1 (en) | 2015-07-27 | 2017-02-02 | Salesforce.Com, Inc. | Engagement estimator |
US20170140240A1 (en) | 2015-07-27 | 2017-05-18 | Salesforce.Com, Inc. | Neural network combined image and text evaluator and classifier |
US10282663B2 (en) | 2015-08-15 | 2019-05-07 | Salesforce.Com, Inc. | Three-dimensional (3D) convolution with 3D batch normalization |
US9836671B2 (en) * | 2015-08-28 | 2017-12-05 | Microsoft Technology Licensing, Llc | Discovery of semantic similarities between images and text |
US10395118B2 (en) * | 2015-10-29 | 2019-08-27 | Baidu Usa Llc | Systems and methods for video paragraph captioning using hierarchical recurrent neural networks |
US10262062B2 (en) * | 2015-12-21 | 2019-04-16 | Adobe Inc. | Natural language system question classifier, semantic representations, and logical form templates |
US20190087677A1 (en) * | 2016-03-24 | 2019-03-21 | Ramot At Tel-Aviv University Ltd. | Method and system for converting an image to text |
US10007866B2 (en) | 2016-04-28 | 2018-06-26 | Microsoft Technology Licensing, Llc | Neural network image classifier |
CN106126507B (zh) | 2016-06-22 | 2019-08-09 | 哈尔滨工业大学深圳研究生院 | 一种基于字符编码的深度神经翻译方法及系统 |
KR20180001889A (ko) * | 2016-06-28 | 2018-01-05 | 삼성전자주식회사 | 언어 처리 방법 및 장치 |
US9830315B1 (en) * | 2016-07-13 | 2017-11-28 | Xerox Corporation | Sequence-based structured prediction for semantic parsing |
US10565493B2 (en) | 2016-09-22 | 2020-02-18 | Salesforce.Com, Inc. | Pointer sentinel mixture architecture |
CN106569998A (zh) * | 2016-10-27 | 2017-04-19 | 浙江大学 | 一种基于Bi‑LSTM、CNN和CRF的文本命名实体识别方法 |
US11222253B2 (en) | 2016-11-03 | 2022-01-11 | Salesforce.Com, Inc. | Deep neural network model for processing data through multiple linguistic task hierarchies |
US20180129937A1 (en) * | 2016-11-04 | 2018-05-10 | Salesforce.Com, Inc. | Quasi-recurrent neural network |
US10963782B2 (en) | 2016-11-04 | 2021-03-30 | Salesforce.Com, Inc. | Dynamic coattention network for question answering |
US10565305B2 (en) | 2016-11-18 | 2020-02-18 | Salesforce.Com, Inc. | Adaptive attention model for image captioning |
US10268679B2 (en) * | 2016-12-02 | 2019-04-23 | Microsoft Technology Licensing, Llc | Joint language understanding and dialogue management using binary classification based on forward and backward recurrent neural network |
US20180203851A1 (en) * | 2017-01-13 | 2018-07-19 | Microsoft Technology Licensing, Llc | Systems and methods for automated haiku chatting |
US11354565B2 (en) | 2017-03-15 | 2022-06-07 | Salesforce.Com, Inc. | Probability-based guider |
US10572595B2 (en) | 2017-04-13 | 2020-02-25 | Baidu Usa Llc | Global normalized reader systems and methods |
US10565318B2 (en) | 2017-04-14 | 2020-02-18 | Salesforce.Com, Inc. | Neural machine translation with latent tree attention |
US10474709B2 (en) | 2017-04-14 | 2019-11-12 | Salesforce.Com, Inc. | Deep reinforced model for abstractive summarization |
US10747761B2 (en) | 2017-05-18 | 2020-08-18 | Salesforce.Com, Inc. | Neural network based translation of natural language queries to database queries |
US11386327B2 (en) | 2017-05-18 | 2022-07-12 | Salesforce.Com, Inc. | Block-diagonal hessian-free optimization for recurrent and convolutional neural networks |
US10817650B2 (en) * | 2017-05-19 | 2020-10-27 | Salesforce.Com, Inc. | Natural language processing using context specific word vectors |
US12014257B2 (en) | 2017-05-19 | 2024-06-18 | Salesforce, Inc. | Domain specific language for generation of recurrent neural network architectures |
US20190130896A1 (en) | 2017-10-26 | 2019-05-02 | Salesforce.Com, Inc. | Regularization Techniques for End-To-End Speech Recognition |
US11562287B2 (en) | 2017-10-27 | 2023-01-24 | Salesforce.Com, Inc. | Hierarchical and interpretable skill acquisition in multi-task reinforcement learning |
US11604956B2 (en) | 2017-10-27 | 2023-03-14 | Salesforce.Com, Inc. | Sequence-to-sequence prediction using a neural network model |
US10573295B2 (en) | 2017-10-27 | 2020-02-25 | Salesforce.Com, Inc. | End-to-end speech recognition with policy learning |
US11928600B2 (en) | 2017-10-27 | 2024-03-12 | Salesforce, Inc. | Sequence-to-sequence prediction using a neural network model |
US10592767B2 (en) | 2017-10-27 | 2020-03-17 | Salesforce.Com, Inc. | Interpretable counting in visual question answering |
US11170287B2 (en) | 2017-10-27 | 2021-11-09 | Salesforce.Com, Inc. | Generating dual sequence inferences using a neural network model |
US10346721B2 (en) | 2017-11-01 | 2019-07-09 | Salesforce.Com, Inc. | Training a neural network using augmented training datasets |
US10542270B2 (en) | 2017-11-15 | 2020-01-21 | Salesforce.Com, Inc. | Dense video captioning |
US11276002B2 (en) | 2017-12-20 | 2022-03-15 | Salesforce.Com, Inc. | Hybrid training of deep networks |
US11501076B2 (en) | 2018-02-09 | 2022-11-15 | Salesforce.Com, Inc. | Multitask learning as question answering |
US10929607B2 (en) | 2018-02-22 | 2021-02-23 | Salesforce.Com, Inc. | Dialogue state tracking using a global-local encoder |
US11227218B2 (en) | 2018-02-22 | 2022-01-18 | Salesforce.Com, Inc. | Question answering from minimal context over documents |
US10783875B2 (en) | 2018-03-16 | 2020-09-22 | Salesforce.Com, Inc. | Unsupervised non-parallel speech domain adaptation using a multi-discriminator adversarial network |
US11106182B2 (en) | 2018-03-16 | 2021-08-31 | Salesforce.Com, Inc. | Systems and methods for learning for domain adaptation |
US11600194B2 (en) | 2018-05-18 | 2023-03-07 | Salesforce.Com, Inc. | Multitask learning as question answering |
US10909157B2 (en) | 2018-05-22 | 2021-02-02 | Salesforce.Com, Inc. | Abstraction of text summarization |
US11631009B2 (en) | 2018-05-23 | 2023-04-18 | Salesforce.Com, Inc | Multi-hop knowledge graph reasoning with reward shaping |
US20200090034A1 (en) | 2018-09-18 | 2020-03-19 | Salesforce.Com, Inc. | Determining Intent from Unstructured Input to Update Heterogeneous Data Stores |
US11436481B2 (en) | 2018-09-18 | 2022-09-06 | Salesforce.Com, Inc. | Systems and methods for named entity recognition |
US10970486B2 (en) | 2018-09-18 | 2021-04-06 | Salesforce.Com, Inc. | Using unstructured input to update heterogeneous data stores |
US11514915B2 (en) | 2018-09-27 | 2022-11-29 | Salesforce.Com, Inc. | Global-to-local memory pointer networks for task-oriented dialogue |
US11087177B2 (en) | 2018-09-27 | 2021-08-10 | Salesforce.Com, Inc. | Prediction-correction approach to zero shot learning |
US11029694B2 (en) | 2018-09-27 | 2021-06-08 | Salesforce.Com, Inc. | Self-aware visual-textual co-grounded navigation agent |
US11645509B2 (en) | 2018-09-27 | 2023-05-09 | Salesforce.Com, Inc. | Continual neural network learning via explicit structure learning |
US10963652B2 (en) | 2018-12-11 | 2021-03-30 | Salesforce.Com, Inc. | Structured text translation |
US11922323B2 (en) | 2019-01-17 | 2024-03-05 | Salesforce, Inc. | Meta-reinforcement learning gradient estimation with variance reduction |
US11568306B2 (en) | 2019-02-25 | 2023-01-31 | Salesforce.Com, Inc. | Data privacy protected machine learning systems |
US11366969B2 (en) | 2019-03-04 | 2022-06-21 | Salesforce.Com, Inc. | Leveraging language models for generating commonsense explanations |
US11003867B2 (en) | 2019-03-04 | 2021-05-11 | Salesforce.Com, Inc. | Cross-lingual regularization for multilingual generalization |
US11580445B2 (en) | 2019-03-05 | 2023-02-14 | Salesforce.Com, Inc. | Efficient off-policy credit assignment |
US11087092B2 (en) | 2019-03-05 | 2021-08-10 | Salesforce.Com, Inc. | Agent persona grounded chit-chat generation framework |
US11550908B2 (en) * | 2019-03-15 | 2023-01-10 | Paul J Long | Method and apparatus for producing a machine learning system for malware prediction in low complexity sensor networks |
US10902289B2 (en) | 2019-03-22 | 2021-01-26 | Salesforce.Com, Inc. | Two-stage online detection of action start in untrimmed videos |
US11281863B2 (en) | 2019-04-18 | 2022-03-22 | Salesforce.Com, Inc. | Systems and methods for unifying question answering and text classification via span extraction |
US11487939B2 (en) | 2019-05-15 | 2022-11-01 | Salesforce.Com, Inc. | Systems and methods for unsupervised autoregressive text compression |
US11562251B2 (en) | 2019-05-16 | 2023-01-24 | Salesforce.Com, Inc. | Learning world graphs to accelerate hierarchical reinforcement learning |
US11604965B2 (en) | 2019-05-16 | 2023-03-14 | Salesforce.Com, Inc. | Private deep learning |
US11775775B2 (en) | 2019-05-21 | 2023-10-03 | Salesforce.Com, Inc. | Systems and methods for reading comprehension for a question answering task |
US11669712B2 (en) | 2019-05-21 | 2023-06-06 | Salesforce.Com, Inc. | Robustness evaluation via natural typos |
US11687588B2 (en) | 2019-05-21 | 2023-06-27 | Salesforce.Com, Inc. | Weakly supervised natural language localization networks for video proposal prediction based on a text query |
US11657269B2 (en) | 2019-05-23 | 2023-05-23 | Salesforce.Com, Inc. | Systems and methods for verification of discriminative models |
US11615240B2 (en) | 2019-08-15 | 2023-03-28 | Salesforce.Com, Inc | Systems and methods for a transformer network with tree-based attention for natural language processing |
US11568000B2 (en) | 2019-09-24 | 2023-01-31 | Salesforce.Com, Inc. | System and method for automatic task-oriented dialog system |
US11599792B2 (en) | 2019-09-24 | 2023-03-07 | Salesforce.Com, Inc. | System and method for learning with noisy labels as semi-supervised learning |
US11640527B2 (en) | 2019-09-25 | 2023-05-02 | Salesforce.Com, Inc. | Near-zero-cost differentially private deep learning with teacher ensembles |
US11620515B2 (en) * | 2019-11-07 | 2023-04-04 | Salesforce.Com, Inc. | Multi-task knowledge distillation for language model |
-
2018
- 2018-05-17 US US15/982,841 patent/US10817650B2/en active Active
- 2018-05-18 CN CN201880033016.9A patent/CN110678881B/zh active Active
- 2018-05-18 CA CA3062891A patent/CA3062891C/en active Active
- 2018-05-18 DE DE112018002601.9T patent/DE112018002601T5/de active Pending
- 2018-05-18 JP JP2019561306A patent/JP7072585B2/ja active Active
- 2018-05-18 WO PCT/US2018/033487 patent/WO2018213763A1/en active Application Filing
- 2018-06-05 US US16/000,638 patent/US10699060B2/en active Active
-
2020
- 2020-09-21 US US17/027,130 patent/US11409945B2/en active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160247061A1 (en) | 2015-02-19 | 2016-08-25 | Digital Reasoning Systems, Inc. | Systems and Methods for Neural Language Modeling |
Non-Patent Citations (2)
Title |
---|
Yangfeng Ji 他4名,DOCUMENT CONTEXT LANGUAGE MODELS,Workshop track - ICLR 2016 [online],2016年02月21日,https://arxiv.org/pdf/1511.03962.pdf,[検索日2021年 1月13日],インターネット |
長谷川 美夏,画像によって単語意味表現をエンハンスするニューラルネットワークモデル(ViEW model),言語処理学会第23回年次大会 発表論文集 [online] Proceedings of the Twenty-third Annual Meeting of the Association for Natural Language Processing,日本,言語処理学会 |
Also Published As
Publication number | Publication date |
---|---|
US20210073459A1 (en) | 2021-03-11 |
WO2018213763A1 (en) | 2018-11-22 |
CN110678881B (zh) | 2023-10-03 |
US20180349359A1 (en) | 2018-12-06 |
JP2020520505A (ja) | 2020-07-09 |
CA3062891A1 (en) | 2018-11-22 |
US20180373682A1 (en) | 2018-12-27 |
US10817650B2 (en) | 2020-10-27 |
DE112018002601T5 (de) | 2020-03-05 |
US11409945B2 (en) | 2022-08-09 |
CA3062891C (en) | 2023-01-03 |
CN110678881A (zh) | 2020-01-10 |
US10699060B2 (en) | 2020-06-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7072585B2 (ja) | 文脈固有の単語ベクトルを用いた自然言語処理 | |
US11934791B2 (en) | On-device projection neural networks for natural language understanding | |
JP2021524623A (ja) | 質問応答としてのマルチタスク学習 | |
US11580975B2 (en) | Systems and methods for response selection in multi-party conversations with dynamic topic tracking | |
Nguyen et al. | From film to video: Multi-turn question answering with multi-modal context | |
KR102315830B1 (ko) | 반지도 학습 기반 단어 단위 감정 임베딩과 lstm 모델을 이용한 대화 내에서 발화의 감정 분류 방법 | |
Tripathy et al. | Comprehensive analysis of embeddings and pre-training in NLP | |
Nagaraj et al. | Kannada to English Machine Translation Using Deep Neural Network. | |
Bokka et al. | Deep Learning for Natural Language Processing: Solve your natural language processing problems with smart deep neural networks | |
CN114254645A (zh) | 一种人工智能辅助写作系统 | |
Iosifov et al. | Transferability evaluation of speech emotion recognition between different languages | |
Sanjanaashree et al. | Joint layer based deep learning framework for bilingual machine transliteration | |
Hashana et al. | Deep Learning in ChatGPT-A Survey | |
Tsakiris et al. | The development of a chatbot using Convolutional Neural Networks | |
Sitender et al. | Effect of GloVe, Word2Vec and fastText embedding on english and hindi neural machine translation systems | |
Mou et al. | Multimodal dialogue state tracking by qa approach with data augmentation | |
Okur et al. | End-to-end evaluation of a spoken dialogue system for learning basic mathematics | |
Sawant et al. | Analytical and Sentiment based text generative chatbot | |
Kulkarni et al. | Applied Generative AI for Beginners | |
Kumar et al. | ManuBERT: A pretrained Manufacturing science language representation model | |
Amrutha et al. | Effortless and beneficial processing of natural languages using transformers | |
He et al. | Recurrent neural network language model with structured word embeddings for speech recognition | |
Alabbad et al. | A robot-based arabic sign language translating system | |
Sahu | Adaptive Fusion Techniques for Effective Multimodal Deep Learning | |
Toan et al. | Human-Robot Interaction System Using Vietnamese |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191107 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210126 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210422 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210921 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211217 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220412 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220510 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7072585 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |