JP2023536103A - 制御可能なテキスト要約化のためのシステムおよび方法 - Google Patents
制御可能なテキスト要約化のためのシステムおよび方法 Download PDFInfo
- Publication number
- JP2023536103A JP2023536103A JP2023505847A JP2023505847A JP2023536103A JP 2023536103 A JP2023536103 A JP 2023536103A JP 2023505847 A JP2023505847 A JP 2023505847A JP 2023505847 A JP2023505847 A JP 2023505847A JP 2023536103 A JP2023536103 A JP 2023536103A
- Authority
- JP
- Japan
- Prior art keywords
- keywords
- input text
- language model
- text document
- control parameters
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 41
- 238000012549 training Methods 0.000 claims description 43
- 238000004891 communication Methods 0.000 claims description 5
- 238000002372 labelling Methods 0.000 claims description 5
- 230000001052 transient effect Effects 0.000 claims 1
- 238000012360 testing method Methods 0.000 abstract description 33
- 238000003062 neural network model Methods 0.000 abstract description 7
- 238000010586 diagram Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 10
- 238000011156 evaluation Methods 0.000 description 7
- 238000000605 extraction Methods 0.000 description 7
- 238000009826 distribution Methods 0.000 description 5
- JEIPFZHSYJVQDO-UHFFFAOYSA-N iron(III) oxide Inorganic materials O=[Fe]O[Fe]=O JEIPFZHSYJVQDO-UHFFFAOYSA-N 0.000 description 5
- 241001596784 Pegasus Species 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000001143 conditioned effect Effects 0.000 description 3
- 230000001276 controlling effect Effects 0.000 description 3
- 230000001537 neural effect Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 102100033814 Alanine aminotransferase 2 Human genes 0.000 description 2
- 101000779415 Homo sapiens Alanine aminotransferase 2 Proteins 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- ABEXEQSGABRUHS-UHFFFAOYSA-N 16-methylheptadecyl 16-methylheptadecanoate Chemical compound CC(C)CCCCCCCCCCCCCCCOC(=O)CCCCCCCCCCCCCCC(C)C ABEXEQSGABRUHS-UHFFFAOYSA-N 0.000 description 1
- 241000764238 Isis Species 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 235000000332 black box Nutrition 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000000875 corresponding effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 235000019580 granularity Nutrition 0.000 description 1
- 238000005417 image-selected in vivo spectroscopy Methods 0.000 description 1
- 238000012739 integrated shape imaging system Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/284—Lexical analysis, e.g. tokenisation or collocates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/34—Browsing; Visualisation therefor
- G06F16/345—Summarisation for human users
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N7/00—Computing arrangements based on specific mathematical models
- G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/0483—Interaction with page-structured environments, e.g. book metaphor
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Computational Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Algebra (AREA)
- Pure & Applied Mathematics (AREA)
- Probability & Statistics with Applications (AREA)
- Mathematical Optimization (AREA)
- Mathematical Analysis (AREA)
- Databases & Information Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Machine Translation (AREA)
Abstract
Description
本開示は、2020年12月17日に出願された米国特許出願第17/125,468号および2020年8月28日に出願された米国仮出願第63/071,571号の優先権を主張し、これらは、参照によりその全体が本明細書に明示的に組み込まれる。
本開示は、一般に、機械学習モデルおよびニューラルネットワークに関し、より具体的には、制御可能なテキスト要約化フレームワークに関する。
図1Aは、本明細書で説明される実施形態による、要約化システムの例示的なニューラルネットワークモデル図100aを示すブロック図を示す。従来、制約なしニューラル要約化方法は、条件付き分布p(y|x)を学習するようにトレーニングされ、ここで、xおよびyは、それぞれ、記事および要約などのソース文書を表す。生成された要約は、人間の関与なく、文書xのみに依存する。出力要約を制御するために、キーワードzのような追加の制御トークンを使用して、ユーザの好みを表し得る。したがって、図100aは、トレーニング段階において、制御可能な要約化のためのニューラルネットワークモデルが確率p(y|x,z)をモデル化するように学習されることを示し、ここで、xは、ソース文書記事110を示し、yは、生成された要約130を示し、zは、記事110から抽出されたキーワード120を示す。したがって、確率p(y|x,z)は、ソース文書110とキーワード120の両方を条件とする要約分布を示す。
図3は、いくつかの実施形態による、要約化システムを実装するためのコンピューティングデバイスの簡略図である。図3に示されるように、コンピューティングデバイス300は、メモリ320に結合されたプロセッサ310を含む。コンピューティングデバイス300の動作は、プロセッサ310によって制御される。また、コンピューティングデバイス300は、1つのプロセッサ310のみとともに示されているが、プロセッサ310は、コンピューティングデバイス300内の1つまたは複数の中央処理装置、マルチコアプロセッサ、マイクロプロセッサ、マイクロコントローラ、デジタルシグナルプロセッサ、フィールドプログラマブルゲートアレイ(FPGA)、特定用途向け集積回路(ASIC)、グラフィックス処理ユニット(GPU)などを表し得ることが理解される。コンピューティングデバイス300は、スタンドアロンサブシステムとして、コンピューティングデバイスに追加されたボードとして、および/または仮想マシンとして実装され得る。
図4は、本明細書で説明されるいくつかの実施形態による、図2に示されるキーワードベース要約化モデルをトレーニングするための方法を示す簡略化された論理フロー図である。方法400のプロセス402~412のうちの1つまたは複数は、少なくとも部分的に、1つまたは複数のプロセッサによって実行されると、1つまたは複数のプロセッサに、プロセス402~412のうちの1つまたは複数を実行させ得る、非一時的な有形の機械可読媒体上に記憶された実行可能コードの形態で実装され得る。いくつかの実施形態では、方法400は、モジュール330によって使用される方法に対応し得る。
図6は、本明細書で説明される一実施形態による、異なるユーザ制御の構成パラメータに基づいて生成された結果として得られる要約を示す定性的な例を提供する。例601は、エンティティ名(例えば、キーワードとしての「ISIS」、「Hasd Al-Shaabi」)、長さ、質疑応答フォーマット、および/または同様のものなどの異なる制御アスペクトに基づいて、異なるバージョンの要約に要約化されたソース文書を示す。例602は、貢献フォーマット、例えば「the main contribution of this paper are …」を有するプロンプトによって再要約化された参照要約を示す。例603は、発明の目的に対するプロンプトによって再要約化された参照要約を示す。
Claims (20)
- 文書の制御可能なテキスト要約化の方法であって、
通信インターフェースにおいて、入力テキスト文書を受信することと、
複数の文書および複数の対応するキーワードのトレーニングデータセットによってトレーニングされた言語モデルを介して、前記入力テキスト文書から、1つまたは複数のキーワードをシーケンスラベリングすることによって、前記1つまたは複数のキーワードを抽出することと、
ユーザインターフェースを介して、制御トークンシーケンスと、生成されるべき要約の特性に関連する1つまたは複数の制御パラメータとを受信することと、
前記受信された制御トークンシーケンスに基づいて前記1つまたは複数のキーワードを修正することと、
前記言語モデルによって、前記1つまたは複数の制御パラメータにしたがって、前記修正された1つまたは複数のキーワードに基づいて前記入力テキスト文書に対する前記要約を生成することと
を含む方法。 - 前記要約の前記特性は、
前記入力テキスト文書で言及されたエンティティ、
前記要約の目標長さ、および
前記入力テキスト文書のタイプ
のうちのいずれかを含む、請求項1に記載の方法。 - 前記1つまたは複数の制御パラメータは、前記入力テキスト文書の前記タイプに対応するプロンプトを含む、請求項2に記載の方法。
- 前記プロンプトは、
研究論文の貢献を要約化する第1の要約プレフィックス、
特許文献の発明の目的を要約化する第2の要約プレフィックス、および
前記入力テキスト文書をガイド付き質疑応答形式で要約化する第3の要約プレフィックス
の群から選択される、請求項3に記載の方法。 - 前記受信された制御トークンシーケンスから、修正されたキーワードの第1のセットおよび第1の制御パラメータを生成することと、
前記言語モデルによって、前記第1の制御パラメータにしたがって、修正されたキーワードの前記第1のセットに基づいて、前記入力テキスト文書に対する前記要約の第1のバージョンを生成することと、
前記受信された制御トークンシーケンスから、修正されたキーワードの第2のセットおよび第2の制御パラメータを生成することと、
前記言語モデルによって、前記第2の制御パラメータにしたがって、前記修正されたキーワードの第2のセットに基づいて、前記入力テキスト文書に対する前記要約の第2のバージョンを生成することと
をさらに含む、請求項1に記載の方法。 - 前記言語モデルは、
特殊トークンで分離されたトレーニングソース文書にキーワードシーケンスをプリペンドすることと、
前記キーワードシーケンスを有する前記トレーニングソース文書を前記言語モデルに入力することと、
前記言語モデルによって、出力要約を生成することと、
前記トレーニングソース文書および前記キーワードシーケンスを条件とする出力要約の条件付き確率を最大化することによって、前記言語モデルを更新することと
によってトレーニングされる、請求項1に記載の方法。 - トレーニング中に前記キーワードシーケンスからキーワードのサブセットをランダムにドロップすること
をさらに含む、請求項6に記載の方法。 - 文書の制御可能なテキスト要約化のシステムであって、
入力テキスト文書を受信する通信インターフェースと、
複数の文書および複数の対応するキーワードのトレーニングデータセットによってトレーニングされる言語モデルを記憶するメモリと、
1つまたは複数のハードウェアプロセッサと
を備え、前記1つまたは複数のハードウェアプロセッサは、
前記言語モデルを介して、前記入力テキスト文書から、1つまたは複数のキーワードをシーケンスラベリングすることによって、前記1つまたは複数のキーワードを抽出することと、
前記通信インターフェースを介して、制御トークンシーケンスと、生成されるべき要約の特性に関連する1つまたは複数の制御パラメータとを受信することと、
前記受信された制御トークンシーケンスに基づいて前記1つまたは複数のキーワードを修正することと、
前記言語モデルによって、前記1つまたは複数の制御パラメータにしたがって、前記修正された1つまたは複数のキーワードに基づいて前記入力テキスト文書に対する前記要約を生成することと
を行う、システム。 - 前記要約の前記特性は、
前記入力テキスト文書で言及されたエンティティ、
前記要約の目標長さ、および
前記入力テキスト文書のタイプ
のうちのいずれかを含む、請求項8に記載のシステム。 - 前記1つまたは複数の制御パラメータは、前記入力テキスト文書の前記タイプに対応するプロンプトを含む、請求項9に記載のシステム。
- 前記プロンプトは、
研究論文の貢献を要約化する第1の要約プレフィックス、
特許文献の発明の目的を要約化する第2の要約プレフィックス、および
前記入力テキスト文書をガイド付き質疑応答形式で要約化する第3の要約プレフィックス
の群から選択される、請求項10に記載のシステム。 - 前記1つまたは複数のハードウェアプロセッサはさらに、
前記受信された制御トークンシーケンスから、修正されたキーワードの第1のセットおよび第1の制御パラメータを生成することと、
前記言語モデルによって、前記第1の制御パラメータにしたがって、修正されたキーワードの前記第1のセットに基づいて、前記入力テキスト文書に対する前記要約の第1のバージョンを生成することと、
前記受信された制御トークンシーケンスから、修正されたキーワードの第2のセットおよび第2の制御パラメータを生成することと、
前記言語モデルによって、前記第2の制御パラメータにしたがって、前記修正されたキーワードの第2のセットに基づいて、前記入力テキスト文書に対する前記要約の第2のバージョンを生成することと
を行う、請求項8に記載のシステム。 - 前記言語モデルは、
特殊トークンで分離されたトレーニングソース文書にキーワードシーケンスをプリペンドすることと、
前記キーワードシーケンスを有する前記トレーニングソース文書を前記言語モデルに入力することと、
前記言語モデルによって、出力要約を生成することと、
前記トレーニングソース文書および前記キーワードシーケンスを条件とする出力要約の条件付き確率を最大化することによって、前記言語モデルを更新することと
によってトレーニングされる、請求項8に記載のシステム。 - 前記1つまたは複数のハードウェアプロセッサはさらに、
トレーニング中に前記キーワードシーケンスからキーワードのサブセットをランダムにドロップする、
請求項13に記載のシステム。 - 文書の制御可能なテキスト要約化のための複数のプロセッサ実行可能命令を記憶する非一時的プロセッサ可読媒体であって、前記命令は、
通信インターフェースにおいて、入力テキスト文書を受信することと、
複数の文書および複数の対応するキーワードのトレーニングデータセットによってトレーニングされた言語モデルを介して、前記入力テキスト文書から、1つまたは複数のキーワードをシーケンスラベリングすることによって、前記1つまたは複数のキーワードを抽出することと、
ユーザインターフェースを介して、制御トークンシーケンスと、生成されるべき要約の特性に関連する1つまたは複数の制御パラメータとを受信することと、
前記受信された制御トークンシーケンスに基づいて前記1つまたは複数のキーワードを修正することと、
前記言語モデルによって、前記1つまたは複数の制御パラメータにしたがって、前記修正された1つまたは複数のキーワードに基づいて前記入力テキスト文書に対する前記要約を生成することと
を含む動作を実行するために、1つまたは複数のプロセッサによって実行される、非一時的プロセッサ可読媒体。 - 前記要約の前記特性は、
前記入力テキスト文書で言及されたエンティティ、
前記要約の目標長さ、および
前記入力テキスト文書のタイプ
のうちのいずれかを含む、請求項15に記載の非一時的プロセッサ可読媒体。 - 前記1つまたは複数の制御パラメータは、前記入力テキスト文書の前記タイプに対応するプロンプトを含む、請求項16に記載の非一時的プロセッサ可読媒体。
- 前記プロンプトは、
研究論文の貢献を要約化する第1の要約プレフィックス、
特許文献の発明の目的を要約化する第2の要約プレフィックス、および
前記入力テキスト文書をガイド付き質疑応答形式で要約化する第3の要約プレフィックス
の群から選択される、請求項17に記載の非一時的プロセッサ可読媒体。 - 前記動作は、
前記受信された制御トークンシーケンスから、修正されたキーワードの第1のセットおよび第1の制御パラメータを生成することと、
前記言語モデルによって、前記第1の制御パラメータにしたがって、修正されたキーワードの前記第1のセットに基づいて、前記入力テキスト文書に対する前記要約の第1のバージョンを生成することと、
前記受信された制御トークンシーケンスから、修正されたキーワードの第2のセットおよび第2の制御パラメータを生成することと、
前記言語モデルによって、前記第2の制御パラメータにしたがって、前記修正されたキーワードの第2のセットに基づいて、前記入力テキスト文書に対する前記要約の第2のバージョンを生成することと
をさらに含む、請求項16に記載の非一時的プロセッサ可読媒体。 - 前記言語モデルは、
特殊トークンで分離されたトレーニングソース文書にキーワードシーケンスをプリペンドすることと、
トレーニング中に前記キーワードシーケンスからキーワードのサブセットをランダムにドロップすることと、
前記キーワードシーケンスを有する前記トレーニングソース文書を前記言語モデルに入力することと、
前記言語モデルによって、出力要約を生成することと、
前記トレーニングソース文書および前記キーワードシーケンスを条件とする出力要約の条件付き確率を最大化することによって、前記言語モデルを更新することと
によってトレーニングされる、請求項15に記載の非一時的プロセッサ可読媒体。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202063071571P | 2020-08-28 | 2020-08-28 | |
US63/071,571 | 2020-08-28 | ||
US17/125,468 US11934781B2 (en) | 2020-08-28 | 2020-12-17 | Systems and methods for controllable text summarization |
US17/125,468 | 2020-12-17 | ||
PCT/US2021/045385 WO2022046403A1 (en) | 2020-08-28 | 2021-08-10 | Systems and methods for controllable text summarization |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023536103A true JP2023536103A (ja) | 2023-08-23 |
Family
ID=77627529
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023505847A Pending JP2023536103A (ja) | 2020-08-28 | 2021-08-10 | 制御可能なテキスト要約化のためのシステムおよび方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11934781B2 (ja) |
EP (1) | EP4204991A1 (ja) |
JP (1) | JP2023536103A (ja) |
CN (1) | CN116097248A (ja) |
WO (1) | WO2022046403A1 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3905142A1 (en) * | 2020-04-30 | 2021-11-03 | Naver Corporation | Abstractive multi-document summarization through self-supervision and control |
JP2022098219A (ja) * | 2020-12-21 | 2022-07-01 | 富士通株式会社 | 学習プログラム、学習方法、および学習装置 |
WO2023220198A1 (en) * | 2022-05-10 | 2023-11-16 | Google Llc | Multi-stage summarization for customized, contextual summaries |
US11783112B1 (en) | 2022-09-30 | 2023-10-10 | Intuit, Inc. | Framework agnostic summarization of multi-channel communication |
Family Cites Families (61)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7509572B1 (en) * | 1999-07-16 | 2009-03-24 | Oracle International Corporation | Automatic generation of document summaries through use of structured text |
US20020078090A1 (en) * | 2000-06-30 | 2002-06-20 | Hwang Chung Hee | Ontological concept-based, user-centric text summarization |
US11651039B1 (en) * | 2007-02-06 | 2023-05-16 | Dmitri Soubbotin | System, method, and user interface for a search engine based on multi-document summarization |
US20130191735A1 (en) | 2012-01-23 | 2013-07-25 | Formcept Technologies and Solutions Pvt Ltd | Advanced summarization on a plurality of sentiments based on intents |
US20140250375A1 (en) * | 2013-03-04 | 2014-09-04 | Xerox Corporation | Method and system for summarizing documents |
US10599741B2 (en) * | 2013-07-08 | 2020-03-24 | Big Fish Design, Llc | Application software for a browser with enhanced efficiency |
US20160350653A1 (en) | 2015-06-01 | 2016-12-01 | Salesforce.Com, Inc. | Dynamic Memory Network |
US11113598B2 (en) | 2015-06-01 | 2021-09-07 | Salesforce.Com, Inc. | Dynamic memory network |
US20170032280A1 (en) | 2015-07-27 | 2017-02-02 | Salesforce.Com, Inc. | Engagement estimator |
US20170140240A1 (en) | 2015-07-27 | 2017-05-18 | Salesforce.Com, Inc. | Neural network combined image and text evaluator and classifier |
EP3335158B1 (en) | 2015-08-15 | 2019-07-24 | Salesforce.com, Inc. | Three-dimensional (3d) convolution with 3d batch normalization |
US10565493B2 (en) | 2016-09-22 | 2020-02-18 | Salesforce.Com, Inc. | Pointer sentinel mixture architecture |
US11222253B2 (en) | 2016-11-03 | 2022-01-11 | Salesforce.Com, Inc. | Deep neural network model for processing data through multiple linguistic task hierarchies |
US11080595B2 (en) | 2016-11-04 | 2021-08-03 | Salesforce.Com, Inc. | Quasi-recurrent neural network based encoder-decoder model |
US10963782B2 (en) | 2016-11-04 | 2021-03-30 | Salesforce.Com, Inc. | Dynamic coattention network for question answering |
US10565305B2 (en) | 2016-11-18 | 2020-02-18 | Salesforce.Com, Inc. | Adaptive attention model for image captioning |
US11354565B2 (en) | 2017-03-15 | 2022-06-07 | Salesforce.Com, Inc. | Probability-based guider |
US10474709B2 (en) | 2017-04-14 | 2019-11-12 | Salesforce.Com, Inc. | Deep reinforced model for abstractive summarization |
US10565318B2 (en) | 2017-04-14 | 2020-02-18 | Salesforce.Com, Inc. | Neural machine translation with latent tree attention |
US10747761B2 (en) | 2017-05-18 | 2020-08-18 | Salesforce.Com, Inc. | Neural network based translation of natural language queries to database queries |
US11386327B2 (en) | 2017-05-18 | 2022-07-12 | Salesforce.Com, Inc. | Block-diagonal hessian-free optimization for recurrent and convolutional neural networks |
US10817650B2 (en) | 2017-05-19 | 2020-10-27 | Salesforce.Com, Inc. | Natural language processing using context specific word vectors |
US12014257B2 (en) | 2017-05-19 | 2024-06-18 | Salesforce, Inc. | Domain specific language for generation of recurrent neural network architectures |
US20190130896A1 (en) | 2017-10-26 | 2019-05-02 | Salesforce.Com, Inc. | Regularization Techniques for End-To-End Speech Recognition |
US11928600B2 (en) | 2017-10-27 | 2024-03-12 | Salesforce, Inc. | Sequence-to-sequence prediction using a neural network model |
US10573295B2 (en) | 2017-10-27 | 2020-02-25 | Salesforce.Com, Inc. | End-to-end speech recognition with policy learning |
US11170287B2 (en) | 2017-10-27 | 2021-11-09 | Salesforce.Com, Inc. | Generating dual sequence inferences using a neural network model |
US11604956B2 (en) | 2017-10-27 | 2023-03-14 | Salesforce.Com, Inc. | Sequence-to-sequence prediction using a neural network model |
US10592767B2 (en) | 2017-10-27 | 2020-03-17 | Salesforce.Com, Inc. | Interpretable counting in visual question answering |
US11562287B2 (en) | 2017-10-27 | 2023-01-24 | Salesforce.Com, Inc. | Hierarchical and interpretable skill acquisition in multi-task reinforcement learning |
US10542270B2 (en) | 2017-11-15 | 2020-01-21 | Salesforce.Com, Inc. | Dense video captioning |
US11276002B2 (en) | 2017-12-20 | 2022-03-15 | Salesforce.Com, Inc. | Hybrid training of deep networks |
US10776581B2 (en) | 2018-02-09 | 2020-09-15 | Salesforce.Com, Inc. | Multitask learning as question answering |
JP6958417B2 (ja) * | 2018-02-20 | 2021-11-02 | 日本電信電話株式会社 | 文書要約装置、方法、及びプログラム |
US10929607B2 (en) | 2018-02-22 | 2021-02-23 | Salesforce.Com, Inc. | Dialogue state tracking using a global-local encoder |
US11227218B2 (en) | 2018-02-22 | 2022-01-18 | Salesforce.Com, Inc. | Question answering from minimal context over documents |
US10783875B2 (en) | 2018-03-16 | 2020-09-22 | Salesforce.Com, Inc. | Unsupervised non-parallel speech domain adaptation using a multi-discriminator adversarial network |
US11106182B2 (en) | 2018-03-16 | 2021-08-31 | Salesforce.Com, Inc. | Systems and methods for learning for domain adaptation |
US11600194B2 (en) | 2018-05-18 | 2023-03-07 | Salesforce.Com, Inc. | Multitask learning as question answering |
US10909157B2 (en) | 2018-05-22 | 2021-02-02 | Salesforce.Com, Inc. | Abstraction of text summarization |
US10970486B2 (en) | 2018-09-18 | 2021-04-06 | Salesforce.Com, Inc. | Using unstructured input to update heterogeneous data stores |
US11436481B2 (en) | 2018-09-18 | 2022-09-06 | Salesforce.Com, Inc. | Systems and methods for named entity recognition |
US20200090034A1 (en) | 2018-09-18 | 2020-03-19 | Salesforce.Com, Inc. | Determining Intent from Unstructured Input to Update Heterogeneous Data Stores |
US11087177B2 (en) | 2018-09-27 | 2021-08-10 | Salesforce.Com, Inc. | Prediction-correction approach to zero shot learning |
US11514915B2 (en) | 2018-09-27 | 2022-11-29 | Salesforce.Com, Inc. | Global-to-local memory pointer networks for task-oriented dialogue |
US11029694B2 (en) | 2018-09-27 | 2021-06-08 | Salesforce.Com, Inc. | Self-aware visual-textual co-grounded navigation agent |
US11645509B2 (en) | 2018-09-27 | 2023-05-09 | Salesforce.Com, Inc. | Continual neural network learning via explicit structure learning |
US10963652B2 (en) | 2018-12-11 | 2021-03-30 | Salesforce.Com, Inc. | Structured text translation |
US11922323B2 (en) | 2019-01-17 | 2024-03-05 | Salesforce, Inc. | Meta-reinforcement learning gradient estimation with variance reduction |
US10891427B2 (en) * | 2019-02-07 | 2021-01-12 | Adobe Inc. | Machine learning techniques for generating document summaries targeted to affective tone |
US11568306B2 (en) | 2019-02-25 | 2023-01-31 | Salesforce.Com, Inc. | Data privacy protected machine learning systems |
US11366969B2 (en) | 2019-03-04 | 2022-06-21 | Salesforce.Com, Inc. | Leveraging language models for generating commonsense explanations |
US11003867B2 (en) | 2019-03-04 | 2021-05-11 | Salesforce.Com, Inc. | Cross-lingual regularization for multilingual generalization |
US11087092B2 (en) | 2019-03-05 | 2021-08-10 | Salesforce.Com, Inc. | Agent persona grounded chit-chat generation framework |
US11580445B2 (en) | 2019-03-05 | 2023-02-14 | Salesforce.Com, Inc. | Efficient off-policy credit assignment |
US11232308B2 (en) | 2019-03-22 | 2022-01-25 | Salesforce.Com, Inc. | Two-stage online detection of action start in untrimmed videos |
US11281863B2 (en) | 2019-04-18 | 2022-03-22 | Salesforce.Com, Inc. | Systems and methods for unifying question answering and text classification via span extraction |
US11487939B2 (en) | 2019-05-15 | 2022-11-01 | Salesforce.Com, Inc. | Systems and methods for unsupervised autoregressive text compression |
US11775775B2 (en) | 2019-05-21 | 2023-10-03 | Salesforce.Com, Inc. | Systems and methods for reading comprehension for a question answering task |
US11669712B2 (en) | 2019-05-21 | 2023-06-06 | Salesforce.Com, Inc. | Robustness evaluation via natural typos |
US11687588B2 (en) | 2019-05-21 | 2023-06-27 | Salesforce.Com, Inc. | Weakly supervised natural language localization networks for video proposal prediction based on a text query |
-
2020
- 2020-12-17 US US17/125,468 patent/US11934781B2/en active Active
-
2021
- 2021-08-10 JP JP2023505847A patent/JP2023536103A/ja active Pending
- 2021-08-10 WO PCT/US2021/045385 patent/WO2022046403A1/en unknown
- 2021-08-10 EP EP21765774.1A patent/EP4204991A1/en active Pending
- 2021-08-10 CN CN202180051981.0A patent/CN116097248A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
US20220067284A1 (en) | 2022-03-03 |
CN116097248A (zh) | 2023-05-09 |
EP4204991A1 (en) | 2023-07-05 |
US11934781B2 (en) | 2024-03-19 |
WO2022046403A1 (en) | 2022-03-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Bajaj et al. | Ms marco: A human generated machine reading comprehension dataset | |
JP7282940B2 (ja) | 電子記録の文脈検索のためのシステム及び方法 | |
CN111177569B (zh) | 基于人工智能的推荐处理方法、装置及设备 | |
Hill et al. | The goldilocks principle: Reading children's books with explicit memory representations | |
JP2023536103A (ja) | 制御可能なテキスト要約化のためのシステムおよび方法 | |
KR102137809B1 (ko) | 자동 답변 제공 방법 | |
Coelho et al. | Building machine learning systems with Python | |
CN109840287A (zh) | 一种基于神经网络的跨模态信息检索方法和装置 | |
JP4148522B2 (ja) | 表現検出システム、表現検出方法、及びプログラム | |
EP2583203A2 (en) | Semantic content searching | |
Zhang et al. | Summarizing and exploring tabular data in conversational search | |
CN112805715A (zh) | 识别实体属性关系 | |
Blair et al. | Automated generation of multilingual clusters for the evaluation of distributed representations | |
Aralikatte et al. | Fault in your stars: an analysis of android app reviews | |
Shah et al. | Simple App Review Classification with Only Lexical Features. | |
US10585640B2 (en) | Automated voice enablement of applications | |
Bajaj et al. | Reading COmprehension Dataset | |
Gehrmann et al. | Improving human text comprehension through semi-Markov CRF-based neural section title generation | |
US10481865B2 (en) | Automated voice enablement of applications | |
Kim et al. | Zero-shot triplet extraction by template infilling | |
CN112446206A (zh) | 一种菜谱标题的生成方法及装置 | |
Rawat et al. | A Systematic Literature Review (SLR) On The Beginning of Resume Parsing in HR Recruitment Process & SMART Advancements in Chronological Order | |
Kedzie | Salience Estimation and Faithful Generation: Modeling Methods for Text Summarization and Generation | |
Bailey | Out of the mouths of users: Examining user-developer feedback loops facilitated by app stores | |
Carichon et al. | An history of relevance in unsupervised summarization |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230127 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230127 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240229 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240312 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240611 |