JP7258047B2 - 収束質問に対する回答を改善するための仮想談話ツリーの構築 - Google Patents
収束質問に対する回答を改善するための仮想談話ツリーの構築 Download PDFInfo
- Publication number
- JP7258047B2 JP7258047B2 JP2020562734A JP2020562734A JP7258047B2 JP 7258047 B2 JP7258047 B2 JP 7258047B2 JP 2020562734 A JP2020562734 A JP 2020562734A JP 2020562734 A JP2020562734 A JP 2020562734A JP 7258047 B2 JP7258047 B2 JP 7258047B2
- Authority
- JP
- Japan
- Prior art keywords
- answer
- discourse tree
- discourse
- question
- tree
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004891 communication Methods 0.000 claims description 86
- 239000012634 fragment Substances 0.000 claims description 75
- 238000000034 method Methods 0.000 claims description 67
- 230000004044 response Effects 0.000 claims description 59
- 230000006399 behavior Effects 0.000 claims description 51
- 230000009471 action Effects 0.000 claims description 30
- 238000013507 mapping Methods 0.000 claims description 8
- 238000013145 classification model Methods 0.000 claims description 7
- 239000003795 chemical substances by application Substances 0.000 description 93
- 230000008569 process Effects 0.000 description 31
- 238000007726 management method Methods 0.000 description 24
- 238000012545 processing Methods 0.000 description 23
- 238000004458 analytical method Methods 0.000 description 18
- 238000012549 training Methods 0.000 description 17
- 230000006870 function Effects 0.000 description 14
- 238000013459 approach Methods 0.000 description 9
- 230000005540 biological transmission Effects 0.000 description 9
- 241000282414 Homo sapiens Species 0.000 description 8
- 230000008451 emotion Effects 0.000 description 8
- 238000011156 evaluation Methods 0.000 description 8
- 238000010801 machine learning Methods 0.000 description 8
- 238000012360 testing method Methods 0.000 description 8
- 241000282472 Canis lupus familiaris Species 0.000 description 7
- 230000008901 benefit Effects 0.000 description 7
- 230000014509 gene expression Effects 0.000 description 7
- 238000012544 monitoring process Methods 0.000 description 7
- 230000008520 organization Effects 0.000 description 7
- 238000012546 transfer Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 230000001976 improved effect Effects 0.000 description 6
- 230000003993 interaction Effects 0.000 description 6
- 238000003058 natural language processing Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000002093 peripheral effect Effects 0.000 description 5
- 238000011160 research Methods 0.000 description 5
- 230000029305 taxis Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 4
- 101100016620 Arabidopsis thaliana HDG11 gene Proteins 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 239000000047 product Substances 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 241000282326 Felis catus Species 0.000 description 2
- 241000699670 Mus sp. Species 0.000 description 2
- 101100041128 Schizosaccharomyces pombe (strain 972 / ATCC 24843) rst2 gene Proteins 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 230000003542 behavioural effect Effects 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 238000011835 investigation Methods 0.000 description 2
- 238000004900 laundering Methods 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000008450 motivation Effects 0.000 description 2
- 230000006855 networking Effects 0.000 description 2
- 230000008439 repair process Effects 0.000 description 2
- 230000008093 supporting effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 206010002515 Animal bite Diseases 0.000 description 1
- 241000238558 Eucarida Species 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 241000700605 Viruses Species 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 230000009118 appropriate response Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 230000009850 completed effect Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000007596 consolidation process Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 230000006996 mental state Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 230000002853 ongoing effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
- 230000000699 topical effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/903—Querying
- G06F16/9032—Query formulation
- G06F16/90332—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/901—Indexing; Data structures therefor; Storage structures
- G06F16/9027—Trees
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
- G06F40/295—Named entity recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
- G06F40/35—Discourse or dialogue representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/40—Processing or translation of natural language
- G06F40/42—Data-driven translation
- G06F40/49—Data-driven translation using very large corpora, e.g. the web
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Machine Translation (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
本出願は2018年9月10日に提出された米国仮出願62/729,335号および2018年5月9日に提出された米国仮出願62/668,963号の利益を主張し、その両方の全体をここに引用により援用する。
言語学は言語に関する科学的研究である。言語学の一局面は、英語などの人の自然言語に対してコンピュータサイエンスを適用することである。プロセッサ速度の大幅な上昇およびメモリ容量の大幅な増大により、言語学にコンピュータを適用することが増えてきている。たとえば、言語談話をコンピュータで分析できれば、ユーザからの質問に回答することができる自動化エージェントなどの多数の用途が促進される。質問に回答し、議論を促進し、ダイアログを管理し、社会的振興をもたらすために自律型エージェントまたはチャットボットを用いることが次第に普及してきている。
本明細書で記載される局面は、複雑で複数センテンスの収束質問に対する質問回答再現率を改善するために、仮想談話ツリーを使用する。より具体的には、改善された自律型エージェントが、ユーザデバイスから受信された質問に対する初期回答にアクセスする。初期回答は、質問に部分的に対処するが、完全には対処しない。エージェントは質問および初期回答を談話ツリーとして表し、回答において対処されていない質問内のエンティティを識別する。エージェントは、テキストコーパスのような追加のリソースにアクセスして、欠けているエンティティと回答内の別のエンティティとを修辞的に接続する回答を判断する。エージェントは、この追加のリソースを選択し、それによって、回答の談話ツリーと組み合わされたときに既存の解決策よりも改善された回答を生成するために使用することができる仮想談話ツリーを形成する。
上記で考察したように、自律型エージェントのための既存のシステムは欠点を有する。例えば、そのようなシステムは、複雑なクエリ、複数センテンスのクエリ、または収束クエリに回答することができない。これらのシステムはまた、構築が困難で費用のかかるオントロジー、またはドメイン内の異なる概念間の関係に依存し得る。さらに、いくつかの既存の解決策は、表現性およびカバレージを制限し得る知識グラフに基づくアプローチを採用する。
「修辞構造理論(rhetorical structure theory)」は、この明細書中において用いられる場合、談話の一貫性の分析を可能にし得る論理基礎を提供した調査および研究の分野である。
言語学は言語についての科学的研究である。たとえば、言語学は、センテンス(構文)の構造、たとえば、主語-動詞-目的語、センテンス(セマンティックス)の意味、たとえば、「dog bites man(犬が人を噛む)」に対して「man bites dog(人が犬を噛む)」、さらに、話し手が会話中に行うこと、すなわち、談話分析またはセンテンスの範囲を超えた言語の分析、を含み得る。
論じられるように、本明細書に記載される局面は、仮想談話ツリーを使用する。修辞関係は、異なる態様で記述することができる。例えば、MannおよびThompsonは、23の可能な関係について記載している。William C. Mann, William & Thompson, Sandra. (1987) (“Mann and Thompson”). Maite “Rhetorical structure theory: A Theory of Text organization,” Text-Interdisciplinary Journal for the Study of Discourse, 8(3):243-281, 1988を参照されたい。他の数の関係も可能である。
1.新しい技術報告の要約は、現在、簡略版辞典付近の蔵書の雑誌領域にあります(The new Tech Report abstracts are now in the journal area of the library near the abridged dictionary)。
図から分かるように、関係328は、エンティティ307とエンティティ306との関係、すなわち可能化、を示している。図3は、複数の核を入れ子状にすることができるが、最も核性のある1つのテキストスパンだけが存在することを例示している。
談話ツリーはさまざまな方法を用いて生成することができる。DTボトムアップ(DT bottom up)を構築するための方法の単純な例は以下のとおりである:
(1)以下の(a)および(b)によって談話テキストを複数単位に分割する。
(b)典型的には単位は節である。
(3)関係が保たれている場合、その関係に印を付ける。
MannおよびThompsonはまた、スキーマ・アプリケーションと呼ばれるブロック構造の構築の第2のレベルを記載している。RSTにおいては、修辞関係が、テキスト上に直接マッピングされず、それらはスキーマ・アプリケーションと呼ばれる構造上に適合され、これらはさらにテキストに適合される。スキーマ・アプリケーションは、(図4によって示されるような)スキーマと呼ばれる、より単純な構造に由来している。各々のスキーマは、テキストの特定の単位が如何にしてより小さなテキスト単位に分解されるかを示している。修辞構造ツリーまたはDTは、スキーマ・アプリケーションの階層システムである。スキーマ・アプリケーションは、いくつかの連続するテキストスパンをリンクさせ、複雑なテキストスパンを作成する。複雑なテキストスパンはさらに、より高レベルのスキーマ・アプリケーションによってリンクされ得る。RSTの主張によれば、すべての一貫した談話の構造を単一の修辞構造ツリーによって記述することができ、その最上位のスキーマによって談話全体を包含するスパンが作成される。
図5は、ツリー上の葉部または終端ノードであるテキストスパンを示しており、図6に示されるテキスト全体に現われる順序で番号付けされている。図5はツリー500を含む。ツリー500は、たとえばノード501~507を含む。ノードは関係性を示す。ノードは、ノード501などの非終端ノードまたはノード502~507などの終端ノードである。図から分かるように、ノード503および504はジョイントの関係性によって関連づけられている。ノード502、505、506および508は核である。点線は、ブランチまたはテキストスパンが衛星であることを示している。これらの関係は灰色のボックスにおけるノードである。図6は、一局面に従った、図5における表現についての例示的なインデントされたテキストエンコーディングを示す。図6はコンピュータプログラミングにより適用し易いテキスト600を含む。「N」は核であり、「S」は衛星である。
自動的な談話セグメンテーションはさまざまな方法で実行することができる。たとえば、或るセンテンスを想定すると、セグメンテーションモデルは、センテンスにおける各々の特定のトークンの前に境界が挿入されるべきであるかどうかを予測することによって、複合的な基本談話単位の境界を識別する。たとえば、1つのフレームワークは、センテンス内の各トークンを連続的に独立して考慮に入れる。このフレームワークにおいては、セグメンテーションモデルは、トークンによってセンテンストークンをスキャンし、サポートベクトルマシンまたはロジスティック回帰などの二進法分類を用いて、検査されているトークンの前に境界を挿入することが適切であるかどうかを予測する。別の例においては、タスクは連続的にラベル付けする際の問題である。テキストが基本談話単位にセグメント化されると、センテンスレベルの談話構文解析を実行して談話ツリーを構築することができる。機械学習技術を用いることができる。
人Aと人Bとの間の会話は談話の一形式である。たとえば、FaceBook(登録商標)メッセンジャ、WhatsApp(登録商標)、Slack(登録商標)、SMSなどのアプリケーションが存在し、AとBとの間の会話は、典型的には、より従来型の電子メールおよび音声会話に加えて、メッセージを介するものであってもよい。(知的なボットまたは仮想アシスタントなどと称されることもある)チャットボットは、「知的な」マシンであって、たとえば、人Bと置き換わって、2人の人同士の間の会話をさまざまな程度に模倣する。究極の目的の一例としては、人Aは、Bが人であるかまたはマシンであるかどうか区別できないようにすることである(1950年にAlan Turingによって開発されたチューリング(Turning)テスト)。談話分析、機械学習を含む人工知能および自然言語処理は、チューリングテストに合格するという長期目標に向かって大きく発展してきた。当然ながら、コンピュータにより、莫大なデータのリポジトリを検索および処理して、予測的分析を含めるようにデータに対して複雑な分析を行うことも次第に可能になってきており、長期目標は、人のようなチャットボットとコンピュータとを組合わせることである。
図7は、一局面に従った、財産税に関する要求例についての例示的なDTを示す。ノードラベルは関係であり、矢印付きの線は衛星を指している。核は実線である。図7は以下のテキストを示す。
上述のテキストを分析することにより、以下が得られる。「My husbands' grandmother gave him his grandfather's truck」は、「I wanted to put in my name」、「and paid the property tax」、および「and got insurance for the truck」という表現によって詳述される「having unpaid fines on his license, he was not able to get the truck put in his name」によって詳述される「She signed the title over but due to my husband」という表現によって詳述される。
回答の選択は文脈に依存する。修辞構造は、「公式の(official)」、「政治的に正しい(politically correct)」テンプレートベースの回答と、「実際の(actual)」、「未処理の(raw)」、「現場からの報告(reports from the field)」または「論争の的となる(controversial)」回答とを区別することを可能にする(図9および図10を参照されたい)。時として、質問自体は、どのカテゴリの回答が期待されているかについてのヒントを与えることができる。質問が、第2の意味を持たない類事実または定義的性質をもつ質問として策定されている場合、第1のカテゴリーの回答が適している。他の場合には、質問が、「それが実際に何であるかを私に伝える」という意味を有する場合、第2のカテゴリが適している。一般に、質問から修辞構造を抽出した後、同様の修辞構造、一致した修辞構造、または補足的な修辞構造を有するであろう適切な回答を選択することはより容易である。
修辞学的合致アプリケーション112は、回答データベース105または公衆データベースから取得された回答などの所与の回答または応答が所与の質問または要求に応答するかどうかを判断することができる。より具体的には、修辞学的合致アプリケーション112は、(i)要求と応答との間の関連性または(ii)要求と応答との間の修辞学的合致の一方または両方を判断することによって、要求および応答のペアが正しいか、または正しくないかを分析する。修辞学的合致は、関連性を考慮することなく分析することができ、それは直交的に扱うことができる。
修辞学的合致アプリケーション112は、コミュニケーション用談話ツリーを作成し、分析し、比較することができる。コミュニケーション用談話ツリーは、修辞情報を発話動作構造と組合わせるように設計されている。CDTは、コミュニケーション行動についての表現でラベル付けされた円弧を含む。コミュニケーション行動を組合わせることにより、CDTは、RST関係およびコミュニケーション行動のモデリングを可能にする。CDTはパース交錯の縮図である。Galitsky、B. Ilvovsky、D. Kuznetsov SOによる「Rhetoric Map of an Answer to Compound Queries Knowledge Trail Inc. ACL 2015,681-686(Galitsky(2015))を参照されたい。パース交錯は、センテンスについてのパースツリーを1つのグラフにおけるセンテンスの単語と部分との談話レベル関係と組合わせたものである。発話動作を識別するラベルを組込むことにより、コミュニケーション用談話ツリーの学習が、基本談話単位(EDU)の構文および適正な修辞関係よりもより豊富な特徴セットにわたって実行可能となる。
図11から分かるように、CDTの非終端ノードは修辞関係であり、終端ノードは、これらの関係の主題である基本談話単位(フレーズ、センテンスフラグメント)である。CDTのいくつかの円弧は、行動者であるエージェント、およびこれらの行動の主題(やり取りされていること)を含むコミュニケーション行動についての表現でラベル付けされている。たとえば、(左側の)詳細関係についての核ノードは、say(Dutch, evidence)でラベル付けされており、衛星は、responsible(rebels, shooting down)でラベル付けされている。これらのラベルは、EDUの主題がevidence(証拠)およびshooting down(撃墜)であることを表すように意図されたものではなく、このCDTと他のものとの間の類似性を見出す目的でこのCDTを他のものと一致させるように意図されている。この場合、コミュニケーション用談話の情報を提供するのではなく修辞関係によってこれらのコミュニケーション行動を単にリンクさせることは、あまりに制限され過ぎていて、やり取りされている物およびその方法についての構造を表わすことができない。同じ修辞関係または調整された修辞関係を有するべきというRRペアについての要件は弱すぎるため、ノード同士を一致させることに加えて円弧に関するCDTラベル同士を合致させることが必要となる。
図13は、一局面に従った、第3のエージェントの請求についてのコミュニケーション用談話ツリーを示す。図13は、以下のテキストを表わすコミュニケーション用談話ツリー1300を示す。「Rebels, the self-proclaimed Donetsk People's Republic, deny that they controlled the territory from which the missile was allegedly fired. It became possible only after three months after the tragedy to say if rebels controlled one or another town.(反乱分子である自称ドニエツク人民共和国は、彼らが、ミサイルが発射されたと主張されている領域を制圧していたことを否定している。反乱分子が或る町または別の町を制圧していたかどうかは、悲劇の後に3か月経った後にしか発表することができなかった。)」
コミュニケーション用談話ツリー1100~1300から分かるように、応答は任意ではない。応答は、元のテキストと同じエンティティについて述べている。たとえば、コミュニケーション用談話ツリー1200および1300はコミュニケーション用談話ツリー1100に関係している。応答は、これらのエンティティについての、かつこれらのエンティティの行動についての、推定および感情との不合致を裏づけしている。
抽象的な構造同士の間の類似性を演算するために、2つのアプローチがしばしば用いられる。(1)これらの構造を数値空間で表わすとともに類似性を数として表す(統計学習アプローチ);または、(2)数値空間ではなくツリーおよびグラフなどの構造表現を用いて、最大の共通サブ構造として類似性を表現する。最大の共通サブ構造として類似性を表わすことは一般化と称される。
要求・応答ペアを表現することは、或るペアに基づいた分類ベースの動作を促進する。一例においては、要求・応答ペアはパース交錯として表わすことができる。パース交錯は、1つのグラフにおけるセンテンスの単語と部分との間の談話・レベル関係を用いて、2つ以上のセンテンスについてのパースツリーを表わしたものである。Galitsky(2015)を参照されたい。質問と回答との間の話題の類似性は、パース交錯の共通のサブグラフとして表わすことができる。共通のグラフノードの数が多ければ多いほど、類似性は高くなる。
応答1402が表わす応答は以下のとおりである。「Marital therapists advise on dealing with a child being born from an affair as follows. One option is for the husband to avoid contact but just have the basic legal and financial commitments. Another option is to have the wife fully involved and have the baby fully integrated into the family just like a child from a previous marriage.(結婚に関するセラピストは、ある情事から生まれてきた子供への対処について以下のように助言しています。1つのオプションは、夫との接触を避けて、基本的な法的および財政的義務だけを果たさせることです。別のオプションは、妻に十分に関与させて、赤ん坊を前の結婚からできた子供のように家族に完全に溶け込ませることです)」。
2つのコミュニケーション行動A1とA2との間の類似性は、A1とA2との間で共通である特徴を所有する抽象動詞として規定される。2つの動詞の類似性を抽象動詞のような構造として定義することにより、修辞学的合致の評価などの帰納的学習タスクがサポートされる。一例においては、agree(合致する)およびdisagree(合致しない)という共通の2つの動詞間の類似性を以下のように一般化することができる。agree ^ disagree = verb(Interlocutor, Proposed_action, Speaker)。この場合、Interlocutor(対話)は、Proposed_actionをSpeaker(話し手)に提案した人であって、この人に対してSpeakerが自身の応答を伝えている。さらに、proposed_actionは、要求または提案を受諾するかまたは拒絶する場合にSpeakerが実行するであろう行動であり、Speakerは、特定の行動が提案された対象の人であって、なされた要求または提案に応える人である。
談話ツリー同士の間のいくつかの関係は一般化することができ、同じタイプの関係(対照などの表示関係、条件などの主題関係、およびリストなどの多核の関係)を表わす円弧などは一般化することができる。核または核によって示される状況は、「N」によって示される。衛星または衛星によって示される状況は、「S」によって示される。「W」は書き手を示す。「R」は読み手(聞き手)を示す。状況は、提案、完了した行動または進行中の行動、ならびにコミュニケーション行動および状態(beliefs(信念)、desires(要望)、approve(承認する)、explain(説明する)、reconcile(和解させる)などを含む)である。上述のパラメータによる2つのRST関係の一般化は以下のように表わされる:
rst1(N1,S1,W1,R1) ^ rst2(N2,S2,W2,R2)=
(rst1 ^ rst2)(N1 ^ N2,S1 ^ S2,W1 ^ W2,R1 ^ R2).
N1、S1、W1、R1におけるテキストはフレーズとして一般化される。たとえば、rst1 ^ rst2は以下のように一般化することができる。(1)relation_type(rst1)!= relation_type(rst2)である場合、一般化は空である。(2)その他の場合には、修辞関係のシグネチャがセンテンスとして一般化される。
Iruskieta、Mikel、Iria da CunhaおよびMaite Taboadaによる「A qualitative comparison method for rhetorical structures: identifying different discourse structures in multilingual corpora」(Lang Resources & Evaluation. June 2015, Volume 49, Issue 2)を参照されたい。
図15は、一局面に従った、コミュニケーション用談話ツリーを構築するための例示的なプロセスを示す。修辞学的合致アプリケーション112はプロセス1500を実現することができる。上述のように、コミュニケーション用談話ツリーは改善された検索エンジン結果を可能にする。
本明細書で説明されるいくつかの局面は、複雑で複数センテンスの収束質問に対する質問回答(Q/A)再現率を改善するために、仮想談話ツリーを使用する。オントロジーから得られたツリーフラグメントで回答の談話ツリーを拡張することによって、様々な局面は、所与の著者の思考構造から独立している、回答のカノニカルな談話ツリー表現を得る。
質問に回答するために使用される初期回答には異なる欠点が存在し得る。例えば、あるケースは、いくつかのエンティティEがQにおいて明示的に言及されず、代わりに仮定されるケースである。別のケースは、Qに回答するために使用されるA内のいくつかのエンティティがA内に発生せず、代わりに、より具体的なエンティティまたはより一般的なエンティティがAにおいて発生するケースである。いくつかのより具体的なエンティティがQからの問題に実際に対処していると判断するために、本明細書では仮想EnDT-Aと呼ばれる、なんらかの外部または追加のソースを使用して、これらの関係を確立することができる。このソースは、Qおよび/またはAでは省略されるが、ピアによって知られていると仮定されるEn間の相互関係に関する情報を含む。したがって、コンピュータにより実現されるシステムの場合、
(a)DT-Acを構築する;
(b)マッピングE-Q-->E-Acを確立する;
(c)E0-Qを識別する;
(d)E0-QおよびE0-Ac(E0-Qにないエンティティ)からクエリを形成する;
(e)クエリd)についてBから検索結果を取得し、仮想DTs-Acを構築する;そして
(f)残りのスコア|E0|を算出する。
2つのツリーセグメントDT1およびDT2が与えられると、ツリーカーネル関数K(EDT1,EDT2)≦V(EDT1)およびV(EDT2)=ΣiV(EDT1)[i],V(EDT2)[i]=Σn1Σn2Σili(n1)*li(n2)であり、式中、n1∈N1およびn2∈N2であり、N1およびN2は、それぞれ、DT1およびDT2におけるすべてのノードのセットである。
I1(n)={タイプiのサブツリーがノードにおけるルートで起こる場合には1であり、他の場合には0である}。
類事実の質問および非類事実の質問についての従来のQ/Aデータセット、ならびにSemEvalおよびニューラルQ/A評価は、質問が分類され、談話レベルの分析の潜在的な寄与を観察するようそれほど複雑ではないので、適していない。評価のために、2つの収束Q/Aセットが形成される:
1.広範なトピックを有する質問・応答ペアYahoo! Answer (Webscope 2017) のセット。140kのセットから、3~5個のセンテンスを含むユーザ質問3300が選択される。ほとんどの質問に対する回答はかなり詳細であり、センテンス長によるフィルタリングは回答に適用されなかった。
コミュニケーション用談話ツリーを使用することによって、修辞学的合致アプリケーション112は、2つのセンテンス間の相補性を判断することができる。例えば、修辞学的合致アプリケーション112は、質問に対する談話ツリーと初期回答に対する談話ツリーとの間、質問に対する談話ツリーと追加の回答もしくは候補回答に対する談話ツリーとの間、または回答の談話ツリーと追加の回答の談話ツリーとの間の相補性のレベルを判断することができる。このようにして、自律型エージェントアプリケーション102は、複雑な質問が、修辞学的合致またはスタイルにある完全な回答によって対処されることを保証する。
談話のいずれの点においても、あるエンティティは、(DTの核部分に存在する)他のエンティティよりも顕著であると考えられ、その結果、異なる特性を示すことが期待される。Centering Theory (Grosz et al., 1995; Poesio et al., 2004)では、エンティティ重要度は、それらの間の代名詞化された関係を含む発話において、それらがどのように実現されるかを判断する。他の談話理論では、エンティティ重要度は、時事性 (Prince 1978)および認知アクセシビリティ(Gundel et al. 1993)を介して定義することができる。
Claims (12)
- 方法であって、
コンピューティングデバイスが質問から質問エンティティを含む質問談話ツリーを構築することを含み、前記質問談話ツリーは、前記質問の基本談話単位間の修辞関係を表し、前記方法はさらに、
前記コンピューティングデバイスがテキストコーパスから初期回答にアクセスすることと、
前記コンピューティングデバイスが、前記初期回答から、回答エンティティを含む回答談話ツリーを構築することとを含み、前記回答談話ツリーは、前記初期回答の基本談話単位間の修辞関係を表し、前記方法はさらに、
前記コンピューティングデバイスが、前記質問エンティティに対する前記回答エンティティの関連性を示すスコアが閾値未満であると判断することと、
前記テキストコーパスから追加の談話ツリーを作成することと、前記追加の談話ツリーは前記質問エンティティを前記回答エンティティと接続する修辞関係を含むと判断することと、前記質問エンティティ、前記回答エンティティ、および前記修辞関係を含む前記追加の談話ツリーのサブツリーを抽出することとによって仮想談話ツリーを生成することと、
前記回答談話ツリーと前記仮想談話ツリーとの組み合わせによって表される回答を出力することとを含む、方法。 - 前記初期回答にアクセスすることは、
テキストの一部分について回答関連性スコアを判断することと、
前記回答関連性スコアが閾値より大きいと判断することに応答して、前記テキストの一部分を前記初期回答として選択することとを含む、請求項1に記載の方法。 - 前記仮想談話ツリーは、前記修辞関係を表すノードを含み、前記方法は、前記ノードを前記回答エンティティに接続することによって前記仮想談話ツリーを前記回答談話ツリーに統合することをさらに含む、請求項1または2に記載の方法。
- 前記追加の談話ツリーを作成することは、
複数の追加の談話ツリーの各々について、それぞれの追加の談話ツリーにおいて1つ以上の回答エンティティへのマッピングを含む質問エンティティの数を示すスコアを計算することと、
前記複数の追加の談話ツリーから、最も高いスコアを有する追加の談話ツリーを選択することとを含む、請求項1~3のいずれか1項に記載の方法。 - 前記追加の談話ツリーを作成することは、
複数の追加の談話ツリーの各々について、トレーニングされた分類モデルを(a)前記質問談話ツリーおよび(b)それぞれの追加の回答談話ツリーの1つ以上に適用することによってスコアを計算することと、
前記複数の追加の談話ツリーから、最も高いスコアを有する追加の談話ツリーを選択することとを含む、請求項1~3のいずれか1項に記載の方法。 - 前記質問は、複数のキーワードを含み、前記初期回答にアクセスすることは、
複数の電子文書の検索を行うことにより、前記複数のキーワードを含む検索クエリに基づいて複数の回答を取得することと、
前記複数の回答の各々について、前記質問とそれぞれの回答との間の一致のレベルを示す回答スコアを判断することと、
前記複数の回答の中から、最も高いスコアを有する回答を前記初期回答として選択することとを含む、請求項1~5のいずれか1項に記載の方法。 - 前記スコアを計算することは、
トレーニングされた分類モデルを、(a)前記質問談話ツリーおよび(b)前記回答談話ツリーのうちの1つ以上に適用することと、
前記分類モデルから前記スコアを受け取ることとを含む、請求項1~6のいずれか1項に記載の方法。 - 談話ツリーを構築することは、
複数のフラグメントを含むセンテンスにアクセスすることを含み、少なくとも1つのフラグメントは動詞および複数の単語を含み、各単語は前記フラグメント内において前記単語の役割を含み、各フラグメントは基本談話単位であり、前記談話ツリーを構築することはさらに、
前記複数のフラグメント間の修辞関係を表す談話ツリーを生成することを含み、前記談話ツリーは複数のノードを含み、各非終端ノードは前記複数のフラグメントのうちの2つのフラグメント間の修辞関係を表し、前記談話ツリーの前記ノードの各終端ノードは前記複数のフラグメントのうちの1つに関連付けられる、請求項1~7のいずれか1項に記載の方法。 - 前記方法は、さらに、前記質問談話ツリーから、質問ルートノードを含む質問コミュニケーション用談話ツリーを判断することを含み、コミュニケーション用談話ツリーは、コミュニケーション行動を含む談話ツリーであり、前記生成することは、さらに、
仮想談話ツリーから回答コミュニケーション用談話ツリーを判断することを含み、前記回答コミュニケーション用談話ツリーは回答ルートノードを含み、前記生成することは、さらに、
前記質問ルートノードと前記回答ルートノードとが同一であると識別することによって、前記コミュニケーション用談話ツリーをマージすることと、
予測モデルを前記マージされたコミュニケーション用談話ツリーに適用することによって、前記質問コミュニケーション用談話ツリーと前記回答コミュニケーション用談話ツリーとの間の相補性のレベルを計算することと、
前記相補性のレベルが閾値を超えると判断することに応答して、前記仮想談話ツリーに対応する最終回答を出力することとを含む、請求項1~8のいずれか1項に記載の方法。 - 談話ツリーはテキストの複数のフラグメント間の修辞関係を表し、前記談話ツリーは複数のノードを含み、各非終端ノードは前記複数のフラグメントのうちの2つのフラグメント間の修辞関係を表し、前記談話ツリーの前記ノードの各終端ノードは前記複数のフラグメントのうちの1つに関連付けられ、コミュニケーション用談話ツリーを構築することは、
動詞を有する各フラグメントを動詞シグネチャにマッチングすることを含み、前記マッチングすることは、
複数の動詞シグネチャにアクセスすることであって、各動詞シグネチャが前記フラグメントの前記動詞と主題役割のシーケンスとを含み、前記主題役割は前記動詞と関連する単語との間の関係を記述する、前記複数の動詞シグネチャにアクセスすることと、
前記複数の動詞シグネチャの各動詞シグネチャについて、前記フラグメント内の単語の役割に一致する、それぞれのシグネチャの複数の主題役割を判断することと、
前記複数の動詞シグネチャから、特定の動詞シグネチャが最大数の一致を含むことに基づいて、前記特定の動詞シグネチャを選択することと、
前記特定の動詞シグネチャを前記フラグメントに関連付けることとによって行われる、請求項1~9のいずれか1項に記載の方法。 - コンピュータにより実現される方法であって、
ある質問について、複数の質問エンティティを含む質問談話ツリーを構築することと、
初期回答から、複数の回答エンティティを含む回答談話ツリーを構築することと、
前記複数の質問エンティティのうちの第1の質問エンティティと前記複数の回答エンティティのうちのある回答エンティティとの間において、前記第1の質問エンティティに対する前記ある回答エンティティの関連性を確立するマッピングを確立することと、
前記複数の質問エンティティのうちの第2の質問エンティティが前記複数の回答エンティティのいずれによっても対処されないと判断することに応答して、追加の回答に対応する追加の談話ツリーを前記回答談話ツリーと組み合わせることによって仮想談話ツリーを生成することと、
前記質問談話ツリーから質問コミュニケーション用談話ツリーを判断することと、
仮想談話ツリーから回答コミュニケーション用談話ツリーを判断することと、
予測モデル前記質問コミュニケーション用談話ツリーおよび前記回答コミュニケーション用談話ツリーを適用することによって前記質問コミュニケーション用談話ツリーと前記回答コミュニケーション用談話ツリーとの間の相補性のレベルを計算することと、
前記相補性のレベルが閾値を超えると判断することに応答して、前記仮想談話ツリーに対応する最終回答を出力することとを含む、コンピュータにより実現される方法。 - システムであって、
コンピュータ実行可能プログラム命令を記憶するコンピュータ読取可能媒体と、
前記コンピュータ読取可能媒体に通信可能に結合され、前記コンピュータ実行可能プログラム命令を実行するための処理装置とを備え、前記コンピュータ実行可能プログラム命令を実行することは、動作を実行するように前記処理装置を構成し、前記動作は、
コンピューティングデバイスが質問から質問エンティティを含む質問談話ツリーを構築することを含み、前記質問談話ツリーは、前記質問の基本談話単位間の修辞関係を表し、前記動作はさらに、
前記コンピューティングデバイスがテキストコーパスから初期回答にアクセスすることと、
前記コンピューティングデバイスが、前記初期回答から、回答エンティティを含む回答談話ツリーを構築することとを含み、前記回答談話ツリーは、前記初期回答の基本談話単位間の修辞関係を表し、前記動作はさらに、
前記コンピューティングデバイスが、前記質問エンティティに対する前記回答エンティティの関連性を示すスコアが閾値未満であると判断することと、
前記テキストコーパスから追加の談話ツリーを作成することと、前記追加の談話ツリーは前記質問エンティティを前記回答エンティティと接続する修辞関係を含むと判断することと、前記質問エンティティ、前記回答エンティティ、および前記修辞関係を含む前記追加の談話ツリーのサブツリーを抽出することとによって仮想談話ツリーを生成することと、
前記回答談話ツリーと前記仮想談話ツリーとの組み合わせによって表される回答を出力することとを含む、システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023060794A JP7531649B2 (ja) | 2018-05-09 | 2023-04-04 | 収束質問に対する回答を改善するための仮想談話ツリーの構築 |
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201862668963P | 2018-05-09 | 2018-05-09 | |
US62/668,963 | 2018-05-09 | ||
US201862729335P | 2018-09-10 | 2018-09-10 | |
US62/729,335 | 2018-09-10 | ||
PCT/US2019/031580 WO2019217722A1 (en) | 2018-05-09 | 2019-05-09 | Constructing imaginary discourse trees to improve answering convergent questions |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023060794A Division JP7531649B2 (ja) | 2018-05-09 | 2023-04-04 | 収束質問に対する回答を改善するための仮想談話ツリーの構築 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2021523464A JP2021523464A (ja) | 2021-09-02 |
JP2021523464A5 JP2021523464A5 (ja) | 2022-01-11 |
JP7258047B2 true JP7258047B2 (ja) | 2023-04-14 |
Family
ID=66677230
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020562734A Active JP7258047B2 (ja) | 2018-05-09 | 2019-05-09 | 収束質問に対する回答を改善するための仮想談話ツリーの構築 |
JP2023060794A Active JP7531649B2 (ja) | 2018-05-09 | 2023-04-04 | 収束質問に対する回答を改善するための仮想談話ツリーの構築 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023060794A Active JP7531649B2 (ja) | 2018-05-09 | 2023-04-04 | 収束質問に対する回答を改善するための仮想談話ツリーの構築 |
Country Status (5)
Country | Link |
---|---|
US (2) | US11328016B2 (ja) |
EP (1) | EP3791292A1 (ja) |
JP (2) | JP7258047B2 (ja) |
CN (1) | CN112106056A (ja) |
WO (1) | WO2019217722A1 (ja) |
Families Citing this family (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US12001804B2 (en) | 2017-05-10 | 2024-06-04 | Oracle International Corporation | Using communicative discourse trees to detect distributed incompetence |
US11809825B2 (en) | 2017-09-28 | 2023-11-07 | Oracle International Corporation | Management of a focused information sharing dialogue based on discourse trees |
CN117114001A (zh) | 2017-09-28 | 2023-11-24 | 甲骨文国际公司 | 基于命名实体的解析和识别确定跨文档的修辞相互关系 |
US11537645B2 (en) | 2018-01-30 | 2022-12-27 | Oracle International Corporation | Building dialogue structure by using communicative discourse trees |
JP7258047B2 (ja) | 2018-05-09 | 2023-04-14 | オラクル・インターナショナル・コーポレイション | 収束質問に対する回答を改善するための仮想談話ツリーの構築 |
US20200151583A1 (en) * | 2018-11-13 | 2020-05-14 | Capital One Services, Llc | Attentive dialogue customer service system and method |
EP3660699A1 (en) * | 2018-11-29 | 2020-06-03 | Tata Consultancy Services Limited | Method and system to extract domain concepts to create domain dictionaries and ontologies |
US11556698B2 (en) | 2019-10-22 | 2023-01-17 | Oracle International Corporation | Augmenting textual explanations with complete discourse trees |
US11580298B2 (en) * | 2019-11-14 | 2023-02-14 | Oracle International Corporation | Detecting hypocrisy in text |
US11625535B1 (en) * | 2019-12-05 | 2023-04-11 | American Express Travel Related Services Company, Inc. | Computer-based systems having data structures configured to execute SIC4/SIC8 machine learning embedded classification of entities and methods of use thereof |
CN111026886B (zh) * | 2019-12-26 | 2023-05-02 | 成都航天科工大数据研究院有限公司 | 一种针对专业场景的多轮对话处理方法 |
US11636357B2 (en) * | 2020-04-29 | 2023-04-25 | Airin, Inc. | Use of machine learning to identify topical arguments |
US11783208B2 (en) | 2020-04-29 | 2023-10-10 | Airin, Inc. | Use of machine learning to provide answer patterns and context descriptions |
US11741308B2 (en) | 2020-05-14 | 2023-08-29 | Oracle International Corporation | Method and system for constructing data queries from conversational input |
WO2021247655A1 (en) * | 2020-06-02 | 2021-12-09 | Liveperson, Inc. | Systems and method for intent messaging |
US11550605B2 (en) * | 2020-06-30 | 2023-01-10 | Kasisto, Inc. | Building and managing cohesive interaction for virtual assistants |
CN111813828B (zh) * | 2020-06-30 | 2024-02-27 | 北京百度网讯科技有限公司 | 一种实体关系挖掘方法、装置、电子设备及存储介质 |
US11907863B2 (en) * | 2020-07-24 | 2024-02-20 | International Business Machines Corporation | Natural language enrichment using action explanations |
KR102471063B1 (ko) * | 2020-11-19 | 2022-11-25 | 주식회사 마인즈랩 | 답변 제공 장치 |
CN112732885A (zh) * | 2020-12-30 | 2021-04-30 | 北京云迹科技有限公司 | 用于问答系统的答案扩展方法、装置及电子设备 |
US11928437B2 (en) * | 2021-02-02 | 2024-03-12 | Oracle International Corporation | Machine reading between the lines |
US20230208972A1 (en) * | 2021-12-29 | 2023-06-29 | Genesys Cloud Services, Inc. | Technologies for automated process discovery in contact center systems |
US20230297784A1 (en) * | 2022-03-17 | 2023-09-21 | International Business Machines Corporation | Automated decision modelling from text |
CN115292458A (zh) * | 2022-06-29 | 2022-11-04 | 北京梦天门科技股份有限公司 | 一种调查信息录入方法、系统及电子设备 |
CN115510203B (zh) * | 2022-09-27 | 2023-09-22 | 北京百度网讯科技有限公司 | 问题答案确定方法、装置、设备、存储介质及程序产品 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006338457A (ja) | 2005-06-03 | 2006-12-14 | Fuji Xerox Co Ltd | 質問応答システム、およびデータ検索方法、並びにコンピュータ・プログラム |
JP2006344102A (ja) | 2005-06-10 | 2006-12-21 | Fuji Xerox Co Ltd | 質問応答システム、およびデータ検索方法、並びにコンピュータ・プログラム |
US20090100053A1 (en) | 2007-10-10 | 2009-04-16 | Bbn Technologies, Corp. | Semantic matching using predicate-argument structure |
JP2015109068A (ja) | 2013-12-05 | 2015-06-11 | インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation | 回答候補間の関係を識別および表示する機構、方法、コンピュータ・プログラム、ならびに装置 |
US20160180217A1 (en) | 2014-12-18 | 2016-06-23 | Nuance Communications, Inc. | Question answering with entailment analysis |
JP2017182457A (ja) | 2016-03-30 | 2017-10-05 | 株式会社アドバンスト・メディア | 情報処理システム、サーバ、端末装置、情報処理方法及びプログラム |
Family Cites Families (141)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2696853B1 (fr) | 1992-10-12 | 1994-12-23 | Bull Sa | Procédé d'aide à l'optimisation d'une requête d'un système de gestion, de base de données relationnel et procédé d'analyse syntaxique en résultant. |
US8725493B2 (en) | 2004-01-06 | 2014-05-13 | Neuric Llc | Natural language parsing method to provide conceptual flow |
US6181909B1 (en) | 1997-07-22 | 2001-01-30 | Educational Testing Service | System and method for computer-based automatic essay scoring |
WO1999021104A1 (en) | 1997-10-20 | 1999-04-29 | Microsoft Corporation | Automatically recognizing the discourse structure of a body of text |
US6112168A (en) | 1997-10-20 | 2000-08-29 | Microsoft Corporation | Automatically recognizing the discourse structure of a body of text |
US20070294229A1 (en) | 1998-05-28 | 2007-12-20 | Q-Phrase Llc | Chat conversation methods traversing a provisional scaffold of meanings |
US7152031B1 (en) | 2000-02-25 | 2006-12-19 | Novell, Inc. | Construction, manipulation, and comparison of a multi-dimensional semantic space |
JP2001167087A (ja) | 1999-12-14 | 2001-06-22 | Fujitsu Ltd | 構造化文書検索装置,構造化文書検索方法,構造化文書検索用プログラム記録媒体および構造化文書検索用インデックス作成方法 |
US20010053968A1 (en) | 2000-01-10 | 2001-12-20 | Iaskweb, Inc. | System, method, and computer program product for responding to natural language queries |
CN1465018A (zh) | 2000-05-11 | 2003-12-31 | 南加利福尼亚大学 | 机器翻译技术 |
US7013259B1 (en) | 2000-06-30 | 2006-03-14 | Fuji Xerox Co., Ltd. | System and method for teaching writing using microanalysis of text |
US6961692B1 (en) | 2000-08-01 | 2005-11-01 | Fuji Xerox Co, Ltd. | System and method for writing analysis using the linguistic discourse model |
US6731307B1 (en) | 2000-10-30 | 2004-05-04 | Koninklije Philips Electronics N.V. | User interface/entertainment device that simulates personal interaction and responds to user's mental state and/or personality |
CA2436740A1 (en) | 2001-01-23 | 2002-08-01 | Educational Testing Service | Methods for automated essay analysis |
US6886011B2 (en) | 2001-02-02 | 2005-04-26 | Datalign, Inc. | Good and service description system and method |
WO2003001413A1 (en) | 2001-06-22 | 2003-01-03 | Nosa Omoigui | System and method for knowledge retrieval, management, delivery and presentation |
US7519529B1 (en) | 2001-06-29 | 2009-04-14 | Microsoft Corporation | System and methods for inferring informational goals and preferred level of detail of results in response to questions posed to an automated information-retrieval or question-answering service |
US7526425B2 (en) | 2001-08-14 | 2009-04-28 | Evri Inc. | Method and system for extending keyword searching to syntactically and semantically annotated data |
US7127208B2 (en) | 2002-01-23 | 2006-10-24 | Educational Testing Service | Automated annotation |
US7305336B2 (en) | 2002-08-30 | 2007-12-04 | Fuji Xerox Co., Ltd. | System and method for summarization combining natural language generation with structural analysis |
JP2004139446A (ja) | 2002-10-18 | 2004-05-13 | Inst Of Physical & Chemical Res | 日常言語コンピュータシステムで用いられる秘書エージェントシステム、秘書エージェントプログラムおよび対話プランニング方法 |
US20040148170A1 (en) | 2003-01-23 | 2004-07-29 | Alejandro Acero | Statistical classifiers for spoken language understanding and command/control scenarios |
US7424420B2 (en) | 2003-02-11 | 2008-09-09 | Fuji Xerox Co., Ltd. | System and method for dynamically determining the function of a lexical item based on context |
US7363213B2 (en) | 2003-02-11 | 2008-04-22 | Fuji Xerox Co., Ltd. | System and method for dynamically determining the function of a lexical item based on discourse hierarchy structure |
US7359860B1 (en) | 2003-02-27 | 2008-04-15 | Lumen Vox, Llc | Call flow object model in a speech recognition system |
US7610190B2 (en) | 2003-10-15 | 2009-10-27 | Fuji Xerox Co., Ltd. | Systems and methods for hybrid text summarization |
US7551552B2 (en) | 2003-10-17 | 2009-06-23 | Microsoft Corporation | Method for providing guaranteed distributed failure notification |
US9646107B2 (en) | 2004-05-28 | 2017-05-09 | Robert T. and Virginia T. Jenkins as Trustee of the Jenkins Family Trust | Method and/or system for simplifying tree expressions such as for query reduction |
US7698267B2 (en) | 2004-08-27 | 2010-04-13 | The Regents Of The University Of California | Searching digital information and databases |
US20070106499A1 (en) | 2005-08-09 | 2007-05-10 | Kathleen Dahlgren | Natural language search system |
US8700404B1 (en) | 2005-08-27 | 2014-04-15 | At&T Intellectual Property Ii, L.P. | System and method for using semantic and syntactic graphs for utterance classification |
US20070073533A1 (en) | 2005-09-23 | 2007-03-29 | Fuji Xerox Co., Ltd. | Systems and methods for structural indexing of natural language text |
US20070136284A1 (en) | 2005-12-12 | 2007-06-14 | Sbc Knowledge Ventures Lp | Method for constructing and repurposing rhetorical content |
US7739279B2 (en) | 2005-12-12 | 2010-06-15 | Fuji Xerox Co., Ltd. | Systems and methods for determining relevant information based on document structure |
JP3908261B2 (ja) | 2006-05-26 | 2007-04-25 | インテック・ウェブ・アンド・ゲノム・インフォマティクス株式会社 | 修辞構造解析システム |
US9645993B2 (en) | 2006-10-10 | 2017-05-09 | Abbyy Infopoisk Llc | Method and system for semantic searching |
US7925678B2 (en) | 2007-01-12 | 2011-04-12 | Loglogic, Inc. | Customized reporting and mining of event data |
US7840556B1 (en) | 2007-07-31 | 2010-11-23 | Hewlett-Packard Development Company, L.P. | Managing performance of a database query |
US8306967B2 (en) | 2007-10-02 | 2012-11-06 | Loglogic, Inc. | Searching for associated events in log data |
US8463594B2 (en) | 2008-03-21 | 2013-06-11 | Sauriel Llc | System and method for analyzing text using emotional intelligence factors |
US9646078B2 (en) | 2008-05-12 | 2017-05-09 | Groupon, Inc. | Sentiment extraction from consumer reviews for providing product recommendations |
US8874443B2 (en) * | 2008-08-27 | 2014-10-28 | Robert Bosch Gmbh | System and method for generating natural language phrases from user utterances in dialog systems |
US8060582B2 (en) | 2008-10-22 | 2011-11-15 | Google Inc. | Geocoding personal information |
US20100169359A1 (en) | 2008-12-30 | 2010-07-01 | Barrett Leslie A | System, Method, and Apparatus for Information Extraction of Textual Documents |
US8712759B2 (en) | 2009-11-13 | 2014-04-29 | Clausal Computing Oy | Specializing disambiguation of a natural language expression |
US20120254333A1 (en) | 2010-01-07 | 2012-10-04 | Rajarathnam Chandramouli | Automated detection of deception in short and multilingual electronic messages |
CA2789158C (en) | 2010-02-10 | 2016-12-20 | Mmodal Ip Llc | Providing computable guidance to relevant evidence in question-answering systems |
US9600566B2 (en) | 2010-05-14 | 2017-03-21 | Microsoft Technology Licensing, Llc | Identifying entity synonyms |
US9449080B1 (en) | 2010-05-18 | 2016-09-20 | Guangsheng Zhang | System, methods, and user interface for information searching, tagging, organization, and display |
WO2012040356A1 (en) | 2010-09-24 | 2012-03-29 | International Business Machines Corporation | Providing question and answers with deferred type evaluation using text with limited structure |
US11222052B2 (en) | 2011-02-22 | 2022-01-11 | Refinitiv Us Organization Llc | Machine learning-based relationship association and related discovery and |
US9087048B2 (en) | 2011-06-10 | 2015-07-21 | Linkedin Corporation | Method of and system for validating a fact checking system |
US20130046757A1 (en) | 2011-08-17 | 2013-02-21 | Microsoft Corporation | Indicating relationship closeness between subsnippets of a search result |
SG188994A1 (en) | 2011-10-20 | 2013-05-31 | Nec Corp | Textual entailment recognition apparatus, textual entailment recognition method, and computer-readable recording medium |
US9009024B2 (en) | 2011-10-24 | 2015-04-14 | Hewlett-Packard Development Company, L.P. | Performing sentiment analysis |
US9201868B1 (en) | 2011-12-09 | 2015-12-01 | Guangsheng Zhang | System, methods and user interface for identifying and presenting sentiment information |
US20130151347A1 (en) | 2011-12-09 | 2013-06-13 | Robert Michael Baldwin | Structured Questions in a Social Networking System |
WO2013091075A1 (en) | 2011-12-20 | 2013-06-27 | Soschen Alona | Natural language processor |
US9336297B2 (en) | 2012-08-02 | 2016-05-10 | Paypal, Inc. | Content inversion for user searches and product recommendations systems and methods |
US20140122083A1 (en) | 2012-10-26 | 2014-05-01 | Duan Xiaojiang | Chatbot system and method with contextual input and output messages |
US9152623B2 (en) | 2012-11-02 | 2015-10-06 | Fido Labs, Inc. | Natural language processing system and method |
US9037464B1 (en) | 2013-01-15 | 2015-05-19 | Google Inc. | Computing numeric representations of words in a high-dimensional space |
US9201860B1 (en) | 2013-03-12 | 2015-12-01 | Guangsheng Zhang | System and methods for determining sentiment based on context |
WO2014182820A2 (en) | 2013-05-07 | 2014-11-13 | Haley Paul V | System for knowledge acquisition |
US9619450B2 (en) | 2013-06-27 | 2017-04-11 | Google Inc. | Automatic generation of headlines |
CA2917153C (en) | 2013-07-03 | 2022-05-17 | Thomson Reuters Global Resources | Method and system for simplifying implicit rhetorical relation prediction in large scale annotated corpus |
US9355372B2 (en) | 2013-07-03 | 2016-05-31 | Thomson Reuters Global Resources | Method and system for simplifying implicit rhetorical relation prediction in large scale annotated corpus |
US9317260B2 (en) | 2013-08-09 | 2016-04-19 | Vmware, Inc. | Query-by-example in large-scale code repositories |
US9292490B2 (en) | 2013-08-16 | 2016-03-22 | International Business Machines Corporation | Unsupervised learning of deep patterns for semantic parsing |
CN104598445B (zh) | 2013-11-01 | 2019-05-10 | 腾讯科技(深圳)有限公司 | 自动问答系统和方法 |
US20150134325A1 (en) | 2013-11-14 | 2015-05-14 | Avaya Inc. | Deep Language Attribute Analysis |
US20150149461A1 (en) | 2013-11-24 | 2015-05-28 | Interstack, Inc | System and method for analyzing unstructured data on applications, devices or networks |
US20150161200A1 (en) | 2013-11-27 | 2015-06-11 | Placester, Inc. | System and method for entity-based search, search profiling, and dynamic search updating |
US9471874B2 (en) | 2013-12-07 | 2016-10-18 | International Business Machines Corporation | Mining forums for solutions to questions and scoring candidate answers |
CN105873753B (zh) | 2013-12-20 | 2018-12-14 | 艾利丹尼森公司 | 聚酯-三聚氰胺涂料和包括其的标签 |
US9817721B1 (en) | 2014-03-14 | 2017-11-14 | Sanmina Corporation | High availability management techniques for cluster resources |
RU2564629C1 (ru) | 2014-03-31 | 2015-10-10 | Общество с ограниченной ответственностью "Аби ИнфоПоиск" | Способ кластеризации результатов поиска в зависимости от семантики |
US9946985B2 (en) | 2014-04-15 | 2018-04-17 | Kofax, Inc. | Touchless mobile applications and context-sensitive workflows |
US10664558B2 (en) | 2014-04-18 | 2020-05-26 | Arria Data2Text Limited | Method and apparatus for document planning |
JP5911911B2 (ja) | 2014-05-26 | 2016-04-27 | 日本電信電話株式会社 | 結束性判定装置、モデル学習装置、方法、及びプログラム |
US9582501B1 (en) | 2014-06-16 | 2017-02-28 | Yseop Sa | Techniques for automatic generation of natural language text |
US9317566B1 (en) | 2014-06-27 | 2016-04-19 | Groupon, Inc. | Method and system for programmatic analysis of consumer reviews |
EP3143248A4 (en) | 2014-07-11 | 2018-01-24 | Halliburton Energy Services, Inc. | Evaluation tool for concentric wellbore casings |
US9619513B2 (en) | 2014-07-29 | 2017-04-11 | International Business Machines Corporation | Changed answer notification in a question and answer system |
US20160055240A1 (en) | 2014-08-22 | 2016-02-25 | Microsoft Corporation | Orphaned utterance detection system and method |
US20150081277A1 (en) | 2014-08-28 | 2015-03-19 | Kambiz Behi | System and Method for Automatically Classifying Text using Discourse Analysis |
US20160071517A1 (en) | 2014-09-09 | 2016-03-10 | Next It Corporation | Evaluating Conversation Data based on Risk Factors |
US9720626B2 (en) | 2014-09-19 | 2017-08-01 | Netapp Inc. | Cluster configuration information replication |
US9559993B2 (en) | 2014-10-02 | 2017-01-31 | Oracle International Corporation | Virtual agent proxy in a real-time chat service |
US9665564B2 (en) | 2014-10-06 | 2017-05-30 | International Business Machines Corporation | Natural language processing utilizing logical tree structures |
US10019437B2 (en) | 2015-02-23 | 2018-07-10 | International Business Machines Corporation | Facilitating information extraction via semantic abstraction |
US9875296B2 (en) | 2015-03-25 | 2018-01-23 | Google Llc | Information extraction from question and answer websites |
US20170060831A1 (en) | 2015-08-26 | 2017-03-02 | International Business Machines Corporation | Deriving Logical Justification in an Extensible Logical Reasoning System |
WO2017066208A1 (en) | 2015-10-12 | 2017-04-20 | Ehrlich Wesen & Dauer, Llc | Network resource crawler with multiple user-agents |
EP3341933A1 (en) | 2015-10-21 | 2018-07-04 | Google LLC | Parameter collection and automatic dialog generation in dialog systems |
US10147051B2 (en) | 2015-12-18 | 2018-12-04 | International Business Machines Corporation | Candidate answer generation for explanatory questions directed to underlying reasoning regarding the existence of a fact |
WO2017112813A1 (en) | 2015-12-22 | 2017-06-29 | Sri International | Multi-lingual virtual personal assistant |
US11042702B2 (en) | 2016-02-04 | 2021-06-22 | International Business Machines Corporation | Solving textual logic problems using a statistical approach and natural language processing |
WO2017145466A1 (ja) | 2016-02-26 | 2017-08-31 | ソニー株式会社 | 情報処理システム、クライアント端末、情報処理方法、および記録媒体 |
US20170277993A1 (en) | 2016-03-22 | 2017-09-28 | Next It Corporation | Virtual assistant escalation |
CN106021224B (zh) | 2016-05-13 | 2019-03-15 | 中国科学院自动化研究所 | 一种双语篇章标注方法 |
US11250841B2 (en) | 2016-06-10 | 2022-02-15 | Conduent Business Services, Llc | Natural language generation, a hybrid sequence-to-sequence approach |
JP2017224155A (ja) | 2016-06-15 | 2017-12-21 | パナソニックIpマネジメント株式会社 | 対話処理方法、対話処理システム、及びプログラム |
US10394950B2 (en) | 2016-08-22 | 2019-08-27 | International Business Machines Corporation | Generation of a grammatically diverse test set for deep question answering systems |
US11721356B2 (en) | 2016-08-24 | 2023-08-08 | Gridspace Inc. | Adaptive closed loop communication system |
US11601552B2 (en) | 2016-08-24 | 2023-03-07 | Gridspace Inc. | Hierarchical interface for adaptive closed loop communication system |
US11715459B2 (en) | 2016-08-24 | 2023-08-01 | Gridspace Inc. | Alert generator for adaptive closed loop communication system |
CN106354844B (zh) | 2016-08-31 | 2020-08-04 | 上海交通大学 | 基于文本挖掘的服务组合包推荐系统及方法 |
JP6663826B2 (ja) | 2016-09-08 | 2020-03-13 | 株式会社日立製作所 | 計算機及び応答の生成方法 |
CN106383875B (zh) * | 2016-09-09 | 2019-10-15 | 北京百度网讯科技有限公司 | 基于人工智能的人机交互方法和装置 |
WO2018067368A1 (en) | 2016-10-04 | 2018-04-12 | Google Llc | Hierarchical annotation of dialog acts |
US11238111B2 (en) | 2016-10-24 | 2022-02-01 | International Business Machines Corporation | Response generation |
CN106649768B (zh) | 2016-12-27 | 2021-03-16 | 北京百度网讯科技有限公司 | 基于深度问答的问答澄清方法和装置 |
CN106682194B (zh) | 2016-12-29 | 2020-05-22 | 北京百度网讯科技有限公司 | 基于深度问答的答案定位方法及装置 |
CN108509463B (zh) * | 2017-02-28 | 2022-03-29 | 华为技术有限公司 | 一种问题的应答方法及装置 |
CA3055379C (en) | 2017-03-10 | 2023-02-21 | Eduworks Corporation | Automated tool for question generation |
US10599885B2 (en) | 2017-05-10 | 2020-03-24 | Oracle International Corporation | Utilizing discourse structure of noisy user-generated content for chatbot learning |
JP7086993B2 (ja) | 2017-05-10 | 2022-06-20 | オラクル・インターナショナル・コーポレイション | コミュニケーション用談話ツリーの使用による修辞学的分析の可能化 |
US10679011B2 (en) | 2017-05-10 | 2020-06-09 | Oracle International Corporation | Enabling chatbots by detecting and supporting argumentation |
US10817670B2 (en) | 2017-05-10 | 2020-10-27 | Oracle International Corporation | Enabling chatbots by validating argumentation |
US11100144B2 (en) | 2017-06-15 | 2021-08-24 | Oracle International Corporation | Data loss prevention system for cloud security based on document discourse analysis |
US10839161B2 (en) | 2017-06-15 | 2020-11-17 | Oracle International Corporation | Tree kernel learning for text classification into classes of intent |
US10289974B1 (en) | 2017-06-23 | 2019-05-14 | Noble Systems Corporation | Establishing a target handle time for a communication in a contact center |
US11176325B2 (en) | 2017-06-26 | 2021-11-16 | International Business Machines Corporation | Adaptive evaluation of meta-relationships in semantic graphs |
US10628528B2 (en) | 2017-06-29 | 2020-04-21 | Robert Bosch Gmbh | System and method for domain-independent aspect level sentiment detection |
US10817578B2 (en) | 2017-08-16 | 2020-10-27 | Wipro Limited | Method and system for providing context based adaptive response to user interactions |
CN117114001A (zh) | 2017-09-28 | 2023-11-24 | 甲骨文国际公司 | 基于命名实体的解析和识别确定跨文档的修辞相互关系 |
EP3688626A1 (en) | 2017-09-28 | 2020-08-05 | Oracle International Corporation | Enabling autonomous agents to discriminate between questions and requests |
US20190103111A1 (en) | 2017-10-03 | 2019-04-04 | Rupert Labs Inc. ( DBA Passage AI) | Natural Language Processing Systems and Methods |
US20190163756A1 (en) | 2017-11-29 | 2019-05-30 | International Business Machines Corporation | Hierarchical question answering system |
US11023684B1 (en) | 2018-03-19 | 2021-06-01 | Educational Testing Service | Systems and methods for automatic generation of questions from text |
US10713441B2 (en) | 2018-03-23 | 2020-07-14 | Servicenow, Inc. | Hybrid learning system for natural language intent extraction from a dialog utterance |
JP7258047B2 (ja) | 2018-05-09 | 2023-04-14 | オラクル・インターナショナル・コーポレイション | 収束質問に対する回答を改善するための仮想談話ツリーの構築 |
US11455494B2 (en) | 2018-05-30 | 2022-09-27 | Oracle International Corporation | Automated building of expanded datasets for training of autonomous agents |
US10628219B2 (en) | 2018-06-11 | 2020-04-21 | Oracle International Corporation | Fuzzy management of high-volume concurrent processes |
US11509770B2 (en) | 2018-09-25 | 2022-11-22 | International Business Machines Corporation | Live agent recommendation for a human-robot symbiosis conversation system |
US11409961B2 (en) | 2018-10-10 | 2022-08-09 | Verint Americas Inc. | System for minimizing repetition in intelligent virtual assistant conversations |
WO2020097222A1 (en) | 2018-11-08 | 2020-05-14 | Yext, Inc. | Review response generation and review sentiment analysis |
US11556698B2 (en) | 2019-10-22 | 2023-01-17 | Oracle International Corporation | Augmenting textual explanations with complete discourse trees |
US11580298B2 (en) | 2019-11-14 | 2023-02-14 | Oracle International Corporation | Detecting hypocrisy in text |
US11501085B2 (en) | 2019-11-20 | 2022-11-15 | Oracle International Corporation | Employing abstract meaning representation to lay the last mile towards reading comprehension |
-
2019
- 2019-05-09 JP JP2020562734A patent/JP7258047B2/ja active Active
- 2019-05-09 US US16/408,224 patent/US11328016B2/en active Active
- 2019-05-09 EP EP19727786.6A patent/EP3791292A1/en active Pending
- 2019-05-09 CN CN201980030899.2A patent/CN112106056A/zh active Pending
- 2019-05-09 WO PCT/US2019/031580 patent/WO2019217722A1/en unknown
-
2022
- 2022-03-09 US US17/690,897 patent/US11782985B2/en active Active
-
2023
- 2023-04-04 JP JP2023060794A patent/JP7531649B2/ja active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006338457A (ja) | 2005-06-03 | 2006-12-14 | Fuji Xerox Co Ltd | 質問応答システム、およびデータ検索方法、並びにコンピュータ・プログラム |
JP2006344102A (ja) | 2005-06-10 | 2006-12-21 | Fuji Xerox Co Ltd | 質問応答システム、およびデータ検索方法、並びにコンピュータ・プログラム |
US20090100053A1 (en) | 2007-10-10 | 2009-04-16 | Bbn Technologies, Corp. | Semantic matching using predicate-argument structure |
JP2015109068A (ja) | 2013-12-05 | 2015-06-11 | インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation | 回答候補間の関係を識別および表示する機構、方法、コンピュータ・プログラム、ならびに装置 |
US20160180217A1 (en) | 2014-12-18 | 2016-06-23 | Nuance Communications, Inc. | Question answering with entailment analysis |
JP2017182457A (ja) | 2016-03-30 | 2017-10-05 | 株式会社アドバンスト・メディア | 情報処理システム、サーバ、端末装置、情報処理方法及びプログラム |
Non-Patent Citations (1)
Title |
---|
高橋 哲朗、外2名,テキストの構文的類似度の評価法について,情報処理学会研究報告,日本,社団法人情報処理学会,2002年07月16日,第2002巻,第66号,p.163-170 |
Also Published As
Publication number | Publication date |
---|---|
JP2023089059A (ja) | 2023-06-27 |
JP7531649B2 (ja) | 2024-08-09 |
US20220245200A1 (en) | 2022-08-04 |
JP2021523464A (ja) | 2021-09-02 |
EP3791292A1 (en) | 2021-03-17 |
CN112106056A (zh) | 2020-12-18 |
US20190347297A1 (en) | 2019-11-14 |
WO2019217722A1 (en) | 2019-11-14 |
US11782985B2 (en) | 2023-10-10 |
US11328016B2 (en) | 2022-05-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7258047B2 (ja) | 収束質問に対する回答を改善するための仮想談話ツリーの構築 | |
JP7515537B2 (ja) | コミュニケーション用談話ツリーの使用による修辞学的分析の可能化 | |
US11977568B2 (en) | Building dialogue structure by using communicative discourse trees | |
US11586827B2 (en) | Generating desired discourse structure from an arbitrary text | |
US11455494B2 (en) | Automated building of expanded datasets for training of autonomous agents | |
US10949623B2 (en) | Using communicative discourse trees to detect a request for an explanation | |
US11720749B2 (en) | Constructing conclusive answers for autonomous agents | |
US11914961B2 (en) | Relying on discourse trees to build ontologies | |
US11615145B2 (en) | Converting a document into a chatbot-accessible form via the use of communicative discourse trees | |
US20240119232A1 (en) | Relying on discourse trees to build ontologies |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211203 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211203 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230120 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230307 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230404 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7258047 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |