JP7314538B2 - 会話型の文書を要約するために表題を生成するためのシステム及び方法、文書用に表題を生成する方法、プログラム、演算装置、及びコンピュータ機器 - Google Patents

会話型の文書を要約するために表題を生成するためのシステム及び方法、文書用に表題を生成する方法、プログラム、演算装置、及びコンピュータ機器 Download PDF

Info

Publication number
JP7314538B2
JP7314538B2 JP2019044908A JP2019044908A JP7314538B2 JP 7314538 B2 JP7314538 B2 JP 7314538B2 JP 2019044908 A JP2019044908 A JP 2019044908A JP 2019044908 A JP2019044908 A JP 2019044908A JP 7314538 B2 JP7314538 B2 JP 7314538B2
Authority
JP
Japan
Prior art keywords
data
neural network
documents
region
title
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019044908A
Other languages
English (en)
Other versions
JP2020013541A (ja
Inventor
チェン フランシーン
ジャオ ジアン
チェン インイン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd, Fujifilm Business Innovation Corp filed Critical Fuji Xerox Co Ltd
Publication of JP2020013541A publication Critical patent/JP2020013541A/ja
Application granted granted Critical
Publication of JP7314538B2 publication Critical patent/JP7314538B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/93—Document management systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/34—Browsing; Visualisation therefor
    • G06F16/345—Summarisation for human users
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/338—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本開示は、内容の要約に関し、より詳しくは、抽出した内容特徴に基づいて表題を自動的に生成することにより、内容を自動的に要約するためのシステム及び方法に関する。
人々が利用できるテキスト情報の量は増え続けている。テキスト情報はしばしば無秩序な場合があり、何を見るかについて優先順位を付ける仕方を判断するのが困難な場合がある。さらに、会話などのテキストコンテンツ及び企業チャット上の投稿は、多くの種類が、情報を秩序立てる、又は情報に優先順位を付けるのを容易にするのに使用できる表題又は要約を有していない。例えば、仕事で雇用者が利用できる情報が、奔流となっている。この奔流を精査することに時間を使うよりも、雇用者の時間を他の作業に使う方がよいであろう。
閲覧の効率を高めるための１つの方法は、表題を使用すること、及び、ユーザが関心を示したときにのみ情報を徐々に明らかにすることなどの、簡潔な形式で情報を提供することである。しかし、このような表題又は要約を自動的に作成する関連技術の方法では、自動化されたシステムの訓練を可能にするための十分な大きさのセットのテキスト及び対応する表題が欠けていることが問題になる場合がある。
さらに、良質の分類されたデータを取得することが、困難且つ高価な場合がある。状況により、作者の観点を表現するために、読者によってではなく作者によって表題を生成するのが好ましい場合がある。いくつかの従来技術の方法では、作者が生成した表題を有する別の領域からのデータで訓練することが試みられてきたが、領域間の相違のため、性能が妥当でない場合がある。これらの相違には、異なる語彙、異なる文法形式、及び、類似の概念を表現する異なるやり方が含まれている場合がある。本出願では、領域にまたがるモデルを訓練する際に、これらの相違に取り組むことで、性能を向上することができる。
米国特許第7376893号公報
BUYUKKOKTEN, O., et al., Seeing in the Whole in Parts: Text Summarization for Web Browsing on Handheld Devices, WWW ’01, Proceedings of the 10th International Conference on World Wide Web, Hong Kong, May 1-5, 2001, pg 652-662. GANIN, Y., et al., Domain-Adversarial Training of Neural Networks, Journal of Machine Learning Research, 2016, 17, pg 1-35. HOQUE, E., et al., ConVis: A Visual Text Analytic System for Exploring Blog Conversations, Eurographics Conference on Visualization (Euro Vis), 2014, 33(3), pg221-230. HSU, W,-N., et al., Unsupervised Domain Adaptation for Robust Speech Recognition Via Variational Autoencoder-Based Data Augmentation, 2017 IEEE Automatic Speech and Recognition and Understanding Workshop (ASRU), 2017, Okinawa, Japan, December 16-20, 2017, 8 pgs. JIN, R., et al., A New Probabilistic Model for Title Generation, COLING ’02 Proceeding of the 19th International conference on computation Linguistics, Taipei, Taiwan, August 24-September 1, 2002, 1, pg 1-7. JOHNSON, M., et al., Google’s Multilingual Neural Machine Translation System: Enabling Zero-Shot Translation, Transactions of the Association of Computational Linguistics, 2017, 5, pg 339-351. SEE, A., et al., Get to the Point: Summarization with Pointer - Generator Networks, Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics, 2017, 1(Long Papers), pg 1073-1083. SOCHER, R., et al., Zero-Shot Learning Through Cross-Model Transfer, NIPS’13 Proceedings of the 26th International Conference on Neural Information Processing Systems, Lake Tahoe, Nevada, December 5-10, 2013, pg 935-943.
本開示の技術は、保存プラットフォーム中で、文書用に表題を生成する方法、プログラム、演算装置、及びコンピュータ機器を提供することを目的とする。
本出願の第１の態様により、保存プラットフォーム中で、文書用に表題を生成する方法が提供される。本方法は、関連付けられた内容特徴をそれぞれが有する複数の文書を受信することと、表題生成コンピュータモデルを複数の文書のそれぞれに適用して、関連付けられた内容特徴に基づき表題を生成することと、生成された表題を、複数の文書のそれぞれに添付することとを含んでおり、表題生成コンピュータモデルは、複数の文書の内容特徴に関連する第１の領域からの第１のセットの分類されていないデータと、第１の領域と異なる第２の領域からの第２のセットの分類されたデータとの組み合わせを使用してニューラル・ネットワークを訓練することにより作成される。
第２の態様では、第１の態様において、前記ニューラル・ネットワークは、前記第１のセットのデータから抽出された語彙を、前記第２のセットのデータから抽出された語彙と組み合わせることにより訓練される。
第３の態様では、第１の態様において、前記ニューラル・ネットワークを訓練することは、前記第１のセットのデータから内容特徴を抽出することと、第１のセットの予備の表題を、前記第１のセットのデータからの前記抽出された内容特徴に基づいて生成することと、前記第１の領域において、前記ニューラル・ネットワークを、前記生成された予備の表題及び前記第１のセットのデータを使用して訓練することとをさらに含む。
第４の態様では、第３の態様において、前記第１のセットの予備の表題を生成することは、前記第１のセットの分類されていないデータ中で、前記複数の文書のそれぞれから、テキストからの内容特徴の一部分を抽出することを含む。
第５の態様では、第３の態様において、前記ニューラル・ネットワークを訓練することは、前記第２のセットの分類されたデータと、前記第１のセットのデータ及び前記第２のセットのデータから抽出された、組み合わされた語彙とに基づいて、前記訓練されたニューラル・ネットワークを前記第２の領域に適合させることをさらに含む。
第６の態様では、第５の態様において、前記第２のセットの分類されたデータと、前記第１のセットのデータ及び前記第２のセットのデータから抽出された、前記組み合わされた語彙とに基づいて、前記訓練されたニューラル・ネットワークを前記第２の領域に適合させることは、二次的な選別作業を行って、前記訓練されたニューラル・ネットワークを、前記第２のセットの分類されたデータに整列されたままにすることを含む。
第７の態様では、第５の態様において、前記ニューラル・ネットワークを訓練することは、前記第２の領域において、前記生成された予備の表題及び前記第２のセットのデータを使用して、前記ニューラル・ネットワークをさらに再訓練することと、前記第１のセットのデータ並びに前記第１のセットのデータ及び前記第２のセットのデータから抽出された前記組み合わされた語彙に基づいて、前記再訓練されたニューラル・ネットワークを前記第１の領域に適合させることとをさらに含む。
第８の態様では、第７の態様において、前記生成された表題に基づいて検索機能を提供するユーザインタフェース（ＵＩ）を生成することと、前記生成された表題に基づき、前記ＵＩを通じて受信された検索要求に応じて、少なくとも１つの文書を表示することとをさらに含む。
第９の態様では、第８の態様において、前記ＵＩを通じて選択要求を受信することと、前記受信した選択要求に基づいて、前記表題生成コンピュータモデルをアップデートすることとをさらに含む。
本出願の第１０の態様により、保存プラットフォーム中で、文書用に表題を生成する方法をコンピュータに実行させるためのプログラムが提供される。本方法は、関連付けられた内容特徴をそれぞれが有する複数の文書を受信することと、表題生成コンピュータモデルを複数の文書のそれぞれに適用して、関連付けられた内容特徴に基づき表題を生成することと、生成された表題を、複数の文書のそれぞれに添付することとを含んでおり、表題生成コンピュータモデルは、複数の文書の内容特徴に関連する第１の領域からの第１のセットの分類されていないデータと、第１の領域と異なる第２の領域からの第２のセットの分類されたデータとの組み合わせを使用してニューラル・ネットワークを訓練することにより作成される。
第１１の態様では、第１０の態様において、前記ニューラル・ネットワークは、前記第１のセットのデータから抽出された語彙を、前記第２のセットのデータから抽出された語彙と組み合わせることにより訓練される。
第１２の態様では、第１０の態様において、前記ニューラル・ネットワークを訓練することは、前記第１のセットのデータから内容特徴を抽出することと、第１のセットの予備の表題を、前記第１のセットのデータからの前記抽出された内容特徴に基づいて生成することと、前記第１の領域において、前記ニューラル・ネットワークを、前記生成された予備の表題及び前記第１のセットのデータを使用して訓練することとをさらに含む。
第１３の態様では、第１２の態様において、前記ニューラル・ネットワークを訓練することは、前記第２のセットの分類されたデータと、前記第１のセットのデータ及び前記第２のセットのデータから抽出された、組み合わされた語彙とに基づいて、前記訓練されたニューラル・ネットワークを前記第２の領域に適合させることをさらに含む。
第１４の態様では、第１３の態様において、前記第２のセットの分類されたデータと、前記第１のセットのデータ及び前記第２のセットのデータから抽出された、前記組み合わされた語彙とに基づいて、前記訓練されたニューラル・ネットワークを前記第２の領域に適合させることは、二次的な選別作業を行って、前記訓練されたニューラル・ネットワークを、前記第２のセットの分類されたデータに整列されたままにすることを含む。
第１５の態様では、第１３の態様において、前記ニューラル・ネットワークを訓練することは、前記第２の領域において、前記生成された予備の表題及び前記第２のセットのデータを使用して、前記ニューラル・ネットワークをさらに再訓練することと、前記第１のセットのデータ並びに前記第１のセットのデータ及び前記第２のセットのデータから抽出された前記組み合わされた語彙に基づいて、前記再訓練されたニューラル・ネットワークを前記第１の領域に適合させることとをさらに含む。
第１６の態様では、第１５の態様において、前記生成された表題に基づいて検索機能を提供するユーザインタフェース（ＵＩ）を生成することと、前記生成された表題に基づき、前記ＵＩを通じて受信された検索要求に応じて、少なくとも１つの文書を表示することとをさらに含む。
本出願の第１７の態様は、複数の文書を保存するメモリと、複数の文書用に表題を生成する方法を実行するよう構成されたプロセッサとを含む、演算装置に関する。本方法は、関連付けられた内容特徴をそれぞれが有する複数の文書を受信することと、表題生成コンピュータモデルを複数の文書のそれぞれに適用して、関連付けられた内容特徴に基づき表題を生成することと、生成された表題を、複数の文書のそれぞれに添付することとを含んでおり、表題生成コンピュータモデルは、複数の文書の内容特徴に関連する第１の領域からの第１のセットの分類されていないデータと、第１の領域と異なる第２の領域からの第２のセットの分類されたデータとの組み合わせを使用してニューラル・ネットワークを訓練することにより作成される。
第１８の態様では、第１７の態様において、前記ニューラル・ネットワークを訓練することは、前記第１のセットのデータから内容特徴を抽出することと、第１のセットの予備の表題を、前記第１のセットのデータからの前記抽出された内容特徴に基づいて生成することと、前記第１の領域において、前記ニューラル・ネットワークを、前記生成された予備の表題及び前記第１のセットのデータを使用して訓練することとをさらに含む。
第１９態様では、第１８の態様において、前記ニューラル・ネットワークを訓練することは、前記第２のセットの分類されたデータと、前記第１のセットのデータ及び前記第２のセットのデータから抽出された、組み合わされた語彙とに基づいて、前記訓練されたニューラル・ネットワークを前記第２の領域に適合させることをさらに含む。
第２０の態様では、第１９の態様において、前記ニューラル・ネットワークを訓練することは、前記第２の領域において、前記生成された予備の表題及び前記第２のセットのデータを使用して、前記ニューラル・ネットワークを再訓練することと、前記第１のセットのデータ並びに前記第１のセットのデータ及び前記第２のセットのデータから抽出された前記組み合わされた語彙に基づいて、前記再訓練されたニューラル・ネットワークを前記第１の領域に適合させることとをさらに含む。
本出願の第２１の態様は、複数の文書用に表題を生成する方法を実行するよう構成されたコンピュータ機器に関する。コンピュータ機器は、関連付けられた内容特徴をそれぞれが有する複数の文書を受信する手段と、表題生成コンピュータモデルを複数の文書のそれぞれに適用して、関連付けられた内容特徴に基づき表題を生成する手段と、生成された表題を、複数の文書のそれぞれに添付する手段とを含んでおり、表題生成コンピュータモデルは、複数の文書の内容特徴に関連する第１の領域からの第１のセットの分類されていないデータと、第１の領域と異なる第２の領域からの第２のセットの分類されたデータとの組み合わせを使用してニューラル・ネットワークを訓練することにより作成される。
本特許又は出願ファイルは、カラーで実行される少なくとも１つの図面を含んでいる。カラーの図面を有する本特許又は出願公報の写しが、要望及び必要料金の支払いに応じて、庁により提供されることになる。
自動的に生成された表題を有する文書の集まりを閲覧及び視覚化する処理１００のフローチャートを示す。 保存プラットフォームに保存された文書の表題を生成するために使用される表題生成コンピュータモデルを訓練するための処理２００のフローチャートを示す。 本出願の例示的な実施態様に係る、文書３１Ｏａ～３１Ｏｄを表示するために使用できるユーザインタフェース（ＵＩ）３００を示す。 本出願の例示的な実施態様に係る、文書３１Ｏａ～３１Ｏｄを表示するために使用できる別のユーザインタフェース（ＵＩ）４００を示す。 本出願の例示的な実施態様に係るニューラル・ネットワークモデル５００の模式図を示す。 本出願の例示的な実施態様を含む１つの実験の結果のグラフを示す。 本出願の例示的な実施態様を含む第２の実験の結果のグラフを示す。 本出願のいくつかの例示的な実施態様での使用に適した例示的なコンピュータ装置を有する、例示的な演算環境を示す。
以下の詳細な説明により、本出願の図面及び例示的な実施態様のさらなる詳細を示す。図面間で重複する要素の参照番号及び記載は、明瞭さのために省略する。本説明を通じて使用する用語は、例として示されており、限定することを意図していない。例えば、「自動的な」という用語の使用は、本出願の実施態様を実行する当業者が所望する実施態様に応じて、実施態様の特定の態様に対するユーザ又はオペレータの制御を含む、全自動又は半自動の実施態様を含んでいてもよい。さらに、「第１の」、「第２の」、「第３の」などの連続した術語は、本説明及び特許請求の範囲において、単に目的を分類するために、詳細な説明及び特許請求の範囲で使用してもよく、記載の順序で起きる記載の行為又は事項への言及に限定されないものとする。行為又は事項は、本出願の範囲を逸脱することなく、異なる順序に並べられてもよく、又は、並行して、若しくは動的に実行されてもよい。
本出願では、「文書」、「メッセージ」、「テキスト」又は「通信」という用語を、１又は複数の報告、記事、本、発表、電子メール、ショート・メディア・サービス（ＳＭＳ）メッセージ、ブログの投稿、ソーシャルメディアの投稿、又は、作成、著述、受信、送信若しくは保存できる他の何らかのテキスト表現を説明するために、交換可能に使用できる。「文書」、「メッセージ」、「テキスト」又は「通信」を、ノートパソコン、デスクトップパソコン、テーブル、スマートフォン、又は、当業者にとって明らかであると思われる他の何らかの演算装置を使用して、起草し、作成し、著述し、又は、他の仕方で生成してもよい。「文書」、「メッセージ」、「テキスト」又は「通信」を、磁気記憶装置、光学記憶装置、ソリッドステート記憶装置、有機記憶装置、又は、当業者にとって明らかであると思われる他の何らかの記憶装置を含むがこれに限定されないコンピュータ可読媒体上に、データファイル又は他のデータ構造として保存してもよい。さらに、コンピュータ可読媒体は、ローカル記憶装置、クラウドベースの記憶装置、遠隔サーバ、又は、当業者にとって明らかであると思われる他の何らかの記憶装置を含んでいてもよい。
さらに、本出願では、「表題」、「キャプション」、「テキストによる要約」又は「テキスト要約」という用語はすべて、記載の「文書」、「メッセージ」、「テキスト」又は「通信」の１又は複数の内容を表すことができる、テキストによる、説明的な要約を表すために、交換可能に使用できる。
関連技術にまつわる、上述した問題を克服するために、本出願の例示的な実施態様では、ソース領域及び目標領域における異なる語彙を扱うための、語彙の拡張と、２つの領域の文法形式を把握するための、分類されていない文書向けの合成の表題と、要約生成用のエンコーダ・デコーダモデルにおける入力されたテキストの、埋め込まれた概念表現を同化させるための、領域適合との組み合わせを使用してもよい。くわえて、例示的な実施態様では、まず表題として簡潔なものを提示し、次いでユーザにより拡張することのできる要約情報を提示する、ユーザインタフェースをも提供してもよい。
図１は、自動的に生成された表題を有する文書の集まりを閲覧及び視覚化する処理１００のフローチャートを示している。以下に説明する図８に示す例示的な演算環境８００の例示的な演算装置８０５などの、演算環境に置かれた演算装置により、処理１００を実行してもよい。処理１００の要素は、特定の順序で図示できるが、例示的な実施態様は、図示した特定の順序に限定されない。本出願の範囲を逸脱することなしに、例示的な実施態様は、当業者にとって明らかと思われるような、異なる順序に並べられる行為を含んでいてもよく、又は、行為は、並行して、若しくは動的に実行されてもよい。
図１に示すように、複数の文書が、１０５で、システムにより、生成、保存又は受信される。複数の文書のそれぞれは、認識技術を使用して抽出できる、１又は複数の内容特徴を含んでいてもよい。例えば、テキスト認識を使用して、文書から単語を抽出してもよい。いくつかの例示的な実施態様では、画像認識技術をも使用して、画像を表現するデータを、文書から抽出してもよい。いくつかの例示的な実施態様では、文書は、研究データベースに保存された記事又は書類であってもよい。別の例示的な実施態様では、文書は、チャットメッセージ、インスタントメッセージ、チャットボードの投稿、又は、当業者にとって明らかであると思われる何らかの他の種類の文書であってもよい。いくつかの例示的な実施態様では、解きほぐし処理を行って、内容特徴に基づき、メッセージのスレッドを分離してもよい。
１１０で、表題生成コンピュータモデルが、文書のそれぞれに適用されて、表題又は他の短い要約が生成される。表題生成モデルは、先行する訓練に基づいて表題又は短い要約を生成するために、各文書から抽出された内容特徴を使用するよう構成された、ニューラル・ネットワークであってもよい。ニューラル・ネットワーク構成を、以下に、図５を参照して、より詳細に説明する。ニューラル・ネットワークの訓練を、図２を参照して、より詳細に説明する。
表題又は短い要約を、文書のそれぞれについて生成したのち、１２０で、文書及び表題を、ユーザインタフェース制御器に供給する。ユーザインタフェース制御器は、１２５で、表題又は短い要約に基づいて、１又は複数の文書を含むユーザインタフェース（ＵＩ）表示を生成する。ＵＩの例示的な実施態様を、以下に、図３及び図４を参照して、より詳細に説明する。
ＵＩが表示されたのち、１３０で、ユーザは、対話しても、又は、制御命令を供給してもよい。例えば、ユーザは、検索要求を供給しても、又は、１又は複数の表示された文書を選択してもよい。１３０でのユーザ命令は、１２０でＵＩ制御器にフィードバックされ、１２５で新たな表示が生成される。ここでも、ＵＩの例示的な実施態様を、以下に、図３及び図４を参照して、より詳細に説明する。ＵＩは、必要に応じ、１２０～１３０を繰り返すことにより、継続的にアップデートすることができる。
図２は、保存プラットフォームに保存された文書の表題を生成するために使用される表題生成コンピュータモデルを訓練するための処理２００のフローチャートを示している。以下に説明する図８に示す例示的な演算環境８００の例示的な演算装置８０５などの、演算環境に置かれた演算装置により、処理２００を実行してもよい。処理２００の要素を、特定の順序で図示してもよいが、例示的な実施態様は、図示した特定の順序に限定されない。本出願の範囲を逸脱することなしに、例示的な実施態様は、当業者にとって明らかと思われるような、異なる順序に並べられる行為を含んでいてもよく、又は、行為は、並行して、若しくは動的に実行されてもよい。
図２に示すように、表題生成コンピュータモデルの訓練は、２つの訓練データセットを使用することを含んでいる。いくつかの例示的な実施態様では、第１の訓練データセット２０５が、第１の（目標）領域からの、分類されていないデータであり、第２の訓練データセット２１０が、第２の（ソース）領域からの、分類されたデータである。例えば、訓練データセット２０５は、ビジネス関連の領域への傾きを有する、仲間内のチャット又はメッセージ伝達プラットフォームへの、分類されていない投稿であってもよく、訓練データセット２１０は、一般的な話題（一般的な関心領域）を提供するニュースプラットフォームに投稿された、分類された記事又は記録であってもよい。
２１５で、第１の訓練データセット２０５及び第２の訓練データセット２１０から抽出された語彙を組み合わせて、単一の語彙を作成してもよい。すなわち、語彙の相違を扱うために、分類されたデータ（ソース）２１０及び分類されていないデータ（目標）領域の語彙が組み合わされる。例えば、各領域（例えば、第１の訓練データセット２０５の領域及び第２の訓練データセット２１０の領域）の訓練データからの最頻出の用語５０ｋの集合体により、２つのデータセットの間の共通の用語の繰り返しによって、約８５ｋの用語の語彙を作成してもよい。
さらに、分類されていない（目標）データの文法構造は、分類された（ソース）データと異なっていてもよい。例えば、仲間内のチャットに対する、分類されていない投稿の文法は、ニュース記事よりも、くだけている場合がある。目標データの文法を捕捉するために、表題が合成される。例えば、分類されていないデータセット（目標データセット）２０５の文法構造を捕捉するために、２２０で、最小及び最大の数の単語の間の文の長さを有する投稿の第１の文を選択することにより、「合成の」すなわち予備の表題を生成してもよい。例えば、最小で４単語及び最大で１２単語が使用されてもよい。
他の例示的な実施態様では、他の最小及び最大を使用してもよい。このようにして、ニューラル・ネットワークのエンコーダ及びデコーダの両方を、目標領域からのテキストについて訓練できるが、表題は一般に不正確な場合がある。いくつかの例示的な実施態様では、第１の文から選択された「表題」が、１０％の確率で、（例えば、文書でのちに生じる）あとの「表題」で置き換えられて、デコーダにとって作業をより困難にする場合がある。いくつかの例示的な実施態様では、合成のデータを使用して、エンコーダではなくデコーダを（文法について）選別器用に訓練する。
２２５で、分類されていない目標領域向けの「合成の」すなわち予備の表題のセットをまず使用してニューラル・ネットワークを訓練し、２１５からの組み合わされ拡張された語彙を使用するモデルを創出する。いくつかの例示的な実施態様では、シーケンス・ツー・シーケンスのエンコーダ・デコーダモデルを使用して、表題を生成してもよい。いくつかの例示的な実施態様では、単語の繰り返しを避けるのを支援するために、モデルの適用範囲部が含まれていなくてもよい。エンコーダにより生成された、埋め込まれた表現は、各領域につき、異なっていてもよい。
ゆえに、次に、２３０で、訓練されたモデルの埋め込み空間が、敵対的なドメイン適合（ＡＤＡ）を使用して、ソース領域に適合され、異なる領域用の埋め込まれた表現が整列されてもよい。例えば、選別器を採用して、勾配の負数を特徴抽出器へフィードバックすることにより、埋め込まれた特徴表現を整列させてもよい。すなわち、埋め込みは「特徴」として扱われてもよく、選別器からの勾配は、負の値がエンコーダにフィードバックされて、埋め込まれた表現が異なる領域にわたって整列するのを促進するよう、逆伝搬中に変更されてもよい。以下に説明する図５は、例示的な実施態様に係る、ドメイン適合を有するエンコーダ・デコーダモデルを示している。
共同の埋め込み空間を定義した状態で、表題・テキスト対を有するソース領域において、２３５でモデルを再訓練し、分類されていない目標領域を、二次的な選別作業用に、補助的な適合データとして使用して、目標データに整列した状態で、モデルの埋め込みを維持する。例えば、分類されたデータをエンコーダに供給してもよく、デコーダは表題を生成することを学習する。同時に、分類されていないデータもエンコーダに供給され、選別器は、２つの領域からのデータの間を区別することを学習するよう試みる。
次いで、２３５での再訓練後に、限定された量の分類された目標データを、より高い精度が必要な場合に、２４０で使用して、且つ、表題生成コンピュータモデルを２４５で使用して、モデルを微調整できる。表題生成コンピュータモデルが生成されたのち、処理２００は終了する。
図３は、本出願の例示的な実施態様に係る、文書３１Ｏａ～３１Ｏｄを表示するために使用できるユーザインタフェース（ＵＩ）３００を示している。ＵＩ３００を、コンピュータモニタ、テレビ、携帯機器のタッチスクリーンディスプレイ、ノートパソコンのディスプレイスクリーン、又は、当業者にとって明らかであると思われる他の何らかの表示装置を含むがこれに限定されない表示装置に表示してもよい。ＵＩ３００では、文書３１Ｏａ～３１Ｏｄを、メッセージ伝達プラットフォーム上のチャットメッセージ又はインスタントメッセージとして示している。しかし、他の種類の文書を、ＵＩ３００の一部として使用してもよい。
図示したように、ＵＩ３００は、チャットプラットフォームの個々のユーザと関連付けられた、複数のユーザアイコン３０５ａ～３０５ｆを含んでいる。ＵＩ３００は、検索バー又は他の制御インタフェース３１５をも含んでいる。エンドユーザが、検索バーで例えば「ウェブプログラミング」の検索を開始したのち、結果の一覧（文書３１Ｏａ～３１Ｏｄ）が、関連するユーザアイコン３０５ａ～３０５ｆを左にし、且つ、文書３１Ｏａ～３１Ｏｄを右にして、表示される（図３）。ユーザはユーザアイコン３０５ａ～３０５ｆとして示され、文書３１Ｏａ～３１Ｏｄは、対応する内容を要約する、生成された表題を有するテキスト断片として示される。チャンネル名及び期間などの、いくらかのメタデータ情報も、文書３１Ｏａ～３１Ｏｄのそれぞれについて、示唆されてもよい。
ユーザと会話との間の関係（例えば、どの会話に誰がかかわっているか）が、中間の区分に、（破線の囲み３３０により強調された）リンクとして示される。
くわえて、ＵＩ３００は、さまざまな基準（例えば、関連性、時間及びアルファベット順）により、ユーザアイコン３０５ａ～３０５ｆ又は会話３１Ｏａ～３１Ｏｄを並べ替えるために使用できる、制御リンク３２０及び３２５をも含んでいる。さらに、エンドユーザは、特定の会話を、（以下に説明する図４に示す）これらの会話内で個々のメッセージを徐々に明らかにする「．．．」ボタン３３５ａ～３３５ｄの１つをクリックすることにより、拡張することができる。
図４は、本出願の例示的な実施態様に係る、文書３１Ｏａ～３１Ｏｄを表示するために使用できる別のユーザインタフェース（ＵＩ）４００を示している。ＵＩ４００は、図３に関して上述したものと類似の特徴を有していてもよく、類似の参照番号が、類似の特徴用に使用されるであろう。ここでも、ＵＩ４００を、コンピュータモニタ、テレビ、携帯機器のタッチスクリーンディスプレイ、ノートパソコンのディスプレイスクリーン、又は、当業者にとって明らかであると思われる他の何らかの表示装置を含むがこれに限定されない表示装置に表示してもよい。ＵＩ４００では、文書３１Ｏａ～３１Ｏｄを、メッセージ伝達プラットフォーム上のチャットメッセージ又はインスタントメッセージとして示している。しかし、他の種類の文書を、ＵＩ４００の一部として使用してもよい。
ここでも、ＵＩ４００は、チャットプラットフォームの個々のユーザと関連付けられた、複数のユーザアイコン３０５ａ～３０５ｆを含んでいる。ＵＩ４００は、検索バー又は他の制御インタフェース３１５をも含んでいる。エンドユーザが、検索バーで例えば「ウェブプログラミング」の検索を開始したのち、結果の一覧（文書３１Ｏａ～３１Ｏｄ）が、関連するユーザアイコン３０５ａ～３０５ｆを左にし、且つ、文書３１Ｏａ～３１Ｏｄを右にして、表示される。ユーザはユーザアイコン３０５ａ～３０５ｆとして示され、文書３１Ｏａ～３１Ｏｄは、対応する内容を要約する、生成された表題を有するテキスト断片として示される。チャンネル名及び期間などの、いくらかのメタデータ情報も、文書３１Ｏａ～３１Ｏｄのそれぞれについて、示唆されてもよい。ユーザと会話との間の関係（例えば、どの会話に誰がかかわっているか）が、中間の区分に、（破線の囲み３３０により強調された）リンクとして示される。
くわえて、ＵＩ４００は、さまざまな基準（例えば、関連性、時間及びアルファベット順）により、ユーザアイコン３０５ａ～３０５ｆ又は会話３１Ｏａ～３１Ｏｄを並べ替えるために使用できる、制御リンク３２０及び３２５をも含んでいる。さらに、エンドユーザは、特定の会話を、図４に示すように、これらの会話内で個々のメッセージ４１０ａ～４１０ｇを徐々に明らかにする「．．．」ボタン３３５ａ～３３５ｄの１つをクリックすることにより、拡張することができる（以下に説明する）。くわえて、ユーザは、１又は複数の特定のユーザ（例えば３０５ａ）を選択することができ、関連する会話３１Ｏａ、３１Ｏｄ及び３１Ｏｃは、（黄色で）強調されて、一覧の頂部にもってゆくことができる。
まず、生成された表題に基づく検索結果を表示することにより、ユーザが、大量の情報を、より効果的に閲覧できるようにしてもよい。次いで、ユーザは、最も興味を引く結果を選んで、会話を進展することにより、さらに調査を行うことができる。生成された表題が、大部のテキストを要約している場合、結果を読み、目を通すのに、ユーザにとってかなり時間がかかる場合がある。ランク付けした一覧に単に検索結果を示す従来のやり方と違い、Ｕｉｓ３００及び４００は、ユーザと会話との間の関係を精査すること、結果を並べ替えること、及び、複雑で進取的なメッセージ伝達データを閲覧するために重要な場合のある、詳細についての事項を拡張することなどの、より中身の濃い調査を可能にしてもよい。
図５は、本出願の例示的な実施態様に係るニューラル・ネットワークモデル５００の模式図を示している。
図示したように、ニューラル・ネットワークモデル５００は、領域適合を有する、エンコーダ・デコーダＲＮＮモデルである。分類されたソースデータ（記事５１５）が、エンコーダ５０５に供給され、デコーダ５１０が要約表題（要約５２０）を生成することを学習する。同時に、ソースデータ及び分類されていない目標領域データがコード化されて、それらの概念表現５２５から、領域選別器５３０が、２つの領域５３５の間を区別することを学習するよう試みる。
いくつかの例示的な実施態様では、領域選別器５３０は、ソフトマックスがあとに続く、２つの密集した１００単位の隠れた層を有していてもよい。概念表現５２５ベクトルが、単一の状態に連結された、双方向のＬＳＴＭエンコーダの最終的な前及び後の隠れ状態として演算される。さらに、逆伝搬中の選別器５３０からの勾配５４が、エンコーダ５０５を通って逆伝搬される前に負になるように「反転され」て、特徴分布を調整して領域選別器５３０の損失を最大化することにより、埋め込まれた表現が整列するのを促進してもよい。
さらに、生成されたシーケンス損失を、敵対的な領域選別器損失とともに、下記の数式１により定義することができる。
式中、デコーダ損失Ｌｙ（ｔ）＝－ｌｏｇＰ（ｍｔ＊）は、位置ｔでの目標の単語ｆｆｉｔ＊の負の対数尤度である。領域選別器損失Ｌｄは、予測された領域分類可能性と真の領域分類可能性との間の交差エントロピー損失である。
評価結果
発明者は、複数の実験を行って、分類されたデータが利用できない場合に、異なる方法がどれほど良好に働くかを精査した。
図６は、本出願の例示的な実施態様を含む１つの実験の結果のグラフを示している。チャットプラットフォームにおいて、分類されていないメッセージ伝達データ用に、表題を生成するための、さまざまなモデルの性能を示している。モデルは、左から右に比較すると、次の通りである。
－（１）ニュース記事及び表題について訓練したニュース語彙を使用した、基本モデル。
－（２）訓練ニュースデータ及び分類されていないメッセージ伝達データ（ｓｔＥｘデータ）の両方からの最頻出の用語の、拡張され組み合わされた語彙を有するモデル。
－（３）合成のスタック・エクスチェンジ（Ｓｔａｃｋ Ｅｘｃｈａｎｇｅ）表題を有する、現実の分類されていないメッセージ伝達データについて訓練し、次いでニュースデータについて訓練した、モデル２。
－（４）ニュースで直接に訓練する代わりに、まず領域適合を使用して、合成のスタック・エクスチェンジデータ及びニュースデータを適合した、モデル２。そして、領域適合は、２つの領域用に整列された、埋め込まれた表現である。
図６及び上記の表１から、本方法のそれぞれを追加することにより、さまざまな程度で、性能が改善されることが観察される。本方法の組み合わせを使用しながら表題を生成するために、ニュースデータ中のニュース語彙で訓練されたモデルを使用することに対する全体的な改善は３０％である。
図７は、本出願の例示的な実施態様を含む第２の実験の結果のグラフを示している。図示したように、この第２の実験データセットは、分類されたデータが利用できない場合の性能を比較する。ここでも、表題は、チャットプラットフォーム中で、分類されていないメッセージ伝達データ用に生成されている。モデルは、左から右に比較すると、次の通りである。
－（１）図６に関して上に説明した、基本性能モデル（モデル１）。
－（２）ニュースで直接に訓練する代わりに、まず領域適合を使用して、合成のスタック・エクスチェンジデータ及びニュースデータ（図６のモデル４）を適合した、訓練ニュースデータ及び分類されていないメッセージ伝達データの両方からの最頻出の用語の、拡張され組み合わされた語彙を有するモデル。
－（３）分類されたメッセージデータセット（１４０ｋの投稿及び表題の対）の１０％で微調整された、図７のモデル（２）。
－（４）分類されたメッセージデータセット（１４０ｋの投稿及び表題の対）の１０％を使用する、基本モデル（図６のモデル１）。
－（５）分類されたメッセージデータセット（１４０ｋの投稿及び表題の対）の１００％を使用する、基本モデル（図６のモデル１）。
図７及び下記の表２に示すように、（１）分類された訓練データ（モデル４及び５）を使用したときの性能は、分類されたデータが利用できない場合よりも、はるかに優れており、（２）分類された訓練データの１０％のみ（モデル４）を使用した場合の性能は、分類された訓練データのすべて（モデル５）を使用した場合よりも、大幅に低下している。
モデル３は、次いで、分類されたスタック・エクスチェンジ訓練データの１０％で微調整された、最良の組み合わせのモデルである。このモデルにより、分類された訓練メッセージデータの１０％（４）のみを使用したときに対して、性能が顕著に改善されることに注意されたい。
例示的な演算環境
図８は、本出願のいくつかの例示的な実施態様での使用に適した例示的なコンピュータ装置８０５を有する、例示的な演算環境８００を示している。演算環境８００中の演算装置８０５は、１又は複数の処理ユニット、コア又はプロセッサ８１０、メモリ８１５（例えば、ＲＡＭ、ＲＯＭなど）、内部の記憶装置８２０（例えば、磁気、光学、ソリッドステート記憶装置、及び／若しくは、有機）、並びに／又は、Ｉ／Ｏインタフェース８２５を含んでいてもよく、これらのいずれも、情報を通信するための、又は演算装置８０５に埋め込まれた通信機構すなわちバス８３０に結合することができる。
演算装置８０５は、入力／インタフェース８３５及び出力装置／インタフェース８４０に、通信可能に結合することができる。入力／インタフェース８３５及び出力装置／インタフェース８４０のいずれか一方又は両方は、有線又は無線のインタフェースであってもよく、且つ、取り外し可能であってもよい。入力／インタフェース８３５は、いずれかの装置、構成要素、センサ又はインタフェースを、物理的であれ、又は仮想的であれ、含んでいてもよく、これらを使用して、入力（例えば、ボタン、タッチスクリーン・インタフェース、キーボード、ポインティングデバイス／カーソル制御、マイクロフォン、カメラ、点字、モーションセンサ、光学式読み取り装置など）が提供できる。
出力装置／インタフェース８４０は、ディスプレイ、テレビ、モニタ、プリンタ、スピーカー、点字などを含んでいてもよい。いくつかの例示的な実施態様では、入力／インタフェース８３５（例えばユーザインタフェース）及び出力装置／インタフェース８４０を、演算装置８０５とともに埋め込んでも、又は、演算装置８０５に物理的に結合してもよい。他の例示的な実施態様では、演算装置８０５用に、他の演算装置が、入力／インタフェース８３５及び出力装置／インタフェース８４０として機能してもよく、又は、入力／インタフェース８３５及び出力装置／インタフェース８４０の機能を提供してもよい。これらの要素は、ユーザがＡＲ環境と交信できるようにするために、周知のＡＲハードウエア入力を含んでいてもよいが、これに限定されない。
演算装置８０５は例として、高度な携帯機器（例えば、スマートフォン、乗り物及び他の機械に搭載した装置、人間及び動物が携行する装置など）、携帯機器（例えば、タブレット、ノートパソコン、デスクトップパソコン、パソコン、携帯テレビ、ラジオなど）、並びに、移動性を考慮して設計されていない装置（例えば、デスクトップコンピュータ、サーバ装置、他のコンピュータ、インフォメーション端末（ｋｉｏｓｋ）、１又は複数のプロセッサが埋め込まれ、且つ／又は結合されたテレビ、ラジオなど）を含んでいてもよいが、これに限定されない。
演算装置８０５は、同じ又は異なる構成の１又は複数の演算装置を含む、ネットワーク化された、いずれかの数の構成要素、装置及びシステムと通信するために、外部の記憶装置８４５及びネットワーク８５０に、（例えば、Ｉ／Ｏインタフェース８２５を介して）通信可能に結合されていてもよい。演算装置８０５又は何らかの接続された演算装置は、サーバ、クライアント、シンサーバ、一般機械、特殊用途の機械、若しくは、別の分類として機能しても、それらの役目を提供しても、又は、それらとして言及されていてもよい。
Ｉ／Ｏインタフェース８２５は、演算環境８００中の接続された構成要素、装置及びネットワークの少なくともすべてへと、且つ／又は、演算環境８００中の接続された構成要素、装置及びネットワークの少なくともすべてから、情報を通信するために、何らかの通信又はＩ／Ｏプロトコル又は規格（例えば、イーサネット（登録商標）、８０２．１ｌｘｓ、ユニバーサルシステムバス、ＷｉＭＡＸ、モデム、セルラ・ネットワーク・プロトコルなど）を使用する有線及び／又は無線のインタフェースを含んでいてもよいが、これに限定されない。ネットワーク８５０は、何らかのネットワーク又はネットワーク（例えば、インターネット、ローカルエリアネットワーク、広域ネットワーク、電話網、セルラ・ネットワーク、衛星ネットワークなど）の組み合わせであってもよい。
演算装置８０５は、一時的な媒体及び非一時的な媒体を含む、コンピュータ使用可能媒体又はコンピュータ可読媒体を使用しても、且つ／又は、それらを使用して通信してもよい。一時的な媒体は、伝送媒体（例えば、金属ケーブル、光ファイバ）、信号、搬送波などを含んでいる。非一時的な媒体は、磁気媒体（例えば、ディスク及びテープ）、光学媒体（例えば、ＣＤ－ＲＯＭ、ＤＶＤ、ブルーレイディスク）、ソリッドステート媒体（例えば、ＲＡＭ、ＲＯＭ，フラッシュメモリ、ソリッドステートストレージ）、並びに、他の不揮発性記憶装置又はメモリを含んでいる。
演算装置８０５を使用して、いくつかの例示的な演算環境において、技術、方法、応用、処理、又は、コンピュータ実行可能命令を実施してもよい。コンピュータ実行可能命令を、一時的な媒体から取り出して、非一時的な媒体に保存し、且つ、そこから取り出してもよい。実行可能命令は、１又は複数の何らかのプログラミング、スクリプト記述及びマシン語（例えば、Ｃ、Ｃ＋＋、Ｃ＃、Ｊａｖａ（登録商標）、ＶｉｓｕａｌＢａｓｉｃ、Ｐｙｔｈｏｎ、Ｐｅｒｌ、ＪａｖａＳｃｒｉｐｔ（登録商標）など）を起源としていてもよい。
プロセッサ８１０は、ネイティブ環境又は仮想環境で、何らかのオペレーティングシステム（ＯＳ）（図示せず）のもとで動作できる。論理ユニット８５５、アプリケーションプログラミングインタフェース（ａｐｐｌｉｃａｔｉｏｎ ｐｒｏｇｒａｍｍｉｎｇ ｉｎｔｅｒｆａｃｅ：ＡＰＩ）ユニット８６０、入力ユニット８６５、出力ユニット８７０、モデル訓練ユニット８７５、表題生成ユニット８８０、領域適合ユニット８８５、並びに、異なるユニットが互いに、ＯＳと、及び他のアプリケーション（図示せず）と通信するためのユニット間通信機構８９５を含む、１又は複数のアプリケーションを展開してもよい。
例えば、モデル訓練ユニット８７５、表題生成ユニット８８０及び領域適合ユニット８８５は、図１及び図２に示す、１又は複数の処理を実施してもよい。記載のユニット及び要素は、設計、機能、構成又は実施態様に関し変更されてもよく、記載したものに限定されない。
いくつかの例示的な実施態様では、情報又は実行命令は、ＡＰＩユニット８６０により受信されたときに、１又は複数の他のユニット（例えば、モデル訓練ユニット８７５、表題生成ユニット８８０及び領域適合ユニット８８５）に通信されてもよい。例えば、モデル訓練ユニット８７５は、受信した訓練データ及び／又は抽出した領域語彙に基づいて、表題訓練コンピュータモデルを生成し、且つ、生成した表題生成コンピュータを、領域適合ユニット８８５に供給してもよい。さらに、領域適合ユニット８８５は、供給された表題生成コンピュータモデルを、新たな領域に適合させ、且つ、表題生成コンピュータモデルを、表題生成ユニット８８０に供給してもよい。さらに、表題生成ユニット８８０は、生成及び適合された表題生成コンピュータモデルを、入力ユニット８６５が受信した１又は複数の文書に適用し、且つ、１又は複数の文書を有するＵＩを、出力ユニット８７０を介して生成してもよい。
ある場合、上述したいくつかの例示的な実施態様において、論理ユニット８５５は、ユニット間の情報の流れを制御し、且つ、ＡＰＩユニット８６０、入力ユニット８６５、モデル訓練ユニット８７５、表題生成ユニット８８０及び領域適合ユニット８８５により提供される役目を指示するよう構成されていてもよい。例えば、１又は複数の処理又は実施態様の流れを、論理ユニット８５５単独で、又は、ＡＰＩユニット８６０と連携して、制御してもよい。
いくつかの例示的な実施態様を図示及び説明したが、これらの例示的な実施態様は、本明細書中で説明する主題を当業者に伝えるために提供されている。本明細書に記載の主題が、記載の例示的な実施態様に限定されることなく、さまざまな態様で実施されてもよいことを理解されたい。本明細書に記載の主題は、詳細に定義若しくは説明した事項なしに、又は、記載していない、他の、若しくは異なる要素若しくは事項とともに、実践することができる。本明細書に記載の主題から逸脱することなしに、添付の特許請求の範囲及びその均等物に定義されたように、これらの例示的な実施態様において変更を行えることは、当業者にとって明らかであろう。

Claims (21)

  1. 保存プラットフォーム中で、文書用に表題を生成する方法であって、
    関連付けられた内容特徴をそれぞれが有する複数の文書を受信することと、
    表題生成コンピュータモデルを前記複数の文書のそれぞれに適用して、前記関連付けられた内容特徴に基づき表題を生成することと、
    前記生成された表題を、前記複数の文書のそれぞれに添付することとを含む方法であって、
    前記表題生成コンピュータモデルは、
    前記複数の文書の内容特徴に関連する第１の領域からの第１のセットの分類されていないデータと、
    前記第１の領域と異なる第２の領域からの第２のセットの分類されたデータと
    の組み合わせを使用してニューラル・ネットワークを訓練することにより作成される、方法。
  2. 前記ニューラル・ネットワークは、前記第１のセットのデータから抽出された語彙を、前記第２のセットのデータから抽出された語彙と組み合わせることにより訓練される、請求項１に記載の方法。
  3. 前記ニューラル・ネットワークを訓練することは、
    前記第１のセットのデータから内容特徴を抽出することと、
    第１のセットの予備の表題を、前記第１のセットのデータからの前記抽出された内容特徴に基づいて生成することと、
    前記第１の領域において、前記ニューラル・ネットワークを、前記生成された予備の表題及び前記第１のセットのデータを使用して訓練することとをさらに含む、請求項１に記載の方法。
  4. 前記第１のセットの予備の表題を生成することは、前記第１のセットの分類されていないデータ中で、前記複数の文書のそれぞれから、テキストからの内容特徴の一部分を抽出することを含む、請求項３に記載の方法。
  5. 前記ニューラル・ネットワークを訓練することは、前記第２のセットの分類されたデータと、前記第１のセットのデータ及び前記第２のセットのデータから抽出された、組み合わされた語彙とに基づいて、前記訓練されたニューラル・ネットワークを前記第２の領域に適合させることをさらに含む、請求項３に記載の方法。
  6. 前記第２のセットの分類されたデータと、前記第１のセットのデータ及び前記第２のセットのデータから抽出された、前記組み合わされた語彙とに基づいて、前記訓練されたニューラル・ネットワークを前記第２の領域に適合させることは、二次的な選別作業を行って、前記訓練されたニューラル・ネットワークを、前記第２のセットの分類されたデータに整列されたままにすることを含む、請求項５に記載の方法。
  7. 前記ニューラル・ネットワークを訓練することは、前記第２の領域において、前記生成された予備の表題及び前記第２のセットのデータを使用して、前記ニューラル・ネットワークをさらに再訓練することと、
    前記第１のセットのデータ並びに前記第１のセットのデータ及び前記第２のセットのデータから抽出された前記組み合わされた語彙に基づいて、前記再訓練されたニューラル・ネットワークを前記第１の領域に適合させることとをさらに含む、請求項５に記載の方法。
  8. 前記生成された表題に基づいて検索機能を提供するユーザインタフェース（ＵＩ）を生成することと、
    前記生成された表題に基づき、前記ＵＩを通じて受信された検索要求に応じて、少なくとも１つの文書を表示することとをさらに含む、請求項７に記載の方法。
  9. 前記ＵＩを通じて選択要求を受信することと、
    前記受信した選択要求に基づいて、前記表題生成コンピュータモデルをアップデートすることとをさらに含む、請求項８に記載の方法。
  10. 保存プラットフォーム中で、文書用に表題を生成する方法をコンピュータに実行させるためのプログラムであって、前記方法は、
    関連付けられた内容特徴をそれぞれが有する複数の文書を受信することと、
    表題生成コンピュータモデルを前記複数の文書のそれぞれに適用して、前記関連付けられた内容特徴に基づき表題を生成することと、
    前記生成された表題を、前記複数の文書のそれぞれに添付することとを含む方法であって、
    前記表題生成コンピュータモデルは、
    前記複数の文書の内容特徴に関連する第１の領域からの第１のセットの分類されていないデータと、
    前記第１の領域と異なる第２の領域からの第２のセットの分類されたデータと
    の組み合わせを使用してニューラル・ネットワークを訓練することにより作成される、プログラム。
  11. 前記ニューラル・ネットワークは、前記第１のセットのデータから抽出された語彙を、前記第２のセットのデータから抽出された語彙と組み合わせることにより訓練される、請求項１０に記載のプログラム。
  12. 前記ニューラル・ネットワークを訓練することは、
    前記第１のセットのデータから内容特徴を抽出することと、
    第１のセットの予備の表題を、前記第１のセットのデータからの前記抽出された内容特徴に基づいて生成することと、
    前記第１の領域において、前記ニューラル・ネットワークを、前記生成された予備の表題及び前記第１のセットのデータを使用して訓練することとをさらに含む、請求項１０に記載のプログラム。
  13. 前記ニューラル・ネットワークを訓練することは、前記第２のセットの分類されたデータと、前記第１のセットのデータ及び前記第２のセットのデータから抽出された、組み合わされた語彙とに基づいて、前記訓練されたニューラル・ネットワークを前記第２の領域に適合させることをさらに含む、請求項１２に記載のプログラム。
  14. 前記第２のセットの分類されたデータと、前記第１のセットのデータ及び前記第２のセットのデータから抽出された、前記組み合わされた語彙とに基づいて、前記訓練されたニューラル・ネットワークを前記第２の領域に適合させることは、二次的な選別作業を行って、前記訓練されたニューラル・ネットワークを、前記第２のセットの分類されたデータに整列されたままにすることを含む、請求項１３に記載のプログラム。
  15. 前記ニューラル・ネットワークを訓練することは、前記第２の領域において、前記生成された予備の表題及び前記第２のセットのデータを使用して、前記ニューラル・ネットワークをさらに再訓練することと、
    前記第１のセットのデータ並びに前記第１のセットのデータ及び前記第２のセットのデータから抽出された前記組み合わされた語彙に基づいて、前記再訓練されたニューラル・ネットワークを前記第１の領域に適合させることとをさらに含む、請求項１３に記載のプログラム。
  16. 前記生成された表題に基づいて検索機能を提供するユーザインタフェース（ＵＩ）を生成することと、
    前記生成された表題に基づき、前記ＵＩを通じて受信された検索要求に応じて、少なくとも１つの文書を表示することとをさらに含む、請求項１５に記載のプログラム。
  17. 複数の文書を保存するメモリと、
    前記複数の文書用に表題を生成する方法を実行するよう構成されたプロセッサと
    を備える、演算装置であって、前記方法は、
    関連付けられた内容特徴をそれぞれが有する複数の文書を受信することと、
    表題生成コンピュータモデルを前記複数の文書のそれぞれに適用して、前記関連付けられた内容特徴に基づき表題を生成することと、
    前記生成された表題を、前記複数の文書のそれぞれに添付することとを含み、
    前記表題生成コンピュータモデルは、
    前記複数の文書の内容特徴に関連する第１の領域からの第１のセットの分類されていないデータと、
    前記第１の領域と異なる第２の領域からの第２のセットの分類されたデータと
    の組み合わせを使用してニューラル・ネットワークを訓練することにより作成される、演算装置。
  18. 前記ニューラル・ネットワークを訓練することは、
    前記第１のセットのデータから内容特徴を抽出することと、
    第１のセットの予備の表題を、前記第１のセットのデータからの前記抽出された内容特徴に基づいて生成することと、
    前記第１の領域において、前記ニューラル・ネットワークを、前記生成された予備の表題及び前記第１のセットのデータを使用して訓練することとをさらに含む、請求項１７に記載の演算装置。
  19. 前記ニューラル・ネットワークを訓練することは、前記第２のセットの分類されたデータと、前記第１のセットのデータ及び前記第２のセットのデータから抽出された、組み合わされた語彙とに基づいて、前記訓練されたニューラル・ネットワークを前記第２の領域に適合させることをさらに含む、請求項１８に記載の演算装置。
  20. 前記ニューラル・ネットワークを訓練することは、前記第２の領域において、前記生成された予備の表題及び前記第２のセットのデータを使用して、前記ニューラル・ネットワークを再訓練することと、
    前記第１のセットのデータ並びに前記第１のセットのデータ及び前記第２のセットのデータから抽出された前記組み合わされた語彙に基づいて、前記再訓練されたニューラル・ネットワークを前記第１の領域に適合させることとをさらに含む、請求項１９に記載の演算装置。
  21. 複数の文書用に表題を生成する方法を実行するよう構成されたコンピュータ機器であって、
    前記コンピュータ機器は、
    関連付けられた内容特徴をそれぞれが有する複数の文書を受信する手段と、
    表題生成コンピュータモデルを前記複数の文書のそれぞれに適用して、前記関連付けられた内容特徴に基づき表題を生成する手段と、
    前記生成された表題を、前記複数の文書のそれぞれに添付する手段と、
    を含んでおり、
    前記表題生成コンピュータモデルは、
    前記複数の文書の内容特徴に関連する第１の領域からの第１のセットの分類されていないデータと、前記第１の領域と異なる第２の領域からの第２のセットの分類されたデータとの組み合わせを使用してニューラル・ネットワークを訓練することにより作成される、
    コンピュータ機器。
JP2019044908A 2018-07-17 2019-03-12 会話型の文書を要約するために表題を生成するためのシステム及び方法、文書用に表題を生成する方法、プログラム、演算装置、及びコンピュータ機器 Active JP7314538B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/038086 2018-07-17
US16/038,086 US20200026767A1 (en) 2018-07-17 2018-07-17 System and method for generating titles for summarizing conversational documents

Publications (2)

Publication Number Publication Date
JP2020013541A JP2020013541A (ja) 2020-01-23
JP7314538B2 true JP7314538B2 (ja) 2023-07-26

Family

ID=69160878

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019044908A Active JP7314538B2 (ja) 2018-07-17 2019-03-12 会話型の文書を要約するために表題を生成するためのシステム及び方法、文書用に表題を生成する方法、プログラム、演算装置、及びコンピュータ機器

Country Status (3)

Country Link
US (1) US20200026767A1 (ja)
JP (1) JP7314538B2 (ja)
CN (1) CN110795929A (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10983971B2 (en) * 2018-11-28 2021-04-20 Intuit Inc. Detecting duplicated questions using reverse gradient adversarial domain adaptation
US10810243B2 (en) * 2019-03-08 2020-10-20 Fuji Xerox Co., Ltd. System and method for generating abstractive summaries of interleaved texts
CN111898337B (zh) * 2020-07-13 2024-01-26 武汉大学 一种基于深度学习的单句摘要缺陷报告标题自动生成方法
US20240104055A1 (en) * 2022-09-22 2024-03-28 Microsoft Technology Licensing, Llc Method and system of intelligently generating a title for a group of documents

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003281183A (ja) 2002-03-20 2003-10-03 Fuji Xerox Co Ltd 文書情報検索装置、文書情報検索方法及び文書情報検索プログラム
JP2006085582A (ja) 2004-09-17 2006-03-30 Fuji Xerox Co Ltd 文書処理装置およびプログラム
JP2017111782A (ja) 2015-12-17 2017-06-22 富士ゼロックス株式会社 ソーシャルメディア投稿のキャプションを生成する方法、プログラム及びサーバ装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8612364B2 (en) * 2009-10-29 2013-12-17 Xerox Corporation Method for categorizing linked documents by co-trained label expansion
JP6007784B2 (ja) * 2012-12-21 2016-10-12 富士ゼロックス株式会社 文書分類装置及びプログラム
US9619450B2 (en) * 2013-06-27 2017-04-11 Google Inc. Automatic generation of headlines
US20150186808A1 (en) * 2013-12-27 2015-07-02 International Business Machines Corporation Contextual data analysis using domain information
US10482119B2 (en) * 2015-09-14 2019-11-19 Conduent Business Services, Llc System and method for classification of microblog posts based on identification of topics
US11288573B2 (en) * 2016-05-05 2022-03-29 Baidu Usa Llc Method and system for training and neural network models for large number of discrete features for information rertieval
CN106502985B (zh) * 2016-10-20 2020-01-31 清华大学 一种用于生成标题的神经网络建模方法及装置
CN107403375A (zh) * 2017-04-19 2017-11-28 北京文因互联科技有限公司 一种基于深度学习的上市公司公告分类及摘要生成方法
US11880761B2 (en) * 2017-07-28 2024-01-23 Microsoft Technology Licensing, Llc Domain addition systems and methods for a language understanding system
US11669746B2 (en) * 2018-04-11 2023-06-06 Samsung Electronics Co., Ltd. System and method for active machine learning
EP3594861B1 (en) * 2018-07-09 2024-04-03 Tata Consultancy Services Limited Systems and methods for classification of multi-dimensional time series of parameters

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003281183A (ja) 2002-03-20 2003-10-03 Fuji Xerox Co Ltd 文書情報検索装置、文書情報検索方法及び文書情報検索プログラム
JP2006085582A (ja) 2004-09-17 2006-03-30 Fuji Xerox Co Ltd 文書処理装置およびプログラム
JP2017111782A (ja) 2015-12-17 2017-06-22 富士ゼロックス株式会社 ソーシャルメディア投稿のキャプションを生成する方法、プログラム及びサーバ装置

Also Published As

Publication number Publication date
US20200026767A1 (en) 2020-01-23
JP2020013541A (ja) 2020-01-23
CN110795929A (zh) 2020-02-14

Similar Documents

Publication Publication Date Title
JP7314538B2 (ja) 会話型の文書を要約するために表題を生成するためのシステム及び方法、文書用に表題を生成する方法、プログラム、演算装置、及びコンピュータ機器
JP7069778B2 (ja) ビデオベースの通信におけるコンテンツキュレーションのための方法、システム及びプログラム
US10897439B2 (en) Conversational enterprise document editing
CN108027873B (zh) 基于捕捉到的笔画信息来与助理组件交互
JP6718828B2 (ja) 情報入力方法および装置
KR20210038449A (ko) 문답 처리, 언어 모델 훈련 방법, 장치, 기기 및 저장 매체
US20210200947A1 (en) Event argument extraction method and apparatus and electronic device
Nguyen et al. NEU-chatbot: Chatbot for admission of National Economics University
US11086916B2 (en) System and method for analyzing and visualizing team conversational data
US10891430B2 (en) Semi-automated methods for translating structured document content to chat-based interaction
JP2011523739A (ja) 協働的な相互作用のためのシステム及び方法
US10963644B2 (en) Computer-implemented generation and utilization of a universal encoder component
US20200327189A1 (en) Targeted rewrites
WO2022262487A1 (zh) 一种表单生成方法、装置、设备及介质
JP2020135135A (ja) 対話コンテンツ作成支援方法およびシステム
WO2023005968A1 (zh) 文本类别识别方法、装置、电子设备和存储介质
US20190347068A1 (en) Personal history recall
Engin et al. Multimodal deep neural networks for banking document classification
US20210397644A1 (en) Speech to media translation
Dolianiti et al. Sentiment analysis on educational datasets: a comparative evaluation of commercial tools
Bharathisindhu et al. Identifying e-learner’s opinion using automated sentiment analysis in e-learning
Zhang et al. Refashioning emotion recognition modelling: The advent of generalised large models
Sharma et al. Live Twitter Sentiment Analysis
KR102574784B1 (ko) Esg 문서를 자동 완성하는데 적합한 텍스트를 추천하는 방법 및 이를 수행하는 esg 서비스 제공 시스템
WO2022099566A1 (en) Knowledge injection model for generative commonsense reasoning

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220228

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230117

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230316

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230613

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230626

R150 Certificate of patent or registration of utility model

Ref document number: 7314538

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150