JP7285308B1 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

情報処理装置、情報処理方法、及びプログラム Download PDF

Info

Publication number
JP7285308B1
JP7285308B1 JP2021207423A JP2021207423A JP7285308B1 JP 7285308 B1 JP7285308 B1 JP 7285308B1 JP 2021207423 A JP2021207423 A JP 2021207423A JP 2021207423 A JP2021207423 A JP 2021207423A JP 7285308 B1 JP7285308 B1 JP 7285308B1
Authority
JP
Japan
Prior art keywords
unit
sentence
information processing
sentences
generative model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021207423A
Other languages
English (en)
Other versions
JP2023092278A (ja
Inventor
駿 長谷川
達矢 東原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Exa Wizards Inc
Original Assignee
Exa Wizards Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Exa Wizards Inc filed Critical Exa Wizards Inc
Priority to JP2021207423A priority Critical patent/JP7285308B1/ja
Application granted granted Critical
Publication of JP7285308B1 publication Critical patent/JP7285308B1/ja
Publication of JP2023092278A publication Critical patent/JP2023092278A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Machine Translation (AREA)

Abstract

【課題】様々なカテゴリの文章に対して高い精度の要約文を作成する情報処理装置を提供する。【解決手段】情報処理装置100は、原文と、原文に含まれる複数の構成要素の少なくとも何れかを削除することによって得られる要約文との組を複数含む第1の訓練データを取得する取得部110と、原文から要約文を生成する生成モデルを、第1の訓練データを用いて学習させる学習部120と、学習された生成モデルを用いて、1又は複数の対象文の各々から要約文を生成する生成部130と、を備えている。【選択図】図1

Description

本発明は、情報処理装置、情報処理方法、及びプログラムに関する。
文章を圧縮して要約文を生成する技術が知られている。例えば、新聞の記事などの原文テキストから、ルールベースにより単語を削除することにより生成した要約文を訓練データとして学習し、当該新聞記事の中の単語の保持・削除を推論する文圧縮モデルが知られている(非特許文献1)。
"Overcoming the Lack of Parallel Data in Sentence Compression", Katja Filippova, Yasemin Altun, Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing, October, 2013.
一般に圧縮の対象となり得る文章には、新聞、メール文、WEBテキスト等様々なカテゴリに関するものがある。しかし、上記文圧縮モデルでは、特定のカテゴリの文章については高い精度の要約文を生成できるものの、他のカテゴリの文章に対しては精度の高い要約文を生成することが難しいという問題が生じていた。
本発明は、上記の課題に鑑みてなされたものであり、様々なカテゴリの文章に対して高い精度の要約文を生成することのできる技術を提供することを目的とする。
上記の課題を解決するために、本発明の一態様に係る情報処理装置は、原文と、当該原文に含まれる複数の構成要素の少なくとも何れかを削除することによって得られる要約文との組を複数含む第1の訓練データを取得する取得部と、原文から要約文を生成する生成モデルを、前記第1の訓練データを用いて学習させる学習部とを備えている。
上記の課題を解決するために、本発明の一態様に係る情報処理方法は、原文と、当該原文に含まれる複数の構成要素の少なくとも何れかを削除することによって得られる要約文との組を複数含む第1の訓練データを取得する取得ステップと、原文から要約文を生成する生成モデルを、前記第1の訓練データを用いて学習させる学習ステップと、を含む。
本発明の各態様に係る情報処理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを前記情報処理装置が備える各部(ソフトウェア要素)として動作させることにより前記情報処理装置をコンピュータにて実現させるプログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
本発明の一態様によれば、様々なカテゴリの文章に対して高い精度の要約文を生成することのできる技術を提供することができる。
本発明の実施形態1に係る情報処理システムの機能的な構成を示すブロック図である。 本発明の実施形態1に係る情報処理装置のユースケースを説明する図である。 本発明の実施形態1に係る情報処理装置による要約文を生成する処理を示すフローチャートである。 本発明の実施形態1に係る情報処理装置による新聞記事とその要約文を取得する処理を説明するための図である。 本発明の実施形態1に係る情報処理装置による言語モデルを用いて要約文を選択する処理を説明するための図である。 本発明の実施形態2に係る情報処理装置による要約文を用いて検索する動作を示すフローチャートである。 本発明の実施形態における情報処理システムのハードウェア構成の一例を示す図である。
〔実施形態1〕
<情報処理装置100の概要>
本実施形態に係る情報処理装置100の具体的構成について説明する前に、情報処理装置100の概要について説明する。
本実施形態に係る情報処理装置100は、原文と、当該原文に含まれる複数の構成要素の少なくとも何れかを削除することによって得られる要約文との組を複数含む第1の訓練データを取得し、原文から要約文を生成する生成モデルを、この第1の訓練データを用いて学習させる構成を含む。ここで、本実施形態において、原文とは、要約の対象となる文章一般のことを指しており、当該文言によって文章の内容が限定されることはない。
従来、原文から要約文を生成する場合、当該原文に含まれる複数の構成要素の少なくとも何れかを削除することによって得られる要約文(「圧縮文」と呼ばれることもある)を生成する削除型のモデル(「01モデル」と呼ばれることもある)が知られている。しかしながら、このような削除型のモデルに関しては、特定のカテゴリの文章に関する学習を行った削除型のモデルを他のカテゴリの文章に適用した場合、精度の高い要約文を生成することが難しいという問題が生じていた。
本実施形態に係る情報処理装置100では、原文から要約文を生成するためのモデルとして削除型のモデルではない生成モデルを採用し、更に、当該生成モデルを上述した第1の訓練データを用いて学習させることによって、様々なカテゴリに対して精度の高い要約文を生成することのできる技術を提供することができる。
<情報処理装置100の構成>
以下では、情報処理装置100の構成について詳細に説明する。図1は、情報処理装置100を含む情報処理システムの構成を示すブロック図である。図1に示すように、情報処理装置100は、制御部101、通信部160、入力部170、出力部180、及び記憶部190を備えている。図1に示すように、情報処理装置100は、ネットワークNを介して外部のデータベース300と通信可能に接続されている。ここでネットワークNは、有線LAN(Local Area Network)、無線LAN、インターネット、公衆回線網、モバイルデータ通信網、またはこれらの組み合わせであるがこれらの例は本実施形態を限定するものではない。
通信部160は、ネットワークNを介した通信を行うための通信モジュールである。通信部160は、ネットワークNを介してデータベース300から取得したデータを、制御部101に供給したり、制御部101から取得したデータを、ネットワークNを介してデータベース300に出力したりする。なお、情報処理装置100がデータベース300を備える構成としてもよい。
入力部170は、キーボード、タッチパネル、マイクロフォン等のユーザインターフェースを備え、ユーザによる操作を受けつけて、情報処理装置100への情報の入力を行う。入力された情報は制御部101に供給される。
出力部180は、表示ディスプレイ、スピーカ等を備え、制御部101からの情報の出力をユーザに提示する。
記憶部190には、後述する制御部101で使用する訓練データ等が格納される。また、記憶部190には、制御部101での情報処理により得られた各種の結果が格納される。
(制御部101の構成)
制御部101は情報処理装置100の各構成要素の動作を制御する。図1に示すように、制御部101は、取得部110,学習部120,生成部130,選択部140および検索部150を備えている。取得部110は、原文と、当該原文に含まれる複数の構成要素の少なくとも何れかを削除することによって得られる要約文との組を複数含む第1の訓練データを取得する。第1の訓練データとしては、例えば、新聞記事の1行目の文章を原文とし、この原文と、当該新聞記事のタイトルに基づいて原文からいくつかの単語を削除して生成された要約文との組を用いてもよい。第1の訓練データは自動生成してもよいし、人手で生成してもよい。また、第1の訓練データは記憶部190から取得してもよいし、外部のデータベース300から取得してもよい。また、取得部110は、要約文を生成する対象である1又は複数の対象文を取得する構成としてもよい。
学習部120は、原文から要約文を生成する生成モデルを、上記第1の訓練データを用いて学習させる。ここで、「生成モデル」としては、新たな文章に対してその要約文を生成するモデルであれば任意のモデルを用いることができる。例えば、生成モデル」として、読み込み部(Encoder)と出力部(Decoder)とを有する時系列変換モデルにおける学習済の生成部を用いることができるが、これは本実施形態を限定するものではないこれは本実施形態を限定するものではない。
生成部130は、学習部120によって学習された上記生成モデルを用いて、上述した1又は複数の対象文の各々から要約文を生成する。ここで、生成部130は、生成モデルが生成する要約文が、当該要約文に対応する対象文に含まれる構成要素のみを含むように、要約文を生成してもよい。このように、要約文を生成する際に、対象文に含まれる構成要素のみを含むように限定することで、対象文には存在しない情報を含んだ不適切な要約文を排除することができる。生成部130で生成された要約文は選択部140に供給される。
選択部140は、生成部130が生成した複数の要約文から、相対的に不自然さの小さい1又は複数の要約文を選択する。例えば、選択部140は、要約文が文法的な間違いを含む確率を、言語モデルを使って算出し、当該確率が所定の条件を満たす要約文を選択する。より具体的には、一例として、選択部140が、当該確率と正の相関を有するパープレキシティを算出する構成とし、パープレキシティが一定の閾値以下である要約文のみを選択する構成としてもよい。選択部140により選択された要約文は、再び、学習部120に供給される。ここで、選択部140が用いる言語モデルとしては、既知の任意の言語モデルを用いることができる。そのような言語モデルの一例としてBERT(Bidirectional encoder representations from Transformer)が挙げられる。
また、学習部120は、選択部140が選択した要約文と、当該要約文に対応する対象文との組を複数含む第2の訓練データを用いて、上記生成モデルを再学習させる構成としてもよい。このような生成モデルとしては、例えば、削除型モデルを含む。削除モデルの再学習によって、更に高速に適切な要約文を生成することのできる生成モデルを得ることができる。
検索部150は、上記再学習後の生成モデルが生成した要約文を検索対象とする検索処理を実行する。上記再学習後の生成モデルでは、相対的に不自然さの小さい要約文を生成することができるため、これらの要約文を用いて検索を行えば、比較的短い時間で精度の高い検索を行うことができる。
<情報処理装置100のユースケース>
続いて、図2を参照して、情報処理装置100のユースケースを説明する。このユースケースでは、「xxxをyyyでzzzする方法」に関する論文を検索する。
まず、生成部130が、検索の対象となる論文等のテキストから、上述した生成モデルを用いて、要約文を生成する。検索部150は生成された要約文を用いて「xxxをyyyでzzzする方法」についての検索処理を行う。生成された要約文では、検索の核心部分ではないノイズ情報を含んだ部分が削除されている。このため、同じ検索アルゴリズムを用いる場合であっても、原文を用いて検索するよりも、上記のように生成された要約文を用いて検索するほうが検索の精度を高めることができる。また、原文を用いて検索するよりも、上記のように生成された要約文を用いて検索する方が、検索の対象となる論文数が相対的に少なくなるため、検索に要する時間を短縮することができるという更なる効果を奏する。
<情報処理装置100の動作の流れ>
続いて、情報処理装置100における原文テキストから要約文を生成する処理の流れについて、図3を参照して説明する。図3は、情報処理装置100による要約文生処理の流れを示すフローチャートである。
(ステップS101)
まず、ステップS101において、情報処理装置100の取得部110は、原文と、当該原文に含まれる複数の構成要素の少なくとも何れかを削除することによって得られる要約文との組を複数含む第1の訓練データを取得する。本実施形態では、要約文は自動で生成してもよいし、人手により生成し、取得部110に供給してもよい。一例として、本ステップでは特定のカテゴリに属する原文を用いる構成とすることができる。たとえば、取得部110は、原文としての新聞の記事とその要約文との組を複数含むデータを第1の訓練データとして取得する構成とすることができる。
ここで、図4を参照して、ステップS101で用いられる第1の訓練データの生成処理の一例について説明する。以下では、当該処理を、原文の構成要素を保持するか削除するかを判定し、削除すると判定した構成要素を削除することによって要約文を生成する削除型のモデルによって行う場合を例に挙げ説明する。
また、ここでは、新聞記事のタイトルに基づき、当該新聞記事の1行目の文を原文として用いて要約文を生成する例を説明する。図4に示す例では、新聞記事のタイトルは「桜/が/見頃//高崎/城址/公園」であり、当該新聞記事の1行目の文(原文)が「群馬/県/に/ある/高崎/城址/公園/では/4/日/、/桜/が/見頃/を/迎えた」である。ここで、「/」は当該文章の構成要素の区切りを示しているが、これは本実施形態を限定するものではない。また、下線は説明の便宜上付しているものであり、これも本実施形態を限定するものではない。
上述した削除型のモデルは、原文における各単語を保持するか、削除するかを推論し、原文に含まれる各単語にラベル付けを行う。ここで、タイトルと原文に共通に含まれる構成要素は要約文に含めるルールとする。そして、当該削除型のモデルは、原文に含まれる単語のうち、要約文中に保持する単語にはラベル[1]を、削除する単語にはラベル[0]を付加する。本例の場合、図4に示すように、当該削除型のモデルは、原文に[0/0/0/0/1/1/1/1/0/0/0/1/1/1/1/1]のラベルを付加する。
結果として、当該削除型のモデルは、原文から「群馬/県/に/ある/」および「/4/日/、」の単語群を削除することにより、「高崎城址公園では桜が見頃を迎えた」という要約文を生成する。こうして得られた要約文と、原文との組を複数含むように第1の訓練データが生成され、取得部110によって取得される。取得部110が取得した第1の訓練データは学習部120に供給される。
なお、本ステップS101では、生成された要約文を後述する言語モデルを用いて評価し、文法的に正確と判定された要約文と、当該要約文に対応する原文との組のみを含む第1の訓練データを取得する構成としてもよい。
(ステップS102)
続いて、ステップS102において、情報処理装置100の学習部120は、原文から要約文を生成する生成モデルを、上記第1の訓練データを用いて学習させる。
(ステップS103)
ステップS103では、生成部130は、学習部120によって学習された上記生成モデルを用いて、1又は複数の対象文の各々から要約文を生成する。ここで、上記対象文は、一例として、ステップS101における「原文」とは異なるカテゴリの文章が含まれ得る。例えば、ステップS101において原文として新聞記事を用いた場合、本ステップにおける対象文として、新聞の記事以外のテキスト、例えば、メール文、WEBテキスト、論文等を用いてもよい。
(ステップS104)
続いて、ステップS104において、生成部130が生成した複数の要約文から、選択部140が相対的に不自然さの小さい1又は複数の要約文を選択する。
ここで、上記「相対的に不自然さの大きい要約文」および「相対的に不自然さの小さい要約文」の例を下記に挙げる。
例えば、「ROUGEによる自動評価の結果、提案手法が既存手法を上回り、提案手法の有効性が示された」という対象文から、「自動評価の結果、提案手法の有効性が示された」という要約文Aが得られた場合、この要約文Aは意味が通る文法的に正しい文である。したがって、要約文Aは成功例となる。また、「そこで我々は、既存手法で用いられている新聞以外でも高精度な文圧縮手法を提案する」という対象文から、「そこで我々は、新聞以外でも高精度な文圧縮手法を提案する」という要約文Bが得られた場合、この要約文Bも意味が通る文法的に正しい文である。したがって、要約文Bも成功例となる。
これに対して、「ROUGEによる自動評価では提案手法が既存手法を上回り、提案手法の有効性が示された」という対象文から、「自動評価では、提案手法の有効性が示された」という要約文Cが得られた場合、この要約文Cでは接続詞「では」の使い方が不適切であるため、要約文Cは失敗例となる。また、「そこで我々は、新聞以外のドメインでも高精度な文圧縮手法を提案する」という対象文から、「ドメインでも高精度な文圧縮手法を提案」という要約文Dが得られた場合、この要約文Dにおいて、ドメインを特定する情報が不足しているため、要約文Dは失敗例となる。
本実施形態では、選択部140が、上述した生成された要約文の成功・失敗を、言語モデルを用いて判定する。例えば、選択部140は、要約文が文法的な間違いを含む確率(パープレキシティとも呼ぶ)を判定する言語モデルを用いて要約文を選択してもよい。この言語モデルでは、パープレキシティの値が高いほど、要約文が文法的な間違いを含む確率が高いことを示す。なお、言語モデルとしては、上述したBERT等を用いるこことができるがこれは本実施形態を限定するものではない。
図5に、選択部140による、要約文の選択処理の具体例を示す。本実施形態では、パープレキシティの閾値を100とし、パープレキシティの値が100を下回る場合、選択部140はその要約文は文法的に正確であると判定して、その要約文を選択する。また、パープレキシティの値が100を上回る場合、選択部140はその要約文は文法的に正確でないと判定して、その要約文を選択しない。
例えば、上記要約文A~Dの例では、言語モデルで判定した要約文AおよびBのパープレキシティはそれぞれ26および34であり、閾値の100を下回る。このため、選択部140は、要約文AおよびBを文法的に正確であると判定して選択する。これに対し、要約文CおよびDのパープレキシティはそれぞれ215および311であり、閾値の100を上回る。このため、選択部140は要約文CおよびDを文法的に正確でないと判定して選択しない。このように、選択部140は、言語モデルを用いて、生成される要約文の文法的な正しさを自動的に判定する。
また、選択部140は、上述したようにパープレキシティの閾値を設け当該閾値との比較で要約文を選択する代わりに、複数の要約文の候補をパープレキシティの値に基づいて順位付けし、上位の要約文を選択する構成としてもよい。
(ステップS105)
続いて、ステップS105において、学習部120は、選択部140が選択した要約文と、当該要約文に対応する対象文との組を複数含む第2の訓練データを用いて、上記生成モデルを再学習する。例えば、学習部120は、ステップS104で選択部140が選択した要約文とその対象文とを用いて上記生成モデルを再学習する。生成部130は、このようにして再学習した生成モデルを用いて要約文を生成してもよい。
上記処理によれば、第1の訓練データを用いることによって生成モデルを学習させるので、様々なカテゴリの文章に対して高い精度の要約文を生成することができる。また、ステップS105において学習部120が上記第2の訓練データを用いて上記生成モデル(例えば、削除型モデル)を再学習させることによって、より精度の高い要約文を生成する生成モデルを実現することができる。また、ステップS105では、ステップS104において選択された文法的に正しく精度の良い要約文のみを用いて、生成モデルを再学習するため、様々なカテゴリの文章に対して高い精度の要約文を生成する生成モデルを、比較的短い時間で訓練することができる。更に、生成モデルとして、削除型モデルを用いれば、更に高速に高い精度の要約文を生成することができる。
〔実施形態2〕
次に、実施形態2について説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。
実施形態2では、情報処理装置100は、ユーザからのクエリを取得し、当該クエリと、実施形態1の手法で取得した要約文とを用いて検索処理を行う。本実施形態の情報処理装置100の構成は、実施形態1に係る情報処理装置100と同様である。
以下では、本実施形態に係る情報処理装置100における処理について、図6を参照して説明する。
(ステップS201)
まず、ステップS201において、取得部110は論文等のテキストを取得する。テキストとなる論文は、記憶部190から取得してもよいし、外部のデータベース300から取得してもよし、入力部170から取得してもよい。また、本実施形態では検索対象を論文としたが、他のカテゴリの文書であってもよい。
(ステップS202)
続いて、ステップS202において、生成部130は、実施形態1で説明した生成モデルを用いて上記論文から要約文を生成する。一例として、実施形態1のステップS105にて再学習を行った生成モデルを用いて上記論文から要約文を生成する。
(ステップS202)
続いて、ステップS203において、記憶部190は、生成された要約文および要約文に対応する論文をデータベースに300登録する。
(ステップS204)
続いて、ステップS204において、取得部110は、一例として入力部170を介してユーザからクエリを取得する。クエリの例としては、例えば、「xxxをyyyでzzzする方法」に関する論文等が挙げられる。
(ステップS205)
続いて、ステップS205において、検索部150はユーザから取得したクエリに類似する要約文を記憶部190に記憶された要約文の中から検索する。当該検索には、任意のアルゴリズムを用いることができる。
(ステップS206)
続いて、ステップS206において、出力部180に、検索結果の論文を表示する。
上記のように、本実施形態では、論文を検索する際に、原文を用いて検索する替わりに、生成された要約文を用いて検索するため検索の精度を高めることができる。また、原文を用いて検索するよりも、上記のように生成された要約文を用いて検索する方が、検索の対象となるテキスト量が相対的に少なくなるため、検索に要する時間を短縮することができる。
〔ソフトウェアによる実現例〕
情報処理装置100の制御ブロック(特に、取得部110、学習部120、生成部130、選択部140および検索部150)は、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよいし、ソフトウェアによって実現してもよい。後者の場合、情報処理装置100は、例えば、コンピュータ(電子計算機)を用いて構成される。
(情報処理装置100の物理的構成)
図7は、情報処理装置100として用いられるコンピュータの物理的構成を例示したブロック図である。情報処理装置100は、図7に示すように、バス1010と、プロセッサ1001と、主メモリ1002と、補助メモリ1003と、通信インタフェース1004と、入出力インタフェース1005とを備えたコンピュータによって構成可能である。プロセッサ1001、主メモリ1002、補助メモリ1003、通信インタフェース1004、および入出力インタフェース1005は、バス1010を介して互いに接続されている。入出力インタフェース1005には、入力装置1006および出力装置1007が接続されている。
プロセッサ1001としては、例えば、CPU(Central Processing Unit)、マイクロプロセッサ、デジタルシグナルプロセッサ、マイクロコントローラ、またはこれらの組み合わせ等が用いられる。
主メモリ1002としては、例えば、半導体RAM(random access memory)等が用いられる。
補助メモリ1003としては、例えば、フラッシュメモリ、HDD(Hard Disk Drive)、SSD(Solid State Drive)、またはこれらの組み合わせ等が用いられる。補助メモリ1003には、上述した情報処理装置100の動作をプロセッサ1001に実行させるためのプログラムが格納されている。プロセッサ1001は、補助メモリ1003に格納されたプログラムを主メモリ1002上に展開し、展開したプログラムに含まれる各命令を実行する。
通信インタフェース1004は、ネットワークNに接続するインタフェースである。
入出力インタフェース1005としては、例えば、USBインタフェース、赤外線やBluetooth(登録商標)等の近距離通信インタフェース、またはこれらの組み合わせが用いられる。
入力装置1006としては、例えば、キーボード、マウス、タッチパッド、マイク、又はこれらの組み合わせ等が用いられる。出力装置1007としては、例えば、ディスプレイ、プリンタ、スピーカ、又はこれらの組み合わせが用いられる。
〔まとめ〕
〔態様1〕
本発明の態様1に係る情報処理装置は、原文と、当該原文に含まれる複数の構成要素の少なくとも何れかを削除することによって得られる要約文との組を複数含む第1の訓練データを取得する取得部と、原文から要約文を生成する生成モデルを、前記第1の訓練データを用いて学習させる学習部とを備えている。
上記構成によれば、前記第1の訓練データを用いることによって、前記生成モデルを学習させるので、様々なカテゴリの文章に対して高い精度の要約文を生成することのできる生成モデルを提供することができる。
〔態様2〕
本発明の態様2に係る情報処理装置では、前記取得部は、1又は複数の対象文を取得し、当該情報処理装置は、前記学習部によって学習された前記生成モデルを用いて、前記1又は複数の対象文の各々から要約文を生成する生成部を更に備えていてもよい。
上記構成によれば、前記生成モデルにより、様々なカテゴリの文章に対して高い精度の要約文を生成することができる。
〔態様3〕
本発明の態様3に係る情報処理装置では、態様1または2において、前記生成部は、前記生成モデルが生成する要約文が、当該要約文に対応する対象文に含まれる構成要素のみを含むように、要約文を生成してもよい。
上記構成によれば、生成モデルが生成する要約文が、当該要約文に対応する対象文に含まれる構成要素のみを含むように、要約文を生成するため、より正確な情報を含んだ要約文を生成することができる。
〔態様4〕
本発明の態様4に係る情報処理装置では、前記生成部が生成した複数の要約文から、相対的に不自然さの小さい1又は複数の要約文を選択する選択部を更に備えていてもよい。
上記構成によれば、多数生成された要約文の中から、文法的に正しく可読性のある要約文を選択することができる。
〔態様5〕
本発明の態様5に係る情報処理装置では、前記学習部は、前記選択部が選択した要約文と、当該要約文に対応する対象文との組を複数含む第2の訓練データを用いて、前記生成モデルを再学習させてもよい。
上記構成によれば、文法的に正しく精度の良い要約文のみを用いて、生成モデルを再学習するため、様々なカテゴリの文章に対して高い精度の要約文を生成する生成モデルを、比較的短い時間で訓練することができる。
〔態様6〕
本発明の態様6に係る情報処理装置では、前記再学習後の生成モデルが生成した要約文を検索対象とする検索処理を実行する検索部を更に備えていてもよい。
上記構成によれば、再学習後の生成モデルが生成した要約文は精度が高いため、要約文を用いて検索を行えば、短い時間に精度の高い検索を行うことができる。
〔態様7〕
本発明の態様7に係る情報処理方法は、原文と、当該原文に含まれる複数の構成要素の少なくとも何れかを削除することによって得られる要約文との組を複数含む第1の訓練データを取得する取得ステップと、原文から要約文を生成する生成モデルを、前記第1の訓練データを用いて学習させる学習ステップとを含む。
上記構成によれば、態様1と同様の効果を奏することができる。
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
100 情報処理装置
101 制御部
110 取得部
120 学習部
130 生成部
140 選択部
150 検索部
160 通信部
170 入力部
180 出力部
190 記憶部
300 データベース

Claims (5)

  1. 原文と、当該原文に含まれる複数の構成要素の少なくとも何れかを削除することによって得られる要約文との組を複数含む第1の訓練データを取得する取得部と、
    原文から要約文を生成する生成モデルを、前記第1の訓練データを用いて学習させる学習部と
    前記学習部によって学習された前記生成モデルを用いて、前記取得部が取得する1又は複数の対象文の各々から要約文を生成する生成部と、
    前記生成部が生成した複数の要約文から、相対的に不自然さの小さい1又は複数の要約文を選択する選択部と、を備え、
    前記学習部は、前記選択部が選択した要約文と、当該要約文に対応する対象文との組を複数含む第2の訓練データを用いて、前記生成モデルを再学習させる
    情報処理装置。
  2. 前記生成部は、前記生成モデルが生成する要約文が、当該要約文に対応する対象文に含まれる構成要素のみを含むように、要約文を生成する
    請求項に記載の情報処理装置。
  3. 前記再学習後の生成モデルが生成した要約文を検索対象とする検索処理を実行する検索部を更に備えている
    請求項1又は2に記載の情報処理装置。
  4. 取得部、学習部、生成部および選択部を備える情報処理装置によって、情報処理を行う方法であって、
    前記取得部が、原文と、当該原文に含まれる複数の構成要素の少なくとも何れかを削除することによって得られる要約文との組を複数含む第1の訓練データを取得する取得ステップと、
    前記学習部が、原文から要約文を生成する生成モデルを、前記第1の訓練データを用いて学習させる学習ステップと、
    前記生成部が、前記学習部によって学習された前記生成モデルを用いて、前記取得部が取得する1又は複数の対象文の各々から要約文を生成する生成ステップと、
    前記選択部が、前記生成部が生成した複数の要約文から、相対的に不自然さの小さい1又は複数の要約文を選択する選択ステップと、を含み、
    前記学習ステップにおいて、前記選択部が選択した要約文と、当該要約文に対応する対象文との組を複数含む第2の訓練データを用いて、前記生成モデルを再学習させる
    情報処理方法。
  5. 請求項1に記載の情報処理装置としてコンピュータを機能させるためのプログラムであって、上記取得部、上記学習部、上記生成部および上記選択部としてコンピュータを機能させるためのプログラム。
JP2021207423A 2021-12-21 2021-12-21 情報処理装置、情報処理方法、及びプログラム Active JP7285308B1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021207423A JP7285308B1 (ja) 2021-12-21 2021-12-21 情報処理装置、情報処理方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021207423A JP7285308B1 (ja) 2021-12-21 2021-12-21 情報処理装置、情報処理方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP7285308B1 true JP7285308B1 (ja) 2023-06-01
JP2023092278A JP2023092278A (ja) 2023-07-03

Family

ID=86538361

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021207423A Active JP7285308B1 (ja) 2021-12-21 2021-12-21 情報処理装置、情報処理方法、及びプログラム

Country Status (1)

Country Link
JP (1) JP7285308B1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010056682A (ja) 2008-08-26 2010-03-11 National Institute Of Information & Communication Technology 電子メール受信装置及び電子メール受信方法、電子メール送信装置及び電子メール送信方法、メール送信サーバ
JP2017111190A (ja) 2015-12-14 2017-06-22 株式会社日立製作所 対話テキスト要約装置及び方法
JP2020035272A (ja) 2018-08-31 2020-03-05 株式会社日立ソリューションズ東日本 要約生成装置および要約生成方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010056682A (ja) 2008-08-26 2010-03-11 National Institute Of Information & Communication Technology 電子メール受信装置及び電子メール受信方法、電子メール送信装置及び電子メール送信方法、メール送信サーバ
JP2017111190A (ja) 2015-12-14 2017-06-22 株式会社日立製作所 対話テキスト要約装置及び方法
JP2020035272A (ja) 2018-08-31 2020-03-05 株式会社日立ソリューションズ東日本 要約生成装置および要約生成方法

Also Published As

Publication number Publication date
JP2023092278A (ja) 2023-07-03

Similar Documents

Publication Publication Date Title
CN108804495B (zh) 一种基于增强语义的自动文本摘要方法
US11900056B2 (en) Stylistic text rewriting for a target author
US11468239B2 (en) Joint intent and entity recognition using transformer models
CN112464641A (zh) 基于bert的机器阅读理解方法、装置、设备及存储介质
US11636341B2 (en) Processing sequential interaction data
JP7211045B2 (ja) 要約文生成方法、要約文生成プログラム及び要約文生成装置
CN110688857B (zh) 一种文章生成的方法和装置
CN110059163B (zh) 生成模板的方法和装置、电子设备、计算机可读介质
WO2009026850A1 (en) Domain dictionary creation
JP7343566B2 (ja) 言語モデルを利用したデータ生成方法、コンピュータ装置、およびコンピュータプログラム
CN111144093A (zh) 一种智能文本处理方法、装置、电子设备及存储介质
EP4222646A1 (en) Dynamic cache management in beam search
JP2023501010A (ja) TextRankに基づくアプリケーション選好テキストの分類方法
CN113535912B (zh) 基于图卷积网络和注意力机制的文本关联方法及相关设备
CN112417155B (zh) 基于指针-生成Seq2Seq模型的庭审询问生成方法、装置、介质
JP6095487B2 (ja) 質問応答装置、及び質問応答方法
CN112527967A (zh) 文本匹配方法、装置、终端和存储介质
JP7285308B1 (ja) 情報処理装置、情報処理方法、及びプログラム
CN112559725A (zh) 文本匹配方法、装置、终端和存储介质
CN110705310B (zh) 一种文章生成的方法和装置
WO2023132029A1 (ja) 情報処理装置、情報処理方法及びプログラム
US9195940B2 (en) Jabba-type override for correcting or improving output of a model
CN113704466B (zh) 基于迭代网络的文本多标签分类方法、装置及电子设备
JP7135730B2 (ja) 要約生成方法及び要約生成プログラム
JP2019079087A (ja) 学習装置、プログラムパラメータおよび学習方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221101

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20221101

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221220

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230217

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230509

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230522

R150 Certificate of patent or registration of utility model

Ref document number: 7285308

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150