JP6667875B2

JP6667875B2 - 要約文作成モデル学習装置、要約文作成装置、要約文作成モデル学習方法、要約文作成方法、及びプログラム

Info

Publication number: JP6667875B2
Application number: JP2017039546A
Authority: JP
Inventors: 平尾　努; 努平尾; 駿長谷川; 学奥村
Original assignee: Nippon Telegraph and Telephone Corp; Tokyo Institute of Technology NUC
Current assignee: Nippon Telegraph and Telephone Corp; Tokyo Institute of Technology NUC
Priority date: 2017-03-02
Filing date: 2017-03-02
Publication date: 2020-03-18
Anticipated expiration: 2037-03-02
Also published as: JP2018147102A

Description

本発明は、計算機を用いて自動的に言語を処理する自然言語処理分野に属し、特に、入力された１文を計算機を用いて自動的に要約するための要約文作成モデル学習装置、要約文作成装置、要約文作成モデル学習方法、要約文作成方法、及びプログラムに関する。

自動文要約技術は、入力された文を計算機を用いて要約する技術であり、自動要約技術の一種としてとらえられる。文要約技術は、大きく２種類に分けることができる。１つ目は、抽出型文要約であり、２つ目は、生成型文要約である。

抽出型文要約とは、単語、文節等の文を構成する言語の基本単位を文法性を損なわぬよう入力文から抜き出す技術である。多くの場合、入力文を構文木として表現し、その構文木を刈り込むことで文を要約する（例えば、非特許文献１を参照）。この技術により、構文の解析に誤りがない限り、概ね人間が受容可能な要約文（文法及び意味の制約を満たす文）を得ることができる。

しかし、抽出型要約では、文法（構文木）という制約のもとで単語（日本語の場合は文節の場合もある）といった言語単位を抽出する際には、所望の長さ（例えば、文字数）まで文を要約することが困難な場合がある。

一方、生成型文要約とは、文字通り、入力文を手がかりとして要約文を生成する手法である。入力文の単語、句等を手がかりとはするものの、「言語」を生成する手法であるため、入力文の中のある表現に対し、その意味を保ちつつ、より短い表現を生成できる等、抽出型文要約よりも、より短い要約文を生成できる可能性がある。

しかし、上述した生成型文要約では、計算機における言語生成技術の有効性は限定的であり、どのような入力文に対しても人間が受容可能な要約文が生成されるとは限らない。

K. Filippova and M. Strube. "Dependency tree based sentence compression". In Proceedings of the 5th International Natural Language Generation Conference, 2008. A. M. Rush, S. Chopra and J. Weston. "A neural attention model for sentence summarization". In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing (EMNLP), 2015.

近年、生成型文要約は、ニューラルネットワークを利用することで急激に発展している。例えば、非特許文献２では、新聞記事の１文目を要約したものがヘッドラインであると仮定し、記事の１文目とその正解要約文（記事のヘッドライン）というペアを大量に集め、ニューラルネットワークを利用し文要約モデルを学習する。具体的には、入力である記事１文目の単語系列から、正解要約文の単語系列を予測するモデルを学習する。基本的には、出力単語を１語ずつ生成（予測）する際に、入力文のどの単語を重要視したか、これまでにどのような単語を出力したか、を考慮したモデルである。

ここで、文の要約という性質上、記事の１文目はその正解要約文よりも長い。つまり、文字数及び単語数とも正解要約文のそれらよりも十分多いことに注意すると、記事の１文目を入力として要約文を出力するニューラルネットワークの学習は、下記（Ａ）及び（Ｂ）に示す２つの操作を同時に学習することになる。

（Ａ）入力文から不要な表現を取り除く。
（Ｂ）入力文中の表現から新たな表現を生成する。

特に、入力の系列が長い場合、長距離の単語の依存関係を考慮しつつ出力する単語を生成しなければならないため、不要な表現が多く含まれるとニューラルネットワークの学習がうまくいくとは限らない。

現在のニューラルネットワークに陽にこれら２つの操作を行う機構が備わっているとは言えず、入力文から不要な表現を取り除くとう操作に対しては、現在提案されている最新のニューラルネットワークモデルにも取り入れられてはいない。

本発明は、ニューラルネットワークを用いた生成型文要約において要約文をより生成しやすくする要約文生成モデル学習装置、要約文作成装置、要約文生成モデル学習方法、要約文作成方法、及びプログラムを提供することを目的とする。

上記目的を達成するために、本発明の要約文作成モデル学習装置は、１文からなる参考文と前記参考文の正解要約文との組の集合を入力とし、前記参考文について、単語又は文節の係り受け関係を示す係り受け木を作成し、前記係り受け木の部分木のうち、前記参考文と共通して前記正解要約文に含まれる内容語を全て含む最小の係り受け木に基づいて、オラクル圧縮文を抽出し、前記正解要約文と前記オラクル圧縮文との組の集合を作成する訓練データ作成部と、前記オラクル圧縮文と前記正解要約文との組の集合に基づき、前記オラクル圧縮文から正解要約文を作成するための要約文作成モデルを学習する要約文作成モデル学習部と、を含む。

なお、前記訓練データ作成部は、前記正解要約文と共通して含まれる前記内容語がない前記参考文については、前記オラクル圧縮文の抽出を行わないようにしても良い。

上記目的を達成するために、本発明の要約文作成装置は、１文からなる対象文を入力とし、前記対象文を文圧縮する文圧縮部と、前記文圧縮部により文圧縮された前記対象文、及び、請求項１又は２記載の要約文作成モデル学習装置によって学習された要約文作成モデルに基づいて、前記対象文の要約文を作成するデコード部と、を含む。

なお、前記文圧縮部は、単一の文圧縮モデル又は複数の文圧縮モデルを用いて複数の圧縮文候補を出力し、前記デコード部は、前記圧縮文候補のうちの少なくとも１つの前記圧縮文候補、及び前記要約文作成モデルに基づいて、前記対象文の要約文を作成する
ようにしても良い。

上記目的を達成するために、本発明の要約文作成モデル学習方法は、訓練データ作成部、及び要約文作成モデル学習部を備えた要約文学習装置における要約文学習方法であって、前記訓練データ作成部が、１文からなる参考文と前記参考文の正解要約文との組の集合を入力とし、前記参考文について、単語又は文節の係り受け関係を示す係り受け木を作成し、前記係り受け木の部分木のうち、前記参考文と共通して前記正解要約文に含まれる内容語を全て含む最小の係り受け木に基づいて、オラクル圧縮文を抽出し、前記正解要約文と前記オラクル圧縮文との組の集合を作成するステップと、前記要約文作成モデル学習部が、前記オラクル圧縮文と前記正解要約文との組の集合に基づき、前記オラクル圧縮文から正解要約文を作成するための要約文作成モデルを学習するステップと、を含む。

上記目的を達成するために、本発明のプログラムは、コンピュータを、上記要約文作成モデル学習装置又は上記要約文作成装置の各部として機能させるためのプログラムである。

本発明によれば、ニューラルネットワークを用いた生成型文要約において要約文をより生成しやすくすることが可能となる。

実施形態に係る要約文作成装置の機能的な構成を示すブロック図である。実施形態に係る要約文作成装置のモデル作成部の構成を示すブロック図である。実施形態に係る要約文作成装置における訓練データ作成部の処理を説明するための模式図である。実施形態に係る要約文作成モデル学習処理の流れを示すフローチャートである。実施形態に係る要約文作成処理の流れを示すフローチャートである。

以下、本実施形態について図面を用いて説明する。

図１は、本実施形態に係る要約文作成装置１０の機能的な構成を示すブロック図である。図１に示すように、第１実施形態に係る要約文作成装置１０は、モデル作成部１２、デコード部１４、及び、文圧縮部２０を備えている。また、モデル作成部１２は、訓練データ作成部１６、及び、要約文作成モデル学習部１８を備えている。

モデル作成部１２は、入力として、１文からなる参考文（例えば、記事の１文目）と、参考文の要約文である正解要約文との組の集合を取得し、取得した上記組の集合を用いて要約文作成モデルを学習し、学習した要約文作成モデルを出力する。

訓練データ作成部１６は、モデル作成部１２が取得した参考文と参考文の正解要約文との組の集合を入力とし、参考文について、単語又は文節の係り受け関係を示す係り受け木を作成し、係り受け木の部分木のうち、正解要約文に含まれる内容語を含む最小の係り受け木に基づいて、オラクル圧縮文を抽出し、正解要約文と前記オラクル圧縮文との組の集合を生成する。

具体的には、図２に示すように、訓練データ作成部１６は、単語分割部１６ａ、係り受け解析部１６ｂ、及び、オラクル圧縮文抽出部１６ｃを備えている。訓練データ作成部１６は、参考文と正解要約文との組の集合内に含まれる参考文と正解要約文との組の各々に対し、下記（１）乃至（３）に示す処理を行う。

（１）単語分割部１６ａが、参考文及び正解要約文の各々を単語に分割し、各単語の品詞を判定する。各文の単語への分割方法、及び品詞の判定方法としては、例えば既存の形態素解析器を用いることが挙げられる。

（２）係り受け解析部１６ｂが、単語に分割された参考文の各単語について、単語間あるいは文節間の係り受け関係を取得し、単語あるいは文節をノードとした係り受け木を作成する。係り受け関係の同定方法としては、例えば既存の係り受け解析器を用いることが挙げられる。

（３）オラクル圧縮文抽出部１６ｃが、上記処理（１）及び（２）を行って得られた係り受け木から、正解要約文と共通して含まれる内容語（名詞、動詞、形容詞、及び副詞）を全て含む参考文の最小の係り受け木（オラクル圧縮文）を抽出する。すなわち、正解要約文に含まれる内容語の全てが係り受け木に含まれる場合には、当該内容語の全て含む参考文の最小の係り受け木をオラクル圧縮文として抽出する。また、正解要約文に含まれる内容語の一部のみが係り受け木に含まれる場合には、当該内容語の一部を全て含む参考文の最小の係り受け木をオラクル圧縮文として抽出する。

一例として図３に示すように、正解要約文３０が、「山田駐英大使が病気のため一時帰国」であって、参考文４０が、「在英日本大使館は、山田太郎駐英大使が病気のため一時帰国し京都府内の病院に入院したと発表した。」であった場合について考える。

この場合、正解要約文における内容語を含む文節３２は、「山田駐英大使が」、「病気のため」、及び「一時帰国」となる。また、係り受け解析部１６ｂは、単語分割部１６ａにより単語に分割された参考文４０に基づいて、「発表した。」、「在英日本大使館は、」、「入院したと」、「帰国し」、「山田太郎駐英外資が」、「病気のため」、「一時」、「病院に」、及び「京都府内の」の文節４４をノードした係り受け木４２を作成する。

オラクル圧縮文抽出部１６ｃは、係り受け木４２から、内容語を含む文節（図３の参考文４０及び係り受け木４２において、下線で示した文節）３２を含む最小の部分木４６を抽出し、抽出した部分木４６に基づいて、「山田太郎駐英大使が病気のため一時帰国し入院したと発表」とのオラクル圧縮文５０を作成する。

なお、上記処理（３）において正解要約文に含まれる内容語が１つも参考文に含まれない場合、オラクル圧縮文を作成できないため、当該参考文に対する本処理（３）をスキップする。

訓練データ作成部１６は、上記処理（１）乃至（３）の手順により参考文から抽出されたオラクル圧縮文を用いて、オラクル圧縮文と正解要約文との組の集合を要約文作成モデル学習部１８に引き渡す。

要約文作成モデル学習部１８は、入力として、オラクル圧縮文と正解要約文との組の集合を取得し、オラクル圧縮文から正解要約文を作成する要約文作成モデルを学習する。このモデルの学習方法としては、例えば、上記非特許文献２に開示されているニューラルネットワークモデルを用いる方法が挙げられる。

デコード部１４は、上述した要約文作成モデルを用いて、対象文の要約文を出力する。

文圧縮部２０は、要約文の作成の対象とする、１文からなる対象文を取得し、対象文を文圧縮する。すなわち、要約文作成モデルはオラクル圧縮文を用いて学習したモデルである。そのため、デコード部１４は、入力とする対象文を、文圧縮部２０で文圧縮した後に、対象文の要約文を作成する。文圧縮部２０では、既存の如何なる文圧縮モデルを用いても良い。

また、文圧縮部２０は、単一の文圧縮モデルを用いて予め定めた数（例えば、ｋ個）の圧縮文候補を出力し、各々の圧縮文候補を機械学習手法を用いてランキングする機能を備え、デコード部１４が、圧縮文候補のうちの少なくとも１つの圧縮文候補（例えば、最尤の候補）を入力とする機能を備えていても良い。これにより、作成される要約文の質が向上することが見込まれる。

また、同様に、文圧縮部２０は、複数の文圧縮モデルを用いて得た予め定めた数（例えば、ｋ個）の圧縮文候補を出力し、各々の圧縮文候補を機械学習手法を用いてランキングする機能を備え、デコード部１４が、圧縮文候補のうちの少なくとも１つの圧縮文候補（例えば、最尤の候補）を入力とする機能を備えていても良い。これにより、作成される要約文の質の向上が見込まれる。そこで、デコード部１４が上述した機能を備えていても良い。

なお、本実施形態に係る要約文作成装置１０は、例えば、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、各種プログラムを記憶するＲＯＭ（Read Only Memory）を備えたコンピュータ装置で構成される。また、要約文作成装置１０を構成するコンピュータは、ハードディスクドライブ、不揮発性メモリ等の記憶部を備えていても良い。本実施形態では、ＣＰＵがＲＯＭ、ハードディスク等の記憶部に記憶されているプログラムを読み出して実行することにより、上記のハードウェア資源とプログラムとが協働し、上述した機能が実現される。

本実施形態に係る要約文作成装置１０による要約文作成モデル学習処理の流れを、図４に示すフローチャートを用いて説明する。本実施形態では、要約文作成装置１０に、要約文作成モデル学習処理の実行を開始するための予め定めた情報が入力されたタイミングで要約文作成モデル学習処理が開始されるが、要約文作成モデル学習処理が開始されるタイミングはこれに限らず、例えば、参考文と正解要約文との組の集合が入力されたタイミングで要約文作成モデル学習処理が開始されても良い。

ステップＳ１０１では、単語分割部１６ａが、１文からなる参考文と、参考文の正解要約文との組の集合を入力する。

ステップＳ１０３では、係り受け解析部１６ｂが、参考文と正解要約文との組の各々について、参考文及び正解要約文の各々を、単語に分解し、各単語の品詞を取得する。

ステップＳ１０５では、係り受け解析部１６ｂが、参考文の単語に基づき、参考文の各々について、単語又は文節の係り受け関係を示す係り受け木を作成する。

ステップＳ１０７では、オラクル圧縮文抽出部１６ｃが、参考文と正解要約文との組の各々について、作成した係り受け木の部分木のうち、正解要約文と共通して含まれる内容語を全て含む最小の係り受け木に基づいて、参考文からオラクル圧縮文を抽出する。

ステップＳ１０９では、要約文作成モデル学習部１８が、オラクル圧縮文と正解要約文との組の集合に基づき、オラクル圧縮文から正解要約文を生成するための要約文生成モデルを学習する

ステップＳ１１１では、学習された要約文作成モデルを出力し、本学習処理のプログラムの実行を終了する。なお、本実施形態では、学習された要約文作成モデルを示すデータを外部装置に出力したり、学習された要約文作成モデルを示すデータを記憶手段に記憶させたりすることにより、要約文作成モデルを出力する。

このように、本実施形態では、１文からなる参考文と参考文の正解要約文との組の集合を入力とし、参考文について、単語又は文節の係り受け関係を示す係り受け木を作成し、係り受け木の部分木のうち、参考文と共通して正解要約文に含まれる内容語を全て含む最小の係り受け木に基づいて、オラクル圧縮文を抽出し、正解要約文とオラクル圧縮文との組の集合を生成する。また、オラクル圧縮文と正解要約文との組の集合に基づき、オラクル圧縮文から正解要約文を生成するための要約文生成モデルを学習する。

次に、本実施形態に係る要約文作成装置１０による要約文作成処理の流れを、図５に示すフローチャートを用いて説明する。本実施形態では、要約文作成装置１０に、要約文作成処理の実行を開始するための予め定めた情報が入力されたタイミングで要約文作成処理が開始されるが、要約文作成処理が開始されるタイミングはこれに限らず、例えば、対象文が入力されたタイミングで要約文作成処理が開始されても良い。

ステップＳ２０１では、文圧縮部２０が、１文からなる対象文を入力する。

ステップＳ２０３では、文圧縮部２０が、予め定めた文圧縮モデルを用いて、対象文を文圧縮する。

ステップＳ２０５では、デコード部１４が、文圧縮された対象文、及び、学習された要約文作成モデルに基づいて、対象文の要約文を作成する。

ステップＳ２０７では、デコード部１４が、作成された要約文を出力し、本要約文作成処理のプログラムの実行を終了する。なお、本実施形態では、作成された要約文をディスプレイ等の表示手段に表示させたり、作成された要約文を示すデータを記憶手段に記憶させたりすることにより、作成された要約文を出力する。

このように、本実施形態では、対象文を入力とし、対象文を文圧縮し、文圧縮された対象文、及び、学習された要約文生成モデルに基づいて、対象文の要約文を生成する。これにより、ニューラルネットワークを利用した生成型要約において、「入力分から不要な表現を取り除く」という操作を前処理として陽にシステムに取り込む、つまり、長距離の単語の依存関係を取り除くことで、ニューラルネットワークを用いた生成型文要約において要約文をより生成しやすくすることが可能となる。

なお、本実施形態では、図１及び図２に示す機能の構成要素の動作をプログラムとして構築し、要約文作成装置１０として利用されるコンピュータにインストールして実行させるが、これに限らず、ネットワークを介して流通させても良い。

また、構築されたプログラムをハードディスク、ＣＤ−ＲＯＭ等の可搬記憶媒体に格納し、コンピュータにインストールしたり、配布したりしても良い。

１０要約文作成装置
１２モデル作成部
１４デコード部
１６訓練データ作成部
１８要約文作成モデル学習部
２０文圧縮部

Claims

１文からなる参考文と前記参考文の正解要約文との組の集合を入力とし、前記参考文について、単語又は文節の係り受け関係を示す係り受け木を作成し、前記係り受け木の部分木のうち、前記参考文と共通して前記正解要約文に含まれる内容語を全て含む最小の係り受け木に基づいて、オラクル圧縮文を抽出し、前記正解要約文と前記オラクル圧縮文との組の集合を作成する訓練データ作成部と、
前記オラクル圧縮文と前記正解要約文との組の集合に基づき、前記オラクル圧縮文から正解要約文を作成するための要約文作成モデルを学習する要約文作成モデル学習部と、
を含む要約文作成モデル学習装置。
前記訓練データ作成部は、前記正解要約文と共通して含まれる前記内容語がない前記参考文については、前記オラクル圧縮文の抽出を行わない
請求項１記載の要約文作成モデル学習装置。
１文からなる対象文を入力とし、前記対象文を文圧縮する文圧縮部と、
前記文圧縮部により文圧縮された前記対象文、及び、請求項１又は２記載の要約文作成モデル学習装置によって学習された要約文作成モデルに基づいて、前記対象文の要約文を作成するデコード部と、
を含む要約文作成装置。
前記文圧縮部は、単一の文圧縮モデル又は複数の文圧縮モデルを用いて複数の圧縮文候補を出力し、
前記デコード部は、前記圧縮文候補のうちの少なくとも１つの前記圧縮文候補、及び前記要約文作成モデルに基づいて、前記対象文の要約文を作成する
請求項３記載の要約文作成装置。
訓練データ作成部、及び要約文作成モデル学習部を備えた要約文学習装置における要約文学習方法であって、
前記訓練データ作成部が、１文からなる参考文と前記参考文の正解要約文との組の集合を入力とし、前記参考文について、単語又は文節の係り受け関係を示す係り受け木を作成し、前記係り受け木の部分木のうち、前記参考文と共通して前記正解要約文に含まれる内容語を全て含む最小の係り受け木に基づいて、オラクル圧縮文を抽出し、前記正解要約文と前記オラクル圧縮文との組の集合を作成するステップと、
前記要約文作成モデル学習部が、前記オラクル圧縮文と前記正解要約文との組の集合に基づき、前記オラクル圧縮文から正解要約文を作成するための要約文作成モデルを学習するステップと、
を含む要約文作成モデル学習方法。
コンピュータを、請求項１又は２記載の要約文作成モデル学習装置の各部、又は請求項３又は４記載の要約文作成装置の各部として機能させるためのプログラム。