JP5547254B2

JP5547254B2 - 対話的要約生成装置及び方法及びプログラム

Info

Publication number: JP5547254B2
Application number: JP2012201844A
Authority: JP
Inventors: 大祐佐藤; 宜仁安田; 良治片岡
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2012-09-13
Filing date: 2012-09-13
Publication date: 2014-07-09
Anticipated expiration: 2032-09-13
Also published as: JP2014056499A

Description

本発明は、対話的要約生成装置及び方法及びプログラムに係り、特に、自然言語処理技術における、文短縮を用いて入力された文書を要約する対話的要約生成装置及び方法及びプログラムに関する。

従来より、入力された文書を要約する技術が知られている。要約技術は、大きく２種類に分けることができる。一つは、文書中の重要な部分（典型的には重要な文）によって要約を構成する抽出（重要文抽出）と呼ばれる方法であり、もう一つは各文自体を変化させる文短縮あるいは文短縮と呼ばれる方法である。なお、これらは排他的ではなく、非特許文献１に示されるように、組み合わせて使うことが可能である。

特に、出力する要約として求められる長さが短い場合や、入力文書が長く、高い要約率が望まれる場合、文自体の持つ冗長性を排除することができるので、文短縮による要約が用いられる。文短縮の方法としては、係り受け解析によって出来上がる木に対して、根から見て枝にあたる文節を刈ることによって、係り受け関係を保持したまま文を短縮する方法が広く知られている（例えば、非特許文献２、３参照）。

しかし、文短縮を行う場合、係り受け関係は保存されていたとしても、元の文自体に変更を加えるため、意味が通じない場合があり、特に、短縮率が大きい場合には、この危険性が高まる。かといって一方であまり短縮しないのであれば要約の意味がなく冗長となってしまう。

そこで、利用者からのマウスによるポイントや、音声による割り込みが行えることを想定し、利用者が不明に感じた部分を、システムに伝えることでその部分についての刈りすぎた文節を復活させ、低い要約率で再度伝えるような、問い返しによる対話的な要約方法が考えられる。このとき、不明な部分は指摘できるからといって、単純に大幅に枝刈りを行った要約を提示したのでは利用者は繰り返し問い返すこととなり、結果として読み直しや聞き返しの手間がかかり、利用者が最終的に文書の内容を掌握するまでの時間がかかってしまうため、枝刈りによる文短縮を行った際の、文が問い返される可能性とコストを考慮するような文短縮を行う。

平尾努、鈴木潤、磯崎秀樹、"最適化問題としての文書要約"、人工知能学会論文誌、Vol. 24, No.2, pp. 223-231, 2009年. Kevin Knight, Daniel Marcu, "Summarization beyond sentence extraction: A probabilistic approach to sentence compression", Artificial Intelligence, Volume 139, Issue 1, July 2002, Pages 91-107. Kiwamu Yamagata et al., "Sentence Compression Using Statistical Inforamation About Dependency Path Length", Proceedings of the 9th International Conference, TSD 2006/ Lecture Notes in Computer Science, pp. 127-134.

複数のデータソースから得られた情報を要約してユーザに伝える場合、情報が重複している部分はできる限り取り除いた要約を行うことが望ましい。しかし、先に述べたような対話的要約生成方法では文短縮を行う際に、他の文の要約結果がどうなっているのかということを考慮に入れていないため、情報の重複や不足が生じてしまう。

本発明は、上記の点に鑑みなされたもので、情報の重複や不足を発生させずに、利用者が要約によって元の文書の内容を把握するための時間を少なくすることが可能な対話的要約生成装置及び方法プログラムを提供することを目的とする。

上記の課題を解決するため、本発明（請求項１）は、提示した要約に対するユーザによる割り込み可能な対話を利用して入力された要約対象文書の要約を生成する対話的要約生成装置であって、
前記ユーザに提示した情報を保持する提示情報記憶手段と、
自立語及び自立語の組み合わせについて、どの程度説明を必要とするのかを示す尺度である説明必要度が該自立語及び該自立語の組合せに対応づけて格納された説明必要性記憶手段と、
入力された要約対象文書から文短縮の対象となる少なくとも１つ以上の文を抽出する短縮対象文書選択手段と、
前記短縮対象文書選択手段で選択された各文について、それぞれ係り受け木を生成し、根となる文節の期待伝達時間を算出し、該期待伝達時間が最小となる係り受け木を短縮文として出力する文短縮手段と、
前記文短縮手段により得られた前記短縮文を出力する要約出力手段と、
を有し、
前記文短縮手段は、
前記係り受け木の葉に相当する文節と、該文節が係る先の文節とのペアが前記提示情報記憶手段に存在する場合は、該葉に相当する文節を該係り受け木から削除する手段と、
係り元に相当する各枝を葉側から順に刈ってできる木ｔからなる集合を作成する手段と、
前記係り受け木の文節ｂを根とする部分木の中に含まれる自立語の集合ｑに基づいて前記説明必要性記憶手段から取得した説明必要度nB qB、該文節ｂの直下の文節のうち、現在対象としている部分木において元の係り受け木からみて存在しない文節の長さの和lenBdB、該文節ｂの長さlenBbB、該文節ｂを根とする部分木から該文節ｂを除いた場合に根となる各文節ｃを根とする部分木の部分期待伝達時間SBcBを用いて、前記文節ｂを根とする部分木の期待伝達時間を、SBcBの総和と、lenBbBと、nB qBとlenBdBとの積、の加重和により算出する期待伝達時間算出手段と、
前記木ｔの根となる文節（文末に相当）の部分期待伝達時間を該木ｔの期待伝達時間とし、該期待伝達時間が最小となる木ｔに相当する短縮文を、前記提示情報記憶手段に格納する手段と、を含む。

また、本発明（請求項２）は、前記文短縮手段において、前記短縮文内の文節の位置、文節の内容、元の係り受け木において当該文節に係っている部分木を連結した文字列を修正要約記憶手段に格納する手段を含み、
前記要約出力手段は、
前記ユーザに該短縮文を提示した際に、修正を求められた場合には、該ユーザにより指示された文節位置に対応する修正内容で前記修正要約記憶手段の内容を書き換える手段を含む。

上記のように本発明によれば、ユーザによって割り込み可能な対話的な要約を想定し、その要約において、ユーザに対する言い直し（読み直し）も含めた「期待伝達時間」を考慮し、その期待伝達時間を最小化するような要約を生成する。さらに、期待伝達時間を算出する際に、既にユーザに提示した情報を記憶しておき、重複している部分を省略することにより、ユーザが元文書の内容を把握するための時間を短縮することが可能となる。

本発明の一実施の形態における対話的要約生成装置の構成図である。本発明の一実施の形態における提示情報記憶部の内容の例である。本発明の一実施の形態における説明必要性データベースの例である。本発明の一実施の形態における修正要約記憶部の例である。本発明の一実施の形態における対話的要約生成装置の処理のフローチャートである。本発明の一実施の形態における文短縮部の処理のフローチャートである。本発明の一実施の形態における係り受け木の例である。本発明の一実施の形態における文節を削除した例である。本発明の一実施の形態における係り受け木から刈って構成される木の例である。

以下、図面と共に本発明の実施の形態を説明する。

図１は、本発明の一実施の形態における対話的要約生成装置の構成を示す。

同図に示す対話的要約生成装置は、短縮対象文選択部１０、文短縮部２０、要約出力部３０、提示情報記憶部４０、説明必要性データベース（ＤＢ）５０、修正要約記憶部６０を有する。

提示情報記憶部４０は、要約出力部３０から出力された要約文の、全ての係り受け関係を持つ文節の対を記録する。提示情報記憶部４０の例を図２に示す。

説明必要性ＤＢ５０は、自立語や自立語の組み合わせについて、その語や語の組み合わせに対してどの程度説明を必要とするのか(説明必要度)を格納したデータベースである。図２に例を示す。直感的にはある対象物を説明するために、その語、あるいは語の組合せによって構成される文節群を示したときに、大半の人に意味が通じるか通じないかを定量化したものである。説明必要度は０から１の間で、大きいほど説明を必要とすることを意味する。

説明必要性ＤＢ５０の作成は、主要な語やフレーズについて事前に人手で作成しても良いし、例えば、以下のような手順で作成することが可能である。

十分大きな文書集合を用意し、その中で各自立語の文書頻度、すなわち、各自立語が何度出現したかの値を記録する。総文書数を｜Ｄ｜、各自立語ｗについて文書頻度をDF_wとするとき、以下の値IDF_wを説明必要度として記録する。

同様に、語の組み合わせについても、十分大きな文書集合を用意し、自立語の組み合わせｃの文内で共起を単位として、そのような共起がいくつの文書で出現したかを記録し、総文書数を｜Ｄ｜とし、自立語の組み合わせｃの文書頻度DF_cとするとき、以下の値IDF_cを説明必要度として記録する。

修正要約記憶部６０は、図４に示すように、文短縮部２０により出力された、短縮文短縮での文節の位置、係り先文節、元の係り受け木において当該文節に係っている部分木を連結した文字列を格納する。

図５は、本発明の一実施の形態における対話的要約生成装置の処理のフローチャートである。

ステップ１０１）短縮対象文選択部１０は、要約対象文書群を取得する。

ステップ１０２）短縮対象文選択部１０は、入力された要約対象文書から、文短縮の対象とする文を選択し、文短縮部２０に出力する。当該処理には、従来より知られた重要文抽出による要約手法を利用することができる。

ステップ１０３）文短縮部２０は、短縮対象文選択部１０によって選択された各文について、文短縮によって短くした文を出力する。当該文短縮部２０では、提示情報記憶部４０に格納されている既にユーザに提示した情報を参照し、当該情報の係り受け関係に該当する部分は要約の対象から除外して短縮文を生成する。

図６に文短縮部２０の処理の詳細を示す。

文短縮部２０は、まず、当業者に公知の係り受け解析器を用いて係り受け木を作成する(ステップ２０１)。係り受け木は、文節をノードとし、文末を根とし、係り受け関係をエッジで表現する木となる。図７に例として、
「新しくＡ社に設置されたエボリューション研究所に取引先と向かう途中で、今日の会議について先方と話しあった．」
という文に対応する係り受け木を示す。

次に、既にユーザに提示されており、改めて提示する必要のない情報を削除する(ステップ２０２)。図７に示す先ほど作成した係り受け木において葉に当たる部分の文節と、その文節が係る先の文節とのペアが提示情報記憶部４０に格納されている場合、葉に当たる文節を、係り受け木から削除する。葉に当たる文節が削除され、新たな文節が葉になった場合、その文節に対しても同様の処理を行う。図７の係り受け木から、図２の提示情報記憶部４０の内容の例を参照して文節を削除した例を図８に示す。

さらに、係り元に相当する各枝を葉側から順に刈って構成できる全ての木からなる集合を作成する（ステップ２０３）。図９に、先の図８の係り受け木から、刈って構成できる木の例を示す。図９において、点線で囲まれている文節は、元の木から刈られてこの木には存在しないことを示している。

なお、これらの各木は、葉側から文の元の順番を保ったまま辿ることで短縮された文に対応させることができるので、一つの文短縮結果に相当する。

次に、上記のステップ２０３で作成した各木ｔについて、以下の手順により予測伝達終了時間Ｅ_tを算出する。

１．木に残っている各文節ｂについて、文節ｂを根とする部分木の部分期待伝達時間Ｓ_bを以下の手順により算出する。なお、部分木の伝達時間は葉に近い側から算出し、係り先ではない文節については、その文節のみで構成される部分木を考える。

（ａ）ｂ及びｂへの係り元に含まれる全ての文節、すなわちｂを根とする部分木の中に含まれる自立語からなる集合をｑとする（ステップ２０４）。例えば、図８の１番の「設置された」の場合は、ｑ={設置された}となり、７番の「会議について」の場合はｑ={今日の，会議について}となる。

（ｂ）説明必要性データベース５０を参照する。もし、ｑと完全に一致するエントリがあれば(ステップ２０５、Yes)、その値を説明必要度の値ｎ_qとする（ステップ２０６）。もし、ｑと一致するエントリがなければ、ｑの要素を最も多く含むようなエントリを探し、その値を説明必要度の値ｎ_qとする(ステップ２０７)。

（ｃ）元の係り受け木を参照し、元の係り受け木において文節ｂの直下にあった文節のうち、現在対象としている部分木において存在しない文節の長さの和をlen_dとする（ステップ２０８）。

例えば、図８中、１番の「設置された」の場合は、「新しく」と「Ａ社に」の長さの合計である７となり、２番の「ＥＶ研」の場合は０となる。

（ｄ）文節ｂの長さを、len_bとする(ステップ２０９)。このとき、文節ｂを根とする部分木の部分期待伝達時間S_bは、ｂの直下の各文節、すなわち、ｂを根とする部分木から、ｂを除いた場合に根となる各文節ｃについてのS_ｃとlen_bと、ｂの伝達可能性を考慮し、以下の式で定める(ステップ２１０)。

２．根となる文節（文末に相当する文節）の部分期待伝達時間を、木tの期待伝達時間Ｅ_tとする（ステップ２１１）。

Ｅ_tが最も小さくなるような木ｔに相当する短縮文を文短縮部２０の出力とする（ステップ２１２）。文短縮部２０の出力は、提示情報記憶部４０に格納する（ステップ２１３）。また、この短縮文内の各文節について、短縮文内での当該文節の位置、当該文節の内容、元の係り受け木において当該文節に係っている部分木を連結した文字列を、修正要約記憶部６０に格納する(ステップ２１４)。

ステップ１０４）要約出力部３０は、文短縮部２０によって得られた各文の短縮結果を、音声や画面等事前に指定されたデバイスに対して出力する。

ステップ１０５）出力した、あるいは、出力中の要約内容について、マウスによるポイントや、音声によって利用者から指示があった場合、その部分が利用者にとって不明であり、ユーザが内容の提示の修正を求めたと判断する。このときには、指示された文節位置に対応する修正内容を、修正要約記憶部６０より取り出し、修正要約に書き換える、あるいは音声出力し直す。

なお、上記の図１に示す対話的要約生成装置の各構成要素（短縮対象文選択部、文短縮部、要約出力部）の動作をプログラムとして構築し、対話的要約生成装置として利用されるコンピュータにインストールして実行させる、または、ネットワークを介して流通させることが可能である。

本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において、種々変更・応用が可能である。

１０短縮対象文選択部
２０文短縮部
３０要約出力部
４０提示情報記憶部
５０説明必要性データベース
６０修正要約記憶部

Claims

提示した要約に対するユーザによる割り込み可能な対話を利用して入力された要約対象文書の要約を生成する対話的要約生成装置であって、
前記ユーザに提示した情報を保持する提示情報記憶手段と、
自立語及び自立語の組み合わせについて、どの程度説明を必要とするのかを示す尺度である説明必要度が該自立語及び該自立語の組合せに対応づけて格納された説明必要性記憶手段と、
入力された要約対象文書から文短縮の対象となる少なくとも１つ以上の文を抽出する短縮対象文書選択手段と、
前記短縮対象文書選択手段で選択された各文について、それぞれ係り受け木を生成し、根となる文節の期待伝達時間を算出し、該期待伝達時間が最小となる係り受け木を短縮文として出力する文短縮手段と、
前記文短縮手段により得られた前記短縮文を出力する要約出力手段と、
を有し、
前記文短縮手段は、
前記係り受け木の葉に相当する文節と、該文節が係る先の文節とのペアが前記提示情報記憶手段に存在する場合は、該葉に相当する文節を該係り受け木から削除する手段と、
係り元に相当する各枝を葉側から順に刈ってできる木ｔからなる集合を作成する手段と、
前記係り受け木の文節ｂを根とする部分木の中に含まれる自立語の集合ｑに基づいて前記説明必要性記憶手段から取得した説明必要度nB qB、該文節ｂの直下の文節のうち、現在対象としている部分木において元の係り受け木からみて存在しない文節の長さの和lenBdB、該文節ｂの長さlenBbB、該文節ｂを根とする部分木から該文節ｂを除いた場合に根となる各文節ｃを根とする部分木の部分期待伝達時間SBcBを用いて、前記文節ｂを根とする部分木の期待伝達時間を、SBcBの総和と、lenBbBと、nB qBとlenBdBとの積、の加重和により算出する期待伝達時間算出手段と、
前記木ｔの根となる文節（文末に相当）の部分期待伝達時間を該木ｔの期待伝達時間とし、該期待伝達時間が最小となる木ｔに相当する短縮文を、前記提示情報記憶手段に格納する手段と、
を含む対話的要約生成装置。
前記文短縮手段は、
前記短縮文内の文節の位置、文節の内容、元の係り受け木において当該文節に係っている部分木を連結した文字列を修正要約記憶手段に格納する手段を含み、
前記要約出力手段は、
前記ユーザに該短縮文を提示した際に、修正を求められた場合には、該ユーザにより指示された文節位置に対応する修正内容で前記修正要約記憶手段の内容を書き換える手段を含む
請求項１記載の対話的要約生成装置。
提示した要約に対するユーザによる割り込み可能な対話を利用して入力された要約対象文書の要約を生成する対話的要約生成方法であって、
前記ユーザに提示した情報を保持する提示情報記憶手段と、
自立語及び自立語の組み合わせについて、どの程度説明を必要とするのかを示す尺度である説明必要度が該自立語及び該自立語の組合せに対応づけて格納された説明必要性記憶手段と、
短縮対象文書選択手段と、文短縮手段と、要約出力手段と、を有する装置において、
前記短縮対象文書選択手段が、入力された要約対象文書から文短縮の対象となる少なくとも１つ以上の文を抽出する短縮対象文書選択ステップと、
前記文短縮手段が、前記短縮対象文書選択ステップで選択された各文について、それぞれ係り受け木を生成し、根となる文節の期待伝達時間を算出し、該期待伝達時間が最小となる係り受け木を短縮文として出力する文短縮ステップと、
前記要約出力手段が、前記文短縮ステップで得られた前記短縮文を出力する要約出力ステップと、
を行い、
前記文短縮ステップにおいて、
前記係り受け木の葉に相当する文節と、該文節が係る先の文節とのペアが前記提示情報記憶手段に存在する場合は、該葉に相当する文節を該係り受け木から削除するステップと、
係り元に相当する各枝を葉側から順に刈ってできる木ｔからなる集合を作成するステップと、
前記係り受け木の文節ｂを根とする部分木の中に含まれる自立語の集合ｑに基づいて前記説明必要性記憶手段から取得した説明必要度nB _qB 、該文節ｂの直下の文節のうち、現在対象としている部分木において元の係り受け木からみて存在しない文節の長さの和lenB _dB 、該文節ｂの長さlenB _bB 、該文節ｂを根とする部分木から該文節ｂを除いた場合に根となる各文節ｃを根とする部分木の部分期待伝達時間SB _cB を用いて、前記文節ｂを根とする部分木の期待伝達時間を、SBcBの総和と、lenBbBと、nB qBとlenBdBとの積、の加重和により算出する期待伝達時間算出ステップと、
前記木ｔの根となる文節（文末に相当）の部分期待伝達時間を該木ｔの期待伝達時間とし、該期待伝達時間が最小となる木ｔに相当する短縮文を、前記提示情報記憶手段に格納するステップと、
を含むことを特徴とする対話的要約生成方法。
コンピュータを、
請求項１または２に記載の対話的要約生成装置の各手段として機能させるための対話的要約生成プログラム。