JP5810053B2

JP5810053B2 - 要約生成装置及び方法及びプログラム

Info

Publication number: JP5810053B2
Application number: JP2012186038A
Authority: JP
Inventors: 宜仁安田; 良治片岡
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2012-08-27
Filing date: 2012-08-27
Publication date: 2015-11-11
Anticipated expiration: 2032-08-27
Also published as: JP2014044539A

Description

本発明は、要約生成装置及び方法及びプログラムに係り、特に、自然言語処理技術における、文短縮技術を用いて入力された文書を要約するための要約生成装置及び方法及びプログラムに関する。

従来より、入力された文書を要約する技術が知られている。要約技術は、大きく２種類に分けることができる。一つは、文書中の重要な部分（典型的には重要な文）によって要約を構成する抽出（重要文抽出）と呼ばれる方法であり、もう一つは各文自体を変化させる文短縮あるいは文短縮と呼ばれる方法である。なお、これらは排他的ではなく、非特許文献１に示されるように、組み合わせて使うことが可能である。

特に、出力する要約として求められる長さが短い場合や、入力文書が長く、高い要約率が望まれる場合、文自体の持つ冗長性を排除することができるので、文短縮による要約が用いられる。文短縮の方法としては、係り受け解析によって出来上がる木に対して、根から見て枝にある文節を刈ることによって、係り受け関係を保持したまま文を短縮する方法が広く知られている（例えば、非特許文献２、３参照）。

しかし、文短縮を行う場合、係り受け関係は保存されていたとしても、元の文自体に変更を加えるため、意味が通じない場合があり、特に、短縮率が大きい場合には、この危険性が高まる。かといって一方であまり短縮しないのであれば要約の意味がなく冗長となってしまう。

そこで、マウスによるポイントや、音声による割り込みが行うことができることを想定し、利用者が不明に感じた部分をシステムに伝えることで、その部分について省略しすぎた部分を復元して再度伝えるような、問い返しによる対話的な要約方法が考えられる。また、このような対話的な要約を行う場合に、単純に最も高い圧縮率での要約や、一定の圧縮率での要約ではなく、読み直しや聞き直しの可能性を考慮して、圧縮による圧縮の効果と聞き返された場合の手戻りを考慮した要約を行うことが考えられる。

平尾努，鈴木潤，磯崎秀樹，"最適化問題としての文書要約"，人口知能学会論文誌，Vol. 24, No.2, pp. 223-231, 2009年. Kevin Knight, Daniel Marcu, "Summarization beyond sentence extraction: A probabilistic approach to sentence compression", Artificial Interlligence, Volume 139, Issue 1, July 2002, Pages 91-107. Kiwamu Yamagata et al., "Sentence Compression Using Statistical Information About Dependency Path Length", Proceedings of the 9th International Conference, TDS 2006/ Lecture Notes in Computer Science, pp. 127 - 134.

しかし、人の知識には差があり、ある人に対しては通じるような用語でも、別の人には通じないことは往々にしてある。このため、一律に「読み直しや聞き直しの可能性」を考慮したとしても、特定の人は背景知識によって短く要約したとしても通じるのに、他の人には通じずに繰り返し問い返すことになって、かえって手間が増えてしまうという可能性がある。逆に、特定の人は背景知識がなく、要約せずに伝えることで通じやすくなることが期待できるが、他の人には冗長な要約となってしまい、元の文書の内容を把握するための時間が増えてしまうという可能性がある。

もし全ての利用者についての様々な事柄に関する背景知識を事前に把握しておけば、人による知識の差を考慮した装置を作成することは可能であるが、そのような仮定は現実的ではない。

以上をまとめると、人の知識の差を考慮しなければ人によっては文書の内容を把握するための時間が増えてしまうし、かといって人の知識の差を事前に把握することもできないという課題がある。

本発明は、上記の点に鑑みなされたもので、枝刈りによる文短縮を行った際の、文が問い返される可能性とコストを考慮するために、過去にその利用者がどのような分野について問い返しを多く行ったかどうかを考慮し、それに応じた要約を生成することが可能な要約生成装置及び方法及びプログラムを提供することを目的とする。

上記の課題を解決するため、本発明（請求項１）は、提示した要約に対するユーザによる割り込み可能な対話を利用して入力された要約対象文書の要約を生成する要約生成装置であって、
過去のユーザとの対話において、該ユーザが各語を提示した回数と、該語についての修正要求回数をユーザ毎に保持する履歴記憶手段と、
語と該語が属する分野及び該語の難易度を保持する難易度記憶手段と、
入力された利用者ＩＤに基づいて前記履歴記憶手段から得られた語と、提示した回数及び修正要求回数と、該語と入力された分野名に基づいて前記難易度記憶手段から得られた難易度を用いて、分野における利用者の知識の程度を算出する分野知識推定手段と、
入力された要約対象文の分野を決定し、前記分野知識推定手段に前記利用者ＩＤと前記分野名を入力して該分野における知識の程度を取得し、該要約対象文の文節をノードとし、文末を根とする係り受け関係をエッジで表現する係り受け木を作成し、該係り受け木を枝刈りし、短縮文に相当する枝刈りされた全ての木と該分野における知識の程度を用いて期待伝達時間を算出し、該期待伝達時間が最小となる該係り受け木に相当する短縮文を要約文とする文短縮手段と、を有する。

また、本発明（請求項２）は、自立語や該自立語の組み合わせについて、分野内での標準難易度を格納した標準難易度記憶手段を更に有し、
前記文短縮手段は、
前記枝刈りされた全ての木に残っている文節ｂを根とする部分木について、該部分木に含まれる自立語の集合qに基づいて前記標準難易度記憶手段を参照して取得した標準難易度n_q、元の係り受け木において、該文節ｂの直下あった文節のうち、現在対象としている該部分木に存在しない文節の長さの和len_d、該文節ｂの長さlen_b、該文節ｂを除いた場合に根となる文節ｃについての伝達可能性S_c、前記利用者の知識の程度ｋを用いて、該文節ｂを根とする部分木の部分期待伝達時間S_bを算出し、該部分期待伝達時間S_bを前記期待伝達時間とする手段を含む。

また、本発明（請求項３）は、前記文短縮手段によって得られた前記短縮文短縮での要約文を出力する要約出力手段を更に有し、
前記文短縮手段は、
前記短縮文内での各文節に係っている部分木を連結した文字列を修正要約記憶手段に格納する手段を含み、
前記要約出力手段は、
前記要約文について、ユーザより指示があった場合には、該ユーザが該要約文に対する修正と判断し、指示された文節位置に対応する修正内容で修正要約記憶手段を更新する、または、該ユーザに再出力する手段を含む。

上記のように、本発明は、ユーザによって割り込み可能な対話的な要約を想定し、その要約において、言い直し（読み直し）も含めた期待伝達時間を考慮し、その期待伝達時間を最小化するような要約を生成する。さらに、期待伝達時間推定の際に、過去のユーザ毎の履歴を用いて、ユーザ個々の分野毎の知識の程度を推定し、分野の知識に応じて、より高精度な期待伝達時間の推定を行う。これにより、利用者が要約によって、元文書の内容を把握するための時間を少なくすることができる。

本発明の一実施の形態における要約生成装置の構成図である。本発明の一実施の形態における標準難易度データベースの例である。本発明の一実施の形態における語−分野対応表の例である。本発明の一実施の形態における履歴管理表の例である。本発明の一実施の形態における対象文書入力後の処理のフローチャートである。本発明の一実施の形態における文短縮部の処理のフローチャートである。本発明の一実施の形態における係り受け木の例である。本発明の一実施の形態における図７から枝刈り後の係り受け木の例である。本発明の一実施の形態における修正要約記憶部の内容の例である。

以下、図面と共に本発明の実施の形態を説明する。

要約文を理解できるか否かは、人の知識に依存しており、知識が深ければ高い要約率でも理解できるが、知識が浅ければ低い要約が望ましい。そこで、本発明は、各個人の傾向を履歴によって推定して、その傾向よって単語（自立語）の必要度合いを調整する。

図１は、本発明の一実施の形態における要約生成装置の構成を示す。

同図に示す要約生成装置は、標準難易度ＤＢ１０、履歴管理部２０、分野知識推定部３０、短縮対象文選択部４０、文短縮部５０、要約出力部６０、修正要約記憶部７０、履歴管理表８０、語−分野対応表９０を有する。

このうち、履歴管理表８０、語−分野対応表９０は、メモリまたはハードディスク等の記憶媒体に格納されている。

標準難易度ＤＢ１０は、自立語や自立語の組合せについて、その語や語の組み合わせが、分野内でどの程度の難易度であるかを記したデータベースである。図２にその例を示す。難易度は０から１の間の数で、大きい程少数の人にしか理解されていない難しい語であることを意味する。当該標準難易度ＤＢ１０の作成方法は任意であり、主要な語やフレーズについて事前に人手で作成してもよいが、幾つかの作成例を示す。

まず、一つは、分野毎に分類した文書群において、各語がその文書群内でいくつの文書に出てくるかの逆数（いわゆるIDF: Inverse Document Frequency）を利用する方法である。また、２つ目の方法としては、これまでの装置の利用履歴を用いて、修正要求の平均回数を利用することも可能である。また、３つ目の方法として、非特許文献４「中谷誠、アダムヤトフト、大島裕明、田中克己、"理解容易度に基づくWebページの検索とランキング"，DEIMフォーラム 2009, A7-1, 2009年」に示されるような既存技術を用いて語の専門性を当該データベース１０で用いる難易度としてもよい。

語−分野対応表９０は、図３に示すような、各語について、その語が属する分野を記した表である。この表は事前に手動で作成してもよいし、辞書、例えば、Wikipedia(登録商標)等を用いて作成してもよい。その他単語を事前に定めた分野に分類する当業者に公知の技術を用いても構わない。

履歴管理表８０は、その利用者と本装置の過去のやり取りにおいて、各語を伝えた回数とその語について修正を求められた回数を保持するものであり、図４に示すように、語毎に、ユーザＩＤ、ユーザへの提示回数、ユーザの修正要求回数を保持する。

履歴管理部２０は、利用者のユーザＩＤに基づいて履歴管理表８０を参照し、利用者に対して要約文を伝える際に、要約文中の各語について、履歴管理表８０中の、ユーザへの提示回数の１を加える。また、利用者から修正を求められた場合、履歴管理表８０中のユーザの修正要求回数に１を加える。

分野知識推定部３０は、利用者ＩＤと分野名を入力として、履歴管理表８０を参照し、当該利用者の当該分野での知識の程度を推定する。

まず、分野知識推定部３０は、文短縮部５０から入力された利用者ＩＤに基づいて、履歴管理表８０を参照し、当該利用者に対して過去に少なくとも１度提示した語のうち、語−分野対応表９０を参照した結果、当該分野に含まれるような語ｗの集合Ｗを得る。語ｗに基づいて標準難易度ＤＢ１０を参照した結果の標準難易度をDiffLevel(w)、履歴管理表８０を参照した結果取得した当該利用者へ提示した回数をnum_show(w)、履歴管理表８０を参照した結果取得した当該利用者での修正要求回数をnum_ask(w)とするとき、以下の式で定義される値を、当該利用者の当該分野における知識の程度として出力する。

上記の式（１）は、利用者が知らない語についてはより詳細な説明を求めて利用者は修正を求めるという前提のもと、過去に修正をあまり求められなかった分野については利用者はその分野について詳しく、逆に修正を求められやすかった分野については、その分野についてその利用者は詳しくないという推測を行うものである。

以下に、要約対象文書群と利用者ＩＤが入力された場合の動作を説明する。

図５は、本発明の一実施の形態における要約対象文書入力後の処理のフローチャートである。

短縮対象文選択部４０は、要約対象文書を受け取り（ステップ１００）、当該要約対象文書から、文短縮の対象とする文を選択する（ステップ２００）。これは、従来より知られた重要文抽出による要約手法（例えば、H.P. Edmundson: New Methods in Automatic Extracting. ACM 16(2): 264-285 (1969)）を利用することができる。

文短縮部５０は、短縮対象文選択部４０によって選択された文と、利用者ＩＤを入力として、文短縮によって短くした文を出力する（ステップ３００）。図６に文短縮部５０の処理フローを示す。

文短縮部５０は、まず、入力文に対応する分野を推定する（ステップ３０１）。この分野は、語−分野対応表９０に記されている分野名のいずれかである。入力文に対応する分野を得るには、語の集まりを、事前に定めた分野に分類する当業者に公知の技術を用いることができる。代表的な例としては、単語を次元とするようなベクトル空間モデルによって、文に対応するベクトルと、各分野に対応するベクトルとの距離によって分類する手法が知られている。

次に、分野知識推定部３０を用いて、利用者の当該分野における知識の程度を推定する（ステップ３０２）。この推定結果をｋとする。

次に、文短縮部５０は、当業者に公知の係り受け解析器を用いて係り受け木を作成する（ステップ３０３）。係り受け木は、文節をノードとし、文末を根とし、係り受け関係をエッジで表現する木となる。図７に例として、『新しくＮＴＴに設置されたエボリューション研究所に取引先と向かう途中で、今日の会議について先方と話あった。』という文に対応する係り受け木を示す。

次に、文短縮部５０は、係り元に相当する各枝を葉側から順に刈って構成できる全ての木からなる集合を作成する（ステップ３０４）。図８に、図７の例文についての、枝刈りにより構成される木の例を示す。図８において、点線で囲まれている文節は、元の木から刈られてこの木には存在しないことを示している。

なお、これらの各木は、葉側から文の元の順番を保ったまま辿ることで短縮された文に対応させることができるので、一つの文短縮結果に相当する。

次に、文短縮部５０は、上記のステップ３０４で作成した各木ｔについて以下の手順により期待値伝達時間Ｅ_ｔを算出する。

1. 木に残っている各文節ｂについて、文節ｂを根とする部分木の部分期待伝達時間Ｓ_bを以下の手順により算出する。なお、部分木の伝達時間は葉に近い側から算出し、係り先ではない文節については、その文節のみで構成される部分木を考える。

（ａ）文節ｂ、及び文節ｂへの係り元に含まれる全ての文節、すなわち文節ｂを根とする部分木の中に含まれる自立語からなる集合をｑとする（ステップ３０５）。

例えば、図８中、１番の「設置された」の場合は、ｑ＝｛設置された｝となり、７番の「会議について」の場合はｑ＝｛今日の、会議について｝となる。

（ｂ）ｑをキーとして、標準難易度ＤＢ１０を参照する。もし、ｑと完全に一致するエントリがあれば（ステップ３０６、Ｙｅｓ）、その値をn_qとし（ステップ３０７）、なければ（ステップ３０６、Ｎｏ）ｑの要素を最も多く含むようなエントリを探し、その標準難易度をn_qとする（ステップ３０８）。

（ｃ）元の係り受け木を参照し、元の係り受け木において、文節ｂの直下にあった文節のうち、現在対象としている部分木において存在しない文節の長さの和をlen_dとする（ステップ３０９）。例えば、図８中、１番の『設置された』の場合は、『新しく』と『ＮＴＴに』の長さの合計である７となり、２番目の『ＥＶ研に』の場合は０となる。

（ｄ）文節ｂの長さをlen_bとする（ステップ３１０）。このとき、Ｓ_bは文節ｂの直下の各文節、すなわち、文節ｂを根とする部分木から、ｂを除いた場合に根となる各文節ｃについての部分期待伝達時間Ｓ_cと、len_bと、ｂの難易度と利用者の知識の程度とを考慮した省略時の手戻り時間を考慮し、以下の式で定める（ステップ３１１）。

但し、kは知識の程度（知識が高いほど大きな値をとる）であり、α、βは所定の定数である。上記の第3項は、定性的には「難しいことは言い直しが発生しやすい」、「よく知っている人には言い直しが発生しにくい」を示している。

2. 根となる文節（文末に相当する文節）の部分期待伝達時間を、木ｔの期待伝達時間Ｅ_tとする（ステップ３１２）。

期待伝達時間E_tが最も小さくなるような木ｔに相当する短縮文を文短縮部５０の出力とする（ステップ３１３）。また、この短縮文内の各文節について、短縮文内での当該文節の位置、当該文節の内容、元の係り受け木において、当該文節に係っている部分木を連結した文字列を、修正要約記憶部７０に格納する（ステップ３１４）。修正要約記憶部７０の例を図９に示す。

要約出力部６０は、文短縮部５０によって得られた各文の短縮結果を、音声や画面等事前に指定されたデバイスに対して出力する（ステップ４００）。

出力した、あるいは出力中の要約内容について、マウスによるポイントや、音声によって利用者から指示があった場合（ステップ５００，Yes）、当該要約内容の指定された部分について利用者が不明であり、ユーザが内容の提示の修正を求めたと判断する。このときには、文節位置に対応する修正内容を、修正要約記憶部７０から読み出して、修正要約に書き換える、あるいは、音声出力し直す。また、履歴管理部２０において、履歴管理表８０のユーザへの提示回数及びユーザの修正要求回数を1増やして更新する。（ステップ６００）。

なお、図１に示す要約生成装置の各構成要素の動作をプログラムとして構築し、要約生成装置として利用されるコンピュータにインストールして実行させる、または、ネットワークを介して流通させることが可能である。

本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において、種々変更・応用が可能である。

１０標準難易度データベース
２０履歴管理部
３０分野知識推定部
４０短縮対象文選択部
５０文短縮部
６０要約出力部
７０修正要約記憶部
８０履歴管理表
９０語−分野対応表

Claims

提示した要約に対するユーザによる割り込み可能な対話を利用して入力された要約対象文書の要約を生成する要約生成装置であって、
過去のユーザとの対話において、該ユーザが各語を提示した回数と、該語についての修正要求回数をユーザ毎に保持する履歴記憶手段と、
語と該語が属する分野及び該語の難易度を保持する難易度記憶手段と、
入力された利用者ＩＤに基づいて前記履歴記憶手段から得られた語と、提示した回数及び修正要求回数と、該語と入力された分野名に基づいて前記難易度記憶手段から得られた難易度を用いて、分野における利用者の知識の程度を算出する分野知識推定手段と、
入力された要約対象文の分野を決定し、前記分野知識推定手段に前記利用者ＩＤと前記分野名を入力して該分野における知識の程度を取得し、該要約対象文の文節をノードとし、文末を根とする係り受け関係をエッジで表現する係り受け木を作成し、該係り受け木を枝刈りし、短縮文に相当する枝刈りされた全ての木と該分野における知識の程度を用いて期待伝達時間を算出し、該期待伝達時間が最小となる該係り受け木に相当する短縮文を要約文とする文短縮手段と、
を有することを特徴とする要約生成装置。
自立語や該自立語の組み合わせについて、分野内での標準難易度を格納した標準難易度記憶手段を更に有し、
前記文短縮手段は、
前記枝刈りされた全ての木に残っている文節ｂを根とする部分木について、該部分木に含まれる自立語の集合qに基づいて前記標準難易度記憶手段を参照して取得した標準難易度n_q、元の係り受け木において、該文節ｂの直下あった文節のうち、現在対象としている該部分木に存在しない文節の長さの和len_d、該文節ｂの長さlen_b、該文節ｂを除いた場合に根となる文節ｃについての伝達可能性Sc、前記利用者の知識の程度ｋを用いて、該文節ｂを根とする部分木の部分期待伝達時間S_bを算出し、該部分期待伝達時間S_bを前記期待伝達時間とする手段を含む
請求項１記載の要約生成装置。
前記文短縮手段によって得られた前記短縮文短縮での要約文を出力する要約出力手段を更に有し、
前記文短縮手段は、
前記短縮文内での各文節に係っている部分木を連結した文字列を修正要約記憶手段に格納する手段を含み、
前記要約出力手段は、
前記要約文について、ユーザより指示があった場合には、該ユーザが該要約文に対する修正と判断し、指示された文節位置に対応する修正内容で修正要約記憶手段を更新する、または、該ユーザに再出力する手段を含む
請求項１記載の要約生成装置。
提示した要約に対するユーザによる割り込み可能な対話を利用して入力された要約対象文書の要約を生成する要約生成方法であって、
過去のユーザとの対話において、該ユーザが各語を提示した回数と、該語についての修正要求回数をユーザ毎に保持する履歴記憶手段
語と該語が属する分野及び該語の難易度を保持する難易度記憶手段と、
分野知識推定手段、文短縮手段を有する装置において、
前記文短縮手段が、入力された要約対象文の分野を決定する分野決定ステップと、
前記分野知識推定手段が、入力された利用者ＩＤに基づいて前記履歴記憶手段から得られた語と、提示した回数及び修正要求回数と、該語と入力された分野名に基づいて前記難易度記憶手段から得られた難易度を用いて、分野における利用者の知識の程度を算出する
分野知識推定ステップと、
前記文短縮手段が、前記該要約対象文の文節をノードとし、文末を根とする係り受け関係をエッジで表現する係り受け木を作成し、該係り受け木を枝刈りし、短縮文に相当する枝刈りされた全ての木と前記分野における知識の程度を用いて期待伝達時間を算出し、該期待伝達時間が最小となる該係り受け木に相当する短縮文を要約文とする文短縮ステップと、
を行うことを特徴とする要約生成方法。
前記装置が、自立語や該自立語の組み合わせについて、分野内での標準難易度を格納した標準難易度記憶手段を更に有し、
前記文短縮ステップにおいて、
前記枝刈りされた全ての木に残っている文節ｂを根とする部分木について、該部分木に含まれる自立語の集合qに基づいて前記標準難易度記憶手段を参照して取得した標準難易度n_q、元の係り受け木において、該文節ｂの直下あった文節のうち、現在対象としている該部分木に存在しない文節の長さの和len_d、該文節ｂの長さlen_b、該文節ｂを除いた場合に根となる文節ｃについての伝達可能性Sc、前記利用者の知識の程度ｋを用いて、該文節ｂを根とする部分木の部分期待伝達時間S_bを算出し、該部分期待伝達時間S_bを前記期待伝達時間とする
請求項４記載の要約生成方法。
前記装置が、要約出力手段を更に有し、
前記文短縮ステップにおいて、
前記短縮文内での各文節に係っている部分木を連結した文字列を修正要約記憶手段に格納するステップを更に行い、
前記要約出力手段が、前記文短縮ステップによって得られた前記短縮文短縮での要約文を出力するステップと、
前記要約文について、ユーザより指示があった場合には、該ユーザが該要約文に対する修正と判断し、指示された文節位置に対応する修正内容で修正要約記憶手段を更新する、または、該ユーザに再出力するステップを更に行う
請求項４記載の要約生成方法。
コンピュータを、
請求項１乃至３のいずれか１項に記載の要約生成装置の各手段として機能させるための要約生成プログラム。