JP5670944B2

JP5670944B2 - 文書要約装置及び方法及びプログラム

Info

Publication number: JP5670944B2
Application number: JP2012078336A
Authority: JP
Inventors: 宜仁安田; 正彬西野; 良治片岡
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2012-03-29
Filing date: 2012-03-29
Publication date: 2015-02-18
Anticipated expiration: 2032-03-29
Also published as: JP2013206433A

Description

本発明は、文書群からその内容を端的に示すための要約を生成する文書要約装置及び方法及びプログラムに係り、特に、関心のある理知的範囲を利用者が指定することでその地理的範囲を端的に説明するための要約を生成する文書要約装置及び方法及びプログラムに関する。

従来より、文書あるいは文書群から計算機により自動的に要約を生成する技術が知られている。例えば、文中の単語の頻度に基づく重みや、文の位置、タイトルと文の密度、重要語の密度といった特徴により文の重要度を判定し、重要な文を抽出することにより自動要約方法が提案されている（例えば、非特許文献１参照）。

上記のような文書あるいは文書群のみを入力として受け付けるような汎用の要約技術以外に、文書に加えて、要約において重視したい事柄（クエリ）も入力として受け付けるような要約生成技術（クエリ特化型要約）が存在する（例えば、非特許文献２参照）。

また、近年、インターネット上での地図サービス等の普及や、GPS等により現在の端末の位置を取得可能なデバイスの普及を背景に、地理範囲を考慮した検索技術（例えば、特許文献１参照）等、地理的な情報と、テキストの結びつきが高まっている。

特開２００９−１３４４６３号公報

平尾努、磯崎秀樹、前田英作、松本裕治、"Support Vector Machineを用いた重要文抽出法"，情報処理学会論文誌，44-8, pp. 2230-2243, 2003. Anastasios Tombros, Mark Sanderson: Advantages of Query Biased Summaries in Information Retrieval, SIGIR '98 Proceedings of the 21st annual international ACM SIGIR conference on Research and development in information retrieval, 1998.

要約対象の文書群と、地図等から関心のある地理範囲を指定した上で、その地理範囲を考慮した要約を生成したい場合を考える。

従来の要約生成技術においては地理的な条件を考慮することはできないため、要約対象の文書群について端的な要約を生成することはできても、利用者が関心のある地理的範囲を重視した要約を生成することはできなかった。

あるいは、従来法を利用する方法として、利用者が指定した地理範囲を何らかの方法によって地名に変換し、地名をクエリ特化型要約におけるクエリと見做すことで、地名が含まれている文を重視するような要約を生成することも考えられるであろう。

しかし、地理範囲を地名として取り扱ってしまっては、地名の位置や範囲といった情報が利用できないため、図1に示すように、結果的に利用者が指定した範囲ａのうちごく限られた範囲ｂにのみ言及した要約になる可能性がある。さらに、要約するには多すぎるほどの地名が含まれている場合に、どの地名を重視した要約を生成すべきか基準が定まらないという問題がある。

本発明は、上記の点に鑑みなされたもので、指定された地図範囲に関して端的に知ることができ、限られた文字数で選択範囲を網羅できる文書要約装置及び方法及びプログラムを提供することを目的とする。

上記の課題を解決するため、本発明（請求項１）は、入力された要約対象文書から、指定された地図表示範囲を説明するための要約を生成する文書要約装置であって、
前記要約対象文書から地名表現を抽出し、地名の文書中の位置、代表点、地名の含意する範囲を特定し、文書解析結果記憶手段に格納する文書解析手段と、
前記文書解析結果記憶手段から解析済みの結果を取得し、前記指定された地図表示範囲と前記地名の含意する範囲の重複を除いた面積を用いて基本スコアBを算出する地理関連度による方法を用いてスコアを求め、スコア記憶手段に格納する文基本スコア決定手段と、
前記文書解析結果記憶手段から文集合を取得し、前記スコア記憶手段から前記スコアを取得して、該スコアが最も高い文を、指定された文の長さを限度として選択文集合に追加する要約文選択手段と、
前記選択文集合を前記要約対象文書に基づいて並び替え、結合した文字列を出力する文並び替え手段と、を有する。

また、本発明（請求項２）は、前記文基本スコア決定手段において、
前記スコア記憶手段に格納する前記スコアを、文集合の語の出現頻度による方法により求められた基本スコアAと、前記地理関連度による方法により求められた基本スコアBとを加算した値とする手段を含む。

また、本発明（請求項３）は、前記文基本スコア決定手段において、
前記地理関連度による方法として、前記地名の含意する範囲を全て合わせた文の示す範囲のうち、前記地図表示範囲内に含まれる部分の面積を、該文の示す範囲と前記地図表示範囲から重複を除いた面積で除した値を前記基本スコアBとする手段を含む。

また、本発明（請求項４）は、入力された要約対象文書から、指定された地図表示範囲を説明するための要約を生成する文書要約装置であって、
前記要約対象文書から地名表現を抽出し、地名の文書中の位置、代表点、地名の含意する範囲を特定し、文書解析結果記憶手段に格納する文書解析手段と、
前記文書解析結果記憶手段から解析済みの結果を取得し、少なくとも文集合の語の出現頻度に基づいて基本スコアAを算出する語頻度による方法、前記指定された地図表示範囲と前記地名の含意する範囲の重複を除いた面積を用いて基本スコアBを算出する地理関連度による方法のいずれか、または、両方を用いてスコアを求め、スコア記憶手段に格納する文基本スコア決定手段と、
前記文書解析結果記憶手段から文集合を取得し、前記スコア記憶手段から前記スコアを取得して、該スコアが最も高い文を、指定された文の長さを限度として選択文集合に追加する要約文選択手段と、
前記選択文集合を前記要約対象文書に基づいて並び替え、結合した文字列を出力する文並び替え手段と、
を有し、
前記要約文選択手段において、
前記スコア記憶手段から読み出した前記スコア(cscore)から、前記文の示す範囲のうちこれまでに選択した文の示す範囲のいずれかに含まれる面積を該文の示す範囲の面積で除した値(red)を引いた値(score)が最も大きくなる文を、前記スコアが最も高い文として前記選択文集合に追加する手段を含む。

上記のように本発明によれば、文書群からの要約生成技術において、関心のある地理的範囲を利用者が指定することでその地理的範囲を考慮した要約を生成することが可能になる。さらに、要約内で言及される地名の位置や範囲を考慮して要約を生成するため、それらの範囲の重複が少なくなるため、利用者が指定した地理的範囲により合致した要約を生成することができる。また、要約を生成する際に、指定された文字数に応じて要約を作成することが可能となる。

従来技術の課題を示す図である。本発明の一実施の形態における文書要約装置の構成図である。本発明の一実施の形態における文書要約装置の処理のフローチャートである。本発明の一実施の形態における地理関連度による文スコアで用いる面積の算出例である。本発明の一実施の形態における要約文選択部のフローチャートである。本発明の一実施の形態における出力イメージである。

以下、図面と共に本発明の実施の形態を説明する。

図２は、本発明の一実施の形態における文書要約装置の構成を示す。

文書要約装置１００への入力は、要約対象文書群、要約結果の上限文字数Ｌ，選択地図範囲の四方の座標であり、出力は要約結果である。

同図に示す文書要約装置１００は、文書解析部１１０、文基本スコア決定部１２０、要約文選択部１３０、文並び替え部１４０、文書解析結果記憶部１５０、各文の基本スコア記憶部１６０から構成される。文書解析結果記憶部１５０、各文の基本スコア記憶部１６０は、ハードディスク等の記憶媒体である。

上記の各構成要素の動作を以下に示す。

図３は、本発明の一実施の形態における文書要約装置の処理のフローチャートである。

ステップ１００）まず、文書解析部１１０は、要約対象文書群を入力として、単語の区切りを決定する。これには既存技術の形態素解析技術を用いることができる。次に、文書中の記述された地名と思われる表現を特定し、当該地名の文書中での位置、地名の代表点の緯度経度、地名の含意する範囲を文書解析結果記憶部１５０に出力する。

上記の地名の特定、その地名の代表点の特定には、文献１"平野徹，松尾義博，菊井源一郎，「地理的距離と有名度を用いた地名のあいまい性解消」，情報処理学会全国大会講演論文集，2008."等で示される既存の手法を用いることができる。

また、地名の含意する範囲については、文献２"安田宜仁，戸田浩之，「検索位置のごく周辺を対象とした地理情報検索」，人工知能学会論文誌，Vol. 23, No.5, pp.264-373, 2008年7月"で示されているような既存の方法によって、地名が含まれる最小外接矩形を取得したり、既存の数値地図を使うことができる。

ステップ２００）文基本スコア決定部１２０は、文書解析結果記憶部１５０から文書解析部１１０によって解析済みの文集合を入力として各文のスコアを決定し、各文の基本スコア記憶部１６０に格納する。

文基本スコア決定部１２０では、大きく分けて２種類の要因を考慮して文のスコアを決定する。一方は、語頻度に代表される要約において従来から用いられてきた要因であり、他方は本発明のために用いられる地理関連度に基づく要因である。前者の要因については、語頻度だけでなく、文の文書内での位置や、文内の各単語が出現する文の総数、文内の固有表現数といった従来から用いられてきた要因を利用することが可能であるが、本実施の形態では、語頻度のみを用いた例を説明する。

・語頻度による文スコア算出：
語頻度による文スコア算出について述べる。まず、文集合中の各単語tについて、その当該文書群内での出現頻度tf(t)を計数する。

語頻度による文スコアtfs(s)を以下の式により求める。

ここで、t∈sは文s中の語である。

・地理関連度による文スコア算出：
地理関連度による文スコア算出について述べる。このスコアは、文書で言及している地名の範囲と、地図の表示範囲とがなるたけ一致するとよい、という考え方に基づき算出する。文内での地名の各範囲で示される範囲全てを合わせたものを「文の示す範囲」と呼ぶ。地理関連度による文sスコアgeos(s)は、文の示す範囲のうち、地図表示範囲内に含まれる部分の面積A1と、文の示す範囲と地図表示範囲から重複を除いた面積A2を用いて以下の式により算出する。

上記のA1，A2の例については、図４に示す。

以上により算出した２種類の要因によるスコアを用いて、文集合中の各文sについて、文基本スコアcscore(s)を以下の式により算出する。

cscore(s)=α・tfs(s)+geos(s)
ここで、αは事前に設定した定数パラメータである。

求められた各文のスコアは各文の基本スコア記憶部１６０に格納される。このように、地図の表示範囲と文の示す範囲との一致度合いによって文の重要度を算出する。

ステップ３００）要約文選択部１３０は、文書解析部１１０から上限文字数Lと地図表示範囲を取得し、文書解析結果記憶部１５０から文集合を読み出し、各文の基本スコア記憶部１６０から各文の基本スコアを読み出す。

以下に要約文選択部１３０の動作を示す。図５は、本発明の一実施の形態における要約文選択部のフローチャートである。

ステップ３０１）まず、要約文選択部１３０は、メモリ（図示せず）の選択文集合Sを初期化する。

ステップ３０２）各文の基本スコア記憶部１６０から読み出した文の基本スコアが最も高いような文をSに追加する。

ステップ３０３）以後、２文目以降の選択は、以下の式によってscore(s)の値を求める。

ここで、βは事前に設定した定数パラメータであり、red(s)は地名冗長度である。

ステップ３０４）ステップ３０３で求めたscore(s)の値が最も大きくなるような文をSに追加する。

ステップ３０３，３０４の処理を、選択した文の合計の長さがLを越えない範囲で繰り返す。これにより、選択文集合Sに含まれる文に含まれる地名同士が互いに重複しないようにしているため、限られた文字数Lの範囲で地名の網羅性を高めることができる。

ステップ３０５）最後に要約文選択部１３０は、選択文集合Sを出力する。

上記のステップ３０１〜３０５により、現在選択されている位置・範囲の要約を生成でき、限られた文字数で選択されている範囲を網羅することが可能となる。

ステップ４００）次に、文並び替え部１４０は、要約対象文書群と、要約文選択部１３０から出力である文の集合Sを入力として、文を要約対象文書群に沿って並び替え、結合した文字列を出力する。

上記の処理により、図６に示すような表示範囲に対して端的に知ることができるような情報を提示することが可能となる。

なお、上記の図２に示す文書要約装置の各構成要素の動作をプログラムとして構築し、文書要約装置として利用されるコンピュータにインストールして実行させる、または、ネットワークを介して流通させることが可能である。

本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において、種々変更・応用が可能である。

１００文書要約装置
１１０文書解析部
１２０文基本スコア決定部
１３０要約文選択部
１４０文並び替え部
１５０文書解析結果記憶部
１６０各文の基本スコア記憶部

Claims

入力された要約対象文書から、指定された地図表示範囲を説明するための要約を生成する文書要約装置であって、
前記要約対象文書から地名表現を抽出し、地名の文書中の位置、代表点、地名の含意する範囲を特定し、文書解析結果記憶手段に格納する文書解析手段と、
前記文書解析結果記憶手段から解析済みの結果を取得し、前記指定された地図表示範囲と前記地名の含意する範囲の重複を除いた面積を用いて基本スコアBを算出する地理関連度による方法を用いてスコアを求め、スコア記憶手段に格納する文基本スコア決定手段と、
前記文書解析結果記憶手段から文集合を取得し、前記スコア記憶手段から前記スコアを取得して、該スコアが最も高い文を、指定された文の長さを限度として選択文集合に追加する要約文選択手段と、
前記選択文集合を前記要約対象文書に基づいて並び替え、結合した文字列を出力する文並び替え手段と、
を有することを特徴とする文書要約装置。
前記文基本スコア決定手段は、
前記スコア記憶手段に格納する前記スコアを、文集合の語の出現頻度による方法により求められた基本スコアAと、前記地理関連度による方法により求められた基本スコアBとを加算した値とする手段を含む請求項１記載の文書要約装置。
前記文基本スコア決定手段は、
前記地理関連度による方法として、前記地名の含意する範囲を全て合わせた文の示す範囲のうち、前記地図表示範囲内に含まれる部分の面積を、該文の示す範囲と前記地図表示範囲から重複を除いた面積で除した値を前記基本スコアBとする手段を含む
請求項１または２記載の文書要約装置。
入力された要約対象文書から、指定された地図表示範囲を説明するための要約を生成する文書要約装置であって、
前記要約対象文書から地名表現を抽出し、地名の文書中の位置、代表点、地名の含意する範囲を特定し、文書解析結果記憶手段に格納する文書解析手段と、
前記文書解析結果記憶手段から解析済みの結果を取得し、少なくとも文集合の語の出現頻度に基づいて基本スコアAを算出する語頻度による方法、前記指定された地図表示範囲と前記地名の含意する範囲の重複を除いた面積を用いて基本スコアBを算出する地理関連度による方法のいずれか、または、両方を用いてスコアを求め、スコア記憶手段に格納する文基本スコア決定手段と、
前記文書解析結果記憶手段から文集合を取得し、前記スコア記憶手段から前記スコアを取得して、該スコアが最も高い文を、指定された文の長さを限度として選択文集合に追加する要約文選択手段と、
前記選択文集合を前記要約対象文書に基づいて並び替え、結合した文字列を出力する文並び替え手段と、
を有し、
前記要約文選択手段は、
前記スコア記憶手段から読み出した前記スコア(cscore)から、前記文の示す範囲のうちこれまでに選択した文の示す範囲のいずれかに含まれる面積を該文の示す範囲の面積で除した値(red)を引いた値(score)が最も大きくなる文を、前記スコアが最も高い文として前記選択文集合に追加する手段を含む
ことを特徴とする文書要約装置。
入力された要約対象文書から、指定された地図表示範囲を説明するための要約を生成する文書要約方法であって、
文書解析手段が、前記要約対象文書から地名表現を抽出し、地名の文書中の位置、代表点、地名の含意する範囲を特定し、文書解析結果記憶手段に格納する文書解析ステップと、
文基本スコア決定手段が、前記文書解析結果記憶手段から解析済みの結果を取得し、前記指定された地図表示範囲と前記地名の含意する範囲の重複を除いた面積を用いて基本スコアBを算出する地理関連度による方法を用いてスコアを求め、スコア記憶手段に格納する文基本スコア決定ステップと、
要約文選択手段が、前記文書解析結果記憶手段から文集合を取得し、前記スコア記憶手段から前記スコアを取得して、該スコアが最も高い文を、指定された文の長さを限度として選択文集合に追加する要約文選択ステップと、
文並び替え手段が、前記選択文集合を前記要約対象文書に基づいて並び替え、結合した文字列を出力する文並び替えステップと、
を行うことを特徴とする文書要約方法。
前記文基本スコア決定ステップにおいて、
前記スコア記憶手段に格納する前記スコアを、文集合の語の出現頻度による方法により求められた基本スコアAと、前記地理関連度による方法により求められた基本スコアBとを加算した値とする
請求項５記載の文書要約方法。
前記文基本スコア決定ステップにおいて、
前記地理関連度による方法として、前記地名の含意する範囲を全て合わせた文の示す範囲のうち、前記地図表示範囲内に含まれる部分の面積を、該文の示す範囲と前記地図表示範囲から重複を除いた面積で除した値を前記基本スコアBとする
請求項５または６記載の文書要約方法。
入力された要約対象文書から、指定された地図表示範囲を説明するための要約を生成する文書要約方法であって、
文書解析手段が、前記要約対象文書から地名表現を抽出し、地名の文書中の位置、代表点、地名の含意する範囲を特定し、文書解析結果記憶手段に格納する文書解析ステップと、
文基本スコア決定手段が、前記文書解析結果記憶手段から解析済みの結果を取得し、少なくとも文集合の語の出現頻度に基づいて基本スコアAを算出する語頻度による方法、前記指定された地図表示範囲と前記地名の含意する範囲の重複を除いた面積を用いて基本スコアBを算出する地理関連度による方法、のいずれか、または、両方を用いてスコアを求め、スコア記憶手段に格納する文基本スコア決定ステップと、
要約文選択手段が、前記文書解析結果記憶手段から文集合を取得し、前記スコア記憶手段から前記スコアを取得して、該スコアが最も高い文を、指定された文の長さを限度として選択文集合に追加する要約文選択ステップと、
文並び替え手段が、前記選択文集合を前記要約対象文書に基づいて並び替え、結合した文字列を出力する文並び替えステップと、
を行い、
前記要約文選択ステップにおいて、
前記スコア記憶手段から読み出した前記スコア(cscore)から、前記文の示す範囲のうちこれまでに選択した文の示す範囲のいずれかに含まれる面積を該文の示す範囲の面積で除した値(red)を引いた値(score)が最も大きくなる文を、前記スコアが最も高い文として前記選択文集合に追加する
ことを特徴とする文書要約方法。
コンピュータを、
請求項１乃至４のいずれか１項に記載の文書要約装置の各手段として機能させるための文書要約プログラム。