JP5595426B2 - 単語抽出方法及び装置及びプログラム - Google Patents

Description

本発明は、単語抽出方法及び装置及びプログラムに係り、特に、文書集合の中から、地名と単語やフレーズの対を抽出するための単語抽出方法及び装置及びプログラムに関する。

詳しくは、地理的な条件を受け付けるような文書検索や、地理的観点での文書の分類、あるいは特定の地理範囲で有用な検索用キーワード等の推薦等に用いるための単語抽出方法及び装置及びプログラムに関する。

従来より、インターネットから得られる情報等、大規模な文書を対象として、キーワードを入力することにより、キーワードと関連のある文書を出力する技術が知られている。

近年、インターネット上での地図サービス等の普及や、ＧＰＳ等により現在の端末の位置を取得可能なデバイスの普及を背景に、検索条件の一部として位置や地図の範囲を加え、キーワードと地理条件の双方と関連のある文書を出力する技術（地理情報検索）が知られている（例えば、非特許文献１参照）。

また、上記のような検索は地図を閲覧しながら、その範囲で興味対象のキーワードに関する情報を検索することに利用することが可能である。その際、利用者がキーワードを想起せずとも、その地図範囲における特徴的な情報を得ることができるような単語やフレーズをシステム側が推薦することが考えられる。その場合、文書集合中で特定の地域と特定の単語が他に比べて有意に多く出現しているような対を用いて、キーワードを選出することになるであろう。

上記のような地理情報検索や、検索キーワードの推薦等を実現するためには、文書中に出現する地名と単語やフレーズの対が必要となる。

このような文書中に出現する地名と単語やフレーズの対の抽出方法としては、大きく2つの方法が考えられる。一つは、文書内での共起を利用する方法であり、地名と単語やフレーズが同一の文書中に出現していれば対と見做すという方法である。例えば、非特許文献1で示されているような、地名と指定されたキーワードの双方が出現した文書について処理するという方式は、この文書内共起を間接的に利用していることになる。また、もう一つの抽出方法としては、文書内の共起ではなく、もっと小さな単位、例えば、文や段落といった単位を用いる方法である。

安田宜仁、戸田浩之、"検索位置のごく周辺を対象とした地理情報検索"、人工知能学会論文誌、Vol. 23, No.5, pp. 364-373, 2008年7月．

しかし、これまでの方法により、文書内での共起を対象に対を抽出し、処理をした場合には、意味的繋がりがない、あるいは意味的繋がりが希薄な対も抽出してしまうという問題があった。例えば、以下のような文があったとする。

『昨日は横須賀でセパタクローの試合がありました。惜敗でした。ただ、その後自宅でやった打ち上げのヤキソバが美味しかったので満足です！』
この文において、｛横須賀−ヤキソバ｝という対は意味的には繋がりがないにもかかわらず、文書内での共起を対象とした場合、対として抽出することになってしまう。

また、一方で、同一文内といった狭い範囲での共起に限定してしまっては、取り扱い対が極端に減ってしまうという問題があった。これは、地名は文書中で頻繁に出現するわけではなく、一度の出現で長い範囲にわたって関連するように用いられることが多いためである。

例えば、以下のような文があったとする。

『３年前に横須賀に越して以来、すっかりこの街が気に入っています。山がちな地形で、トンネルが多く、道路が渋滞しやすいのはたまに傷ですが、四方を海に囲まれているおかげでしょうか。温暖な気候で冬でもあまり暖房がいりません。京急で都内に出やすいのもよいですね』
この文において、｛横須賀−温暖｝や｛横須賀−京急｝という対は、意味的繋がりが深いと考えられるが、一文内での共起に限定してしまっては対として抽出されないことになる。

本発明は、上記の点に鑑みなされたもので、地理的文脈度合いの少ない単語を含む対、すなわち、地名と一緒に取り扱うのが適切でない単語を含む対の抽出を回避することが可能な単語抽出方法及び装置及びプログラムを提供することを目的とする。

上記の課題を解決するため、本発明（請求項１）は、入力された文書集合の中から地名と単語やフレーズの対を抽出する単語抽出装置であって、
文書集合を格納した文書データベースと、
語毎に総出現回数及び地名共起回数を格納する地理文脈記憶手段と、
前記文書データベースから読み出した各文書中に記述された地名表現を抽出し、地名が文書中に存在する位置情報を特定する地理情報付与手段と、
前記地理文脈記憶手段の前記地名に対応する語の総出現回数に１加算し、所定の距離内において該語が該地名と共起していれば、当該語の共起回数に１加算する地理文脈計数手段と、
入力文書を取得して語に分割し、分割された語について、前記地理情報付与手段を用いて地名の文書中での位置情報を取得し、該入力文書の各語と各地名の文書内での距離を求め、該語に基づいて前記地理文脈記憶手段から前記地名共起回数及び前記総出現回数を取得して地理文脈比を求め、該地理文脈比が大きいほど大きくなる判定スコアを算出し、該判定スコアが所定の値以上の地名と単語やフレーズの対を抽出する対抽出手段と、
を有する。

また、本発明（請求項２）は、前記対抽出手段において、
前記入力文書内での前記語ｗ_ｉと前記地名ｇ_ｊとの距離を、該語ｗ_ｉが出現した文と該地名ｇ_ｊが出現した文の間に含まれる文の数とし、
前記地理文脈比は、前記語ｗ_ｉの地名共起回数を前記語ｗ_ｉの総出現回数で除した値とする手段を含む。

また、本発明（請求項３）は、前記対抽出手段において、
前記判定スコアを、文書内での距離が一文以内であれば、前記地理文脈比が所定の値より低くとも対となるように算出する手段を含む。

また、本発明（請求項４）は、前記対抽出手段において、
前記判定スコアを、前記地理文脈比が所定の値より高ければ、前記距離が所定の値より遠くても対となるように算出する手段を含む。

上記のように、本発明は、文書集語を対象に、所定の距離内において単語が地名と共起する回数と総出現回数により求めた地理文脈比（１に近いほど地名と一緒に利用される）を事前に設定しておき、入力された文書の単語と地名について、距離が大きい程小さく、単語の地理文脈比が大きい程大きくなる判定スコアを求め、当該判定スコアが所定値以上であれば単語と地名の対として抽出することにより、意味的繋がりの希薄な対を抽出することを避けながら、文書内の多数の対を抽出することが可能となる。

本発明の一実施の形態における単語抽出装置の構成図である。 本発明の一実施の形態における地理文脈記憶部の例である。 本発明の一実施の形態における前処理のフローチャートである。 本発明の一実施の形態における入力文書を受け取った後の処理のフローチャートである。 本発明の一実施の形態における対抽出部の処理のフローチャートである。

以下図面と共に、本発明の実施の形態を説明する。

図１は、本発明の一実施の形態における単語抽出装置の構成を示す。

同図に示す単語抽出装置１０は、文書データベース１１、地理情報付与部１２、地理文脈計数部１３、地理文脈記憶部１４、対抽出部１５から構成される。

本装置１０の処理は、前処理と、入力文書を受け取った後の処理に分けることができる。

前処理では、文書データベース１１、地理情報付与部１２、地理文脈計数部１３、対抽出部１４が用いられる。

入力文書を受け取った後の処理では、地理情報付与部１２、地理文脈記憶部１４、対抽出部１５が用いられる。なお、地理情報付与部１２と地理文脈記憶部１４はどちらも対抽出から利用される。

以下に、各構成要素について説明する。

文書データベース１１は、文書集合を格納したデータベースである。文書集合はweb等から自動収集したものでもよいし、対象分野を限定して、例えば、各地の観光情報に関する文書を集めたもの等であっても構わない。

文書データベース１１内の文書は、元の文書の内容に加えて、単語に分割した場合の区切りの情報（各単語の一範囲）を保持する。また、単語分割の結果のみでなく、統語的なまとまりとして句を取り出すチャンキング、固有表現抽出（人名地名といった固有名詞や時間表現等の抽出）を行った結果を保持してもよい。

これらの形態素解析、テキストチャンキング、固有表現抽出については、当業者に公知の技術を用いることができる。

以後、文書データベース１１に保持してある単語やチャンクあるいは固有表現といった、単語やフレーズを単に「語」と呼ぶ。

地理文脈記憶部１４は、図２に示すように、各語についてその語が地名と共起した回数、総出現回数を記憶したものである。記憶方法は任意であるが、語をキーとして対応するエントリに即時に取り出せるような形式が望ましい。例えば、別途インデックスを保持したり、語のＩＤを付与し、語のＩＤ番号の配列要素へのアクセスを行うといった方法が考えられる。

以下に、前処理について説明する。

図３は、本発明の一実施の形態における前処理のフローチャートである。

ステップ１１０） 地理情報付与部１２は、文書データベース１１中の各文書について、文書中に記述された地名と思われる表現を特定し、地名の文書中での位置、地名の代表点の緯度・経度、地名の含意する範囲を出力する。地名の特定、その他の代表点の緯度・経度の特定には、文献１"平野徹，松尾義博，菊井玄一郎，「地理的距離と有名度を用いた地名の曖昧性解消」、情報処理学会全国大会論文集，2008"等で示される従来の手法を用いることができる。また、地名の含意する範囲については、非特許文献１で示されているような従来法や、既存の数値地図を使うことができる。

ステップ１２０） 地理文脈計数部１３は、文書データベース１１と地理情報付与部１２より得られた地名の文書中での位置を用いて、文書中の各語の地理文脈を計数する。

文書内の各語について、その語が任意の地名と共起する場合は、地理文脈記憶部１４の回数を更新する。

地理文脈計数部１３は、文内の各語について以下の処理を行う。

（１）地理文脈記憶部１４の当該語のエントリを取り出し、総出現回数に１を加え、更新する。もし、当該語のエントリがなければ地理文脈記憶部１４に、当該語のエントリを「総出現回数：１、地名共起回数：０」として格納する。

（２）もし、当該語が何らかの地名と共起していれば、地理文脈記憶部１４の当該語のエントリを取り出し、地名共起回数に１を加えたものを地理文脈記憶部１４へ格納する。この際、共起を認定する範囲については任意であるが、狭い範囲での共起であることが望ましい。このため、例えば、一文内等の狭い範囲での共起を用いることが考えられる。

次に、入力文書を受け取った後の処理について説明する。

図４は、本発明の一実施の形態における入力文書を受け取った後の処理のフローチャートである。

ステップ２１０） 対抽出部１５は、抽出対象の文書が入力されると、入力文書を分割し、分割された各語を地理情報付与部１２に渡して地名の文書中での位置の特定を依頼し、その地名が付与された語を取得する。

ステップ２２０） 文書中の全ての地名と語の対として認定する対の集合を決定する。

上記の処理を詳細に説明する。図５は、本発明の一実施の形態における対抽出部の処理のフローチャートである。

ステップ３０１） まず、当該対抽出部１５に入力された文書を語へ分割する。

ステップ３０２） 対抽出部１５内のメモリ（図示せず）の出力対集合を初期化する。

ステップ３０３） 地理情報付与部１２に分割された各語を転送し、位置情報の付与を依頼し、位置情報が付与された語を取得する。地理情報付与部１２は、ステップ１１０と同様の処理を行い、その結果を対抽出部１５に渡す。

ステップ３０４） 以下の処理を文書中のすべての地名ｇ−語ｗについて繰り返す。

ステップ３０５） 文書中の各語ｗ_ｉと各地名ｇ_ｊとの文書内での距離ｄ（ｗ_ｉ，ｇ_ｊ）を、ｗ_ｉが出現した文とｇ_ｊが出現した文の間に含まれる文の数となる。特に、ｗ_ｉとｇ_ｊが同一文内で出現すればｄ（ｗ_ｉ，ｇ_ｊ）＝０とする。もし、ｗ_ｉあるいはｇ_ｊが文書内で複数回出現する場合は、最も距離が小さいものをｄ（ｗ_ｉ，ｇ_ｊ）とする。

ステップ３０６） 地理文脈記憶部１４より、語ｗ_ｉのエントリを取得し、語ｗ_ｉの地理文脈比ｒ（ｗ_ｉ）を以下の式（１）で求める。

上記で求められた地理文脈比ｒ（ｗ_ｉ）が１に近いほど地名と一緒に利用される語であるといえる。

ステップ３０７） 次に、以下の式で判定スコアｓ（ｗ_ｉ，ｇ_ｊ）を求める。

ただし、αは事前に設定した定数パラメータである。

なお、判定スコアｓ（ｗ_ｉ，ｇ_ｊ）の算出は、上記の式（２）に限定されることなく、定性的には、文書内での距離が一文以内で所定の距離より短ければ、地理文脈比が相当低くても対として認定し、地理文脈比が所定の値より高ければ文書内での距離が相当遠くても対として認定するようなものであればよい。例えば、上記で求めた方法以外に、事前に設定した定数パラメータβと、以下で定められるような階段状の関数によって判断してもよい。

ステップ３０８）上記の判定スコアｓ（ｗ_ｉ，ｇ_ｊ）≧１であれば、抽出対象と判定し、ステップ３０９に移行し、ｓ（ｗ_ｉ，ｇ_ｊ）＜１であればステップ３１０に移行する。

ステップ３０９） 対抽出部１５は、対をメモリ（図示せず）の出力対集合に追加する。

ステップ３１０） 上記の処理を文書中のすべての地名ｇ−語ｗについて終了していればステップ３１１に移行し、そうでなければステップ３０５以降の処理を行う。

ステップ３１１） 対抽出部１５は、メモリ（図示せず）の出力対集合を出力する。

上記のように、本発明は、入力された文書集合の単語がある狭い範囲でどれくらい地名と共起したかを表す地理文脈比として求め、語と地名との距離を用いて判定スコアを求める。判定スコアは語と地名の距離が十分短い、または、距離が離れていても地理文脈比が高ければ、当該語と地名の対を抽出する。このため、語の地理的文脈での出現度合い（地理文脈比）を考慮し、地理的文脈の出現度合いの少ない単語を含む対は、取り扱わないため、地名と一緒に取り扱うのが適切でないような単語を含む対は抽出されない。これにより、精度を落とさずに量を増やすことが可能となる。

なお、上記の図１に示す単語抽出装置の構成要素の動作をプログラムとして構築し、単語抽出装置として利用されるコンピュータにインストールして実行させる、または、ネットワークを介して流通させることが可能である。

本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において、種々変更・応用が可能である。

１０ 単語抽出装置
１１ 文書データベース
１２ 地理情報付与部
１３ 地理文脈計数部
１４ 地理文脈記憶部
１５ 対抽出部

Claims (8)

1. 入力された文書集合の中から地名と単語やフレーズの対を抽出する単語抽出装置であって、
   文書集合を格納した文書データベースと、
   語毎に総出現回数及び地名共起回数を格納する地理文脈記憶手段と、
   前記文書データベースから読み出した各文書中に記述された地名表現を抽出し、地名が文書中に存在する位置情報を特定する地理情報付与手段と、
   前記地理文脈記憶手段の前記地名に対応する語の総出現回数に１加算し、所定の距離内において該語が該地名と共起していれば、当該語の共起回数に１加算する地理文脈計数手段と、
   入力文書を取得して語に分割し、分割された語について、前記地理情報付与手段を用いて地名の文書中での位置情報を取得し、該入力文書の各語と各地名の文書内での距離を求め、該語に基づいて前記地理文脈記憶手段から前記地名共起回数及び前記総出現回数を取得して地理文脈比を求め、該地理文脈比が大きいほど大きくなる判定スコアを算出し、該判定スコアが所定の値以上の地名と単語やフレーズの対を抽出する対抽出手段と、
   を有することを特徴とする単語抽出装置。
2. 前記対抽出手段は、
   前記入力文書内での前記語ｗ_ｉと前記地名ｇ_ｊとの距離を、該語ｗ_ｉが出現した文と該地名ｇ_ｊが出現した文の間に含まれる文の数とし、
   前記地理文脈比は、前記語ｗ_ｉの地名共起回数を前記語ｗ_ｉの総出現回数で除した値とする手段を含む
   請求項１記載の単語抽出装置。
3. 前記対抽出手段は、
   前記判定スコアを、文書内での距離が一文以内であれば、前記地理文脈比が所定の値より低くとも対となるように算出する手段を含む
   請求項１記載の単語抽出装置。
4. 前記対抽出手段は、
   前記判定スコアを、前記地理文脈比が所定の値より高ければ、前記距離が所定の値より遠くても対となるように算出する手段を含む
   請求項１記載の単語抽出装置。
5. 入力された文書集合の中から地名と単語やフレーズの対を抽出する単語抽出方法であって、
   地理情報付与手段が、文書データベースから読み出した各文書中に記述された地名表現を抽出し、地名が文書中に存在する位置情報を特定する地理情報付与ステップと、
   地理文脈計数手段が、前記地理文脈記憶手段の前記地名に対応する語の総出現回数に１加算し、所定の距離内において該語が該地名と共起していれば、当該語の共起回数に１加算する地理文脈計数ステップと、
   対抽出手段が、入力文書を取得して語に分割し、分割された語について、前記地理情報付与手段を用いて地名の文書中での位置情報を取得し、該入力文書の各語と各地名の文書内での距離を求め、該語に基づいて前記地理文脈記憶手段から前記地名共起回数及び前記総出現回数を取得して地理文脈比を求め、該地理文脈比が大きいほど大きくなる判定スコアを算出し、該判定スコアが所定の値以上の地名と単語やフレーズの対を抽出する対抽出ステップと、
   を行うことを特徴とする単語抽出方法。
6. 前記対抽出手段は、
   前記入力文書内での前記語ｗ_ｉと前記地名ｇ_ｊとの距離を、該語ｗ_ｉが出現した文と該地名ｇ_ｊが出現した文の間に含まれる文の数とし、
   前記地理文脈比は、前記語ｗ_ｉの地名共起回数を前記語ｗ_ｉの総出現回数で除した値とする
   請求項５記載の単語抽出方法。
7. 前記対抽出手段は、
   前記判定スコアを、
   文書内での距離が一文以内であれば、前記地理文脈比が所定の値より低くとも対となるように算出する、
   または、
   前記地理文脈比が所定の値より高ければ、前記距離が所定の値より遠くても対となるように算出する
   請求項５記載の単語抽出方法。
8. コンピュータを、
   請求項１乃至４のいずれか１項に記載の単語抽出装置の各手段として機能させるための単語抽出プログラム。

Images