JP3853974B2 - 同義語対抽出装置および記憶媒体 - Google Patents
同義語対抽出装置および記憶媒体 Download PDFInfo
- Publication number
- JP3853974B2 JP3853974B2 JP13497398A JP13497398A JP3853974B2 JP 3853974 B2 JP3853974 B2 JP 3853974B2 JP 13497398 A JP13497398 A JP 13497398A JP 13497398 A JP13497398 A JP 13497398A JP 3853974 B2 JP3853974 B2 JP 3853974B2
- Authority
- JP
- Japan
- Prior art keywords
- parentheses
- expression
- parenthesis
- word
- pattern
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Machine Translation (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、文書群中から同義語対を取得する同義語対抽出装置および文書群中から同義語対を取得するためのプログラムを記憶している記憶媒体に関する。
【０００２】
【従来の技術】
文書中の丸括弧中の表現と、その丸括弧前の表現とが同義語になっている場合がある。例えば、“…ＡＩ（人工知能）…”などである。
【０００３】
情報処理学会第４７回（平成５年後期）全国大会の予稿集の「テキストデータベースからの同意表現の抽出」（湯村武ほか）には、丸括弧中の表現と丸括弧前の表現とが同義語の関係にあるか、それ以外の関係にあるのかの判定が困難であることに鑑み、両表現が同義語でない場合をパターン化してゴミ情報を排除し、同義語表現のなりやすさを評価する技術が開示されている。
【０００４】
【発明が解決しようとする課題】
しかしながら、前記従来技術では、名詞句の要素の範囲（スコープ）という問題を解決する手段については何ら提案されていない。すなわち、一般に、括弧内の要素の範囲は明確であるものの、これに対応している丸括弧前の要素の範囲は不明瞭である。例えば、“…薬物の不正使用（ドーピング）…”という表現があった場合、前記従来技術では、“ドーピング”に対応する表現が“不正使用”になってしまい、“薬物の”が欠落してしまう。
【０００５】
この発明の目的は、丸括弧前の要素の範囲を正確に確定することができるようにして、文書群中から同義語対を取得する精度を向上させることができる同義語対抽出装置および記憶媒体を提供することにある。
【０００６】
【課題を解決するための手段】
請求項１に記載の同義語対抽出装置は、丸括弧を含む文から丸括弧中の表現と丸括弧前の表現とを抽出する括弧表現抽出手段と、前記括弧表現抽出手段により抽出された丸括弧中の表現と丸括弧前の表現とを、丸括弧中の表現に対する丸括弧前の表現の出現回数とともに記憶する括弧表現蓄積手段と、丸括弧中の表現と丸括弧前の表現との間で同義語対とはならない所定の関係を示すパターンを予め記憶しておく非同義語対パターン記憶手段と、前記括弧表現蓄積手段に記憶されている丸括弧中の表現および丸括弧前の表現が前記非同義語対パターン記憶手段に記憶されている所定のパターンに該当するか否かを判定する非同義語対パターン判定手段と、前記非同義語対パターン判定手段により所定のパターンに該当しないと判定された丸括弧前の表現を形態素解析する形態素解析手段と、前記形態素解析手段によって丸括弧前の表現を形態素解析にかけた結果の各単語の位置別の出現頻度を前記出現回数に基づいて求め、当該出現頻度が所定の閾値以上である単語を要素範囲として丸括弧前の表現に設定する範囲設定手段と、前記範囲設定手段により要素範囲として設定された単語をまとめて復元し、丸括弧中の表現に対する同義の表現を生成する同義語対取得手段と、を備えたことを特徴とする。
【０００７】
したがって、丸括弧前の表現を形態素解析した後、丸括弧前の表現を形態素解析にかけた結果の各単語の位置別の出現頻度を出現回数に基づいて求め、当該出現頻度が所定の閾値以上である単語を要素範囲として丸括弧前の表現に設定し、要素範囲として設定された単語をまとめて復元し、丸括弧中の表現に対する同義の表現を生成することにより、丸括弧中の表現と丸括弧前の表現との間で生じる共起単語の統計量に基づいて、丸括弧前の表現に要素範囲の設定を行なうことができる。
【００１４】
請求項２に記載の記憶媒体は、コンピュータに読み取り可能なプログラムを記憶していて、このプログラムは、コンピュータに読み取られることにより、文書データベースに格納された文書群中から同義語対を取得することをコンピュータに実行可能とするものであり、この同義語対の取得は、丸括弧を含む文から丸括弧中の表現と丸括弧前の表現とを抽出し、前記括弧表現抽出手段により抽出された丸括弧中の表現と丸括弧前の表現とを、丸括弧中の表現に対する丸括弧前の表現の出現回数とともに記憶装置に記憶し、丸括弧中の表現と丸括弧前の表現との間で同義語対とはならない所定の関係を示すパターンを予め記憶し、記憶装置に記憶されている丸括弧中の表現および丸括弧前の表現が所定のパターンに該当するか否かを判定し、所定のパターンに該当しないと判定された丸括弧前の表現を形態素解析し、丸括弧前の表現を形態素解析にかけた結果の各単語の位置別の出現頻度を前記出現回数に基づいて求め、当該出現頻度が所定の閾値以上である単語を要素範囲として丸括弧前の表現に設定し、要素範囲として設定された単語をまとめて復元し、丸括弧中の表現に対する同義の表現を生成する、ことにより実行するものであることを特徴とする。
【００１５】
したがって、丸括弧前の表現を形態素解析した後、丸括弧前の表現を形態素解析にかけた結果の各単語の位置別の出現頻度を出現回数に基づいて求め、当該出現頻度が所定の閾値以上である単語を要素範囲として丸括弧前の表現に設定し、要素範囲として設定された単語をまとめて復元し、丸括弧中の表現に対する同義の表現を生成することにより、丸括弧中の表現と丸括弧前の表現との間で生じる共起単語の統計量に基づいて、丸括弧前の表現に要素範囲の設定を行なうことができる。
【００１８】
【発明の実施の形態】
図１〜図８を参照して、この発明の一実施の形態について説明する。図１は、この発明の一実施の形態にかかる同義語対抽出装置１の機能ブロック図である。
【００１９】
図１に示すように、同義語対抽出装置１は、電子化された文書群のデータが格納される文書データベース２を備えている。
【００２０】
括弧表現チェック部３は、この発明の括弧表現抽出手段を実施するもので、文書データベース２に格納されている文書群中から丸括弧を含む文を検出し、その丸括弧の閉じより前の部分を抽出する。例えば、“米大統領は十一日、北大西洋条約機構（ＮＡＴＯ）首脳会議開幕後の・・・”という文がある場合、閉じ括弧より前の部分である"米大統領は十一日、北大西洋条約機構（ＮＡＴＯ）"を取り出す。なお、丸括弧の直前部分がないものについては、この括弧表現チェック部３や、後述するゴミ情報排除部５で排除する。
【００２１】
括弧表現蓄積ファイル４は、括弧表現チェック部３で抽出した結果を一時的に蓄積しておくファイルで、この発明の括弧表現蓄積手段を実施するものである。図２は、括弧表現蓄積ファイル４の例を示すもので、括弧内単語、直前要素およびユニーク件数を対応付けて記憶している。ユニーク件数は括弧内単語と直前要素との組の出現回数を示している。この例では、“自由貿易地域（ＡＦＴＡ）”で３回出現していることを示している。
【００２２】
ゴミ情報排除部５は、表層上の特徴から、括弧表現蓄積ファイル４に蓄積されたデータのうち、同義語対でなさそうなものを排除するもので、この発明の非同義語対パターン判定手段を実施するものである。排除する場合は、予めパターン化して用意しておく。このパターン（この発明の非同義語対パターン記憶手段を実施するものである）の例を図３に例示する。図３には、排除パターンと、その例を示している。すなわち、括弧の前部分がないもの（“（１）・・・”、“（２）・・・”など）、括弧内が１字のもの（“写真（上）”、“羽田（孜）”、“高津（ヤ）”）、括弧直前が漢字で括弧内が平仮名のもの（“梗塞（こうそく）”、“祈恋（きれん）”）、括弧内が数詞相当のもの（“ベテルマン（６９）”、“第三試合（１２時４０分）”）などである。
【００２３】
形態素解析部６は、丸括弧前要素の形態素解析を行なうもので、この発明の形態素解析手段を実施するものである。ここでは、単語と文節切りができればよい。図４は、図２の例について形態素解析にかけた結果を示すものである。同図において、ピリオドは単語の切れ目を、縦棒は文節の切れ目を示している。後述する範囲判定部７で用いる閾値の例では、文節情報も使用しているが、単語の個数の範囲で設定してもよく、その場合は文節情報も不要なので、n-gramのように純粋に統計的な単語切りでも間に合う。
【００２４】
範囲判定部７は、形態素解析後の丸括弧中の表現と丸括弧前の表現との間で生じる共起単語の統計量に基づいて、丸括弧前の表現に要素範囲の設定を行なうもので、この発明の範囲設定手段を実施するものである。要素範囲の設定は、例えば、図５、図６に示すように行なう。すなわち、まず、丸括弧前の表現を走査する。その走査範囲は、例えば、丸括弧前の３文節以内とし、この３文節内でさらに丸括弧前の１０単語以内とすることができる。この文節数、単語数の設定は、使用する形態素解析の性質にもよるので、適切と考えられる種々の値を選択することができる。直前要素を不用意に短く認識してしまうのを避けるためなので、十分広い範囲とすればよい。
【００２５】
そして、走査範囲内にある各単語の位置別の共出現状況をサーチする。図６は、図４の例の場合に、そのサーチの結果を示すものである。すなわち、同図に示す例では、括弧内単語として“ＡＦＴＡ”がのべ１５回出現している。１〜８の出現位置Ｎｏ．は、丸括弧の直前に位置している順に若い番号を付している。そして、出現位置Ｎｏ．ごとに、単語とその単語の出現回数（のべ）を示している。そして、図４に示すようなサーチ結果中から、所定の閾値以上に出現する単語を残す。閾値は、ダイレクトに頻度を指定してもよいし、全体における割合から設定してもよい。例えば、閾値を４以上とすると、出現位置Ｎｏ．が１である“自由貿易地域（１３回）”と、出現位置Ｎｏ．が２である“ＡＳＥＡＮ（１２回）”が残る。頻度も、図６ではのべ頻度を用いているが、異なり頻度を用いてもよい。
【００２６】
類似表現判定部８は、範囲判定部７で要素範囲外とされた形態素解析後の丸括弧前の表現と丸括弧中の表現との間で、所定条件の文字列の一致があるか否かを判定するものである。そして、その一致のある丸括弧前の単語を要素範囲に含める。例えば、図６の例では、出現位置Ｎｏ．が１である“自由貿易圏（２回）”が、範囲判定部８で除外されてしまうが、適当な閾値、この例では、先頭２文字が共通という閾値を用いれば、すでに抽出されている“自由貿易地域（１３回）”と“自由貿易圏（２回）”とは先頭２文字が共通であるため、この閾値で抽出することができる（図７参照）。
【００２７】
同義語対生成部９は、範囲判定部７および類似表現判定部８で要素範囲内とされた単語をまとめあげて復元し、丸括弧内の表現と同義の表現を生成するもので、この発明の同義語対取得手段を実施するものである。図７の例では、“ＡＳＥＡＮ自由貿易地域”、“ＡＳＥＡＮ自由貿易圏”が生成され、最終的に、“ＡＦＴＡ”と“ＡＳＥＡＮ自由貿易地域”との同義語対と、“ＡＦＴＡ”と“ＡＳＥＡＮ自由貿易圏”との同義語対とが得られる。
【００２８】
生成表現チェック部１０は、同義語対生成部９で単語の復元を行なうときに、奇異な表現を生成してしまう可能性があるので、括弧表現チェック部３を参照して、復元した表現が文書データベース２に出現した表現であるか否かチェックし、出現してなければ排除する。
【００２９】
抽出同義語対情報格納部１１は、同義語対生成部９で取得され、生成表現チェック部１０でチェックされた後に残った同義語対を格納する。
【００３０】
図８は、同義語対抽出装置１の具体的構成例を示すものである。すなわち、図８の同義語対抽出装置１は、ＣＰＵ２１，ＲＯＭ２２，ＲＡＭ２３，磁気ディスク２４，磁気ディスク２５，ＣＤ−ＲＯＭドライブ２６などがバス２７で接続されている（Ｉ／Ｏなどは図示を省略する）。
【００３１】
磁気ディスク２４には文書データベース２が構築されている。磁気ディスク２５には所定のプログラムが格納される。このプログラムはこの発明の記憶媒体を実施するＣＤ−ＲＯＭ２８に記憶されていて、ＣＤ−ＲＯＭドライブ２６で読み取り、磁気ディスク２５にインストールしたものである。すなわち、この同義語対抽出装置１は、ＲＯＭ２２に格納されているＢＩＯＳなどや、磁気ディスク２４にインストールされている同義語対抽出処理のための所定プログラムにより動作し、前記した括弧表現チェック部３〜抽出同義語対情報格納部１１の各機能を実現する。抽出同義語対情報格納部１１に格納された同義語対は、図示しないディスプレイ、プリンタなどに出力する。なお、この発明の記憶媒体として、フロッピーディスク、光磁気ディスクなど、各種の記憶媒体を用いることができることはいうまでもない。
【００３２】
以上のように、形態素解析部６で丸括弧前の表現を形態素解析した後、範囲判定部７で丸括弧前の表現を形態素解析にかけた結果の各単語の位置別の出現頻度を出現回数に基づいて求め、当該出現頻度が所定の閾値以上である単語を要素範囲として丸括弧前の表現に設定し、要素範囲として設定された単語をまとめて復元し、丸括弧中の表現に対する同義の表現を生成することにより、丸括弧中の表現と丸括弧前の表現との間で生じる共起単語の統計量に基づいて、丸括弧前の表現に要素範囲の設定を行なうことができるので、括弧内の表現に対応している丸括弧前の要素の範囲を的確に画定して、文書データベース２の文書群中から同義語対を取得する精度を向上させることができる。
【００３３】
また、類似表現判定部８により、要素範囲外とされた丸括弧前の表現と要素範囲内とされた丸括弧中の表現との間で所定条件の文字列の一致があれば、その一致がある丸括弧前の単語を要素範囲に含めることができるので、共起単語の統計量に基づく丸括弧前の表現の要素範囲から漏れた類似語も救うことができ、文書データベース２の文書群中から同義語対を取得する精度をさらに向上させることができる。
【００３４】
【発明の効果】
請求項１または２に記載の発明は、丸括弧前の表現を形態素解析した後、丸括弧前の表現を形態素解析にかけた結果の各単語の位置別の出現頻度を出現回数に基づいて求め、当該出現頻度が所定の閾値以上である単語を要素範囲として丸括弧前の表現に設定し、要素範囲として設定された単語をまとめて復元し、丸括弧中の表現に対する同義の表現を生成することにより、丸括弧中の表現と丸括弧前の表現との間で生じる共起単語の統計量に基づいて、丸括弧前の表現に要素範囲の設定を行なうことができるので、括弧内の表現に対応している丸括弧前の要素の範囲を的確に画定して、文書群中から同義語対を取得する精度を向上させることができる。
【図面の簡単な説明】
【図１】この発明の一実施の形態にかかる同義語対抽出装置の機能ブロック図である。
【図２】前記同義語対抽出装置の括弧表現蓄積ファイルの例を示す表である。
【図３】前記同義語対抽出装置のゴミ情報排除部で用いるパターン例を示す表である。
【図４】前記同義語対抽出装置の形態素解析部で行なう形態素解析の例を示す表である。
【図５】前記同義語対抽出装置の範囲判定部で行なう要素範囲の設定の例を示す概念図である。
【図６】前記同義語対抽出装置の範囲判定部で行なう要素範囲の設定の例を示す概念図である。
【図７】前記同義語対抽出装置の類似表現判定部の処理を説明する概念図である。
【図８】前記同義語対抽出装置の具体的な構成例を示すブロック図である。
【符号の説明】
１ 同義語対抽出装置
２ 文書データベース
３ 括弧表現抽出手段、括弧表現抽出工程
４ 括弧表現蓄積手段、括弧表現蓄積工程
５ 非同義語対パターン判定手段、非同義語対パターン判定工程
６ 形態素解析手段、形態素解析工程
７ 範囲設定手段、範囲設定工程
８ 類似表現判定手段、範囲追加手段、類似表現判定工程、範囲追加工程
９ 同義語対取得手段、同義語対取得工程
【発明の属する技術分野】
この発明は、文書群中から同義語対を取得する同義語対抽出装置および文書群中から同義語対を取得するためのプログラムを記憶している記憶媒体に関する。
【０００２】
【従来の技術】
文書中の丸括弧中の表現と、その丸括弧前の表現とが同義語になっている場合がある。例えば、“…ＡＩ（人工知能）…”などである。
【０００３】
情報処理学会第４７回（平成５年後期）全国大会の予稿集の「テキストデータベースからの同意表現の抽出」（湯村武ほか）には、丸括弧中の表現と丸括弧前の表現とが同義語の関係にあるか、それ以外の関係にあるのかの判定が困難であることに鑑み、両表現が同義語でない場合をパターン化してゴミ情報を排除し、同義語表現のなりやすさを評価する技術が開示されている。
【０００４】
【発明が解決しようとする課題】
しかしながら、前記従来技術では、名詞句の要素の範囲（スコープ）という問題を解決する手段については何ら提案されていない。すなわち、一般に、括弧内の要素の範囲は明確であるものの、これに対応している丸括弧前の要素の範囲は不明瞭である。例えば、“…薬物の不正使用（ドーピング）…”という表現があった場合、前記従来技術では、“ドーピング”に対応する表現が“不正使用”になってしまい、“薬物の”が欠落してしまう。
【０００５】
この発明の目的は、丸括弧前の要素の範囲を正確に確定することができるようにして、文書群中から同義語対を取得する精度を向上させることができる同義語対抽出装置および記憶媒体を提供することにある。
【０００６】
【課題を解決するための手段】
請求項１に記載の同義語対抽出装置は、丸括弧を含む文から丸括弧中の表現と丸括弧前の表現とを抽出する括弧表現抽出手段と、前記括弧表現抽出手段により抽出された丸括弧中の表現と丸括弧前の表現とを、丸括弧中の表現に対する丸括弧前の表現の出現回数とともに記憶する括弧表現蓄積手段と、丸括弧中の表現と丸括弧前の表現との間で同義語対とはならない所定の関係を示すパターンを予め記憶しておく非同義語対パターン記憶手段と、前記括弧表現蓄積手段に記憶されている丸括弧中の表現および丸括弧前の表現が前記非同義語対パターン記憶手段に記憶されている所定のパターンに該当するか否かを判定する非同義語対パターン判定手段と、前記非同義語対パターン判定手段により所定のパターンに該当しないと判定された丸括弧前の表現を形態素解析する形態素解析手段と、前記形態素解析手段によって丸括弧前の表現を形態素解析にかけた結果の各単語の位置別の出現頻度を前記出現回数に基づいて求め、当該出現頻度が所定の閾値以上である単語を要素範囲として丸括弧前の表現に設定する範囲設定手段と、前記範囲設定手段により要素範囲として設定された単語をまとめて復元し、丸括弧中の表現に対する同義の表現を生成する同義語対取得手段と、を備えたことを特徴とする。
【０００７】
したがって、丸括弧前の表現を形態素解析した後、丸括弧前の表現を形態素解析にかけた結果の各単語の位置別の出現頻度を出現回数に基づいて求め、当該出現頻度が所定の閾値以上である単語を要素範囲として丸括弧前の表現に設定し、要素範囲として設定された単語をまとめて復元し、丸括弧中の表現に対する同義の表現を生成することにより、丸括弧中の表現と丸括弧前の表現との間で生じる共起単語の統計量に基づいて、丸括弧前の表現に要素範囲の設定を行なうことができる。
【００１４】
請求項２に記載の記憶媒体は、コンピュータに読み取り可能なプログラムを記憶していて、このプログラムは、コンピュータに読み取られることにより、文書データベースに格納された文書群中から同義語対を取得することをコンピュータに実行可能とするものであり、この同義語対の取得は、丸括弧を含む文から丸括弧中の表現と丸括弧前の表現とを抽出し、前記括弧表現抽出手段により抽出された丸括弧中の表現と丸括弧前の表現とを、丸括弧中の表現に対する丸括弧前の表現の出現回数とともに記憶装置に記憶し、丸括弧中の表現と丸括弧前の表現との間で同義語対とはならない所定の関係を示すパターンを予め記憶し、記憶装置に記憶されている丸括弧中の表現および丸括弧前の表現が所定のパターンに該当するか否かを判定し、所定のパターンに該当しないと判定された丸括弧前の表現を形態素解析し、丸括弧前の表現を形態素解析にかけた結果の各単語の位置別の出現頻度を前記出現回数に基づいて求め、当該出現頻度が所定の閾値以上である単語を要素範囲として丸括弧前の表現に設定し、要素範囲として設定された単語をまとめて復元し、丸括弧中の表現に対する同義の表現を生成する、ことにより実行するものであることを特徴とする。
【００１５】
したがって、丸括弧前の表現を形態素解析した後、丸括弧前の表現を形態素解析にかけた結果の各単語の位置別の出現頻度を出現回数に基づいて求め、当該出現頻度が所定の閾値以上である単語を要素範囲として丸括弧前の表現に設定し、要素範囲として設定された単語をまとめて復元し、丸括弧中の表現に対する同義の表現を生成することにより、丸括弧中の表現と丸括弧前の表現との間で生じる共起単語の統計量に基づいて、丸括弧前の表現に要素範囲の設定を行なうことができる。
【００１８】
【発明の実施の形態】
図１〜図８を参照して、この発明の一実施の形態について説明する。図１は、この発明の一実施の形態にかかる同義語対抽出装置１の機能ブロック図である。
【００１９】
図１に示すように、同義語対抽出装置１は、電子化された文書群のデータが格納される文書データベース２を備えている。
【００２０】
括弧表現チェック部３は、この発明の括弧表現抽出手段を実施するもので、文書データベース２に格納されている文書群中から丸括弧を含む文を検出し、その丸括弧の閉じより前の部分を抽出する。例えば、“米大統領は十一日、北大西洋条約機構（ＮＡＴＯ）首脳会議開幕後の・・・”という文がある場合、閉じ括弧より前の部分である"米大統領は十一日、北大西洋条約機構（ＮＡＴＯ）"を取り出す。なお、丸括弧の直前部分がないものについては、この括弧表現チェック部３や、後述するゴミ情報排除部５で排除する。
【００２１】
括弧表現蓄積ファイル４は、括弧表現チェック部３で抽出した結果を一時的に蓄積しておくファイルで、この発明の括弧表現蓄積手段を実施するものである。図２は、括弧表現蓄積ファイル４の例を示すもので、括弧内単語、直前要素およびユニーク件数を対応付けて記憶している。ユニーク件数は括弧内単語と直前要素との組の出現回数を示している。この例では、“自由貿易地域（ＡＦＴＡ）”で３回出現していることを示している。
【００２２】
ゴミ情報排除部５は、表層上の特徴から、括弧表現蓄積ファイル４に蓄積されたデータのうち、同義語対でなさそうなものを排除するもので、この発明の非同義語対パターン判定手段を実施するものである。排除する場合は、予めパターン化して用意しておく。このパターン（この発明の非同義語対パターン記憶手段を実施するものである）の例を図３に例示する。図３には、排除パターンと、その例を示している。すなわち、括弧の前部分がないもの（“（１）・・・”、“（２）・・・”など）、括弧内が１字のもの（“写真（上）”、“羽田（孜）”、“高津（ヤ）”）、括弧直前が漢字で括弧内が平仮名のもの（“梗塞（こうそく）”、“祈恋（きれん）”）、括弧内が数詞相当のもの（“ベテルマン（６９）”、“第三試合（１２時４０分）”）などである。
【００２３】
形態素解析部６は、丸括弧前要素の形態素解析を行なうもので、この発明の形態素解析手段を実施するものである。ここでは、単語と文節切りができればよい。図４は、図２の例について形態素解析にかけた結果を示すものである。同図において、ピリオドは単語の切れ目を、縦棒は文節の切れ目を示している。後述する範囲判定部７で用いる閾値の例では、文節情報も使用しているが、単語の個数の範囲で設定してもよく、その場合は文節情報も不要なので、n-gramのように純粋に統計的な単語切りでも間に合う。
【００２４】
範囲判定部７は、形態素解析後の丸括弧中の表現と丸括弧前の表現との間で生じる共起単語の統計量に基づいて、丸括弧前の表現に要素範囲の設定を行なうもので、この発明の範囲設定手段を実施するものである。要素範囲の設定は、例えば、図５、図６に示すように行なう。すなわち、まず、丸括弧前の表現を走査する。その走査範囲は、例えば、丸括弧前の３文節以内とし、この３文節内でさらに丸括弧前の１０単語以内とすることができる。この文節数、単語数の設定は、使用する形態素解析の性質にもよるので、適切と考えられる種々の値を選択することができる。直前要素を不用意に短く認識してしまうのを避けるためなので、十分広い範囲とすればよい。
【００２５】
そして、走査範囲内にある各単語の位置別の共出現状況をサーチする。図６は、図４の例の場合に、そのサーチの結果を示すものである。すなわち、同図に示す例では、括弧内単語として“ＡＦＴＡ”がのべ１５回出現している。１〜８の出現位置Ｎｏ．は、丸括弧の直前に位置している順に若い番号を付している。そして、出現位置Ｎｏ．ごとに、単語とその単語の出現回数（のべ）を示している。そして、図４に示すようなサーチ結果中から、所定の閾値以上に出現する単語を残す。閾値は、ダイレクトに頻度を指定してもよいし、全体における割合から設定してもよい。例えば、閾値を４以上とすると、出現位置Ｎｏ．が１である“自由貿易地域（１３回）”と、出現位置Ｎｏ．が２である“ＡＳＥＡＮ（１２回）”が残る。頻度も、図６ではのべ頻度を用いているが、異なり頻度を用いてもよい。
【００２６】
類似表現判定部８は、範囲判定部７で要素範囲外とされた形態素解析後の丸括弧前の表現と丸括弧中の表現との間で、所定条件の文字列の一致があるか否かを判定するものである。そして、その一致のある丸括弧前の単語を要素範囲に含める。例えば、図６の例では、出現位置Ｎｏ．が１である“自由貿易圏（２回）”が、範囲判定部８で除外されてしまうが、適当な閾値、この例では、先頭２文字が共通という閾値を用いれば、すでに抽出されている“自由貿易地域（１３回）”と“自由貿易圏（２回）”とは先頭２文字が共通であるため、この閾値で抽出することができる（図７参照）。
【００２７】
同義語対生成部９は、範囲判定部７および類似表現判定部８で要素範囲内とされた単語をまとめあげて復元し、丸括弧内の表現と同義の表現を生成するもので、この発明の同義語対取得手段を実施するものである。図７の例では、“ＡＳＥＡＮ自由貿易地域”、“ＡＳＥＡＮ自由貿易圏”が生成され、最終的に、“ＡＦＴＡ”と“ＡＳＥＡＮ自由貿易地域”との同義語対と、“ＡＦＴＡ”と“ＡＳＥＡＮ自由貿易圏”との同義語対とが得られる。
【００２８】
生成表現チェック部１０は、同義語対生成部９で単語の復元を行なうときに、奇異な表現を生成してしまう可能性があるので、括弧表現チェック部３を参照して、復元した表現が文書データベース２に出現した表現であるか否かチェックし、出現してなければ排除する。
【００２９】
抽出同義語対情報格納部１１は、同義語対生成部９で取得され、生成表現チェック部１０でチェックされた後に残った同義語対を格納する。
【００３０】
図８は、同義語対抽出装置１の具体的構成例を示すものである。すなわち、図８の同義語対抽出装置１は、ＣＰＵ２１，ＲＯＭ２２，ＲＡＭ２３，磁気ディスク２４，磁気ディスク２５，ＣＤ−ＲＯＭドライブ２６などがバス２７で接続されている（Ｉ／Ｏなどは図示を省略する）。
【００３１】
磁気ディスク２４には文書データベース２が構築されている。磁気ディスク２５には所定のプログラムが格納される。このプログラムはこの発明の記憶媒体を実施するＣＤ−ＲＯＭ２８に記憶されていて、ＣＤ−ＲＯＭドライブ２６で読み取り、磁気ディスク２５にインストールしたものである。すなわち、この同義語対抽出装置１は、ＲＯＭ２２に格納されているＢＩＯＳなどや、磁気ディスク２４にインストールされている同義語対抽出処理のための所定プログラムにより動作し、前記した括弧表現チェック部３〜抽出同義語対情報格納部１１の各機能を実現する。抽出同義語対情報格納部１１に格納された同義語対は、図示しないディスプレイ、プリンタなどに出力する。なお、この発明の記憶媒体として、フロッピーディスク、光磁気ディスクなど、各種の記憶媒体を用いることができることはいうまでもない。
【００３２】
以上のように、形態素解析部６で丸括弧前の表現を形態素解析した後、範囲判定部７で丸括弧前の表現を形態素解析にかけた結果の各単語の位置別の出現頻度を出現回数に基づいて求め、当該出現頻度が所定の閾値以上である単語を要素範囲として丸括弧前の表現に設定し、要素範囲として設定された単語をまとめて復元し、丸括弧中の表現に対する同義の表現を生成することにより、丸括弧中の表現と丸括弧前の表現との間で生じる共起単語の統計量に基づいて、丸括弧前の表現に要素範囲の設定を行なうことができるので、括弧内の表現に対応している丸括弧前の要素の範囲を的確に画定して、文書データベース２の文書群中から同義語対を取得する精度を向上させることができる。
【００３３】
また、類似表現判定部８により、要素範囲外とされた丸括弧前の表現と要素範囲内とされた丸括弧中の表現との間で所定条件の文字列の一致があれば、その一致がある丸括弧前の単語を要素範囲に含めることができるので、共起単語の統計量に基づく丸括弧前の表現の要素範囲から漏れた類似語も救うことができ、文書データベース２の文書群中から同義語対を取得する精度をさらに向上させることができる。
【００３４】
【発明の効果】
請求項１または２に記載の発明は、丸括弧前の表現を形態素解析した後、丸括弧前の表現を形態素解析にかけた結果の各単語の位置別の出現頻度を出現回数に基づいて求め、当該出現頻度が所定の閾値以上である単語を要素範囲として丸括弧前の表現に設定し、要素範囲として設定された単語をまとめて復元し、丸括弧中の表現に対する同義の表現を生成することにより、丸括弧中の表現と丸括弧前の表現との間で生じる共起単語の統計量に基づいて、丸括弧前の表現に要素範囲の設定を行なうことができるので、括弧内の表現に対応している丸括弧前の要素の範囲を的確に画定して、文書群中から同義語対を取得する精度を向上させることができる。
【図面の簡単な説明】
【図１】この発明の一実施の形態にかかる同義語対抽出装置の機能ブロック図である。
【図２】前記同義語対抽出装置の括弧表現蓄積ファイルの例を示す表である。
【図３】前記同義語対抽出装置のゴミ情報排除部で用いるパターン例を示す表である。
【図４】前記同義語対抽出装置の形態素解析部で行なう形態素解析の例を示す表である。
【図５】前記同義語対抽出装置の範囲判定部で行なう要素範囲の設定の例を示す概念図である。
【図６】前記同義語対抽出装置の範囲判定部で行なう要素範囲の設定の例を示す概念図である。
【図７】前記同義語対抽出装置の類似表現判定部の処理を説明する概念図である。
【図８】前記同義語対抽出装置の具体的な構成例を示すブロック図である。
【符号の説明】
１ 同義語対抽出装置
２ 文書データベース
３ 括弧表現抽出手段、括弧表現抽出工程
４ 括弧表現蓄積手段、括弧表現蓄積工程
５ 非同義語対パターン判定手段、非同義語対パターン判定工程
６ 形態素解析手段、形態素解析工程
７ 範囲設定手段、範囲設定工程
８ 類似表現判定手段、範囲追加手段、類似表現判定工程、範囲追加工程
９ 同義語対取得手段、同義語対取得工程
Claims (2)
- 丸括弧を含む文から丸括弧中の表現と丸括弧前の表現とを抽出する括弧表現抽出手段と、
前記括弧表現抽出手段により抽出された丸括弧中の表現と丸括弧前の表現とを、丸括弧中の表現に対する丸括弧前の表現の出現回数とともに記憶する括弧表現蓄積手段と、
丸括弧中の表現と丸括弧前の表現との間で同義語対とはならない所定の関係を示すパターンを予め記憶しておく非同義語対パターン記憶手段と、
前記括弧表現蓄積手段に記憶されている丸括弧中の表現および丸括弧前の表現が前記非同義語対パターン記憶手段に記憶されている所定のパターンに該当するか否かを判定する非同義語対パターン判定手段と、
前記非同義語対パターン判定手段により所定のパターンに該当しないと判定された丸括弧前の表現を形態素解析する形態素解析手段と、
前記形態素解析手段によって丸括弧前の表現を形態素解析にかけた結果の各単語の位置別の出現頻度を前記出現回数に基づいて求め、当該出現頻度が所定の閾値以上である単語を要素範囲として丸括弧前の表現に設定する範囲設定手段と、
前記範囲設定手段により要素範囲として設定された単語をまとめて復元し、丸括弧中の表現に対する同義の表現を生成する同義語対取得手段と、
を備えたことを特徴とする同義語対抽出装置。 - コンピュータに読み取り可能なプログラムを記憶していて、
このプログラムは、コンピュータに読み取られることにより、文書データベースに格納された文書群中から同義語対を取得することをコンピュータに実行可能とするものであり、
この同義語対の取得は、
丸括弧を含む文から丸括弧中の表現と丸括弧前の表現とを抽出し、
前記括弧表現抽出手段により抽出された丸括弧中の表現と丸括弧前の表現とを、丸括弧中の表現に対する丸括弧前の表現の出現回数とともに記憶装置に記憶し、
丸括弧中の表現と丸括弧前の表現との間で同義語対とはならない所定の関係を示すパターンを予め記憶し、
記憶装置に記憶されている丸括弧中の表現および丸括弧前の表現が所定のパターンに該当するか否かを判定し、
所定のパターンに該当しないと判定された丸括弧前の表現を形態素解析し、
丸括弧前の表現を形態素解析にかけた結果の各単語の位置別の出現頻度を前記出現回数に基づいて求め、当該出現頻度が所定の閾値以上である単語を要素範囲として丸括弧前の表現に設定し、
要素範囲として設定された単語をまとめて復元し、丸括弧中の表現に対する同義の表現を生成する、
ことにより実行するものであることを特徴とする記憶媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP13497398A JP3853974B2 (ja) | 1998-05-18 | 1998-05-18 | 同義語対抽出装置および記憶媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP13497398A JP3853974B2 (ja) | 1998-05-18 | 1998-05-18 | 同義語対抽出装置および記憶媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11328205A JPH11328205A (ja) | 1999-11-30 |
| JP3853974B2 true JP3853974B2 (ja) | 2006-12-06 |
Family
ID=15140944
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP13497398A Expired - Lifetime JP3853974B2 (ja) | 1998-05-18 | 1998-05-18 | 同義語対抽出装置および記憶媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3853974B2 (ja) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006190044A (ja) * | 2005-01-05 | 2006-07-20 | Ricoh Co Ltd | 関連文字列生成装置、プログラム、及び記憶媒体 |
| JP4933741B2 (ja) * | 2005-03-18 | 2012-05-16 | 株式会社リコー | 情報処理装置、同義語対生成方法、同義語対生成プログラム、同義語対生成プログラムを記録した記録媒体 |
| JP4650072B2 (ja) * | 2005-04-12 | 2011-03-16 | 富士ゼロックス株式会社 | 質問応答システム、およびデータ検索方法、並びにコンピュータ・プログラム |
| JP4915499B2 (ja) * | 2005-12-22 | 2012-04-11 | 日本電気株式会社 | 同義語辞書生成システム、同義語辞書生成方法および同義語辞書生成プログラム |
| JP2009122807A (ja) * | 2007-11-13 | 2009-06-04 | Nomura Securities Co Ltd | 連想検索システム |
| JP5145288B2 (ja) * | 2009-05-14 | 2013-02-13 | 株式会社エヌ・ティ・ティ・データ | 類義語辞書構築装置及び方法、コンピュータプログラム |
-
1998
- 1998-05-18 JP JP13497398A patent/JP3853974B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH11328205A (ja) | 1999-11-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Peterson | Computer programs for detecting and correcting spelling errors | |
| CA2488814C (en) | System, method, program product, and networking use for recognizing words and their parts of speech in one or more natural languages | |
| Taghva et al. | Arabic stemming without a root dictionary | |
| JP4467791B2 (ja) | 情報管理及び検索 | |
| Menai | Detection of plagiarism in Arabic documents | |
| Mihalcea | Language independent extractive summarization | |
| US7503035B2 (en) | Software tool for detecting plagiarism in computer source code | |
| Tang et al. | Email data cleaning | |
| Ramnial et al. | Authorship attribution using stylometry and machine learning techniques | |
| Gupta et al. | A survey of common stemming techniques and existing stemmers for indian languages | |
| Zhang et al. | Extraction of Chinese compound words-an experimental study on a very large corpus | |
| KR100406671B1 (ko) | 문장 표절 및 도용 검색 방법 | |
| Theeramunkong et al. | Character cluster based thai information retrieval | |
| JP3853974B2 (ja) | 同義語対抽出装置および記憶媒体 | |
| Yang | Chinese keyword extraction based on max-duplicated strings of the documents | |
| Arslan | DeASCIIfication approach to handle diacritics in Turkish information retrieval | |
| Rahmatulloh et al. | Comparison between the stemmer porter effect and nazief-adriani on the performance of winnowing algorithms for measuring plagiarism | |
| Nwesri et al. | Stemming Arabic conjunctions and prepositions | |
| Fahrni et al. | HITS'Monolingual and Cross-lingual Entity Linking System at TAC 2013. | |
| Lazarinis et al. | Current research issues and trends in non-English Web searching | |
| CN109885829B (zh) | 一种基于词的口令强度评价方法 | |
| Husain et al. | A language Independent Approach to develop Urdu stemmer | |
| Kawahara et al. | Question and Answering System based on Predicate-Argument Matching. | |
| Davis Jr et al. | Approximate String Matching for Geographic Names and Personal Names. | |
| Ledeneva | Effect of preprocessing on extractive summarization with maximal frequent sequences |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20050609 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060316 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060613 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060808 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060905 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060907 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090915 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100915 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110915 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120915 Year of fee payment: 6 |