JP3598211B2 - 関連語抽出装置および関連語抽出方法および関連語抽出プログラムが記録されたコンピュータ読取可能な記録媒体 - Google Patents

Description

【０００１】
（目次）
発明の属する技術分野
従来の技術
発明が解決しようとする課題
課題を解決するための手段
発明の実施の形態（図１〜図３０）
発明の効果
【０００２】
【発明の属する技術分野】
本発明は、大容量文書情報から関連語の抽出に用いて好適な関連語抽出装置および関連語抽出方法および関連語抽出プログラムが記録されたコンピュータ読取可能な記録媒体に関するものである。
【０００３】
【従来の技術】
従来、文書情報から関連語を抽出するに際して、最もよく行なわれていることとして、人手で、文書情報から関連語と判断し得るものを抜粋して、関連語のリストを作成する手法が行なわれる他、人手で作ったシソーラスを利用して関連語のリストを作成する手法も行なわれている。
【０００４】
一方、人手の作業とせずに、計算機を使って自動で抽出する方法では、以下に述べる関連語のリストを作成する手法が案出されている。
その一の手法は、関連語としての二つの単語において、その二つの単語が、共起する頻度、すなわち二つの単語が共に文書情報の中で出現する頻度を基本として関連語のリストを作成するものである。共起と見做す範囲には、数単語以内や、数十単語以内，１分内，１段落内などさまざまなものがある。
【０００５】
単純に共起する頻度を集計して、その頻度が高いものから関連語と判断する以外にも、以下に述べる手法がとられている。
事前にキーワードである単語の集合（単語群）を決めておき、その単語群に属する単語間において、共起する頻度を集計することにより、関連語のリストを作成する技術が案出されている。
【０００６】
関連語のリストを作成するドキュメント（文書）に対して、形態素解析を行なうことで単語の品詞を決め、機能語を取り除いたり或いは自立語のみについてだけ共起する頻度を集計することにより、関連語のリストを作成する技術が案出されている。
ドキュメント中、指定する単語と共起する単語の頻度を基本として、頻度の高い関連語と頻度の低い関連語のものを関連語のリスト作成において除外することにより、関連語のリストを作成する技術が案出されている。
【０００７】
構文解析等を行ない、重要な関係を持つ単語間についてのみ共起する頻度を集計して、関連語のリストを作成する技術が案出されている。
共起する頻度をそのまま関連語と判断する基準とする以外に、相互情報量と呼ばれる値を使う技術（以下，「技術Ａ」と言う。）も案出されている。
ここで、相互情報量（ｍｕｔｕａｌ ｉｎｆｏｒｍａｔｉｏｎ，伝達情報量， ｔｒａｎｓｆｅｒｒｅｄ ｉｎｆｏｒｍａｔｉｏｎ）とは、事象ｘの生起を知ることにより伝えられる情報量と、他の事象ｙが生起したという条件下で事象ｘの生起を知ることにより伝えられる条件付き情報量との差を言い，数学的には、ｘｉ，ｙｉの入力通報がｘｉ，出力通報がｙｉである事象の組をいう。ここで、ｐ（ｘｉ，ｙｉ）を事象ｘｉとｙｉの生起する結合確率，ｐ（ｘｉ｜ｙｉ） を事象ｙｉが生起したという条件下で事象ｘｉの生起する確率，ｐ（ｙｉ｜ｘｉ） を事象ｘｉが生起したという条件下で事象ｙｉの生起する確率，ｐ（ｘｉ） を事象ｘｉの生起する確率，ｐ（ｙｉ） を事象ｙｉの生起確率とするとき、事象の組ｘｉ，ｙｉ に対する相互情報量（伝達情報量）Ｔ（ｘｉ｜ｙｉ） は、下記の数式（１）に示す式で与えられる。
【０００８】
【数１】

【０００９】
数式（１）により与えられる式を用いて相互情報量Ｔ（ｘｉ｜ｙｉ） を算出することで、指定された単語ｘｉとそれに対するｙｉとの関連度を相互情報量により算出し、その算出した値を用いて、関連語のリストを作成することも考えられる。
【００１０】
【発明が解決しようとする課題】
しかし、人手で、関連語のリストを作成するものでは、手間がかかり作成コストが高いばかりでなく、新しい言葉に対応するためにはその都度作成しなければならないという課題がある。
一方、計算機を使う方法でも、事前にキーワードを決める方法では事前にキーワードを決める作業が必要となるという課題がある。
【００１１】
また、機能語を削除したり、自立語のみを取り出す方法では、形態素解析などの技術を使って品詞の情報等を得ることが必要であるという課題がある。
高頻度である関連語と低頻度である関連語を除く方法では、頻度がいくつ以上のものを除外するか、いくつ以下のものを除外するかを決定するのが容易ではないとういう課題がある。
【００１２】
構文解析を必要とするものは、構文解析を行なうことによりその分だけ手間がかかるという課題がある。
形態素解析や構文解析を前提とする場合には、それらの性能も十分高くなくてはならず、また十分な性能を得ようとすれば絶えず辞書や文法の整備が必要となるという課題がある。
【００１３】
前記した数式（１）に示すの相互情報量Ｔ（ｘｉ｜ ｙｉ） の式を用いて関連語のリストを作成する技術Ａでは、事前に関連語検索の対象となる事項を予め決めておくことや、形態素解析の処理は必ずしも必要ではないが、単語の出現順序に依存しているため、出現順序に依存した関連語のリストを作成するに留まり、利用者がこの相互情報量を作成した関連語のリストを理解するにも分かり難いという課題がある。
【００１４】
本発明は、上記課題を解決するために創案されたもので、相互情報量を用いることにより、形態素解析また構文解析の処理を施すことなく、利用者にとって分かり易く、かつ、精度を高くして関連語を抽出できるようにした、関連語抽出装置および関連語抽出方法および関連語抽出プログラムが記録されたコンピュータ読取可能な記録媒体を提供することを目的とする。
【００１５】
【課題を解決するための手段】
上記課題を解決する本発明の関連語抽出装置は、テキストデータ上において、指定された単語の前に出現する前出現単語または上記指定された単語の後に出現する後出現単語を抽出する前後出現単語抽出部と、上記指定された単語がテキストデータ上で出現する頻度，上記の前出現単語または後出現単語がテキストデータ上で出現する頻度および該前後出現単語抽出部にて抽出された上記の前出現単語および後出現単語の頻度を計算しうる頻度計算部と、該頻度計算部からの上記指定された単語の頻度情報および上記の前出現単語および後出現単語のテキストデータ上での出現頻度情報に基づいて、上記指定された単語の出現確率とともに上記の前出現単語および後出現単語それぞれの出現確率を計算しうる出現確率計算部と、該頻度計算部からの、該前後出現単語抽出部にて抽出された上記の前出現単語および後出現単語の頻度情報に基づいて、上記の前出現単語および後出現単語のそれぞれが上記指定された単語と共起する共起確率を計算する共起確率計算部と、該出現確率計算部からの各出現確率情報と、該共起確率計算部からの各共起確率情報とに基づいて、上記の指定された単語に対する前出現単語および後出現単語の、出現順序に依存する関連度を計算する順序依存型単語関連度計算部と、該順序依存型単語関連度計算部からの関連度情報に基づいて、上記の指定された単語に対する前出現単語および後出現単語の、出現順序に依存しない関連度を計算する順序無依存型単語関連度計算部と、該順序無依存型単語関連度計算部にて計算された関連度情報に基づいて、関連度の高い単語を関連語として抽出する単語群抽出部と、をそなえて構成されたことを特徴としている。
【００１６】
さらに、上記指定された単語に関する各種計算結果および抽出結果のうちの少なくとも一つを記憶しておく記憶部をそなえて構成することとしてもよい。
また、上記テキストデータについて単語または形態素の単位に分割する単語分割部をそなえ、該単語分割部にて分割された結果を用いることにより、上記の前後出現単語抽出部および頻度計算部における処理を行なうように構成することもできる。
さらに、該単語群抽出部から、上記指定された単語としての少なくとも２つの単語それぞれに関連する単語群の抽出結果を用いることにより、上記少なくとも２つの単語間の類似度を計算する類似度計算部をそなえて構成することとしてもよい。
【００１７】
また、上記テキストデータについて単語または形態素の単位に分割する単語分割部をそなえ、該単語分割部にて分割された結果を用いることにより、上記の前後出現単語抽出部および頻度計算部における処理を行なうように構成されたこととしてもよい。
さらに、該単語群抽出部から、上記指定された単語としての少なくとも２つの単語それぞれに関連する単語群の抽出結果を用いることにより、上記少なくとも２つの単語間の類似度を計算する類似度計算部をそなえて構成されたこととしてもよい。
【００１８】
また、本発明の関連語抽出方法は、記憶部を有するコンピュータが、ある単語に関連する関連語としての単語群をテキストデータから抽出する関連語抽出方法において、テキストデータ上において、指定された単語の前に出現する前出現単語および後に出現する後出現単語を抽出し、前記記憶部に記憶を行なう前後出現単語抽出ステップと、該前後出現単語抽出ステップにて前記記憶部に記憶された前出現単語および後出現単語を前記記憶部から読み出し、読み出された前記の前出現単語および後出現単語のそれぞれが、前記指定された単語と共起する共起確率を計算し、前記記憶部に記憶を行なう共起確率計算ステップと、前記指定された単語の出現確率とともに、該前後出現単語抽出ステップにて抽出された前出現単語および後出現単語それぞれの出現確率を計算し、前記記憶部に記憶を行なう出現確率計算ステップと、上記の共起確率計算ステップにて前記記憶部に記憶された各共起確率情報および出現確率計算ステップにて前記記憶部に記憶された各出現確率情報を前記記憶部から読み出し、読み出された前記の各共起確率情報および各出現確率情報に基づいて、上記の指定された単語に対する前出現単語および後出現単語の、出現順序に依存する順序依存型単語関連度を計算し、前記記憶部に記憶を行なう順序依存型単語関連度計算ステップと、該順序依存型単語関連度計算ステップにて前記記憶部に記憶された順序依存型単語関連度情報を前記記憶部から読み出し、読み出された前記順序依存型単語関連度情報に基づいて、上記の指定された単語に対する前出現単語および後出現単語の、出現順序に依存しない順序無依存型単語関連度を計算し、前記記憶部に記憶を行なう順序無依存型単語関連度計算ステップと、該順序無依存型単語関連度計算ステップにて前記記憶部に記憶された順序無依存型単語関連度情報を前記記憶部から読み出し、読み出された前記順序無依存型単語関連度情報に基づいて、関連度の高い単語を関連語として抽出する単語抽出ステップと、を実行することを特徴としている。
【００１９】
更に、前記コンピュータは、更に、該前後出現単語抽出ステップにおける上記の前出現単語および後出現単語を抽出する前段または後段において、上記テキストデータについて単語または形態素の単位に分割する単語分割ステップを実行することとしてもよい。
また、前記コンピュータは、更に、該単語群抽出ステップにて上記指定された単語としての少なくとも２つの単語それぞれに関連する単語群を抽出した後に、抽出された上記各単語に関連する単語群から、上記少なくとも２つの単語間の類似度を計算する類似度計算ステップを実行することとしてもよい。
【００２０】
また、前記コンピュータは、更に、該単語群抽出ステップにて上記指定された単語としての少なくとも２つの単語それぞれに関連する単語群を抽出した後に、抽出された上記各単語に関連する単語群から、上記各単語全てに関連する単語群を抽出する関連単語群抽出ステップをそなえることもできる。
さらに、前記コンピュータは、更に、前記指定された単語に対して同義と見做しうる単語がある場合には、該単語群抽出ステップにおいて、上記同義と見做しうる単語に関連する単語群と、上記指定された単語に関連する単語群とを一つにまとめて出力することとしてもよい。
【００２１】
さらに、本発明の関連語抽出プログラムが記録されたコンピュータ読取可能な記録媒体は、ある単語に関連する関連語としての単語群をテキストデータから抽出すべく、記憶部を有するコンピュータに、テキストデータ上において、指定された単語の前に出現する前出現単語および後に出現する後出現単語を抽出し、前記記憶部に記憶を行なう前後出現単語抽出機能と、該前後出現単語抽出機能にて前記記憶部に記憶された前出現単語および後出現単語を前記記憶部から読み出し、読み出された前記の前出現単語および後出現単語のそれぞれが、該対象単語指定機能にて指定された単語と共起する共起確率を計算し、前記記憶部に記憶を行なう共起確率計算機能と、前記指定された単語の出現確率とともに、該前後出現単語抽出機能にて抽出された前出現単語および後出現単語それぞれの出現確率を計算し、前記記憶部に記憶を行なう出現確率計算機能と、上記の共起確率計算機能にて前記記憶部に記憶された各共起確率情報および出現確率計算機能にて前記記憶部に記憶された各出現確率情報を前記記憶部から読み出し、読み出された前記の各共起確率情報および各出現確率情報に基づいて、上記の指定された単語に対する前出現単語および後出現単語の、出現順序に依存する順序依存型単語関連度を計算し、前記記憶部に記憶を行なう順序依存型単語関連度計算機能と、該順序無依存型単語関連度計算機能にて前記記憶部に記憶された順序依存型単語関連度情報を前記記憶部から読み出し、読み出された前記順序依存型単語関連度情報に基づいて、上記指定された単語に対する前出現単語および後出現単語の、出現順序に依存しない順序無依存型関連度を計算し、前記記憶部に記憶を行なう順序無依存型単語関連度計算機能と、該順序無依存型単語関連度計算機能にて前記記憶部に記憶された順序無依存型単語関連度情報に基づいて、関連度の高い単語を関連語として抽出する単語抽出機能と、を実行させるための関連語抽出プログラムが記録されたことを特徴としている。
【００２２】
【発明の実施の形態】
以下、図面を参照して発明の実施の形態の説明をする。
（１）実施の形態の説明
（ａ）ハードウェア構成の説明
図１は、本発明の一実施形態としての関連語抽出装置が適用されるシステムを示す図であり、この図１に示すように、本システム（例えば汎用のコンピュータシステム）１は、ＣＰＵや所要のメモリ等を内蔵する本体装置１ａ，ディスプレイ１ｂ，キーボード１ｃ等を兼ね備えて構成される。
【００２３】
本体装置１ａは、関連語抽出プログラムを記録している媒体，例えば，ＣＤ−ＲＯＭや、光磁気ディスク（以下、「ＭＯ」と言う。）やフロッピーディスク（以下、「ＦＤ」と言う。）等１ｆから関連語抽出プログラムをハードディスク（図示しない）等に格納し、関連語抽出プログラムを実行する際には、関連語抽出プログラムをメモリ（図示しない）に展開してＣＰＵ（図示しない）とともに、ディスプレイ１ｂ，キーボード１ｃ等の接続機器に制御を施すようになっている。
【００２４】
図２は、本発明の関連語抽出プログラムが適用された汎用のコンピュータシステムの要部を示すブロック図であり、この汎用のコンピュータシステム（以下においては、単に汎用コンピュータあるいはコンピュータと記す場合がある。）１は、ＣＰＵ１１，メモリ１２，ハードディスク１３，入力装置１４，出力装置１５を要部として構成される。
【００２５】
ハードディスク１３は、ＣＤ−ＲＯＭドライブ１ｄやＦＤドライブ１ｅ等から記録媒体に記録されている関連語抽出プログラムを保持するものである。
入力装置１４は、ＣＰＵ１１等にデータやプログラム等の情報を入力するために用いる装置であり、キーボード１ｃやマウス（図示しない）やＣＤ−ＲＯＭドライブ１ｄ、ＦＤドライブ１ｅ等が該当する。
【００２６】
出力装置１５は、ＣＰＵ１１からの画像表示情報や検索情報等を外部へ出力するものであり、ディスプレイ１ｂ等が該当する。
（ｂ）一実施形態の説明
図３は、本発明の一実施形態にかかる関連語抽出装置が適用されたシステム（汎用コンピュータ）１のブロック図であり、この図３に示すようにコンピュータ１は前後出現単語抽出部２１，頻度計算部２２，共起確率計算部２４，出現確率計算部２３，順序依存型単語関連度計算部２５，順序無依存型単語関連度計算部２６，単語抽出部２７，単語分割部２８，記憶部（図示しない）をそなえて構成される。
【００２７】
前後出現単語抽出部２１は、テキストデータ上において、指定された単語の前に出現する前出現単語または指定された単語の後に出現する後出現単語を抽出するものである。ここで、指定された単語とは、テキストデータ上の文書情報から関連語を抽出するときの基になるキーワードである。
なお、説明の便宜を考慮して、テキストデータに出現する単語の集合をＷ，テキストデータに含まれる全単語数をＮ，テキストデータに出現する個々の単語をωｉ（ωｉ∈Ｗ，１≦ｉ≦ｗ），テキストデータに出現するすべての単語タイプ数ｗとする。
【００２８】
なお、以下において、キーワードの前に出現する単語をωｆｉ、キーワードの後に出現する単語をωｂｉと言う場合がある。
頻度計算部２２は、指定された単語（以下、「キーワード」と言う。）がテキストデータ上で出現する頻度，前出現単語または後出現単語がテキストデータ上で出現する頻度および前後出現単語抽出部２１にて抽出された前出現単語および後出現単語の頻度を計算しうるものである。ここで、頻度は、所定量の文字情報からキーワードがいくつあるかを示す指標であり、例えば、１０００単語から構成される英文にある英単語ＸがＭ個（Ｍは自然数）あるなら数値Ｍが出現数を示す指標となる。ここで、頻度の計算を行なう文書の範囲は、装置の保守者や設計者等の設計や設定等に依存するようになっている。
【００２９】
テキストデータ中での単語ωｉ の頻度ｆ（ωｉ）は、以下の数式（２）に示すような関係が成り立つ。
【００３０】
【数２】

【００３１】
出現確率計算部２３は、頻度計算部２２からの指定された単語の頻度情報および前出現単語および後出現単語のテキストデータ上での出現頻度情報に基づいて、指定された単語の出現確率とともに上記の前出現単語および後出現単語それぞれの出現確率を計算しうるものである。
テキストデータ中での単語ωｉ が出現する確率Ｐ（ωｉ）は、以下の数式（３）に示すような関係が成り立つ。
【００３２】
【数３】

【００３３】
共起確率計算部２４は、頻度計算部２２からの、前後出現単語抽出部２１にて抽出された前出現単語および後出現単語の頻度情報に基づいて、前出現単語および後出現単語のそれぞれが指定された単語と共起する共起確率を計算するものである。
なお、テキストデータ中で、単語ωｉ と単語ωｊ がこの順番で出現する確率をＰ（ωｉ，ωｊ）と記す。
【００３４】
この共起確率を求めるには、前後出現単語抽出部２１にて抽出された単語それぞれについて頻度を計算する。抜き出した単語の頻度情報をｆ（ωｆｉ）＝ｆ（ωｉ，ωｋ），ｆ（ωｂｉ）＝ｆ（ωｉ，ωｋ）とするとＰ（ωｉ，ωｋ）＝ｆ（ωｉ，ωｋ）／Ｎ，Ｐ（ωｉ，ωｋ）＝ｆ（ωｉ，ωｋ）／Ｎと定義することができる。
ここで、例として、前出現単語として抽出された単語のリスト中に含まれていいる頻度数をｆ（ωｆｉ） としており、換言すると単語ωｉ と単語ωｋ とがこの順番で出現する頻度ｆ（ωｉ，ωｋ）であることを意味する。
【００３５】
順序依存型単語関連度計算部２５は、出現確率計算部２３からの各出現確率情報と、共起確率計算部２４からの各共起確率情報とに基づいて、指定された単語に対する前出現単語および後出現単語の、出現順序に依存する関連度を計算するものである。
順序依存型単語関連度は、以下の数式（４）に示す式で定義され、単語ωｉ と単語ωｊ との単語関連率を次のように定義される。
【００３６】
【数４】

【００３７】
Ｐ（ωｉ，ωｊ）は、コーパス（大量の文書データ）中でこの順番で単語ωｉと単語ωｊが出現する確率を表わす。
以下、順序依存型単語関連度Ａ（ωｉ，ωｊ）をＡｉｊ と示す場合がある。
順序無依存型単語関連度計算部２６は、順序依存型単語関連度計算部２５からの関連度情報に基づいて、指定された単語に対する前出現単語および後出現単語の、出現順序に依存しない関連度を計算するものである。
【００３８】
単語ωｉ と単語ωｊ の関連度ｒ（ωｉ，ωｊ）は、以下の数式（５）に示すように定義される。
【００３９】
【数５】

【００４０】
単語群抽出部２７は、順序無依存型単語関連度計算部２６にて計算された関連度情報に基づいて、指定された単語に関連する単語群をテキストデータから抽出するものである。単語抽出部２７は、関連度の高いものから上位の関連語を抜き出すようになっている。
単語分割部２８は、テキストデータについて単語または形態素の単位に分割するものである。
【００４１】
記憶部（図示しない）は、指定された単語に関する各種計算結果および抽出結果のうちの少なくとも一つを記憶しておくものである。
記憶部は、頻度計算部２２で計算した頻度情報，前後出現単語抽出部２１で抜き出した単語の情報，共起確率計算部２４で計算された共起確率の情報，単語出現確率計算部２３にて計算された出現確率情報，順序依存型単語関連度計算部２６にて計算された関連度情報，順序無依存型単語関連度情報計算部２６にて計算された関連度情報，単語分割部２８にて単語または形態素の単位に分割されたテキストデータの情報を記憶するようになっている。
【００４２】
さらに、上記各部とＣＰＵ１１，メインメモリ１２，ＨＤＤ１３，等とを具体的に関連付けて説明すると、以下のようになる。
単語分割部２８としてのＣＰＵ１１は、テキストデータに含まれている文書情報に対して単語または形態素の単位に分割するものである。
ここで、テキストデータは、ＦＤやＣＤ−ＲＯＭ等の媒体やハードディスク１３に格納されているようになっているが、さらに、スキャナーからテキストデータを読み込むようにしてもよい。以下、テキストデータが、ハードディスク１３に格納されている場合を前提にするが、ＦＤやＣＤ−ＲＯＭ等の媒体にテキストデータが格納されている場合も同様であることを意味する。
【００４３】
ＣＰＵ１１は、テキストデータを形態素解析の処理を施すに際して、テキストデータの文書情報をメモリ１２に展開して単語または形態素の単位に分割するようになっており、形態素解析処理が行われて単語または形態素の単位に分割されたテキストデータの文書情報は、記憶部としてのハードディスク１３やメモリ１２に格納されるようになっている。
【００４４】
例えば、単語分割部２８としてのＣＰＵ１１は、図４に示すように文書内容のテキストデータを図５に示すように単語あるいは形態素の単位に分割するようになっている。以下、図４に示す新聞記事を文書内容とするテキストデータを基に、説明する。
前後出現単語抽出部２１としてのＣＰＵ１１は、装置利用者によるキーボード１ｃ等の操作からキーワード（以下、場合によりキーワードを記す表示としてωｋを記す場合がある。）ωｋ の情報を受け取ると、キーワードωｋ の前に出現する前出現単語ωｆｉまたはキーワードωｋ の後に出現する後出現単語ωｂｉを抽出するものである。
【００４５】
ＣＰＵ１１は、キーワードωｋ に対する前出現単語ωｆｉ，後出現単語ωｂｉを抽出する際に、ハードディスク１３に格納されている文書情報（テキストデータ）をメモリ１２に展開して前出現単語ωｆｉ， 後出現単語ωｂｉを抽出するようになっている。この抽出した結果は、メモリ１２或いはハードディスク１３に格納されるようになっている。
【００４６】
ここで、図６（ａ），（ｂ）は、図５に示すような単語あるいは形態素の単位に分割された内容の文書情報であるテキストデータに対してキーワードωｋ を「日光」として、前出現単語ωｆｉ， 後出現単語ωｂｉを抽出した情報を示す図であり、図６（ａ）はキーワードωｋ （「日光」）の前に出現する単語を抽出した情報を示す図であり、図６（ｂ）はキーワードωｋ （「日光」）の後に出現する単語を抽出した情報を示す図である。前後出現単語抽出部２１としてのＣＰＵ１１は、図６（ａ），（ｂ）に示すような抽出した単語あるいは形態素をメモリ１２上のテーブルに格納するようになっている。
【００４７】
頻度計算部２２としてのＣＰＵ１１は、キーワードをテキストデータ上で出現する頻度ｆ（ωｋ），前出現単語または後出現単語のテキストデータの文書情報中に出現する頻度ｆ（ωｉ）、前後出現単語抽出部にて抽出された前出現単語および後出現単語の頻度ｆ（ωｆｉ），ｆ（ωｂｉ） を計算するものである。例えば、頻度計算部２２としてのＣＰＵ１１は、前出現単語ωｆｉの頻度ｆ（ωｆｉ） を計算するに際して、図６（ａ）に示すような前出現単語として抽出された単語のリスト内に出現している数を基に算出するようになっている。
【００４８】
頻度計算部２２としてのＣＰＵ１１は、図６に示すようなデータをメモリ１２上のテーブルで整列する等の処理を施してその単語の頻度を数えるようになっている。
ここで、図７は、図５に示すような単語あるいは形態素に分割された内容の文書情報であるテキストデータ中の単語について算出した頻度数の例を示す図である。
【００４９】
また、図８は、図５に示すような単語あるいは形態素に分割された内容の文書情報であるテキストデータ中の全単語について算出した頻度数を提示する図であり、この図８に示すような頻度数の数値を基に共起する割合を考察すると、関連語とは直接的に結びつかない言葉、例えば「の」，「は」，「。」等の助詞や句読点が高頻度で共起するものになっている。
【００５０】
ＣＰＵ１１は、計算した頻度ｆ（ωｋ），ｆ（ωｆｉ），ｆ（ωｂｉ），ｆ（ωｉ）のデータ情報を保持するようにメモリ１２やハードディスク１３を制御するようになっている。
出現確率計算部２３としてのＣＰＵ１１は、頻度計算部２２からの指定された単語の頻度情報ｆ（ωｋ）および前出現単語および後出現単語のテキストデータ上での出現頻度情報ｆ（ωｉ）に基づいて、キーワードの出現確率とともに前出現単語および後出現単語それぞれの出現確率を計算しうるものである。
【００５１】
ここで、ＣＰＵ１１は、出現確率の計算を行なうに際して、頻度計算部２２で算出されたデータ情報を利用するようになっている。それに対応する情報をメモリに関連付けて処理作業を行なうようになっている。
また、ＣＰＵ１１は、算出した出現確率の情報をメモリ１２やハードディスク１３に保持するようになっている。
【００５２】
共起確率計算部２４としてのＣＰＵ１１は、頻度計算部２２からの、前後出現単語抽出部にて抽出された前出現単語および後出現単語の頻度情報に基づいて、前出現単語および後出現単語のそれぞれがキーワードωｋ と共起する共起確率Ｐ（ωｉ，ωｋ），Ｐ（ωｋ，ωｉ）を計算するようになっている。
順序依存型単語関連度計算部２５としてのＣＰＵ１１は、出現確率計算部２３からの各出現確率情報Ｐ（ωｉ），Ｐ（ωｋ）と、共起確率計算部２４からの各共起確率情報Ｐ（ωｉ，ωｋ），Ｐ（ωｋ，ωｉ）とに基づいて、上キーワードωｋ に対する前出現単語および後出現単語の、出現順序に依存する関連度Ａ（ωｋ，ωｉ），Ａ（ωｉ，ωｋ）を計算するものである。
【００５３】
ＣＰＵ１１は、出現順序に依存する関連度Ａ（ωｋ，ωｉ），Ａ（ωｉ，ωｋ）を算出するに際して、その計算に用いる情報Ｐ（ωｉ），Ｐ（ωｋ），Ｐ（ωｉ，ωｋ），Ｐ（ωｋ，ωｉ）をハードディスク１３からメモリ１２に読みだすようになっている。
また、ＣＰＵ１１は、計算した関連度Ａ（ωｋ，ωｉ），Ａ（ωｉ，ωｋ）をハードディスク１３やメモリ１２に保持するようになっている。
【００５４】
ここで、図９は、キーワード「日光」の前に出現する単語ωｆｉとの関連度Ａ（ωｉ，ωｋ）を提示する図であり、一方図１０は、キーワード「日光」の後に出現する単語ωｂｉとの関連度Ａ（ωｋ，ωｉ）を提示する図である。これらの図９および図１０に示すような関連度の情報がメモリ１２のテーブル上に言葉と数値とを対応して格納すうようになっている。
【００５５】
順序無依存型単語関連度計算部２６としてのＣＰＵ１１は、順序依存型単語関連度計算部２５からの関連度情報Ａ（ωｋ，ωｉ），Ａ（ωｉ，ωｋ）に基づいて、キーワードωｋ に対する前出現単語および後出現単語の、出現順序に依存しない関連度ｒ（ωｉ，ωｋ）を計算するものである。
ＣＰＵ１１は、関連度情報ｒ（ωｉ，ωｋ）を算出するに際して、計算に用いる情報Ａ（ωｋ，ωｉ），Ａ（ωｉ，ωｋ）をメモリ１１やハードディスク１３から読みだして、演算処理を行なうようになっている。
【００５６】
ここで、図１１は、順序無依存型単語関連度計算部２６としてのＣＰＵ１１が、図９，図１０に提示されているデータを基に、出現順序に依存しない関連度ｒ（ωｉ，ωｋ）を提示する図である。
ＣＰＵ１１は、この図１１に示すような関連度情報ｒ（ωｉ，ωｋ）を言葉と数値を対応付けてメモリ１２のテーブル上に格納するようになっている。
【００５７】
単語抽出部２７としてのＣＰＵ１１は、順序無依存型単語関連度計算部２６にて計算された関連度情報ｒ（ωｉ，ωｋ）に基づいて、キーワードωｋ に関連する単語群を上テキストデータから抽出する。
ＣＰＵ１１は、テキストデータからキーワードωｋ に関連する単語群を抽出するに際して、順序依存型単語関連度計算部２６にて計算された結果を用いるようになっている。
【００５８】
例えば、関連度の高い単語群を抽出するようなときは、ＣＰＵ１１は、順序依存型単語関連度計算部２６にて計算された関連度情報ｒ（ωｉ，ωｋ）を用いて、この関連の度合いを示す数値により、数値の大きい単語から順に出力するようになっている。
具体的には、ＣＰＵ１１は、図１１に示すような順序に依存しない関連度の中から上位５位までの出力する等行なうようになっており、ＣＰＵ１１が単語群を具体的に何語出力するかは装置の設計者や保守者等による設計や操作に依存するようなっている。以下、単語抽出部２７としてのＣＰＵ１１が、順序に依存する関連度情報ｒ（ωｉ，ωｋ）から数値の大きい上位１０位までの単語或いは形態素を抽出して出力することを前提に説明する。
【００５９】
なお、単語抽出部２７としてのＣＰＵ１１は、抽出した単語群をメモリ１２等にて保持するような制御を行なうこともできるようになっており、以下、抽出した単語のリストをメモリ１２等で保持することを前提に説明する。
ここで、ＣＰＵ１１は、装置の利用者から単語「日光」の関連語のリストを求める信号を受けた場合には、メモリ１２上のテーブル等に抽出された関連語のリスト情報が存在するか否かを判断し、存在している場合にはその情報を用いることで、関連語リストを出力することができるようになっていることに対応する。
【００６０】
また、ＣＰＵ１１は、抽出した単語群をディスプレイの画面に表示したり印字してプリントアウトするような制御を行なうことができるものである。
記憶部としてのメモリ１２やハードディスク１３は、キーワードωｋ に関する各種計算結果Ｐ（ωｋ），Ｐ（ωｉ，ωｋ），ｒ（ωｉ，ωｋ）等の計算結果や頻度情報ｆ（ωｋ），ｆ（ωｆｉ） 等の抽出した結果を記憶しておくものである。なお、以下、場合により、メモリ１２やハードディスク１３等のデータ情報を記憶しておくものを記憶装置と言う場合がある。
【００６１】
上述の構成により、本発明の一実施形態の関連語抽出装置が適用された汎用コンピュータ１では、本体装置１ａ内へＣＤ−ＲＯＭ等のコンピュータ読み取り可能な記録媒体から関連語抽出プログラムがコンピュータ内にインストールされることで、動作し得る状態になる。
ところで、関連語抽出プログラムは、汎用コンピュータ１に、キーワードωｋ に関連する関連語としての単語群をテキストデータから抽出すべく、対象単語指定機能，頻度計算機能， 前後出現単語抽出機能，共起確率計算機能，出現確率計算機能，順序依存型単語関連度計算機能，順序無依存型単語関連度計算機能，単語群抽出機能，単語分割機能を実行させるためのコンピュータ１の処理に適した命令が順番付けられた列である。
【００６２】
なお、対象単語指定機能はコンピュータ１においてテキストデータ中から関連語を抽出すべき対象となるキーワードを指定する機能であり、単語分割機能はコンピュータ１においてテキストデータ中の文書情報を単語または形態素の単位に分割する機能であり、前後出現単語抽出機能はコンピュータ１においてテキストデータ内のキーワードωｋ の前に出現する前出現単語ωｆｉまたはキーワードωｋ の後に出現する後出現単語ωｂｉを抽出する機能であり、頻度計算機能はコンピュータ１において頻度ｆ（ωｉ），ｆ（ωｋ）等を算出する機能である。
【００６３】
出現確率計算機能はコンピュータ１においてキーワードωｋ の出現確率Ｐ（ωｋ）とともに前後出現単語抽出機能にて抽出された前出現単語ωｆｉおよび後出現単語ωｂｉそれぞれの出現確率Ｐ（ωｆｉ），Ｐ（ωｂｉ） を計算する機能であり、共起確率計算機能はコンピュータ１において前後出現単語抽出機能にて抽出された前出現単語ωｆｉおよび後出現単語ωｂｉのそれぞれがキーワードωｋ と共起する共起確率Ｐ（ωｆｉ， ωｋ），Ｐ（ωｋ，ωｂｉ） を計算する機能であり、順序依存型単語関連度計算機能はコンピュータ１において共起確率計算機能にて計算された各共起確率情報Ｐ（ωｆｉ， ωｋ），Ｐ（ωｋ，ωｂｉ） および出現確率計算機能にて計算された各出現確率情報Ｐ（ωｋ），Ｐ（ ωｆｉ），Ｐ（ωｂｉ） に基づいて、キーワードωｋ に対する前出現単語ωｆｉおよび後出現単語ωｂｉの出現順序に依存する関連語度Ａ（ωｆｉ， ωｋ），Ａ（ωｋ，ωｂｉ） を計算する機能である。
【００６４】
順序無依存型単語関連度計算機能はコンピュータ１において順序依存型単語関連度計算機能にて計算された関連度情報Ａ（ωｆｉ， ωｋ），Ａ（ωｋ，ωｂｉ） に基づいて、キーワードに対する前出現単語ωｆｉおよび後出現単語ωｂｉの出現順序に依存しない関連度ｒ（ωｉ，ωｋ）を計算する機能である。
単語群抽出機能はコンピュータ１において順序無依存型単語関連度計算機能にて計算された関連度情報ｒ（ωｉ，ωｋ）に基づいて、キーワードωｋ に関連する単語群をテキストデータから抽出して出力する機能である。
【００６５】
以下、上記各機能とＣＰＵ１１で実行される動作とを関連付けて具体的な動作手順を図１２〜１５に示すフローチャートを基に説明する。
図１２は、本発明の一実施形態にかかる汎用コンピュータ１にて、ＣＰＵ１１が関連語抽出プログラムを実行するときの処理の流れを示すフローチャートでああり、この図１２に示すように対象単語指定機能としてのＣＰＵ１１は、メモリ１２に展開されている関連語抽出プログラムを実行することで、先ず関連語を求めたい単語（キーワードωｋ）を指定する（ステップＳ１）。
【００６６】
ここで、ＣＰＵ１１は、キーワードωｋ を指定する際にコンピュータ１の利用者がキーボード１ｃを操作すること等によりキーワードωｋ の情報信号を受信し、キーワードωｋ を定める。例えば、図５に示すような単語あるいは形態素に分割された文書内容を含んだテキストデータから利用者にて単語「日光」の関連語を抽出するに際は、装置の利用者がキーボード１ｃを操作してＣＰＵ１１へ単語「日光」の情報を通知すると、ＣＰＵ１１は、キーワードを単語「日光」と定める。換言すると、ＣＰＵ１１は、対象単語指定ステップとして、関連語を抽出すべき対象となるキーワードを指定する。
【００６７】
ＣＰＵ１１は、以前に単語「日光」に対する関連語抽出処理を実行した場合には関連語のデータが記憶装置に格納されていることから単語「日光」の関連語のデータが記憶装置に存在するか否かを判断する（ステップＳ２）。
すなわち、ＣＰＵ１１は、メモリ１１やハードディスク１３に抽出を試みる単語「日光」に対する関連語のデータが格納されているか否かを判断するために、メモリ１２上のテーブルに格納されているデータを展開して、該当するものか否かのデータ処理を行なう。
【００６８】
ここで、ＣＰＵ１１は、単語「日光」に対する関連語のデータが記憶装置に存在する場合には、その関連語のデータを出力する（ステップＳ９）。
ＣＰＵ１１は、関連度情報ｒ（ωｉ，ωｋ）の値の大きいものから順に出力し、例えば、ディスプレイ１ｂの画像に関連語のリストを表示するための画像表示信号をディスプレイ１ｂに送信したり、プリンタから印字したものを出力するような制御を施し得る（ステップＳ９）。
【００６９】
ここで、ＣＰＵ１１は、前記した図１１に示すような順序に依存しない関連度と単語を対応付けて出力する。
一方、ＣＰＵ１１は、記憶装置にキーワードωｋ の関連語のデータに存在しない場合には、単語「日光」と共起する単語の関連率（関連度情報Ａ（ωｉ，ωｋ））が記憶装置に存在するか否か判断する（ステップＳ３）。
【００７０】
記憶装置に単語「日光」と共起する単語の関連率が存在しない場合、ＣＰＵ１１は、共起確率計算部２４としてのＣＰＵ１１から共起する単語のリストと共起する単語それぞれに関する共起確率Ｐ（ωｆｉ， ωｋ），Ｐ（ωｋ，ωｂｉ） を得る（ステップＳ４）とともに、共起する単語のリストを基に、それぞれの単語の出現確率Ｐ（ωｆｉ），Ｐ（ωｂｉ） を出現確率計算部２３から受け取る（ステップＳ５）。
【００７１】
そして、順序依存型単語関連度計算機能としてのＣＰＵ１１は、共起する単語のリストを基に、それぞれの単語について単語関連率（関連度情報Ａ（ωｉ，ωｋ），Ａ（ωｋ，ωｉ）） を計算する（ステップＳ６）。
ここで、ＣＰＵ１１は、前記した図９，図１０に示すような関連度情報Ａ（ωｉ，ωｋ），Ａ（ωｋ，ωｉ）を算出し、算出した結果をメモリ１２のテーブル上に関連度と単語あるいは形態素を対応づけて保持するような制御をメモリ１２に行っている。
【００７２】
換言すると、ＣＰＵ１１は、順序依存型単語関連度計算ステップとして、共起確率情報および出現確率情報に基づいて、キーワードに対する前出現言単語および後出現単語の、出現順序に依存する関連度を計算する。
順序無依存型単語関連度計算機能としてのＣＰＵ１１は、共起する単語のリストとそれぞれの単語の関連度情報Ａ（ωｉ，ωｋ），Ａ（ωｋ，ωｉ）から単語関連度ｒ（ωｉ，ωｋ）を計算する（ステップＳ７）。
【００７３】
ここで、記憶装置に単語「日光」に対する関連語の情報が格納されていない場合においても、順序無依存型単語関連度計算機能としてのＣＰＵ１１が図１０，図１１に示すような順序に依存する関連度情報Ａ（ωｉ，ωｋ），Ａ（ωｋ，ωｉ）から図１１に示すような単語関連度ｒ（ωｉ，ωｋ）を算出する。
換言すると、ＣＰＵ１１は、順序無依存型単語関連度計算ステップとして、順序依存型単語関連度計算ステップにて計算された関連度情報Ａ（ωｉ，ωｋ），Ａ（ωｋ，ωｉ）に基づいて、キーワードに対する前出現単語および後出現単語の、出現順序に依存しない関連度ｒ（ωｉ，ωｋ）を計算する。
【００７４】
前後出現単語抽出機能としてのＣＰＵ１１は、単語関連度ｒ（ωｉ，ωｋ）を基に関連語を選択して出力する（ステップＳ８）。ここで、ＣＰＵ１１は、図１１に示すような算出された順序に依存しない関連度情報ｒ（ωｉ，ωｋ）から、上位１０の単語あるいは形態素を出力する。
換言すると、ＣＰＵ１１は、単語群抽出ステップとして、順序無依存型単語関連度計算ステップにて計算された関連度情報に基づいて、キーワードに関連する単語群をテキストデータから抽出して出力する。
【００７５】
一方、図１３は、共起確率計算機能としてのＣＰＵ１１のプログラムを実行することによる処理の流れを示すフローチャートであり、この図１３に示すように共起確率計算機能としてのＣＰＵ１１は、単語「日光」の共起確率Ｐ（ωｉ，ωｋ），Ｐ（ωｋ，ωｉ）を得ようとするに際して、先ず求める共起確率Ｐ（ωｉ，ωｋ），Ｐ（ωｋ，ωｉ）が記憶装置に存在するか否かを判断する（ステップＳ１０）。
【００７６】
共起確率計算機能としてのＣＰＵ１１は、記憶装置に求める共起確率Ｐ（ωｉ，ωｋ），Ｐ（ωｋ，ωｉ）が格納されている場合には、その共起確率Ｐ（ωｉ，ωｋ），Ｐ（ωｋ，ωｉ）をその単語のリストと共に、順序依存型単語関連度計算機能としてのＣＰＵ１１で計算できるように出力する（ステップＳ１１）。
ここで、順序依存型単語関連度計算機能機能としてのＣＰＵ１１が、共起確率計算機能としてのＣＰＵ１１が出力する（ステップＳ１１）共起確率情報Ｐ（ωｉ，ωｋ），Ｐ（ωｋ，ωｉ）を順序に依存する関連度情報Ａ（ωｉ，ωｋ），Ａ（ωｋ，ωｉ）を計算する際に用いる（ステップＳ６）。
【００７７】
一方、共起確率計算機能としてのＣＰＵ１１は、記憶装置に求める共起確率Ｐ（ωｉ，ωｋ），Ｐ（ωｋ，ωｉ）が格納（存在）しない場合には、前後出現単語抽出部２１から単語「日光」とともに出現する図６に示すような前出現単語ωｆｉ， 後出現単語ωｂｉのリストとその頻度ｆ（ωｋ），ｆ（ωｆｉ），ｆ（ωｂｉ） のデータを受け取る（ステップＳ１２）。
【００７８】
そして、ＣＰＵ１１は前後出現単語抽出部２１から得た関連語として抽出された単語ωｆｉ， ωｂｉの頻度情報ｆ（ωｆｉ），ｆ（ωｂｉ） 等を基に、共起確率Ｐ（ωｉ，ωｋ），Ｐ（ωｋ，ωｉ）を計算し、出力する（ステップＳ１３，ステップＳ４）。
換言すると、ＣＰＵ１１は、共起確率計算ステップとして、前出現単語および後出現単語のそれぞれが、対象単語指定ステップにて指定されたキーワードと共起する共起確率を計算する。
【００７９】
ここで、順序依存型単語関連度計算機能としてのＣＰＵ１１が、共起確率計算機能としてのＣＰＵ１１が出力する（ステップＳ１３）共起確率情報Ｐ（ωｉ，ωｋ），Ｐ（ωｋ，ωｉ）を順序に依存する関連度情報Ａ（ωｉ，ωｋ），Ａ（ωｋ，ωｉ）を計算する際に用いる（ステップＳ６）。
他方、図１４は、前後出現単語抽出部２１としてのＣＰＵ１１が関連語抽出プログラムを実行する際の処理の流れを示すフローチャートであり、この図１４に示すように、前後出現単語抽出部２１としてのＣＰＵ１１は、単語「日光」の前後に出現する図６（ａ），（ｂ）に示すような単語ωｆｉ， ωｂｉをテキストデータから抜き出す（ステップＳ２０）。
【００８０】
換言すると、ＣＰＵ１１は、前後出現単語抽出ステップとして、テキストデータ上においてキーワードの前に出現する前出現単語および後に出現する後出現単語を抽出する。
そして、ＣＰＵ１１は、テキストから抽出した単語ωｋ，ωｆｉ， ωｂｉのついての頻度情報ｆ（ωｆｉ），ｆ（ωｂｉ） を頻度計算部２２から受け取り（ステップＳ２１）、キーワードωｋ の前後に出現する図６（ａ），（ｂ）に示すような単語ωｆｉ， ωｂｉのリストと頻度計算部２２から受け取った頻度情報ｆ（ωｆｉ），ｆ（ωｂｉ） を出力する（ステップＳ２２）。
【００８１】
ここで、共起確率計算機能としてのＣＰＵ１１は、前後出現単語抽出部２１が出力した単語ωｆｉ， ωｂｉのリストと頻度情報ｆ（ωｆｉ），ｆ（ωｂｉ） （ステップＳ２２）を基に、共起確率Ｐ（ωｉ，ωｋ），Ｐ（ωｋ，ωｉ）を計算する（ステップＳ１３）。
また、図１５は頻度計算部２２としてのＣＰＵ１１が関連語抽出プログラムを実行する際の処理の流れを示すフローチャートであり、この図１５に示すように、頻度計算機能としてのＣＰＵ１１は、出現確率計算部２３からの指示か否かを判断し（ステップＳ３０）、出現確率計算部２３からの指示である場合は、キーワードωｋ の頻度情報ｆ（ωｋ）が記憶装置に格納されているか否かを判断する（ステップＳ３１）。
【００８２】
頻度情報ｆ（ωｋ）が記憶装置に格納されていない場合、頻度計算機能としてのＣＰＵ１１は、単語分割機能としてのＣＰＵ１１にて単語あるいは形態素の多単位に分割された情報を受け取り（ステップＳ３２）、テキストデータ中にキーワードωｋ の出現頻度（回数）ｆ（ωｋ）を計算して（ステップＳ３３）、出力する（ステップＳ３４）。
【００８３】
なお、単語分割機能としてのＣＰＵ１１は、図４に示すような単語或いは形態素に分かち書きにより記載されていない文書を内容とするテキストデータを図５に示すように単語あるいは形態素の単位に分割する。換言すると、ＣＰＵ１１は、単語分割ステップとして、前後出現単語抽出ステップにおける前出現単語および後出現単語を抽出する前において、テキストデータについて単語または形態素の単位に分割する。
【００８４】
他方、図１５には示していないが、頻度計算機能としてのＣＰＵ１１は、前後出現単語抽出機能としてのＣＰＵ１１にて抽出された前出現単語ωｆｉ， 後出現単語ωｂｉのテキストデータ中の出現頻度数をも算出する。
換言すると、ＣＰＵ１１は、出現確率計算ステップとして、対象単語指定ステップにて指定されたキーワードの出現確率とともに、前後出現単語抽出ステップにて抽出された前出現単語および後出現単語それぞれの出現確率を計算する。
【００８５】
ここで、ＣＰＵ１１は、出現確率計算機能として、頻度計算機能としてのＣＰＵ１１が出力した頻度情報ｆ（ωｋ），ｆ（ωｉ）を基に、出現確率Ｐ（ωｋ），Ｐ（ωｉ）を計算する。
出現確率計算部２３からの指示ではない場合、頻度計算部２２としてのＣＰＵ１１は、前後出現単語抽出部２１からの指示か否かを判断する（ステップＳ３５）。
【００８６】
ここで、前後出現単語抽出部２１からの指示である場合、頻度計算部２２としてのＣＰＵ１１は、前後出現単語抽出部２１から渡されたテキストデータを単語分割機能としてのＣＰＵ１１を経由して、単語に分割したデータを得て、その中に含まれる単語の頻度を数えて（ステップＳ３６）、集計した単語の頻度を出現確率計算部２３へ出力する（ステップＳ３７）。
【００８７】
また、頻度計算部２２としてのＣＰＵ１１が、前後出現単語抽出部２１からの指示ではないと判断した場合には、その信号をエラーとする。
ところで、出現確率計算部２３としてのＣＰＵ１１の処理の流れ（ 図示しない） は、関連語抽出プログラムを実行することにより、求める出現確率Ｐ（ωｉ）等の情報が記憶装置に格納されているか否か判断し、記憶装置に格納されていない場合には、頻度計算部２２からｆ（ωｆｉ），ｆ（ωｂｉ），ｆ（ωｋ）等の単語の頻度情報をうけて出現確率Ｐ（ｂｉ），Ｐ（ωｋ）を計算して、その計算結果Ｐ（ｂｉ），Ｐ（ωｋ）を出力する。
【００８８】
一方、記憶装置に求める出現確率Ｐ（ωｉ）等の確率情報Ｐ（ｂｉ），Ｐ（ωｋ）が格納されている場合は、出現確率計算部２３としてのＣＰＵ１１は、共起確率計算部２４へ出力する。
別言すると、汎用コンピュータ１は、対象単語指定ステップ，前後出現単語抽出ステップ，共起確率計算ステップ，出現確率計算ステップ，順序依存型単語関連度計算ステップ，順序無依存型単語関連度計算ステップ，単語群抽出ステップ，単語分割ステップを実行することで、テキストデータから関連語を抽出する。
【００８９】
このように本発明の一実施形態にかかる関連語抽出装置としての汎用コンピュータ１によれば、ＣＰＵ１１が前出現単語に対する順序に依存する単語関連度Ａ（ωｉ，ωｋ）を２乗した値と後出現単語に対する順序に依存する単語関連度Ａ（ωｋ，ωｉ）を２乗した値との和算した値を平方根する演算処理により算出された値を用いて、キーワードの前出現／後出現に依存しない利用者にとって分かり易く、かつ、精度を高くして関連語を抽出できる。
【００９０】
また、本発明の一実施形態にかかる関連語抽出装置としての汎用コンピュータ１によれば、汎用コンピュータ１が、単語分割部２８をそなえて構成されていることで、単語毎に区切られていないテキスト（例えば、日本語や中国語で書かれた文書）を単語あるいは形態素毎に分けて処理する（単語抽出ステップ）ことができるので、予め単語の品詞情報をそなえていなくとも日本語等で記載された文書からの関連語抽出も容易に作成することができる。
【００９１】
さらに、本発明の一実施形態にかかる関連語抽出装置としての汎用コンピュータ１によれば、汎用コンピュータ１が、ハードディスク１３等の記憶部をそなえて構成されているので、頻度計算部２２，順序依存型単語関連度計算部２５，等の各処理により算出された情報が保持されることで、関連語抽出に伴う処理を早めると共に単語の出現順序に依存しない関連語のリストを作成することができる。
【００９２】
ならびに、本発明の一実施形態にかかる汎用コンピュータ１によれば、関連語抽出プログラムとして、コンピュータ１に対象単語指定機能，前後出現単語抽出機能，共起確率計算機能，出現確率計算機能，順序依存型単語関連度計算機能，順序無依存型単語関連度計算機能，単語群抽出機能を実行することにおいても、ＣＰＵ１１が前出現単語に対する順序に依存する単語関連度Ａ（ωｉ，ωｋ）を２乗した値と後出現単語に対する順序に依存する単語関連度Ａ（ωｋ，ωｉ）を２乗した値との和算した値を平方根する演算処理により算出された値を用いることで、キーワードの前出現／後出現に依存しない利用者にとって分かり易く、かつ、精度を高くして関連語を抽出できる。
【００９３】
さらに、本発明の一実施形態にかかる汎用コンピュータ１によれば、関連語抽出プログラムとして、コンピュータ１に、単語分割機能を実行させることでも、単語毎に区切られていないテキスト（例えば、日本語や中国語で書かれた文書）を単語あるいは形態素毎に分けて処理することができるので、日本語等で記載された文書からの関連語抽出も容易に作成することができる。
【００９４】
（ｂ１）一実施形態の第１変形例の説明
図１６は、本発明の一実施形態の第１変形例にかかる関連語抽出装置が適用された汎用コンピュータ１ｘのブロック図であり、この図１６に示すように本発明の一実施形態の第１変形例にかかるコンピュータ１ｘは、頻度計算部２２，前後出現単語抽出部２１，共起確率計算部２４，出現確率計算部２３，順序依存型単語関連度計算部２５，順序無依存型単語関連度計算部２６，単語群抽出部（図示しない），単語分割部（図示しない），記憶部（図示しない），類似度計算度部２９をそなえて構成される。
【００９５】
コンピュータ１ｘは、前述の図１あるいは図２に示すコンピュータ１と同様のハードウェア構成を有するものである。
なお、（ｂ）において用いた符号と同じものについては同様の動作を行なうため、その説明は省略する。
類似度計算部２９は、単語群抽出部にてキーワードとしての少なくとも２つの単語それぞれに関連する単語群の抽出結果を用いることにより、少なくとも２つの単語間の類似度を計算するものである。
【００９６】
以下、２つの単語間の類似度を計算する場合を前提に説明をするが、以下の記載において３つ以上の単語間の類似度を計算する場合も同様であることを意味する。
なお、前後出現単語抽出部２１はテキストデータ上において、指定された単語の前に出現する前出現単語または指定された単語の後に出現する後出現単語を抽出するものであり、出現確率計算部２３は頻度計算部２２からの指定された単語の頻度情報および前出現単語および後出現単語のテキストデータ上での出現頻度情報に基づいて指定された単語の出現確率とともに上記の前出現単語および後出現単語それぞれの出現確率を計算しうるものである。
【００９７】
共起確率計算部２４は頻度計算部２２からの前後出現単語抽出部２１にて抽出された前出現単語および後出現単語の頻度情報に基づいて、前出現単語および後出現単語のそれぞれがキーワードと共起する共起確率を計算するものであり、順序依存型単語関連度計算部２５は出現確率計算部２３からの各出現確率情報と、共起確率計算部２４からの各共起確率情報とに基づいて指定された単語に対する前出現単語および後出現単語の出現順序に依存する関連度を計算するものである。
【００９８】
順序無依存型単語関連度計算部２６は、順序依存型単語関連度計算部２５からの関連度情報に基づいて、指定された単語に対する前出現単語および後出現単語の、出現順序に依存しない関連度を計算するものである。
単語群抽出部（図示しない）は、順序無依存型単語関連度計算部２６にて計算された関連度情報に基づいて、指定された単語に関連する単語群をテキストデータから抽出するものであり、記憶部（図示しない）は指定された単語に関する各種計算結果および抽出結果のうちの少なくとも一つを記憶しておくものであり、単語分割部（図示しない）は、テキストデータについて単語または形態素の単位に分割するものである。
【００９９】
さらに、上記各部とＣＰＵ１１，メインメモリ１２，ＨＤＤ１３等とを具体的に関連付けて説明すると、以下のようになる。
類似度計算部２９としてのＣＰＵ１１は、単語群抽出部から、２つのキーワードそれぞれに関連する単語群の抽出結果を用いることにより、単語間の類似度を計算するものである。
【０１００】
ここで、類似度計算部２９としてのＣＰＵ１１が、３つの単語「 自動車」 ，「 車」 ，「 航空機」 について、それらの類似度を計算し、類似度の判定ができることを基に説明する。
なお、前記（ｂ）に述べたように、ＣＰＵ１１は頻度計算部２２，前後出現単語抽出部２１，共起確率計算部２４，出現確率計算部２３，順序依存型単語関連度計算部２５，順序無依存型単語関連度計算部２６，単語群抽出部，単語分割部として構成されているとともに、メモリ１２やハードディスク１３は記憶部として構成されている。
【０１０１】
ここで、図１７〜１９は、順序無依存型単語関連度情報ｒ（ωｉ，ωｋ）を基に単語群抽出部がテキストデータから関連語を抜き出したリストを示す図であり、図１７は単語「 自動車」 の関連語リストを示す図であり、図１８は単語「 車」 の関連語リストを示す図であり、図１９は単語「 航空機」 の関連語リストを示す図である。
【０１０２】
類似度計算部２９としてのＣＰＵ１１は、図１７〜１９に示すような関連語のリストを用いることにより、単語「 自動車」 ，「 車」 ，「 航空機」 の類似度を計算するようになっている。
具体的には、類似度計算部２９としてのＣＰＵ１１は、図１７〜１９に示すようにリストアップされた関連語の内積和の演算処理を行なうようになっている。
【０１０３】
例えば、類似度計算部２９としてのＣＰＵ１１は、単語「 自動車」 ，「 車」 の類似度を算出するに際して、図１７に示す単語「 自動車」 の関連語リスト中の関連語「ＭＯＳＳ」と図１８に示す単語「 車」 の関連語リスト中の関連語「はしご」の内積の演算処理を行なうようになっている。
すなわち、類似度計算部２９としてのＣＰＵ１１は、各関連語を関連度情報ｒ（ωｉ，ωｋ）を大きさとするベクトル（ｖｅｃｔｏｒ）と見做して、各関連語の内積値を和算する演算処理を行なうようなっている。内積値を和算した数値が、単語間の類似度を示すものである。
【０１０４】
ＣＰＵ１１は、同じ関連語同士の内積演算処理に際しては、ベクトルの方向が同じ（θ＝０°）と見做すとともに、異なる関連語同士の内積演算処理にに際しては、ベクトルの方向が直交（θ＝９０°）と見做して計算するようになっている。ＣＰＵ１１は、単語「 自動車」 の関連語リスト中の関連語「ＭＯＳＳ」と単語「 車」 の関連語リスト中の関連語「はしご」とが互いに異なる関連語であることから、内積値を０と計算するようになっている。
【０１０５】
従って、類似度計算部２９としてのＣＰＵ１１は、単語「 自動車」 ，「 車」 の類似度を計算するときに図１７に示す単語「 自動車」 の関連度リストと図１８に示す単語「 車」 の関連度リストとから共通の関連語の関連度を用いて、例えば共通の関連語「 ＢＭＷ」 の関連度「 １２．４」 と関連度「 １２．０」 とを用いて、その二つの関連度を積算した値「 １４８．８」 と他の共通の関連語の関連度の内積値との和算値により類似度を算出するようになっている。
【０１０６】
ここで、図２０は、単語「 自動車」 ，「 車」 の類似度と単語「 自動車」 ，「 航空機」 の類似度とを示す図であり、この図２０に示すように単語「 自動車」 と単語「 車」 との類似度「 ２８３９．４」 と単語「 自動車」 と単語「 航空機」 との類似度「 ８１４．４」 とから、単語「 自動車」 は単語「 航空機」 より単語「 車」 に類似することがわかるようになっている。
【０１０７】
上述の構成により、本発明の一実施形態の第１変形例にかかる汎用コンピュータ１ｘでは、本体装置１ａ内へＣＤ−ＲＯＭ等のコンピュータ読み取り可能な記録媒体から関連語抽出プログラムがコンピュータ内にインストールされることで、動作し得る状態になる。
ところで、関連語抽出プログラムは、汎用コンピュータ１ｘに、キーワードに関連する関連語としての単語群をテキストデータから抽出すべく、対象単語指定機能，頻度計算機能， 前後出現単語抽出機能，共起確率計算機能，出現確率計算機能，順序依存型単語関連度計算機能，順序無依存型単語関連度計算機能，単語群抽出機能，単語分割機能，類似度計算機能を実行させるためのコンピュータ１ｘの処理に適した命令が順番付けられた列である。
【０１０８】
類似度計算機能は、コンピュータ１ｘにおいて単語群抽出機能から２つキーワードそれぞれに関連する単語群の抽出結果を用いることにより、２つの単語間の類似度を計算する機能である。
なお、対象単語指定機能はコンピュータ１ｘにおいてテキストデータ中から関連語を抽出すべき対象となるキーワードを指定する機能であり、単語分割機能はコンピュータ１ｘにおいてテキストデータ中の文書情報を単語または形態素の単位に分割する機能であり、前後出現単語抽出機能はコンピュータ１ｘにおいてテキストデータ内のキーワードωｋ の前に出現する前出現単語ωｆｉまたはキーワードωｋ の後に出現する後出現単語ωｂｉを抽出する機能であり、頻度計算機能はコンピュータ１ｘにおいて頻度ｆ（ωｉ），ｆ（ ωｋ）等を算出する機能である。
【０１０９】
出現確率計算機能はコンピュータ１ｘにおいてキーワードωｋ の出現確率Ｐ（ωｋ）とともに前後出現単語抽出機能にて抽出された前出現単語ωｆｉ および後出現単語ωｂｉそれぞれの出現確率Ｐ（ωｆｉ），Ｐ（ωｂｉ） を計算する機能であり、共起確率計算機能はコンピュータ１ｘにおいて前後出現単語抽出機能にて抽出された前出現単語ωｆｉおよび後出現単語ωｂｉのそれぞれがキーワードωｋ と共起する共起確率Ｐ（ωｆｉ， ωｋ），Ｐ（ωｋ，ωｂｉ） を計算する機能であり、順序依存型単語関連度計算機能はコンピュータ１ｘにおいて共起確率計算機能にて計算された各共起確率情報Ｐ（ωｆｉ， ωｋ），Ｐ（ωｋ，ωｂｉ） および出現確率計算機能にて計算された各出現確率情報Ｐ（ωｋ），Ｐ（ωｆｉ），Ｐ（ωｂｉ） に基づいて、キーワードωｋ に対する前出現単語ωｆｉおよび後出現単語ωｂｉの出現順序に依存する関連語度Ａ（ωｆｉ， ωｋ），Ａ（ωｋ，ωｂｉ） を計算する機能である。
【０１１０】
順序無依存型単語関連度計算機能はコンピュータ１ｘにおいて順序依存型単語関連度計算機能にて計算された関連度情報Ａ（ωｆｉ， ωｋ），Ａ（ωｋ，ωｂｉ） に基づいて、キーワードに対する前出現単語ωｆｉおよび後出現単語ωｂｉの出現順序に依存しない関連度ｒ（ωｉ，ωｋ）を計算する機能である。
単語群抽出機能はコンピュータ１ｘにおいて順序無依存型単語関連度計算機能にて計算された関連度情報ｒ（ωｉ，ωｋ）に基づいて、キーワードωｋ に関連する単語群をテキストデータから抽出して出力する機能である。
【０１１１】
ここで、上記各機能とＣＰＵ１１で実行される動作とを関連付けて具体的な動作手順を説明すると類似度計算機能としてＣＰＵ１１は、図１７〜１９に示すような順序無依存型単語関連度計算機能にて計算された単語「 自動車」 ，「 車」 ，「 航空機」 の関連度ｒ（ωｉ，ωｋ）を基に類似を計算する。
具体的には、類似度計機能としてＣＰＵ１１は、図１７〜１９に示すようにリストアップされた関連語の内積和の演算処理を行なう。
【０１１２】
すなわち、類似度計算部２９としてのＣＰＵ１１は、各関連語を関連度情報ｒ（ωｉ，ωｋ）を大きさとするベクトル（ｖｅｃｔｏｒ）と見做して、各関連語の内積値を和算する演算処理を行なう。
ＣＰＵ１１は、同じ関連語同士の内積演算処理に際しては、ベクトルの方向が同じ（θ＝０°）と見做すとともに、異なる関連語同士の内積演算処理にに際しては、ベクトルの方向が直交（θ＝９０°）と見做して計算して、例えば、図１７に示す単語「 自動車」 の関連語リスト中の関連語「ＭＯＳＳ」と図１８に示す単語「 車」 の関連語リスト中の関連語「はしご」とが互いに異なる関連語であることから、内積値を０と計算するようになっている。
【０１１３】
従って、類似度計算機能としてＣＰＵ１１は、単語「 自動車」 ，「 車」 の類似度を計算するときに図１７に示す単語「 自動車」 の関連度リストと図１８に示す単語「 車」 の関連度リストとから共通の関連語の関連度を用いて、例えば共通の関連語「 ＢＭＷ」 の関連度「 １２．４」 と関連度「 １２．０」 とを用いて、その二つの関連度を積算した値「 １４８．８」 と他の共通の関連語の関連度の内積値との和算演算を行ない図２０に示すように単語「 自動車」 と単語「 車」 との類似度「 ２８３９．４」 と単語「 自動車」 と単語「 航空機」 との類似度「 ８１４．４」 とを算出する。
【０１１４】
ここで、換言すると、ＣＰＵ１１は、類似度計算ステップとして、単語群抽出ステップにて指定されたキーワードとしての３つの単語「 自動車」 ，「 車」 ，「 航空機」 それぞれに関連する単語群を抽出した後に、抽出された各単語「 自動車」 ，「 車」 ，「 航空機」 に関連する単語群から、２つの単語「 自動車」 ，「 車」 間と単語「 自動車」 ，「 航空機」 間の類似度を計算する。
【０１１５】
なお、ＣＰＵ１１は、対象単語指定機能，頻度計算機能， 前後出現単語抽出機能，共起確率計算機能，出現確率計算機能，順序依存型単語関連度計算機能，順序無依存型単語関連度計算機能，単語群抽出機能，単語分割機能として図１２〜１５に示すような動作を行なう。
上記を別言すると、汎用コンピュータ１ｘは、対象単語指定ステップ，前後出現単語抽出ステップ，共起確率計算ステップ，出現確率計算ステップ，順序依存型単語関連度計算ステップ，順序無依存型単語関連度計算ステップ，単語群抽出ステップ，単語分割ステップ，類似度計算ステップを実行することで、テキストデータから関連語を抽出する。
【０１１６】
このように本発明の一実施形態の第１変形例にかかる関連語抽出装置が適用された汎用コンピュータ１ｘによれば、前記（ｂ）に述べたものの他に、ＣＰＵ１１が前出現単語に対する順序に依存する単語関連度Ａ（ωｉ，ωｋ）を２乗した値と後出現単語に対する順序に依存する単語関連度Ａ（ωｋ，ωｉ）を２乗した値との和算した値を平方根する演算処理により算出された値を基に、単語「 自動車」 ，「 車」 ，「 航空機」 の類似度をシソーラスや他の知識ベースを用いることなく、単語「 自動車」 が単語「 航空機」 より単語「 車」 に類似することを判別することができるとともに新たに用いられるようになった単語等に対しても、類似度を算出することができる（類似度計算ステップ）。
【０１１７】
（ｂ２）一実施形態の第２変形例の説明
図２１は、本発明の一実施形態の第２変形例にかかる関連語抽出装置が適用された汎用コンピュータ１ｙのブロック図であり、この図２１に示すように本発明の一実施形態の第２変形例にかかるコンピュータ１ｙは、頻度計算部２２，前後出現単語抽出部２１，共起確率計算部２４，出現確率計算部２３，順序依存型単語関連度計算部２５，順序無依存型単語関連度計算部２６，単語群抽出部（図示しない），単語分割部（図示しない），記憶部（図示しない），関連単語群抽出部３０をそなえて構成される。
【０１１８】
コンピュータ１ｙは、前述の図１あるいは図２に示すコンピュータ１と同様のハードウェア構成を有するものである。
なお、（ｂ）において用いた符号と同じものについては同様の動作を行なうため、その説明は省略する。
関連単語群抽出部３０は、単語群抽出部からキーワードとしての少なくとも２つの単語それぞれに関連する単語群の抽出結果を用いることにより、各単語の全てに関連する単語群を抽出するものである。
【０１１９】
以下、関連単語群抽出部３０が、２つの単語の関連単語群を抽出する場合について説明するが、３つ以上の単語の関連単語群を抽出する場合においても同じであることを意味する。
なお、前後出現単語抽出部２１はテキストデータ上において、指定された単語の前に出現する前出現単語または指定された単語の後に出現する後出現単語を抽出するものであり、出現確率計算部２３は頻度計算部２２からの指定された単語の頻度情報および前出現単語および後出現単語のテキストデータ上での出現頻度情報に基づいて指定された単語の出現確率とともに上記の前出現単語および後出現単語それぞれの出現確率を計算しうるものである。
【０１２０】
共起確率計算部２４は頻度計算部２２からの前後出現単語抽出部２１にて抽出された前出現単語および後出現単語の頻度情報に基づいて、前出現単語および後出現単語のそれぞれがキーワードと共起する共起確率を計算するものであり、順序依存型単語関連度計算部２５は出現確率計算部２３からの各出現確率情報と、共起確率計算部２４からの各共起確率情報とに基づいて指定された単語に対する前出現単語および後出現単語の出現順序に依存する関連度を計算するものである。
【０１２１】
順序無依存型単語関連度計算部２６は、順序依存型単語関連度計算部２５からの関連度情報に基づいて、指定された単語に対する前出現単語および後出現単語の、出現順序に依存しない関連度を計算するものである。
単語群抽出部（図示しない）は、順序無依存型単語関連度計算部２６にて計算された関連度情報に基づいて、指定された単語に関連する単語群をテキストデータから抽出するものであり、記憶部（図示しない）は指定された単語に関する各種計算結果および抽出結果のうちの少なくとも一つを記憶しておくものであり、単語分割部（図示しない）は、テキストデータについて単語または形態素の単位に分割するものである。
【０１２２】
さらに、上記各部とＣＰＵ１１，メインメモリ１２，ＨＤＤ１３等とを具体的に関連付けて説明すると、以下のようになる。
関連単語群抽出部３０としてのＣＰＵ１１は、単語群抽出部から、２つのキーワードそれぞれについて関連する単語群の抽出結果を用いることにより、２つの単語の全てについて関連する単語群を抽出するものである。
【０１２３】
ここで、関連単語群抽出部３０としてのＣＰＵ１１が、単語「エジプト」と単語「大統領」との関連単語群を抽出する場合を前提として説明をする。
なお、前記（ｂ）に述べたように、ＣＰＵ１１は頻度計算部２２，前後出現単語抽出部２１，共起確率計算部２４，出現確率計算部２３，順序依存型単語関連度計算部２５，順序無依存型単語関連度計算部２６，単語群抽出部，単語分割部として構成されているとともに、メモリ１２やハードディスク１３は記憶部として構成されている。
【０１２４】
図２２，２３は、順序無依存型単語関連度情報ｒ（ωｉ，ωｋ）を基に単語群抽出部がテキストデータから関連語を抜き出したリストを示す図であり、図２２は単語「 エジプト」 の関連語リストを示す図であり、図２３は単語「 大統領」 の関連語リストを示す図である。
関連単語群抽出部３０としてのＣＰＵ１１は、図２２，２３に示すような各単語「 エジプト」 ，「 大統領」 の関連語のリストを用いることにより、２つの単語「 エジプト」 ，「 大統領」 に関連する単語群を抽出するようになっている。
【０１２５】
具体的には、関連単語群抽出部３０としてのＣＰＵ１１は、図２２，２３に示すような各単語「 エジプト」 ，「 大統領」 の関連語のリストから共通の単語或いは形態素を抽出することにより、２つの単語「 エジプト」 ，「 大統領」 に関連する単語群を抽出するようになっている。
ここで、図２４は、２つの単語「 エジプト」 ，「 大統領」 に関連する単語群のリストを示す図であり、この図２２に示すように単語「 エジプト」 の関連語リストと図２３に示すように単語「 大統領」 の関連語リストとから共通の関連語、例えば関連語「ムバラク」等が抽出されて関連語のリストが作成されるようになっている。
【０１２６】
上述の構成により、本発明の一実施形態の関連語抽出装置が適用された汎用コンピュータ１ｙでは、本体装置１ａ内へＣＤ−ＲＯＭ等のコンピュータ読み取り可能な記録媒体から関連語抽出プログラムがコンピュータ１ｙ内にインストールされることで、動作し得る状態になる。
ところで、関連語抽出プログラムは、汎用コンピュータ１ｙに、キーワードに関連する関連語としての単語群をテキストデータから抽出すべく、対象単語指定機能，頻度計算機能， 前後出現単語抽出機能，共起確率計算機能，出現確率計算機能，順序依存型単語関連度計算機能，順序無依存型単語関連度計算機能，単語群抽出機能，単語分割機能，関連単語群抽出機能を実行させるためのコンピュータ１ｙの処理に適した命令が順番付けられた列である。
【０１２７】
関連単語群抽出機能は、コンピュータ１ｙに単語群抽出機能からの２つの単語「 エジプト」 ，「 大統領」 それぞれに関連する単語群の抽出結果を用いることにより、２つの単語「 エジプト」 ，「 大統領」 に関連する単語群を抽出する機能である。
なお、対象単語指定機能はコンピュータ１ｙにおいてテキストデータ中から関連語を抽出すべき対象となるキーワードを指定する機能であり、単語分割機能はコンピュータ１ｙにおいてテキストデータ中の文書情報を単語または形態素の単位に分割する機能であり、前後出現単語抽出機能はコンピュータ１ｙにおいてテキストデータ内のキーワードωｋ の前に出現する前出現単語ωｆｉまたはキーワードωｋ の後に出現する後出現単語ωｂｉを抽出する機能であり、頻度計算機能はコンピュータ１ｙにおいて頻度ｆ（ωｉ），ｆ（ωｋ）等を算出する機能である。
【０１２８】
出現確率計算機能はコンピュータ１ｙにおいてキーワードωｋ の出現確率Ｐ（ωｋ）とともに前後出現単語抽出機能にて抽出された前出現単語ωｆｉおよび後出現単語ωｂｉそれぞれの出現確率Ｐ（ωｆｉ），Ｐ（ωｂｉ） を計算する機能であり、共起確率計算機能はコンピュータ１ｙにおいて前後出現単語抽出機能にて抽出された前出現単語ωｆｉおよび後出現単語ωｂｉのそれぞれがキーワードωｋ と共起する共起確率Ｐ（ωｆｉ， ωｋ），Ｐ（ωｋ，ωｂｉ） を計算する機能であり、順序依存型単語関連度計算機能はコンピュータ１ｙにおいて共起確率計算機能にて計算された各共起確率情報Ｐ（ωｆｉ， ωｋ），Ｐ（ωｋ，ωｂｉ） および出現確率計算機能にて計算された各出現確率情報Ｐ（ωｋ），Ｐ（ωｆｉ），Ｐ（ωｂｉ） に基づいて、キーワードωｋ に対する前出現単語ωｆｉおよび後出現単語ωｂｉの出現順序に依存する関連語度Ａ（ωｆｉ， ωｋ），Ａ（ωｋ，ωｂｉ） を計算する機能である。
【０１２９】
順序無依存型単語関連度計算機能はコンピュータ１ｙにおいて順序依存型単語関連度計算機能にて計算された関連度情報Ａ（ωｆｉ， ωｋ），Ａ（ωｋ，ωｂｉ） に基づいて、キーワードに対する前出現単語ωｆｉおよび後出現単語ωｂｉの出現順序に依存しない関連度ｒ（ωｉ，ωｋ）を計算する機能である。
単語群抽出機能はコンピュータ１ｙにおいて順序無依存型単語関連度計算機能にて計算された関連度情報ｒ（ωｉ，ωｋ）に基づいて、キーワードωｋ に関連する単語群をテキストデータから抽出して出力する機能である。
【０１３０】
ここで、上記各機能とＣＰＵ１１で実行される動作とを関連付けて具体的な動作手順を説明すると類似度計算機能として、ＣＰＵ１１は、図２２，２３に示すような各単語「 エジプト」 ，「 大統領」 の関連語のリストを用いることにより、２つの単語「 エジプト」 ，「 大統領」 に関連する単語群を抽出する。
具体的には、関連単語群抽出部３０としてのＣＰＵ１１は、図２２，２３に示すような各単語「 エジプト」 ，「 大統領」 の関連語のリストから共通の単語或いは形態素を抽出することにより、２つの単語「 エジプト」 ，「 大統領」 に関連する単語群、例えば関連語「ムバラク」を抽出して、図２４に示すような２つの単語「 エジプト」 ，「 大統領」 に関連する単語群のリストを作成する。
【０１３１】
ここで、ＣＰＵ１１は、関連単語群抽出ステップとして、単語群抽出ステップにて２つの単語「 エジプト」 ，「 大統領」 それぞれに関連する単語群（図２２，２３）から、２つの単語「 エジプト」 ，「 大統領」 に関連する単語群を抽出する。
なお、ＣＰＵ１１は、対象単語指定機能，頻度計算機能， 前後出現単語抽出機能，共起確率計算機能，出現確率計算機能，順序依存型単語関連度計算機能，順序無依存型単語関連度計算機能，単語群抽出機能，単語分割機能として図１２〜１５に示すような動作を行なう。
【０１３２】
上記を別言すると、汎用コンピュータ１ｙは、対象単語指定ステップ，前後出現単語抽出ステップ，共起確率計算ステップ，出現確率計算ステップ，順序依存型単語関連度計算ステップ，順序無依存型単語関連度計算ステップ，単語群抽出ステップ，単語分割ステップ，関連単語群抽出ステップを実行することで、テキストデータから関連語を抽出する。
【０１３３】
このように本発明の一実施形態の第２変形例にかかる関連語抽出装置が適用された汎用コンピュータ１ｙによれば、前記（ｂ）に述べたものの他に、ＣＰＵ１１が前出現単語に対する順序に依存する単語関連度Ａ（ωｉ，ωｋ）を２乗した値と後出現単語に対する順序に依存する単語関連度Ａ（ωｋ，ωｉ）を２乗した値との和算した値を平方根する演算処理により算出された値を基に、単語「 エジプト」 ，「 大統領」 それぞれに関連する単語群（図２２，２３）のリストを作成することができる他、具体的に文書の内容を見ずしてエジプトの大統領に関する情報を得ることができて、二つの単語「 エジプト」 ，「 大統領」 に関連する単語を見ることで、その二つの単語「 エジプト」 ，「 大統領」 の関係や付随する知識が分かり易くなる。
【０１３４】
（ｂ３）一実施形態の第３変形例の説明
図２５は、本発明の一実施形態の第３変形例にかかる関連語抽出装置が適用された汎用コンピュータ１ｚのブロック図であり、この図２５に示すように本発明の一実施形態の第３変形例にかかるコンピュータ１ｚは、頻度計算部２２，前後出現単語抽出部２１，共起確率計算部２４，出現確率計算部２３，順序依存型単語関連度計算部２５，順序無依存型単語関連度計算部２６，単語群抽出部（図示しない），単語分割部（図示しない），記憶部（図示しない），同義語辞書部３１をそなえて構成される。
【０１３５】
コンピュータ１ｚは、前述の図１あるいは図２に示すコンピュータ１と同様のハードウェア構成を有するものである。
なお、（ｂ）において用いた符号と同じものについては同様の動作を行なうため、その説明は省略する。
同義語辞書部３１は、キーワードωｋ に対して同義と見做しうる単語（以下同義語に記号ωｋｓを記す場合がある）ωｋｓを判定するものである。
【０１３６】
以下、同義語辞書部３１が、キーワードに対して他の１つの単語を同義語とみなす場合について説明するが、２つ以上の単語を同義語とみなす場合においても同じであることを意味する。また、順序依存型単語関連度計算部２５がキーワードωｋ に対する関連度Ａ（ωｋ，ωｉ），Ａ（ωｉ，ωｋ）を計算する他、キーワードωｋ の１つの同義語の関連度Ａ（ωｋｓ， ωｉ），Ａ（ωｉ，ωｋｓ） を計算することにより、単語群抽出部２７にてキーワードωｋ とキーワードωｋ の１つの同義語ωｋｓとの２つの関連語リストが作成される場合について説明する。
【０１３７】
なお、前後出現単語抽出部２１はテキストデータ上において、指定された単語の前に出現する前出現単語または指定された単語の後に出現する後出現単語を抽出するものであり、出現確率計算部２３は頻度計算部２２からの指定された単語の頻度情報および前出現単語および後出現単語のテキストデータ上での出現頻度情報に基づいて指定された単語の出現確率とともに上記の前出現単語および後出現単語それぞれの出現確率を計算しうるものである。
【０１３８】
共起確率計算部２４は頻度計算部２２からの前後出現単語抽出部２１にて抽出された前出現単語および後出現単語の頻度情報に基づいて、前出現単語および後出現単語のそれぞれがキーワードと共起する共起確率を計算するものであり、順序依存型単語関連度計算部２５は出現確率計算部２３からの各出現確率情報と
、共起確率計算部２４からの各共起確率情報とに基づいて指定された単語に対する前出現単語および後出現単語の出現順序に依存する関連度を計算するものである。
【０１３９】
順序無依存型単語関連度計算部２６は、順序依存型単語関連度計算部２５からの関連度情報に基づいて、指定された単語に対する前出現単語および後出現単語の、出現順序に依存しない関連度を計算するものである。
単語群抽出部（図示しない）は、順序無依存型単語関連度計算部２６にて計算された関連度情報に基づいて、指定された単語に関連する単語群をテキストデータから抽出するものであり、記憶部（図示しない）は指定された単語等に関する各種計算結果および抽出結果のうちの少なくとも一つを記憶しておくものであり、単語分割部（図示しない）は、テキストデータについて単語または形態素の単位に分割するものである。
【０１４０】
ここで、上記各部は、指定された単語（キーワードωｋ ）の同義語に対しても指定された単語（キーワードωｋ ）と同じ処理を施すことができるようになっている。例えば、順序依存型単語関連度計算部２５はキーワードωｋ の同義語ωｋｓの関連度Ａ（ωｋｓ， ωｉ），Ａ（ ωｉ，ωｋｓ） 計算するようになっており、また、頻度計算部２２は同義語ωｋｓの出現頻度ｆ（ωｋｓ） 等を算出するようになっており、前後出現単語抽出部２１は同義語ωｋｓの前に出現する前出現単語や後に出現する後出現単語をテキストデータから抽出するようになっており、単語群抽出部２７は順序無依存型単語関連度計算部２６にて算出された関連度ｒ（ωｉ，ωｋｓ） を基に同義語ωｋｓの関連語をテキストデータから抽出するようになっている。
【０１４１】
さらに、上記各部とＣＰＵ１１，メインメモリ１２，ＨＤＤ１３等とを具体的に関連付けて説明すると、以下のようになる。
同義語辞書部３１としてのＣＰＵ１１は、キーワードωｋ に対して同義と見做しうる単語ωｋｓを判定するものである。ＣＰＵ１１は、キーワードωｋ に対して同義と見做しうる単語ωｋｓを判定する際に、ハードディスク１３等の記憶装置やＦＤ等の記録媒体に格納されている同義語の辞書データを参照して同義語を検出するようになっている。
【０１４２】
ここで、同義語辞書部３１としてのＣＰＵ１１が、キーワード「北朝鮮」に対して単語「朝鮮人民民主主義共和国」を同義語とみなした場合を前提に以下説明する。
なお、前記（ｂ）に述べたように、ＣＰＵ１１は頻度計算部２２，前後出現単語抽出部２１，共起確率計算部２４，出現確率計算部２３，順序依存型単語関連度計算部２５，順序無依存型単語関連度計算部２６，単語群抽出部，単語分割部として構成されているとともに、メモリ１２やハードディスク１３は記憶部として構成されている。
【０１４３】
図２６，２７は、順序無依存型単語関連度情報ｒ（ωｉ，ωｋ）を基に単語群抽出部がテキストデータから関連語を抜き出したリストを示す図であり、図２６は単語「 北朝鮮」 の関連語リストを示す図であり、図２７は単語「 朝鮮人民民主主義共和国」 の関連語リストを示す図である。
ここで、単語群抽出部２７としてのＣＰＵ１１は、図２６，２７に示すキーワード「 北朝鮮」 ，同義語「 朝鮮人民民主主義共和国」 の関連語リストから順序無依存型単語関連度計算部２６にて算出された関連度の高い関連語を抽出して、図２８に示すようなキーワード「 北朝鮮」 の関連語のリストを出力するようになっている。
【０１４４】
具体的に言えば、単語群抽出部２７としてのＣＰＵ１１は、図２６，２７に示す関連語リスト情報を用いて、キーワード「 北朝鮮」 の関連語リスト中に無い関連語が同義語「 朝鮮人民民主主義共和国」 の関連語のリストに有る場合は、その同義語の関連語リスト中の関連語をキーワード「 北朝鮮」 の関連語として出力するようになっている。例えば、単語群抽出部２７としてのＣＰＵ１１は、図２８に示すように、単語「国旗」は図２６の関連語リストの上位には無いが図２７の関連語リストの上位に有ることから、単語「国旗」をキーワード「 北朝鮮」 の関連語として出力するようになっている。
【０１４５】
上述の構成により、本発明の一実施形態の第３変形例にかかる関連語抽出装置が適用された汎用コンピュータ１ｚでは、本体装置１ａ内へＣＤ−ＲＯＭ等のコンピュータ読み取り可能な記録媒体から関連語抽出プログラムがコンピュータ１ｚ内にインストールされることで、動作し得る状態になる。
ところで、関連語抽出プログラムは、汎用コンピュータ１ｚに、キーワードに関連する関連語としての単語群をテキストデータから抽出すべく、対象単語指定機能，頻度計算機能， 前後出現単語抽出機能，共起確率計算機能，出現確率計算機能，順序依存型単語関連度計算機能，順序無依存型単語関連度計算機能，単語群抽出機能，単語分割機能，関連単語群抽出機能，同義語辞書機能を実行させるためのコンピュータ１ｚの処理に適した命令が順番付けられた列である。
【０１４６】
同義語辞書機能は、コンピュータ１ｚにおいてキーワード「北朝鮮」に対して同義と見做しうる単語を判定する機能である。
なお、対象単語指定機能はコンピュータ１ｚにおいてテキストデータ中から関連語を抽出すべき対象となるキーワードを指定する機能であり、単語分割機能はコンピュータ１ｚにおいてテキストデータ中の文書情報を単語または形態素の単位に分割する機能であり、前後出現単語抽出機能はコンピュータ１ｚにおいてテキストデータ内のキーワードωｋ の前に出現する前出現単語ωｆｉまたはキーワードωｋ の後に出現する後出現単語ωｂｉを抽出する機能であり、頻度計算機能はコンピュータ１ｚにおいて頻度ｆ（ωｉ），ｆ（ωｋ）等を算出する機能である。
【０１４７】
出現確率計算機能はコンピュータ１ｚにおいてキーワードωｋ の出現確率Ｐ（ωｋ）とともに前後出現単語抽出機能にて抽出された前出現単語ωｆｉおよび後出現単語ωｂｉそれぞれの出現確率Ｐ（ωｆｉ），Ｐ（ωｂｉ） を計算する機能であり、共起確率計算機能はコンピュータ１ｚにおいて前後出現単語抽出機能にて抽出された前出現単語ωｆｉおよび後出現単語ωｂｉのそれぞれがキーワードωｋ と共起する共起確率Ｐ（ωｆｉ， ωｋ），Ｐ（ωｋ，ωｂｉ） を計算する機能であり、順序依存型単語関連度計算機能はコンピュータ１ｚにおいて共起確率計算機能にて計算された各共起確率情報Ｐ（ωｆｉ， ωｋ），Ｐ（ωｋ，ωｂｉ） および出現確率計算機能にて計算された各出現確率情報Ｐ（ωｋ），Ｐ（ωｆｉ），Ｐ（ωｂｉ） に基づいて、キーワードωｋ に対する前出現単語ωｆｉおよび後出現単語ωｂｉの出現順序に依存する関連語度Ａ（ωｆｉ， ωｋ），Ａ（ωｋ，ωｂｉ） を計算する機能である。
【０１４８】
順序無依存型単語関連度計算機能はコンピュータ１ｚにおいて順序依存型単語関連度計算機能にて計算された関連度情報Ａ（ωｆｉ， ωｋ），Ａ（ωｋ，ωｂｉ） に基づいて、キーワードに対する前出現単語ωｆｉおよび後出現単語ωｂｉの出現順序に依存しない関連度ｒ（ωｉ，ωｋ）を計算する機能である。
単語群抽出機能はコンピュータ１ｚにおいて順序無依存型単語関連度計算機能にて計算された関連度情報ｒ（ωｉ，ωｋ）に基づいて、キーワードωｋ に関連する単語群をテキストデータから抽出して出力する機能である。
【０１４９】
ここで、上記各機能とＣＰＵ１１で実行される動作とを関連付けて具体的な動作手順を説明すると、同義語辞書機能として、ＣＰＵ１１は、図２６，２７に示すキーワード「 北朝鮮」 ，同義語「 朝鮮人民民主主義共和国」 の関連語リストから順序無依存型単語関連度計算部２６にて算出された関連度の高い関連語を抽出して、図２８に示すようなキーワード「 北朝鮮」 の関連語のリストを出力するようになっている。
【０１５０】
具体的に言えば、単語群抽出機能としてのＣＰＵ１１は、図２６，２７に示す関連語リスト情報を用いて、キーワード「 北朝鮮」 の関連語リスト中に無い関連語が同義語「 朝鮮人民民主主義共和国」 の関連語のリストに有る場合は、その同義語の関連語リスト中の関連語をキーワード「 北朝鮮」 の関連語として出力する。
【０１５１】
例えば、単語群抽出機能としてのＣＰＵ１１は、図２８に示すように、単語「国旗」は図２６の関連語リストの上位には無いが図２７の関連語リストの上位に有ることから、単語「国旗」をキーワード「 北朝鮮」 の関連語として出力する。換言すると、ＣＰＵ１１は、対象単語指定ステップにおいて、指定されたキーワード「 北朝鮮」 に対して単語「 朝鮮人民民主主義共和国」 を同義語と見做して、単語群抽出ステップにおいて同義語「 朝鮮人民民主主義共和国」 に関連する単語群と、キーワード「 北朝鮮」 に関連する単語群を一つにまとめて出力する。
【０１５２】
なお、ＣＰＵ１１は、対象単語指定機能，頻度計算機能， 前後出現単語抽出機能，共起確率計算機能，出現確率計算機能，順序依存型単語関連度計算機能，順序無依存型単語関連度計算機能，単語群抽出機能，単語分割機能として図１２〜１５に示すような動作をキーワード「 北朝鮮」 と場合により同義語「 朝鮮人民民主主義共和国」 にも行なう。
【０１５３】
上記を別言すると、汎用コンピュータ１ｚは、対象単語指定ステップ，前後出現単語抽出ステップ，共起確率計算ステップ，出現確率計算ステップ，順序依存型単語関連度計算ステップ，順序無依存型単語関連度計算ステップ，単語群抽出ステップ，単語分割ステップ，同義語に関連する単語群とキーワードに関連する単語群とを一つにまとめて出力することを実行することで、テキストデータから関連語を抽出する。
【０１５４】
このように本発明の一実施形態の第３変形例にかかる関連語抽出装置が適用された汎用コンピュータ１ｚによれば、前記（ｂ）に述べたものの他に、ＣＰＵ１１が前出現単語に対する順序に依存する単語関連度Ａ（ωｉ，ωｋ）を２乗した値と後出現単語に対する順序に依存する単語関連度Ａ（ωｋ，ωｉ）を２乗した値との和算した値を平方根する演算処理により算出された値を基に、単語「 北朝鮮」 ，「 朝鮮人民民主主義共和国」 それぞれに関連する単語群（図２６，２７）のリストを作成しつつ、キーワード「 北朝鮮」 に関連する単語群を一つにまとめた関連語のリストを出力することができるとともに、関連語の自動抽出を行なうときに問題となる異表記を含む同義語間の問題を解決することもできる。
（ｃ）その他
（ｃ１）他の一実施形態の説明
図２９は、本発明の他の一実施形態にかかる関連語抽出装置が適用された汎用コンピュータ１−１のブロック図であり、この図２９に示すようにコンピュータ１−１は前後出現単語抽出部２１，頻度計算部２２，共起確率計算部２４，出現確率計算部２３，順序依存型単語関連度計算部２５，順序無依存型単語関連度計算部２６，単語抽出部２７，記憶部（図示しない）をそなえて構成される。
【０１５５】
コンピュータ１−１は、前述の図１あるいは図２に示すコンピュータ１と同様のハードウェア構成を有するものである。
なお、本発明の他の一実施形態にかかる関連語抽出装置が適用された汎用コンピュータ１−１は、前記（ｂ）で述べた一実施形態にかかる汎用コンピュータ１とは、単語分割部を備えて構成されていない点を異にする。
【０１５６】
ここで、前後出現単語抽出部２１はテキストデータ上において、指定された単語の前に出現する前出現単語または指定された単語の後に出現する後出現単語を抽出するものであり、出現確率計算部２３は頻度計算部２２からの指定された単語の頻度情報および前出現単語および後出現単語のテキストデータ上での出現頻度情報に基づいて指定された単語の出現確率とともに上記の前出現単語および後出現単語それぞれの出現確率を計算しうるものである。
【０１５７】
共起確率計算部２４は頻度計算部２２からの前後出現単語抽出部２１にて抽出された前出現単語および後出現単語の頻度情報に基づいて、前出現単語および後出現単語のそれぞれがキーワードと共起する共起確率を計算するものであり、順序依存型単語関連度計算部２５は出現確率計算部２３からの各出現確率情報と、共起確率計算部２４からの各共起確率情報とに基づいて指定された単語に対する前出現単語および後出現単語の出現順序に依存する関連度を計算するものである。
【０１５８】
順序無依存型単語関連度計算部２６は、順序依存型単語関連度計算部２５からの関連度情報に基づいて、指定された単語に対する前出現単語および後出現単語の、出現順序に依存しない関連度を計算するものである。
単語群抽出部（図示しない）は、順序無依存型単語関連度計算部２６にて計算された関連度情報に基づいて、指定された単語に関連する単語群をテキストデータから抽出するものであり、記憶部（図示しない）は、指定された単語に関する各種計算結果および抽出結果のうちの少なくとも一つを記憶しておくものである。
【０１５９】
さらに、上記各部とＣＰＵ１１，メインメモリ１２，ＨＤＤ１３等とを具体的に関連付けて説明すると、ＣＰＵ１１は頻度計算部２２，前後出現単語抽出部２１，共起確率計算部２４，出現確率計算部２３，順序依存型単語関連度計算部２５，順序無依存型単語関連度計算部２６，単語群抽出部２７として構成されているとともに、メモリ１２やハードディスク１３は記憶部として構成されている。
【０１６０】
上述の構成により、本発明の他の一実施形態の関連語抽出装置が適用された汎用コンピュータ１−１では、本体装置１ａ内へＣＤ−ＲＯＭ等のコンピュータ読み取り可能な記録媒体から関連語抽出プログラムがコンピュータ内にインストールされることで、動作し得る状態になる。
ところで、関連語抽出プログラムは、汎用コンピュータ１−１に、キーワードに関連する関連語としての単語群をテキストデータから抽出すべく、対象単語指定機能，頻度計算機能， 前後出現単語抽出機能，共起確率計算機能，出現確率計算機能，順序依存型単語関連度計算機能，順序無依存型単語関連度計算機能，単語群抽出機能，類似度計算機能を実行させるためのコンピュータ１−１の処理に適した命令が順番付けられた列である。
【０１６１】
なお、対象単語指定機能はコンピュータ１−１においてテキストデータ中から関連語を抽出すべき対象となるキーワードを指定する機能であり、前後出現単語抽出機能はコンピュータ１−１においてテキストデータ内のキーワードωｋ の前に出現する前出現単語ωｆｉまたはキーワードωｋ の後に出現する後出現単語ωｂｉを抽出する機能であり、頻度計算機能はコンピュータ１−１において頻度ｆ（ωｉ），ｆ（ωｋ）等を算出する機能である。
【０１６２】
出現確率計算機能はコンピュータ１−１においてキーワードωｋ の出現確率Ｐ（ωｋ）とともに前後出現単語抽出機能にて抽出された前出現単語ωｆｉおよび後出現単語ωｂｉそれぞれの出現確率Ｐ（ωｆｉ），Ｐ（ωｂｉ） を計算する機能であり、共起確率計算機能はコンピュータ１−１において前後出現単語抽出機能にて抽出された前出現単語ωｆｉおよび後出現単語ωｂｉのそれぞれがキーワードωｋ と共起する共起確率Ｐ（ωｆｉ， ωｋ），Ｐ（ωｋ，ωｂｉ） を計算する機能であり、順序依存型単語関連度計算機能はコンピュータ１−１において共起確率計算機能にて計算された各共起確率情報Ｐ（ωｆｉ， ωｋ），Ｐ（ωｋ，ωｂｉ） および出現確率計算機能にて計算された各出現確率情報Ｐ（ωｋ），Ｐ（ωｆｉ），Ｐ（ωｂｉ） に基づいて、キーワードωｋ に対する前出現単語ωｆｉおよび後出現単語ωｂｉの出現順序に依存する関連語度Ａ（ωｆｉ， ωｋ），Ａ（ωｋ，ωｂｉ） を計算する機能である。
【０１６３】
順序無依存型単語関連度計算機能はコンピュータ１−１において順序依存型単語関連度計算機能にて計算された関連度情報Ａ（ωｆｉ， ωｋ），Ａ（ωｋ，ωｂｉ） に基づいて、キーワードに対する前出現単語ωｆｉおよび後出現単語ωｂｉの出現順序に依存しない関連度ｒ（ωｉ，ωｋ）を計算する機能である。
単語群抽出機能はコンピュータ１−１において順序無依存型単語関連度計算機能にて計算された関連度情報ｒ（ωｉ，ωｋ）に基づいて、キーワードωｋ に関連する単語群をテキストデータから抽出して出力する機能である。
【０１６４】
そして、ＣＰＵ１１は、対象単語指定機能，頻度計算機能， 前後出現単語抽出機能，共起確率計算機能，出現確率計算機能，順序依存型単語関連度計算機能，順序無依存型単語関連度計算機能，単語群抽出機能として図１２〜１４，３０に示すような動作を行なう。
ここで、図３０は、頻度計算部２２としてのＣＰＵ１１が関連語抽出プログラムを実行する際の処理の流れを示すフローチャートであり、この図３０に示すように、頻度計算機能としてＣＰＵ１１は、出現確率計算部２３からの指示か否かを判断し（ステップＳ４０）、出現確率計算部２３からの指示である場合は、キーワードωｋ の頻度情報ｆ（ωｋ）が記憶装置に格納されているか否かを判断する（ステップＳ４１）。
【０１６５】
頻度情報ｆ（ωｋ）が記憶装置に格納されていない場合、頻度計算機能としてのＣＰＵ１１は、テキストデータ中にキーワードωｋ の出現頻度（回数）ｆ（ωｋ）を計算して（ステップＳ４２）、出力する（ステップＳ４３）。
他方、図３０には示していないが、頻度計算機能としてのＣＰＵ１１は、前後出現単語抽出機能としてのＣＰＵ１１にて抽出された前出現単語ωｆｉ， 後出現単語ωｂｉのテキストデータ中の出現頻度数をも算出する。
【０１６６】
ここで、ＣＰＵ１１は、出現確率計算機能として、頻度計算機能としてのＣＰＵ１１が出力した頻度情報ｆ（ωｋ），ｆ（ωｉ）を基に、出現確率Ｐ（ωｋ），Ｐ（ωｉ）を計算する。
ところで、出現確率計算部２３からの指示ではない場合、頻度計算部２２としてのＣＰＵ１１は、前後出現単語抽出部２１からの指示か否かを判断する（ステップＳ４４）。
【０１６７】
ここで、前後出現単語抽出部２１からの指示である場合、頻度計算部２２としてのＣＰＵ１１は、前後出現単語抽出部２１から渡されたテキストデータを用いて、その中に含まれる単語の頻度を数えて（ステップＳ４５）、集計した単語の頻度を出現確率計算部２３へ出力する（ステップＳ４６）。
また、頻度計算部２２としてのＣＰＵ１１が、前後出現単語抽出部２１からの指示ではないと判断した場合には、その信号をエラーとする。
【０１６８】
ところで、出現確率計算部２３としてのＣＰＵ１１の処理の流れ（ 図示しない） は、関連語抽出プログラムを実行することにより、求める出現確率Ｐ（ωｉ）等の情報が記憶装置に格納されているか否か判断し、記憶装置に格納されていない場合には、頻度計算部２２からｆ（ωｆｉ），ｆ（ωｂｉ），ｆ（ωｋ）等の単語の頻度情報をうけて出現確率Ｐ（ｂｉ），Ｐ（ωｋ）を計算して、その計算結果Ｐ（ｂｉ），Ｐ（ωｋ）を出力する。一方、記憶装置に求める出現確率Ｐ（ωｉ）等の確率情報Ｐ（ｂｉ），Ｐ（ωｋ）が格納されている場合は、出現確率計算部２３としてのＣＰＵ１１は、共起確率計算部２４へ出力する。
【０１６９】
別言すると、汎用コンピュータ１−１は、対象単語指定ステップ，前後出現単語抽出ステップ，共起確率計算ステップ，出現確率計算ステップ，順序依存型単語関連度計算ステップ，順序無依存型単語関連度計算ステップ，単語群抽出ステップを実行することで、テキストデータから関連語を抽出する。
このように本発明の他の一実施形態にかかる関連語抽出装置としての汎用コンピュータ１−１によれば、ＣＰＵ１１が前出現単語に対する順序に依存する単語関連度Ａ（ωｉ，ωｋ）を２乗した値と後出現単語に対する順序に依存する単語関連度Ａ（ωｋ，ωｉ）を２乗した値との和算した値を平方根する演算処理により算出された値を用いて、英語，独語，仏語等により分かち書きされている文書情報に関して、キーワードの前出現／後出現に依存しない利用者にとって分かり易く、かつ、精度を高くして関連語を抽出できる。
【０１７０】
さらに、本発明の他の一実施形態にかかる関連語抽出装置が適用された汎用コンピュータ１−１によれば、ハードディスク１３等の記憶部をそなえて構成されているので、頻度計算部２２，順序依存型単語関連度計算部２５等における各処理により算出された情報が保持されることで、関連語抽出に伴う処理を早めると共に単語の出現順序に依存しない関連語のリストを作成することができる。
【０１７１】
ならびに、本発明他の一実施形態にかかる汎用コンピュータ１−１によれば、関連語抽出プログラムを基にコンピュータ１−１が、対象単語指定機能，前後出現単語抽出機能，共起確率計算機能，出現確率計算機能，順序依存型単語関連度計算機能，順序無依存型単語関連度計算機能，単語群抽出機能を実行することにおいても、ＣＰＵ１１が前出現単語に対する順序に依存する単語関連度Ａ（ωｉ，ωｋ）を２乗した値と後出現単語に対する順序に依存する単語関連度Ａ（ωｋ，ωｉ）を２乗した値との和算した値を平方根する演算処理により算出された値を用いて、英語，独語，仏語等により分かち書きされている文書情報に関して、キーワードの前出現／後出現に依存しない利用者にとって分かり易く、かつ、精度を高くして関連語を抽出できる。
（ｃ２）その他のハードウェア構成の説明
上記（ｂ）〜（ｃ１）では、汎用コンピュータ１，１ｘ，１ｙ，１ｚ，１−１のように装置が単体として構成されている場合を前提として説明をしたが、二つ以上の装置により大量の文書データから関連語を抽出することもできる。
【０１７２】
たとえば、通信端末の利用者の汎用或いは非汎用のコンピュータからキーワードを通信回線（インターネット、パソコン通信等）を介して大型のホストコンピュータへ送信し、大型のホストコンピュータがデータベース等に格納してある大量の文書データから関連語を抽出して、抽出した関連語を通信回線を介してキーワードを送信した汎用或いは非汎用のコンピュータに送ることによっても前記（ｂ）〜（ｃ１）と同じ動作や作用を得ることができる。
【０１７３】
一方、前記（ｃ３）では、同義語辞書部３１が順序依存型単語関連度計算部２５にて利用される場合について説明したが、他の頻度計算部２２，前後出現単語抽出部２１等が参照することとしても、前記（ｃ３）同様に一つにまとめて関連語のリストを抽出することができ得る。また、同義語辞書部３１の他、シソーラスや対訳辞書等を用いても前記同様のことが実現することができる。
【０１７４】
他方、前記（ｂ）〜（ｃ１）において、類似度計算部２９，関連単語群出部３０等が単語群抽出部２７にて抽出された関連語リストを基に、類似度を算出したり、二つ以上の単語の関連語のリストを作成するようになっているが、類似度計算部２９，関連単語群出部３０等が、順序依存型単語関連度計算部２６にて算出された関連度ｒ（ωｉ，ωｋ）を基に、類似度を算出したり、二つ以上の単語の関連語のリストを作成するような構成にしてもよく、この場合においても、前記と同様に、新語に対しても類似度の判定を行なうことができ、また、二つの単語に関連する単語を見ることで二つの単語の関係や付随する知識を理解し易くなる。
【０１７５】
並びに、上記詳述した他、本発明の数式（５）を基にして順序に依存しない関連度ｒ（ωｉ，ωｋ）を算出して関連語を抽出する要旨を逸脱しない範囲で様々な形態において実施を行なうことができ得る。
（ｄ）順序依存型単語関連度計算部
上記（ｂ）〜（ｃ２）とは異なり、単語群抽出部２７が順序依存型単語関連度計算部２５にて算出された関連度Ａ（ωｉ，ωｋ）或いは関連度Ａ（ωｋ，ωｉ）の情報を基に関連語をテキストデータから抽出するように用いる場合には、関連語抽出装置は、キーワードと関連語の出現順序に依存するが関連語のリストを作成することができる。
【０１７６】
なお、この場合においても、頻度計算部２２等の各部は、前記上記（ｂ）〜（ｃ２）に述べたとことと同様である。
【０１７７】
【発明の効果】
以上詳述したように、本発明の関連語抽出装置によれば、順序無依存型単語関連度計算部において、順序依存型単語関連度計算部からの関連度情報に基づき、指定された単語に対する前出現単語および後出現単語の、出現順序に依存しない関連度を計算し、単語群抽出部において、順序無依存型単語関連度計算部にて計算された関連度情報に基づいて、関連度の高い単語を関連語として抽出することができるので、形態素解析また構文解析の処理を施すことなく、利用者にとって分かり易く、かつ、精度を高くして関連語を抽出できる利点がある。
また、本発明の関連語抽出装置によれば、記憶部が、頻度計算部，順序依存型単語関連度計算部等の各処理により算出された情報を保持することで、関連語抽出に伴う処理を早めると共に単語の出現順序に依存しない関連語のリストを作成することができる利点がある。
さらに、本発明の関連語抽出装置によれば、単語分割部が、単語毎に区切られていないテキスト（例えば、日本語や中国語で書かれた文書）を単語あるいは形態素毎に分ける処理を行なうので、予め単語品詞情報をそなえていなくとも日本語等で記載された文書からの関連語抽出も容易に作成することができる利点がある。
一方、本発明の関連語抽出装置によれば、類似度計算部が、順序無依存型単語関連度計算部にて計算された関連度を基に、２つ以上の単語の類似度を算出することができる利点があるとともに、新語に対しても類似度を判定することができる利点もある。
また、本発明の関連語抽出装置によれば、関連単語群抽出部が、順序無依存型単語関連度計算部にて計算された関連度を基に、少なくとも２つ以上の単語に関連する単語群を一つにまとめて出力することができる利点があるとともに、少なくとも２つ以上の単語に関連する単語を理解する際に、少なくとも２つ以上の単語間の関係や、付随する知識が分かり易くなる利点がある。
他方、本発明の関連語抽出装置によれば、同義語辞書部をそなえて構成されることで、同義語辞書部からの情報に基づき指定された単語と同義と見做された単語については、指定された単語と一つにまとめて出力するので、関連語の出現する位置がキーワードの前後に関わらず、大量の文書データから有益の関連語データを抽出することができる利点があるとともに、関連語を自動抽出するときに問題となる異表記を含む同義語の問題を解決することができ、例えば，単語「富士通」「 Fujitsu 」のように異なる表記でテキストデータ中に出現しても同一のものとして関連語を抽出したい場合に有益である利点がある。
【０１８１】
または、本発明の関連語抽出方法によれば、記憶部を有するコンピュータが、ある単語に関連する関連語としての単語群をテキストデータから抽出する関連語抽出方法において、前後出現単語抽出ステップと、共起確率計算ステップと、出現確率計算ステップと、順序依存型単語関連度計算ステップと、順序無依存型単語関連度計算ステップと、単語抽出ステップと、を実行し、単語抽出ステップにおいては、順序無依存型単語関連度計算ステップにて前記記憶部に記憶された順序無依存型単語関連度情報を前記記憶部から読み出し、読み出された前記順序無依存型単語関連度情報に基づいて、関連度の高い単語を関連語として抽出することができるので、形態素解析また構文解析の処理を施すことなく、利用者にとって分かり易く、かつ、精度を高くして関連語を抽出できる利点がある。
さらに、本発明の関連語抽出方法によれば、単語分割ステップが、単語毎に区切られていないテキスト（例えば、日本語や中国語で書かれた文書）を単語あるいは形態素毎に分ける処理を行なうので、日本語等で記載された文書からの関連語抽出も容易に作成することができる利点がある。
または、本発明の関連語抽出方法によれば、類似度計算ステップが、順序無依存型単語関連度計算ステップにて計算された前記順序無依存型単語関連度情報を基に作成した関連語のリストを用いて、少なくとも２つ以上の単語間の類似度を算出するので、新語に対しても類似度を判定することができる利点もある。
または、本発明の関連語抽出方法によれば、関連単語群抽出ステップが、順序無依存型単語関連度計算ステップにて計算された前記順序無依存型単語関連度情報を基に作成した関連語のリストを用いて、少なくとも２つ以上の単語に関連する単語群を一つにまとめて出力するので、少なくとも２つ以上の単語に関連する単語を理解する際に、少なくとも２つ以上の単語間の関係や、付随する知識が分かり易くなる利点がある。
【０１８５】
さらに、本発明のコンピュータ読取可能な記録媒体によれば、ある単語に関連する関連語としての単語群をテキストデータから抽出すべく、記憶部を有するコンピュータに、前後出現単語抽出機能と、共起確率計算機能と、出現確率計算機能と、順序依存型単語関連度計算機能と、順序無依存型単語関連度計算機能と、単語抽出機能と、を実行させ、単語抽出機能により、順序無依存型単語関連度計算機能にて前記記憶部に記憶された順序無依存型単語関連度情報に基づいて、関連度の高い単語を関連語として抽出することができるので、形態素解析また構文解析の処理を施すことなく、利用者にとって分かり易く、かつ、精度を高くして関連語を抽出できる利点がある。
【図面の簡単な説明】
【図１】本発明の実施の形態にかかる関連語抽出装置が適用されるシステムを示す図である。
【図２】本発明の実施の形態にかかる関連語抽出装置が適用されるシステムの要部を示すブロック図である。
【図３】本発明の一実施形態にかかる関連語抽出装置が適用されたシステムのブロック図である。
【図４】本発明の一実施形態にかかる一テキストデータを示す図である。
【図５】本発明の一実施形態にかかる単語或いは形態素の単位に分割された一テキストデータを示す図である。
【図６】（ａ），（ｂ）は、それぞれ本発明の一実施形態にかかる前後出現単語抽出部にて抽出された単語の一例を示す図である。
【図７】本発明の一実施形態にかかる頻度計算部にて算出された頻度情報の一例を示す図である。
【図８】本発明の一実施形態にかかる頻度計算部にて算出された頻度情報の一例を示す図である。
【図９】本発明の一実施形態にかかる順序依存型単語関連度計算部にて計算された関連度情報の一例を示す図である。
【図１０】本発明の一実施形態にかかる順序依存型単語関連度計算部にて計算された関連度情報の一例を示す図である。
【図１１】本発明の一実施形態にかかる順序無依存型単語関連度計算部にて計算された関連度情報の一例を示す図である。
【図１２】本発明の一実施形態にかかるコンピュータにて、ＣＰＵが関連語抽出プログラムを実行するときの処理の流れを示すフローチャートである。
【図１３】本発明の一実施形態にかかるコンピュータにて、共起確率計算機能としてのＣＰＵが関連語抽出プログラムを実行するときの処理の流れを示すフローチャートである。
【図１４】本発明の一実施形態にかかるコンピュータにて、前後出現単語抽出部としてのＣＰＵが関連語抽出プログラムを実行するときの処理の流れを示すフローチャートである。
【図１５】本発明の一実施形態にかかるコンピュータにて、頻度計算部としてＣＰＵが関連語抽出プログラムを実行するときの処理の流れを示すフローチャートである。
【図１６】本発明の一実施形態の第１変形例にかかる関連語抽出装置が適用された汎用コンピュータのブロック図である。
【図１７】本発明の一実施形態の第１変形例にかかる単語群抽出部にて単語「自動車」に関して抽出された関連語リストを示す図である。
【図１８】本発明の一実施形態の第１変形例にかかる単語群抽出部にて単語「車」に関して抽出された関連語リストを示す図である。
【図１９】本発明の一実施形態の第１変形例にかかる単語群抽出部にて単語「航空機」に関して抽出された関連語リストを示す図である。
【図２０】本発明の一実施形態の第１変形例にかかる類似度計算部にて算出された単語「 自動車」 ，「 車」 の類似度と単語「 自動車」 ，「 航空機」 の類似度とを示す図である。
【図２１】本発明の一実施形態の第２変形例にかかる関連語抽出装置が適用された汎用コンピュータのブロック図である。
【図２２】本発明の一実施形態の第２変形例にかかる単語群抽出部にて単語「エジプト」に関して抽出された関連語リストを示す図である。
【図２３】本発明の一実施形態の第２変形例にかかる単語群抽出部にて単語「大統領」に関して抽出された関連語リストを示す図である。
【図２４】本発明の一実施形態の第２変形例にかかる関連単語群抽出部にて抽出された２つの単語「 エジプト」 ，「 大統領」 に関連する単語群のリストを示す図である。
【図２５】本発明の一実施形態の第３変形例にかかる関連語抽出装置が適用された汎用コンピュータのブロック図である。
【図２６】本発明の一実施形態の第３変形例にかかる単語群抽出部にて単語「北朝鮮」に関して抽出された関連語リストを示す図である。
【図２７】本発明の一実施形態の第３変形例にかかる単語群抽出部にて単語「朝鮮人民民主主義共和国」に関して抽出された関連語リストを示す図である。
【図２８】本発明の一実施形態の第３変形例にかかる単語群抽出部にて単語「北朝鮮」，「朝鮮人民民主主義共和国」に関して抽出された関連語リストを示す図である。
【図２９】本発明の他の一実施形態にかかる関連語抽出装置が適用された汎用コンピュータのブロック図である。
【図３０】本発明の他の一実施形態にかかる汎用コンピュータにて、頻度計算部としてＣＰＵが関連語抽出プログラムを実行するときの処理の流れを示すフローチャートである。
【符号の説明】
１，１ｘ，１ｙ，１ｚ，１−１ 汎用コンピュータ
１ａ 本体装置
１ｂ ディスプレイ
１ｃ キーボード
１ｄ ＣＤ−ＲＯＭドライブ
１１ ＣＰＵ
１２ メモリ
１３ ハードディスク（ＨＤＤ）
１４ 入力装置
１５ 出力装置
２１ 前後出現単語抽出部
２２ 頻度計算部
２３ 出現確率計算部
２４ 共起確率計算部
２５ 順序依存型単語関連度計算部
２６ 順序無依存型単語関連度計算部
２７ 単語群抽出部
２８ 単語分割部
２９ 類似度計算部
３０ 関連単語群抽出部
３１ 同義語辞書部

Claims (12)

1. テキストデータ上において、指定された単語の前に出現する前出現単語または上記指定された単語の後に出現する後出現単語を抽出する前後出現単語抽出部と、
   上記指定された単語がテキストデータ上で出現する頻度，上記の前出現単語または後出現単語がテキストデータ上で出現する頻度および該前後出現単語抽出部にて抽出された上記の前出現単語および後出現単語の頻度を計算しうる頻度計算部と、
   該頻度計算部からの上記指定された単語の頻度情報および上記の前出現単語および後出現単語のテキストデータ上での出現頻度情報に基づいて、上記指定された単語の出現確率とともに上記の前出現単語および後出現単語それぞれの出現確率を計算しうる出現確率計算部と、
   該頻度計算部からの、該前後出現単語抽出部にて抽出された上記の前出現単語および後出現単語の頻度情報に基づいて、上記の前出現単語および後出現単語のそれぞれが上記指定された単語と共起する共起確率を計算する共起確率計算部と、
   該出現確率計算部からの各出現確率情報と、該共起確率計算部からの各共起確率情報とに基づいて、上記の指定された単語に対する前出現単語および後出現単語の、出現順序に依存する関連度を計算する順序依存型単語関連度計算部と、
   該順序依存型単語関連度計算部からの関連度情報に基づいて、上記の指定された単語に対する前出現単語および後出現単語の、出現順序に依存しない関連度を計算する順序無依存型単語関連度計算部と、
   該順序無依存型単語関連度計算部にて計算された関連度情報に基づいて、関連度の高い単語を関連語として抽出する単語群抽出部と、
   をそなえて構成されたことを特徴とする、関連語抽出装置。
2. 上記指定された単語に関する各種計算結果および抽出結果のうちの少なくとも一つを記憶しておく記憶部をそなえて構成されたことを特徴とする、請求項１記載の関連語抽出装置。
3. 上記テキストデータについて単語または形態素の単位に分割する単語分割部をそなえ、該単語分割部にて分割された結果を用いることにより、上記の前後出現単語抽出部および頻度計算部における処理を行なうように構成されたことを特徴とする、請求項１記載の関連語抽出装置。
4. 該単語群抽出部から、上記指定された単語としての少なくとも２つの単語それぞれに関連する単語群の抽出結果を用いることにより、上記少なくとも２つの単語間の類似度を計算する類似度計算部をそなえて構成されたことを特徴とする、請求項１記載の関連語抽出装置。
5. 該単語群抽出部から、上記指定された単語としての少なくとも２つの単語それぞれに関連する単語群の抽出結果を用いることにより、上記各単語の全てに関連する単語群を抽出する関連単語群抽出部をそなえて構成されたことを特徴とする、請求項１記載の関連語抽出装置。
6. 上記指定された単語に対して同義と見做しうる単語を判定するための同義語辞書部をそなえ、該同義語辞書部からの情報に基づき上記指定された単語と同義と見做された単語については、上記指定された単語と一つにまとめるように構成されたことを特徴とする、請求項１記載の関連語抽出装置。
7. 記憶部を有するコンピュータが、ある単語に関連する関連語としての単語群をテキストデータから抽出する関連語抽出方法において、
   テキストデータ上において、指定された単語の前に出現する前出現単語および後に出現する後出現単語を抽出し、前記記憶部に記憶を行なう前後出現単語抽出ステップと、
   該前後出現単語抽出ステップにて前記記憶部に記憶された前出現単語および後出現単語を前記記憶部から読み出し、読み出された前記の前出現単語および後出現単語のそれぞれが、前記指定された単語と共起する共起確率を計算し、前記記憶部に記憶を行なう共起確率計算ステップと、
   前記指定された単語の出現確率とともに、該前後出現単語抽出ステップにて抽出された前出現単語および後出現単語それぞれの出現確率を計算し、前記記憶部に記憶を行なう出現確率計算ステップと、
   上記の共起確率計算ステップにて前記記憶部に記憶された各共起確率情報および出現確率計算ステップにて前記記憶部に記憶された各出現確率情報を前記記憶部から読み出し、読み出された前記の各共起確率情報および各出現確率情報に基づいて、上記の指定された単語に対する前出現単語および後出現単語の、出現順序に依存する順序依存型単語関連度を計算し、前記記憶部に記憶を行なう順序依存型単語関連度計算ステップと、
   該順序依存型単語関連度計算ステップにて前記記憶部に記憶された順序依存型単語関連度情報を前記記憶部から読み出し、読み出された前記順序依存型単語関連度情報に基づいて、上記の指定された単語に対する前出現単語および後出現単語の、出現順序に依存しない順序無依存型単語関連度を計算し、前記記憶部に記憶を行なう順序無依存型単語関連度計算ステップと、
   該順序無依存型単語関連度計算ステップにて前記記憶部に記憶された順序無依存型単語関連度情報を前記記憶部から読み出し、読み出された前記順序無依存型単語関連度情報に基づいて、関連度の高い単語を関連語として抽出する単語抽出ステップと、
   を実行することを特徴とする、関連語抽出方法。
8. 前記コンピュータは、更に、
   該前後出現単語抽出ステップにおける上記の前出現単語および後出現単語を抽出する前段または後段において、上記テキストデータについて単語または形態素の単位に分割する単語分割ステップを実行することを特徴とする、請求項７記載の関連語抽出方法。
9. 前記コンピュータは、更に、
   該単語群抽出ステップにて上記指定された単語としての少なくとも２つの単語それぞれに関連する単語群を抽出した後に、抽出された上記各単語に関連する単語群から、上記少なくとも２つの単語間の類似度を計算する類似度計算ステップを実行することを特徴とする、請求項７記載の関連語抽出方法。
10. 前記コンピュータは、更に、
    該単語群抽出ステップにて上記指定された単語としての少なくとも２つの単語それぞれに関連する単語群を抽出した後に、抽出された上記各単語に関連する単語群から、上記各単語全てに関連する単語群を抽出する関連単語群抽出ステップをそなえて構成されたことを特徴とする、請求項７記載の関連語抽出方法。
11. 前記コンピュータは、更に、
    前記指定された単語に対して同義と見做しうる単語がある場合には、該単語群抽出ステップにおいて、上記同義と見做しうる単語に関連する単語群と、上記指定された単語に関連する単語群とを一つにまとめて出力することを特徴とする、請求項７記載の関連語抽出方法。
12. ある単語に関連する関連語としての単語群をテキストデータから抽出すべく、
    記憶部を有するコンピュータに、
    テキストデータ上において、指定された単語の前に出現する前出現単語および後に出現する後出現単語を抽出し、前記記憶部に記憶を行なう前後出現単語抽出機能と、
    該前後出現単語抽出機能にて前記記憶部に記憶された前出現単語および後出現単語を前記記憶部から読み出し、読み出された前記の前出現単語および後出現単語のそれぞれが、該対象単語指定機能にて指定された単語と共起する共起確率を計算し、前記記憶部に記憶を行なう共起確率計算機能と、
    前記指定された単語の出現確率とともに、該前後出現単語抽出機能にて抽出された前出現単語および後出現単語それぞれの出現確率を計算し、前記記憶部に記憶を行なう出現確率計算機能と、
    上記の共起確率計算機能にて前記記憶部に記憶された各共起確率情報および出現確率計算機能にて前記記憶部に記憶された各出現確率情報を前記記憶部から読み出し、読み出さ れた前記の各共起確率情報および各出現確率情報に基づいて、上記の指定された単語に対する前出現単語および後出現単語の、出現順序に依存する順序依存型単語関連度を計算し、前記記憶部に記憶を行なう順序依存型単語関連度計算機能と、
    該順序無依存型単語関連度計算機能にて前記記憶部に記憶された順序依存型単語関連度情報を前記記憶部から読み出し、読み出された前記順序依存型単語関連度情報に基づいて、上記指定された単語に対する前出現単語および後出現単語の、出現順序に依存しない順序無依存型関連度を計算し、前記記憶部に記憶を行なう順序無依存型単語関連度計算機能と、
    該順序無依存型単語関連度計算機能にて前記記憶部に記憶された順序無依存型単語関連度情報に基づいて、関連度の高い単語を関連語として抽出する単語抽出機能と、
    を実行させるための関連語抽出プログラムが記録されたことを特徴とする、関連語抽出プログラムが記録されたコンピュータ読取可能な記録媒体。

Images