JP3584848B2 - 文書処理装置、項目検索装置及び項目検索方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は各種文書を処理する文書処理装置、複数の単語を含む項目から単語を抽出する項目検索装置、及び各種文書を処理する文書処理装置の項目検索方法に関し、特に単語間の関連度の計算を行う文書処理装置、単語間の関連度に基づき単語抽出する項目検索装置、単語間の関連度の計算を行う文書処理装置の項目検索方法に関する。
【０００２】
【従来の技術】
膨大な量の文書を対象とした検索システムでは、一般にキーワードによる検索方式が用いられている。検索条件として任意のキーワード（検索語）を検索システムに入力すると、文書内容に検索語を含む全ての文書が検索結果として得られる。この方式による検索は、全文検索と呼ばれている。また、各文書に対して検索用のキーワードを予め付加しておき、入力された検索語と一致するキーワードが付加された文書を検索結果とする方式も広く用いられている。
【０００３】
上記の検索システムでは、ユーザによって入力された検索語と完全に一致する語を含んでいる文書か、あるいは、ユーザが入力したキーワードと完全に一致する語が検索用のキーワードとして付加されている文書しか検索結果として得ることができない。
【０００４】
従って、このような検索システムでは、検索語とキーワード間の完全一致が要求されるため、ユーザが求める全ての文書を網羅的に得ることができるものではない。そこで、「特開平２−２９７２９０号公報」において提案されている通り、検索漏れを防ぐために、関連語辞書を用いることにより検索語の関連語をユーザに提示し、より検索意図に合致する検索式の作成を促す方式が用いられている。
【０００５】
例えば、ユーザが入力した検索語が「ＳＧＭＬ」の場合、関連語辞書から「ＳＧＭＬ」の関連語として「ＨＴＭＬ」「ＯＤＡ」「構造化文書」等を取得し、ユーザに提示する。これにより、ユーザが適切であると判断した関連語を「ＳＧＭＬ」とＯＲ結合して検索することによって、検索漏れの軽減を図る。
【０００６】
関連語辞書を手作業で作成するためには多大な工数を要するので、検索対象文書の内容を基に、関連語を計算によって自動的に求める方法が提案されている。すなわち、検索対象文書中に出現する単語の頻度情報に統計処理を加えることにより、ある語と関連する語を算出するものである。
【０００７】
関連語計算には、統計量として主に、相互情報量、Ｄｉｃｅ−ｃｏｅｆｆｉｃｉｅｎｔ、ｔ−ｓｃｏｒｅが用いられる。単語ｗｏｒｄ１とｗｏｒｄ２の間の相互情報量（ＭＩ）、Ｄｉｃｅ−ｃｏｅｆｆｉｃｉｅｎｔ（ＤＣ）、ｔ−ｓｃｏｒｅ（ＴＳ）は、それぞれ、
【０００８】
【数１】

【０００９】
【数２】

【００１０】
【数３】

【００１１】
と定義される。ただし、全検索対象文書数をＭ、ｗｏｒｄ１とｗｏｒｄ２を共に含む文書数をａ、ｗｏｒｄ１のみを含む文書数をｂ、ｗｏｒｄ２のみを含む文書数をｃとした場合、
【００１２】
【数４】

【００１３】
【数５】

【００１４】
【数６】

【００１５】
である。ＭＩ（ｗｏｒｄ１，ｗｏｒｄ２），ＤＣ（ｗｏｒｄ１，ｗｏｒｄ２），ＴＳ（ｗｏｒｄ１，ｗｏｒｄ２）のいずれも、その値が大きいほどｗｏｒｄ１とｗｏｒｄ２の間に高い関連性があることを意味する。これらの統計量によって関連語を求め、関連語辞書を作成するために、「春野，山崎：辞書と統計を用いた対訳アライメント，情報処理学会自然言語処理研究会研究報告，９６−ＮＬ−１１２，ｐｐ．２３−３０（１９９６）」、「大森，堤，中西：統計情報を用いた対訳単語辞書の作成，言語処理学会第２回年次大会発表論文集，ｐｐ．４９−５２（１９９６）」等において以下のような従来技術が提案されている。
【００１６】
まず、第１のステップとして、検索対象文書中から形態素解析等の技術を用いて文書中に含まれる全ての単語（自立語）を抽出する。この際、抽出した全単語に対して、各単語を含む文書の識別子へのポインタを記録しておく（各単語からその単語を含む文書を特定できる構造を生成する）。
【００１７】
次に、第２のステップとして、以下のｗｏｒｄ１，ｗｏｒｄ２に対する「第１の処理」を、第１のステップで抽出した単語の全２項組を対象として実行する。
第１の処理は、以下のような処理である。
【００１８】
ｗｏｒｄ１を含む文書数（＝ａ＋ｂ）、ｗｏｒｄ２を含む文書数（＝ａ＋ｃ）、ｗｏｒｄ１およびｗｏｒｄ２を共に含む文書数（＝ａ）を求め、それぞれを全文書数（＝Ｍ）で除することによって、ｐｒｏｂ（ｗｏｒｄ１），ｐｒｏｂ（ｗｏｒｄ２），ｐｒｏｂ（ｗｏｒｄ１， ｗｏｒｄ２）を求める。これらの値から式（１）（あるいは式（２），（３））に従って、ＭＩ（ｗｏｒｄ１，ｗｏｒｄ２）（あるいは、ＤＣ（ｗｏｒｄ１，ｗｏｒｄ２），ＴＳ（ｗｏｒｄ１，ｗｏｒｄ２））の値を求める。
【００１９】
第３のステップとして、以下のｗｏｒｄ３に対する第２の処理を、第１のステップで抽出した全単語を対象として実行し、関連語辞書を作成する。
第２の処理は、以下のような処理である。
【００２０】
以下のｗｏｒｄ４に対する第３の処理を、第１のステップで抽出した単語のうちｗｏｒｄ３以外の全ての単語を対象として実行し、戻り値として得られた語をｗｏｒｄ３の関連語として記録する。
【００２１】
第３の処理は、以下のような処理である。
ＭＩ（ｗｏｒｄ３，ｗｏｒｄ４）（あるいは、ＤＣ（ｗｏｒｄ３，ｗｏｒｄ４），ＴＳ（ｗｏｒｄ３，ｗｏｒｄ４））の値が予め定めた閾値Ｔよりも大きい場合ｗｏｒｄ４を戻り値とする。Ｔよりも小さい場合は戻り値をかえさない。
【００２２】
以上のような処理を行うことにより、第１のステップで検出された全ての単語に対する関連語が求められ、関連語辞書に保持される。この際、関連語辞書に登録されるのは、相互情報量ＭＩ等の値が閾値Ｔよりも大きいものに限られるため、比較的関連性の高い単語が関連語辞書に登録されるものと考えられる。
【００２３】
ところで、ある語の関連語がどのような語彙集合となるかは、対象とする分野に大きく依存するのが一般的である。例えば、情報処理分野においては、「ＯＤＡ」の関連語は「ＳＧＭＬ」「ＨＴＭＬ」「構造化文書」等であるが、経済／社会分野においては、「政府開発援助」「ＵＮＣＴＡＤ」「ＯＯＦ」等である。前述の従来技術では、検索対象文書の内容を基に関連語計算を行うため、得られる関連語辞書は検索対象の分野に沿ったものとなる。
【００２４】
また、対話的な文書検索システムでは、検索プロセスの進行に伴って文書集合の絞り込みが行われる。このように文書集合の絞り込みを行えば、目的の文書を容易に検出できるようになる。
【００２５】
【発明が解決しようとする課題】
しかし、従来の技術では、文書集合が検索プロセスに伴って絞り込まれた場合、関連語辞書の分野依存性により、ユーザにとって必要となる関連語と、全検索対象文書の内容に沿って作成された関連語とは異なるものとなるという問題点がある。
【００２６】
例えば、書誌的事項により、”経済／社会分野”の文書集合へと絞り込みを行った場合でも、全文書内容に沿って作成された関連語辞書によれば、「ＯＤＡ」の関連語として、正しい語の他に「ＳＧＭＬ」「ＨＴＭＬ」「構造化文書」等が得られてしまう。
【００２７】
関連度の大きい順に関連語が表示されている場合であっても、上記のように、関連語の中に検索者の意図を反映しないキーワードが多く含まれてしまうと、上位に位置するキーワードが検索者の検索意図に近いとは限らない。従って、得られた関連語の中から適切なキーワードを探す作業が、検索者にとって大きな負荷となる。
【００２８】
人間である検索者には、関連語の適合性を判定する上で、無益点と呼ばれる物理的・心理的な限界がある。関連語として示された数がその限界を超えている場合には、検索意図に適合した語を全て選ぶという作業を行うことができなくなってしまう。
【００２９】
このように、従来の対話的検索システムでは、検索プロセスの進行に伴って文書集合の絞り込みが行われると、得られる関連語中に不適切なキーワードの占める割合が増大してしまう。さらに、適切な関連語が含まれるよう提示を行うためには、提示キーワードを増加させる必要があり、その数が容易に無益点に達してしまうという問題点がある。即ち、事実上、関連語提示を利用することが不可能となる。
【００３０】
本発明はこのような点に鑑みてなされたものであり、有益な関連語を的確に利用者に提示することができる文書処理装置を提供することを目的とする。
また、本発明の他の目的は、有益な関連語を的確に利用者に提示することができる項目検索装置を提供することである。
【００３１】
また、本発明の他の目的は、有益な関連語を的確に利用者に提示することができる項目検索方法を提供することである。
【００３２】
【課題を解決するための手段】
本発明では上記課題を解決するために、文書を識別する文書識別子およびその文書内に含まれる単語とを組にして記憶している文書情報記憶手段と、前記文書情報記憶手段に記憶されている文書に対する第１の検索条件を入力する第１の検索条件入力手段と、前記第１の検索条件入力手段により入力された前記第１の検索条件に適合する文書を前記文書情報記憶手段より検索する第１の検索手段と、前記第１の検索手段により検索された文書内に含まれる単語のうち、任意の単語を関連語探索単語とし、前記関連語探索単語以外の単語を関連語候補とするキーワード特定手段と、前記関連語探索単語と前記関連語候補中の一つの単語とが、前記第１の検索手段により検索された文書の中の一つの文書内に含まれる確率である同時出現確率を、前記関連語候補中の単語ごとに求める同時出現確率算出手段と、前記関連語探索単語が、前記文書情報記憶手段に記憶されている文書の中の一つの文書内に含まれる確率を求める第１の単独出現確率算出手段と、前記関連語候補中の一つの単語が前記文書情報記憶手段に記憶されている文書の中の一つの文書内に含まれる確率を、前記関連語候補中の単語ごとに求める第２の単独出現確率算出手段と、前記第１の単独出現確率算出手段により求められた確率と、第２の単独出現確率算出手段により求められた確率との積または和を、前記関連語候補中の単語ごとに計算する計算手段と、前記関連語候補中の単語ごとに、同時出現確率算出手段により求められた前記同時出現確率と前記計算手段により計算された値との比率を求め、各単語の比率に応じて単語を抽出する単語抽出手段と、前記単語抽出手段で抽出された単語のうち、操作入力によって選択された単語を検索キーワードとして含む第２の検索条件を入力する第２の検索条件入力手段と、前記第２の検索条件入力手段により入力された前記第２の検索条件に適合する文書を前記文書情報記憶手段より検索し、適合する文書の集合を取得する第２の検索手段と、を具備することを特徴とする文書処理装置が提供される。
【００３３】
この文書処理装置によれば、検索者が検索条件入力手段に対して、任意の検索条件を入力すると、検索手段が、入力された検索条件に適合する文書を文書情報記憶手段内から検索する。すると、キーワード特定手段が、検索手段により検索された文書内に含まれる単語のうち、任意の単語を関連語探索単語とし、関連語探索単語以外の単語を関連語候補とする。同時出現確率算出手段は、同時出現確率を、関連語候補中の単語ごとに求める。第１の単独出現確率算出手段は、関連語探索単語が、文書情報記憶手段に記憶されている文書の中の一つの文書内に含まれる確率を求める。第２の単独出現確率算出手段は、関連語候補中の一つの単語が文書情報記憶手段に記憶されている文書の中の一つの文書内に含まれる確率を、関連語候補中の単語ごとに求める。計算手段は、第１の単独出現確率算出手段により求められた確率と、第２の単独出現確率算出手段により求められた確率との積または和を、関連語候補中の単語ごとに計算する。そして、単語抽出手段が、関連語候補中の単語ごとに、同時出現確率と計算手段により計算された値との比率を求め、各単語の比率に応じて単語を抽出する。さらに第２の検索条件入力手段が、単語抽出手段で抽出された単語のうち、操作入力によって選択された単語を検索キーワードとして含む第２の検索条件を入力する。第２の検索手段が、第２の検索条件入力手段により入力された第２の検索条件に適合する文書を文書情報記憶手段より検索し、適合する文書の集合を取得する。
【００３４】
これにより、検索者が、関連語計算に使用する文書集合を自由に定めることが可能となり、より柔軟な関連語の提示及びその関連語による検索が可能となる。
また、本発明では上記課題を解決するために、複数の単語を含む項目を識別する項目識別子とその項目内に含まれる単語とを組にして記憶している項目記憶手段と、項目記憶手段に記憶されている項目に対する第１の検索条件を入力する第１の検索条件入力手段と、前記第１の検索条件入力手段により入力された前記第１の検索条件に適合する項目を前記項目記憶手段より検索する第１の検索手段と、前記第１の検索手段により検索された項目内に含まれる単語のうち、任意の単語を関連語探索単語とし、前記関連語探索単語以外の単語を関連語候補とするキーワード特定手段と、前記関連語探索単語と前記関連語候補中の一つの単語とが、前記第１の検索手段により検索された項目の中の一つの項目内に含まれる確率である同時出現確率を、前記関連語候補中の単語ごとに求める同時出現確率算出手段と、前記関連語探索単語が、前記項目記憶手段に記憶されている項目の中の一つの項目内に含まれる確率を求める第１の単独出現確率算出手段と、前記関連語候補中の一つの単語が前記項目記憶手段に記憶されている項目の中の一つの項目内に含まれる確率を、前記関連語候補中の単語ごとに求める第２の単独出現確率算出手段と、前記第１の単独出現確率算出手段により求められた確率と、第２の単独出現確率算出手段により求められた確率との積または和を、前記関連語候補中の単語ごとに計算する計算手段と、前記関連語候補中の単語ごとに、同時出現確率算出手段により求められた前記同時出現確率と前記計算手段により計算された値との比率を求め、各単語ごとの比率に応じて単語を抽出する関連語抽出手段と、前記関連語抽出手段で抽出された単語のうち、操作入力によって選択された単語を検索キーワードとして含む第２の検索条件を入力する第２の検索条件入力手段と、前記第２の検索条件入力手段により入力された前記第２の検索条件に適合する項目を前記項目記憶手段より検索し、適合する項目の集合を取得する第２の検索手段と、を具備することを特徴とする項目検索装置が提供される。
【００３５】
この項目検索装置によれば、検索者が検索条件入力手段に対して、任意の検索条件を入力すると、検索手段が、入力された検索条件に適合する項目を項目記憶手段内から検索する。すると、キーワード特定手段が、検索手段により検索された項目内に含まれる単語のうち、任意の単語を関連語探索単語とし、関連語探索単語以外の単語を関連語候補とする。同時出現確率算出手段は、同時出現確率を、関連語候補中の単語ごとに求める。第１の単独出現確率算出手段は、関連語探索単語が、項目記憶手段に記憶されている項目の中の一つの項目内に含まれる確率を求める。第２の単独出現確率算出手段は、関連語候補中の一つの単語が項目情報記憶手段に記憶されている項目の中の一つの項目内に含まれる確率を、関連語候補中の単語ごとに求める。計算手段は、第１の単独出現確率算出手段により求められた確率と、第２の単独出現確率算出手段により求められた確率との積または和を、関連語候補中の単語ごとに計算する。そして、関連語抽出手段が、関連語候補中の単語ごとに、同時出現確率と計算手段により計算された値との比率を求め、各単語の比率に応じて単語を抽出する。さらに第２の検索条件入力手段が、単語抽出手段で抽出された単語のうち、操作入力によって選択された単語を検索キーワードとして含む第２の検索条件を入力する。第２の検索手段が、第２の検索条件入力手段により入力された第２の検索条件に適合する項目を項目記憶手段より検索し、適合する項目の集合を取得する。
【００３６】
これにより、検索者が、関連語計算に使用する項目の集合を自由に定めることが可能となり、より柔軟な関連語の提示及びその関連語による検索が可能となる。
また、本発明では上記課題を解決するために、複数の単語を含む項目を識別する項目識別子とその項目内に含まれる単語とを組にして記憶している項目記憶手段を具備し、前記項目記憶手段に記憶されている項目を検索する情報検索装置の単語抽出方法において、前記項目記憶手段に記憶されている項目に対する第１の検索条件を入力する第１のステップと、前記第１のステップにより入力された前記第１の検索条件に適合する項目を前記項目記憶手段より検索する第２のステップと、前記第２のステップにより検索された項目内に含まれる単語のうち、任意の単語を関連語探索単語とし、前記関連語探索単語以外の単語を関連語候補とする第３のステップと、前記関連語探索単語と前記関連語候補中の一つの単語とが、前記第２のステップにより検索された項目の中の一つの項目内に含まれる確率である同時出現確率を、前記関連語候補中の単語ごとに求める第４のステップと、前記関連語探索単語が、前記項目記憶手段に記憶されている項目の中の一つの項目内に含まれる確率を求める第５のステップと、前記関連語候補中の一つの単語が前記項目記憶手段に記憶されている項目の中の一つの項目内に含まれる確率を、前記関連語候補中の単語ごとに求める第６のステップと、前記第５のステップにより求められた確率と、前記第６のステップにより求められた確率との積または和を、前記関連語候補中の単語ごとに計算する第７のステップと、前記関連語候補中の単語ごとに、前記第４のステップにより求められた前記同時出現確率と前記第７のステップにより計算された値とを用いた統計量を求め、各単語の統計量に応じて単語を抽出する第８のステップと、前記第８のステップにより抽出された単語のうち、操作入力によって選択された単語を検索キーワードとして含む第２の検索条件を入力する第９のステップと、前記第９のステップにより入力された前記第２の検索条件に適合する項目を前記項目記憶手段より検索し、適合する項目の集合を取得する第１０のステップと、を具備することを特徴とする項目検索方法が提供される。
【００３７】
この項目検索方法によれば、検索条件を入力すると、入力された検索条件に適合する項目が検索される。次いで、検索された項目内に含まれる単語のうち、任意の単語が関連語探索単語とされ、関連語探索単語以外の単語が関連語候補リストに登録される。さらに、関連語探索単語と関連語探索単語以外の単語との間の同時出現確率と、各単語の単独出現確率の積あるいは和とから統計量が求められる。そして、各単語ごとに求められた統計量に応じて、単語が抽出される。さらに、抽出された単語のうち、操作入力によって選択された単語を検索キーワードとして含む第２の検索条件を入力されると、入力された第２の検索条件に適合する項目が項目記憶手段より検索され、適合する項目の集合が取得される。
【００３８】
これにより、検索者が、関連語計算に使用する項目の集合を自由に定め、より柔軟な関連語の提示及びその関連語による検索が可能となる。
【００３９】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照して説明する。
図１は、本発明の原理構成図である。
【００４０】
文書情報記憶手段１は、文書を識別する文書識別子およびその文書内に含まれる単語とを組にして記憶している。
検索条件入力手段２は、文書情報記憶手段１に記憶されている文書に対する検索条件を入力する。入力された検索条件は、検索手段３に渡される。検索手段３は、検索条件入力手段２により入力された検索条件に適合する文書を文書情報記憶手段１より検索する。キーワード特定手段４は、検索手段３により検索された文書内に含まれる単語のうち、任意の単語を関連語探索単語とし、関連語探索単語以外の単語を関連語候補とする。
【００４１】
同時出現確率算出手段５は、関連語探索単語と関連語候補内の一つの単語とが、検索手段３により検索された文書のうち、その一つの文書内に含まれる確率を求め、同時出現確率とする。
【００４２】
第１の単独出現確率算出手段６は、関連語探索単語が、文書情報記憶手段１に記憶されている文書のうち、その一つの文書内に含まれる確率を求める。同様に、第２の単独出現確率算出手段７は、関連語候補内の一つの単語が、文書情報記憶手段１に記憶されている文書のうち、その一つの文書内に含まれる確率を求める。
【００４３】
計算手段８は、第１の単独出現確率算出手段６により求められた確率および第２の単独出現確率算出手段７により求められた確率との積または和を計算する。単語抽出手段９は、同時出現確率算出手段５により求められた同時出現確率および計算手段８により計算された値との比率に応じて、単語を抽出する。
【００４４】
この文書処理装置によれば、検索者が検索条件入力手段２を用いて検索条件を入力すると、検索手段３により検索条件に適合する文書が検索される。すると、キーワード特定手段４により、関連語探索単語が特定され、関連語探索単語以外の単語が関連語候補とされる。さらに、同時出現確率算出手段５が、検出手段３で検出された文書に基づき、同時出現確率を算出する。一方、第１の単独出現確率算出手段６と第２の単独出現確率算出手段７とは、それぞれ関連語探索単語と、関連語候補内の単語の出現確率を算出する。この出現確率は、計算手段８により積または和の値が計算される。そして、単語抽出手段９が、同時出現確率と計算手段８の算出した値とを用いて、特定の単語に対する関連語を抽出する。
【００４５】
これにより、検索者の検索条件に応じて、関連語を定めるための基準となる文書を任意に絞り込むことが可能となる。即ち、本発明のように、文書検索プロセスにおける文書絞り込みとは別に、関連語探索のための検索条件を定めることができるようにすれば、関連語計算に使用する文書集合を自由に定めることが可能となり、より柔軟な関連語の提示が可能となる。
【００４６】
例えば、検索意図が「今年に入ってからの野球選手の腰痛によるアクシデントについて知りたい」であったとする。この場合検索者は、まず”今年の野球関連の新聞記事”を書誌的事項から得た上で、「腰痛」のキーワードで検索を行う。ここで、検索漏れを防ぐ目的で「腰痛」の関連語を得る場合、検索者は検索条件入力手段２を用いて”医学関連の文書”を検索対象に指定する。すると、”医学関連の文書”を用いて関連語計算が行われ、「ぎっくり腰」「椎間板ヘルニア」等の適切な関連語が、単語抽出手段９により抽出される。
【００４７】
もし、通常の類似語辞書で関連語計算を行うと、「腰痛」の関連語（類似語）は「腹痛」「頭痛」「疼痛」等が抽出される。また、”今年の野球関連の新聞記事”を基に「腰痛」の関連語計算を行うと「リタイア」「欠場」等が抽出される。従って、どちらも適切な関連語が得られるとは言い難い。
【００４８】
図２は、本発明の第１の実施の形態の構成を示す図である。以下、図２の各構成要素について説明する。
文書格納手段１１は、電子化された検索対象文書の内容を書誌的事項および形態素解析手段１２によって付加される文書識別子と組にして格納する記憶装置である。
【００４９】
形態素解析手段１２は、文書格納手段１１に格納されている各文書に文書識別子を付加した上で、各文書に形態素解析処理を施して自立語を抽出し、対応する文書識別子と組にして格納する装置である。
【００５０】
索引構造生成手段１３は、形態素解析手段１２での形態素解析処理結果を基に、索引構造として、単語−単語識別子リスト１４ａ、単語識別子−文書識別子リスト１４ｂ、文書識別子−単語識別子リスト１４ｃを作成するプログラムモジュールである。
【００５１】
索引構造格納手段１４は、索引構造生成手段１３によって作成された単語−単語識別子リスト１４ａ、単語識別子−文書識別子リスト１４ｂ、文書識別子−単語識別子リスト１４ｃを格納する記憶装置である。単語−単語識別子リスト１４ａは、単語文字列とその単語を示す単語識別子の対応関係を記述したリストである。単語識別子−文書識別子リスト１４ｂは、各単語識別子について、その単語識別子で示される単語文字列を含む文書の文書識別子の集合を記述したリストである。文書識別子−単語識別子リスト１４ｃは、各文書識別子について、その文書識別子で示される文書に含まれる単語の単語識別子の集合を記述したリストである。
【００５２】
キーワード入力手段１５は、関連語を求めるための初期条件としてキーワードを入力することが可能なユーザインタフェースを持つプログラムモジュールである。
【００５３】
文書検索手段１６は、キーワードを受け取り、そのキーワードを含む全文書の文書識別子を、単語−単語識別子リスト１４ａおよび単語識別子−文書識別子リスト１４ｂを参照して取得するプログラムモジュールである。受け取ったキーワードが、キーワードリスト生成手段１８によって作成されたキーワードリスト中のキーワードである場合は、文書識別子の総数のみを取得し、キーワード入力手段１５に入力されたキーワードの場合は、文書識別子の総数と共に、得られた文書識別子のうち特定文書格納手段２３に格納されている文書識別子に属する文書識別子集合も取得する。
【００５４】
キーワード検索手段１７は、文書検索手段１６によって得られた文書識別子集合で示される文書集合の各文書に含まれる単語の識別子集合を、文書識別子−単語識別子リスト１４ｃを参照して取得し、それらを連接して一つの単語識別子集合とするプログラムモジュールである。
【００５５】
キーワードリスト生成手段１８は、キーワード検索手段１７から得られた単語識別子集合中での各単語識別子の出現回数を計測し、単語識別子と出現回数との対をリストとして作成するプログラムモジュールである。
【００５６】
関連語計算手段１９は、キーワードリスト生成手段１８によって作成されたリストおよび文書検索手段１６によって取得された文書識別子の総数を基に、キーワード入力手段１５に入力されたキーワードとキーワードリスト生成手段１８によって作成されたリスト中の各単語識別子に対応する単語の相互情報量を計算するプログラムモジュールである。
【００５７】
表示手段２０は、関連語計算手段１９で計算された相互情報量の値を受け取り、キーワード入力手段１５に入力されたキーワードとの間で相互情報量が大きい値となる順に単語を出力するユーザインタフェースを持つプログラムモジュールである。
【００５８】
検索条件入力手段２１は、ユーザが関連語計算を行うための文書集合を得るための検索条件を入力することが可能なユーザインタフェースを持つプログラムモジュールである。
【００５９】
文書集合特定手段２２は、文書格納手段１１、単語−単語識別子リスト１４ａおよび単語識別子−文書識別子リスト１４ｂを参照し、検索条件入力手段２１あるいは文書検索条件入力手段２４に入力された検索語あるいは論理式の条件に適合する文書識別子の集合を得るプログラムモジュールである。
【００６０】
特定文書格納手段２３は、検索条件入力手段２１に入力された検索条件を基に、文書集合特定手段２２によって得られた文書識別子集合を格納する記憶手段である。
【００６１】
文書検索条件入力手段２４は、ユーザが文書検索を行うための検索条件を入力することが可能なユーザインタフェースを持つプログラムモジュールである。
検索結果表示手段２５は、文書検索条件入力手段２４に入力された検索条件を基に、文書集合特定手段２２によって得られた文書識別子集合に対応する文書情報を表示することが可能なユーザインタフェースを持つプログラムモジュールである。
【００６２】
以上の図２に示した構成は、図１の本発明の原理構成を具体化したものであり、それぞれの構成要素は次のような関係にある。
文書情報格納手段１１および索引構造格納手段１４が、文書情報記憶手段１に対応する。検索条件入力手段２１が検索条件入力手段２に対応する。文書集合特定手段２２及び特定文書格納手段２３が、検索手段３に対応する。キーワード入力手段１５、文書検索手段１６、キーワード検索手段１７、キーワードリスト生成手段１８が、キーワード特定手段４に対応する。そして、関連語計算手段１９が、同時出現確率算出手段５、第１の単独出現確率算出手段６、第２の単独出現確率算出手段７、計算手段８、及び単語抽出手段９に対応する。
【００６４】
ここで、本実施の形態では関連語計算の前に、索引構造の生成処理を実行しておく必要がある。そこで、以下に索引構造の生成処理について説明する。
索引構造の生成処理の前提として、形態素解析結果リストが生成されていなければならない。図３は、形態素解析結果リストの例を示す図である。これは、形態素解析手段１２が作成する。形態素解析結果リスト３１には、文書格納手段１１に格納されている各検索対象文書に識別子（文書識別子）を割り当てた上で、それぞれの文書に形態素解析処理を施して自立語を抽出し、抽出された単語（抽出単語）を対応する文書識別子と組にして格納する。ただし、同一文書中から同一の自立語が複数回抽出された場合は、２回目以降の抽出結果を無視し、一つの文書識別子に対応する自立語が重複することはないものとする。
【００６５】
この形態素解析結果リストを基に、索引構造生成手段１３が各種索引構造を生成する。図４〜図６に索引構造生成手段１３により作成され、索引構造格納手段１４に格納される索引構造の例を示す。なお図４〜図６中のデータは、図３のデータに基づいて作成された例となっている。
【００６６】
図４は、単語−単語識別子リストの例を示す図である。単語−単語識別子リスト３２には、抽出された単語と、その単語に割り当てられた識別子とが組となって格納されている。
【００６７】
図５は、単語識別子−文書識別子リストの例を示す図である。単語識別子−文書識別子リスト３３には、単語識別子と、その単語識別子が割り当てられている単語を含む文書の識別子（文書識別子）が組となって格納されている。
【００６８】
図６は、文書識別子−単語識別子リストの例を示す図である。文書識別子−単語識別子リスト３４には、文書識別子と、その文書識別子が割り当てられている文書に含まれる単語の単語識別子とが組となって格納されている。
【００６９】
索引構造生成手段１３による索引構造の生成アルゴリズムは以下の通りである。図７は、索引構造の生成の手順を示すフローチャートである。
〔Ｓ１〕単語−単語識別子リスト１４ａを生成する。具体的には、まず、形態素解析手段１２に格納されている形態素解析結果リスト中の全単語を、重複なく、かつ、単語文字列の持つ値の順にソートしたリストを作成する。そして、各単語に対して、リストの先頭から順に１で始まる自然数を単語識別子として割り当てる。
〔Ｓ２〕文書識別子−単語識別子リスト１４ｃを生成する。具体的には、形態素解析手段１２中の形態素解析結果リスト中の各単語をステップＳ１で割り当てた単語識別子で置き換え、各文書識別子ごとに対応する単語識別子を小さい値順にソートする。
〔Ｓ３〕単語識別子−文書識別子リスト１４ｂを生成する。具体的には、単語識別子を１から順に並べ、各単語識別子に対応する単語が含まれる文書の文書識別子を、ステップＳ２で作成した文書識別子−単語識別子リスト３４を参照して抽出し、単語識別子と対にして格納する。
【００７０】
以上のようにして、索引構造が生成され、索引構造格納手段１４に格納される。この状態で関連語の計算を行うことが可能となる。
図８は、本発明の処理手順を示すフローチャートの前半である。これは、検索条件入力手段２１に入力された検索条件に適合する文書を基に、キーワード入力手段１５に入力されたキーワードの関連語を求めるためのアルゴリズムをフローチャートで示したものである。以下に、このフローチャートの処理をステップ番号に沿って説明する。
〔Ｓ１１〕キーワード入力手段１５が、検索者がキーボードあるいはマウスを操作することによって入力した初期キーワードを受け取る。この初期キーワードは、文書検索手段１６に渡される。
〔Ｓ１２〕検索条件入力手段２１が、検索者がキーボードあるいはマウスを操作することによって入力した検索条件を受け取る。この検索条件は、文書集合特定手段２２に渡される。
〔Ｓ１３〕初期キーワードを受け取った文書検索手段１６は、初期キーワードが単語−単語識別子リスト１４ａに存在するか否かを判断する。存在していなければステップＳ１４に進み、存在していればステップＳ１５に進む。
〔Ｓ１４〕初期キーワードが単語−単語識別子リスト１４ａに存在していなければ関連語の計算を行いようがないため、表示手段２０が、初期キーワードの関連語がない旨の表示を行い、処理を終了する。
〔Ｓ１５〕検索条件を受け取った文書集合特定手段２２が、検索条件を満たす文書の文書識別子を、文書格納手段１１、単語−単語識別子リスト１４ａ、及び単語識別子−文書識別子リスト１４ｂから取得し、得られた文書識別子集合をＤとする。この文書識別子集合Ｄは、特定文書格納手段２３に格納される。
〔Ｓ１６〕文書検索手段１６が、初期キーワードに対応する単語識別子をＷｉとする。
〔Ｓ１７〕文書検索手段１６が、Ｗｉに対応しＤに属する文書識別子を単語識別子−文書識別子リスト１４ｂから取得し、取得した文書識別子の集合をＸとする。この文書識別子の集合Ｘは、キーワード検索手段１７に渡される。また、Ｗｉに対応する文書識別子総数をＮとする。この文書識別子総数Ｎは、関連語計算手段１９に渡される。この処理が終了したら、図９のステップＳ１８に進む。
【００７１】
図９は、本発明の処理手順を示すフローチャートの後半である。
〔Ｓ１８〕キーワード検索手段１７が、Ｘに属する各単語識別子に対応する単語識別子を文書識別子−単語識別子リスト１４ｃから取得する。取得した単語識別子の集合をＹとする。単語識別子の集合Ｙは、キーワードリスト生成手段１８に渡される。
〔Ｓ１９〕キーワードリスト生成手段１８が、Ｙに属する単語識別子の重複を取り除き、各単語識別子の重複回数を記録する。重複の取り除かれた単語識別子集合を新たにＹとし、Ｙの要素である単語識別子Ｗｎ（ｎ＝１，２，・・・Ｐ）の重複回数をＲ（Ｗｎ）とする。重複回数Ｒ（Ｗｎ）は、関連語計算手段１９に渡される。但し、ＰはＹの要素数である。
〔Ｓ２０〕文書検索手段１６が、Ｙに属する全単語識別子Ｗｎ（ｎ＝１，２，・・・Ｐ）について、Ｗｎに対応する文書識別子の総数を単語識別子−文書識別子リスト１４ｂから取得する。そして、Ｙの要素Ｗｎに対応する文書識別子数Ｆ（Ｗｎ）とする。文書識別子数Ｆ（Ｗｎ）は、関連語計算手段１９に渡される。
〔Ｓ２１〕関連語計算手段１９が、Ｙに属する単語識別子Ｗｎ（ｎ＝１，２，・・・Ｐ）について、全検索対象文書数をＭとして、
【００７２】
【数７】
ｐｒｏｂ（Ｗｉ，Ｗｎ）＝Ｒ（Ｗｎ）／Ｍ・・・（７）
【００７３】
【数８】
ｐｒｏｂ（Ｗｎ）＝Ｆ（Ｗｎ）／Ｍ・・・（８）
を計算し、
【００７４】
【数９】
ｐｒｏｂ（Ｗｉ）＝Ｎ／Ｍ・・・（９）
であることを考慮して、式（１）に従って、Ｗｉで示される初期キーワードとＷｎで示される単語間の相互情報量（ＭＩ（Ｗｉ，Ｗｎ））を計算する。
〔Ｓ２２〕関連語計算手段１９が、閾値Ｔを超えるＭＩ（Ｗｉ，Ｗｎ）（ｎ＝１，２，・・・Ｐ）が存在するか否かを判断する。存在すればステップＳ２３に進み、存在しなければステップＳ２４に進む。
〔Ｓ２３〕表示手段２０が、関連語計算手段１９から、閾値Ｔを超えるＭＩ（Ｗｉ，Ｗｎ）（ｎ＝１，２，・・・Ｐ）に関し、その値が大きいものから順に対応するＷｎを取得する。そして、単語−単語識別子リスト１４ａを参照することによって、取得したＷｎに対応する単語を初期キーワードの関連語として出力し、処理を終了する。
〔Ｓ２４〕表示手段２０が、初期キーワードの関連語がない旨の表示を行い、処理を終了する。
【００７５】
このように、図中のステップＳ２１において、検索条件入力手段２１に入力された検索条件に適合する文書（識別子）集合Ｄ中でのＷｉおよびＷｎの間の共起頻度を基にｐｒｏｂ（Ｗｉ，Ｗｎ）を求めていることにより、文書集合Ｄの内容に沿った関連語の算出が可能となる。
【００７６】
図１０から図１９に第１の実施の形態のユーザインタフェースを示す。
図１０は、第１の実施の形態のユーザインタフェースの初期画面を示す図である。図１０メインのウィンドウ４０の中には複数のサブウィンドウ４１〜４６が表示されている。サブウィンドウ４１がキーワード入力手段１５に、サブウィンドウ４２が検索条件入力手段２１に、サブウィンドウ４３が表示手段２０に、サブウィンドウ４４、４５が文書検索条件入力手段２４に、サブウィンドウ４６が検索結果表示手段２５にそれぞれ対応している。サブウィンドウ４４では、同一行中にカンマで区切ったキーワード集合をｏｒ接続した上で、各行に対応するｏｒ接続されたキーワード集合をａｎｄ接続して検索するものとする。
【００７７】
図中下のアイコン４７は、検索条件入力手段２１あるいは文書検索条件入力手段２４に入力するための検索条件を可視化したものである。例えば、「社会経済辞典アイコン」は、社会経済辞典に含まれる項目である旨の書誌的事項が付与された文書集合を検索するための検索条件に対応するものである。これらのアイコンをサブウィンドウ４２および４５に置くことにより、検索条件の指定を行ったことになる。
【００７８】
以下図１１から図１９では、検索意図が「米海軍におけるセキュリティ問題について書かれた新聞記事を検索したい。」である場合の操作例を示す。
まず、検索条件の入力を行う。図１１は、第１の実施の形態のユーザインタフェースの第１の操作画面を示す図である。この画面では、「セキュリティ」に関する関連語を得るために、関連語検索を行う文書集合として「情報工学辞典」のアイコン４７ａを選択する。
【００７９】
目的のアイコンを選択したら、そのアイコン４７ａをサブウィンドウ４２に複写する。図１２は、第１の実施の形態のユーザインタフェースの第２の操作画面を示す図である。選択した「情報工学辞典」アイコン４２ａがサブウィンドウ４２に置かれる。これにより、検索条件入力手段２１に「情報工学辞典に含まれる項目である旨の書誌的事項が付与された文書集合を得るための検索条件」が入力される。
【００８０】
検索条件の入力が終了したら、初期キーワードを入力する。図１３は、第１の実施の形態のユーザインタフェースの第３の操作画面を示す図である。この画面では、関連語を求めるための初期キーワード「セキュリティ」をサブウィンドウ４１に入力し、「関連語」ボタン４１ａを押す（ここで、「押す」とは、画面上のマウスポインタを「関連語」ボタン４１ａ上に移動し、マウスのボタンをクリックする動作を示す）。
【００８１】
「関連語」ボタン４１ａが押されると、図８、図９に示した処理が実行される。図１４は、第１の実施の形態のユーザインタフェースの第４の操作画面を示す図である。図８、図９に示した処理の実行の結果、情報工学辞典に基づいて計算された「セキュリティ」の関連語がサブウィンドウ４３に表示される。このとき、サブウィンドウ４１に入力された「セキュリティ」は、サブウィンドウ４４にも入力される。
【００８２】
検索者は、表示された関連語のうち関連性が高いと判断した語を選択する。図１５は、第１の実施の形態のユーザインタフェースの第５の操作画面を示す図である。この例では、「デジタル署名」を選択している。関連性が高いと判断した語が選択されると、サブウィンドウ４４の文書検索条件に選択語が追加される（。図１６は、第１の実施の形態のユーザインタフェースの第６の操作画面を示す図である。この図では、図１５と同様に表示された関連語のうち関連性が高いと判断した語として、「ＲＳＡ方式」の追加を行っている。
【００８３】
次に、図８から図１３までと同様に、社会経済辞典を対象に「米海軍」の関連語を求め、関連性が高いと判断した語（「ペンタゴン」「リムパック」）を検索文書検索条件に追加する。図１７は、第１の実施の形態のユーザインタフェースの第７の操作画面を示す図である。この例では、サブウィンドウ４１には「米海軍」の語が入力されている。サブウィンドウ４２には、「社会経済辞典」のアイコン４２ｂが置かれている。サブウィンドウ４３には、「社会経済辞典」に基づいて「米海軍」の関連語を計算することにより抽出された語が表示されている。サブウィンドウ４４には、図１６の画面で入力されていた語の下の行に、「米海軍」、「ペンタゴン」、「リムパック」の語が追加されている。
【００８４】
次に、検索対象文書を選択する。図１８は、第１の実施の形態のユーザインタフェースの第８の操作画面を示す図である。この画面では、検索対象文書として「新聞記事」を選択し、サブウィンドウ４５に「新聞記事」アイコン４５ａを置いている。これによって、文書検索条件入力手段２４に「新聞記事に含まれる項目である旨の書誌的事項が付与された文書集合を得るための検索条件」が入力される。
【００８５】
この状態で「検索」ボタンを押す。図１９は、第１の実施の形態のユーザインタフェースの第９の操作画面を示す図である。「検索」ボタン４４ａを押すことによって、サブウィンドウ４４中の検索条件を「（セキュリティｏｒデジタル署名ｏｒＲＳＡ方式）ａｎｄ（米海軍ｏｒペンタゴンｏｒリムパック）」と解釈して、既に指定された新聞記事の中から該当する記事の検索が実行される。
【００８６】
図２０は、第１の実施の形態のユーザインタフェースの第１０の操作画面を示す図である。図１９の状態で検索が実行されると、サブウィンドウ４６に検索結果が表示される。
【００８７】
この例からも分かるように、本実施の形態によれば関連語検索に用いる文書集合を自由に指定できるため、従来技術と比較して、より検索者の意図に沿った関連語の提示が可能となる。
【００８８】
なお、本実施の形態では、図９のステップＳ２１で説明したとおり、Ｆ（Ｗｎ）およびＮを文書集合全体から求めている。これは、文書集合全体に多く出現する語に対応する相互情報量を小さくすることを目的としたものである。しかしながら、検索条件入力手段２１に入力された検索条件に適合する文書集合（Ｄ）の要素数が十分多い場合には、Ｆ（Ｗｎ）およびＮを文書集合Ｄの範囲内で求めても、上記の目的を達成することができる。
【００８９】
また、本実施の形態のユーザインタフェースは、関連語計算用の文書集合を特定するために検索条件入力手段２１に入力する検索条件を、書誌的事項に基づくアイコン形式で与えたが、これをキーワード等を用いたより一般的な入力方法で置き換えることは容易に実現可能である。
【００９０】
図２１は、本発明の第２の実施の形態の構成を示す図である。本実施の形態は、第１の実施の形態の構成からキーワード入力手段１５および検索条件入力手段２１を除いたものとなっている。以下第１の実施の形態と機能の異なる手段についてのみ説明し、第１の実施の形態と同じ機能を有するものには同一の符号を付し、説明を省略する。
【００９１】
文書格納手段１１ａは、電子化された検索対象文書の内容を形態素解析手段１２によって付加される文書識別子と対にして格納する記憶装置である。
文書検索手段１６ａは、キーワードを受け取り、そのキーワードを含む全文書の文書識別子を、単語−単語識別子リスト１４ａおよび単語識別子−文書識別子リスト１４ｂを参照して取得するプログラムモジュールである。受け取ったキーワードが、キーワードリスト生成手段１８によって作成されたキーワードリスト中のキーワードである場合は、文書識別子の総数のみを取得し、文書検索条件入力手段２４ａに入力された検索条件中のキーワードの場合は、文書識別子の総数と共に、得られた文書識別子のうち特定文書格納手段２３ａに格納されている文書識別子に属する文書識別子集合も取得する。
【００９２】
関連語計算手段１９ａは、キーワードリスト生成手段１８によって作成されたリストおよび文書検索手段１６ａによって取得された文書識別子の総数を基に、文書検索条件入力手段２４ａに入力された検索条件中のキーワードとそのキーワードに対してキーワードリスト生成手段１８によって作成されたリスト中の各単語識別子に対応する単語の相互情報量を計算するプログラムモジュールである。
【００９３】
表示手段２０ａは、関連語計算手段１９ａで計算された相互情報量の値を受け取り、文書検索条件入力手段２４ａに入力された検索条件中のキーワードとの間で相互情報量が大きい値となる順に単語を出力するユーザインタフェースを持つプログラムモジュールである。
【００９４】
文書集合特定手段２２ａは、文書格納手段１１ａ、単語−単語識別子リスト１４ａおよび単語識別子−文書識別子リスト１４ｂを参照し、文書検索条件入力手段２４ａに入力された検索条件に適合する文書識別子の集合を得るプログラムモジュールである。
【００９５】
特定文書格納手段２３ａは、文書検索条件入力手段２４ａに入力された検索条件を基に、文書集合特定手段２２ａによって得られた文書識別子集合を格納する記憶手段である。
【００９６】
文書検索条件入力手段２４ａは、ユーザが文書検索を行うための検索条件を、キーワードをａｎｄあるいはｏｒ接続した論理式形式で入力することが可能なユーザインタフェースを持つプログラムモジュールである。
【００９７】
検索結果表示手段２５ａは、文書検索条件入力手段２４ａに入力された検索条件を基に、文書集合特定手段２２ａによって得られた文書識別子集合に対応する文書情報を表示することが可能なユーザインタフェースを持つプログラムモジュールである。
【００９８】
本実施の形態では、文書検索条件入力手段２４ａにキーワードをａｎｄあるいはｏｒ接続した論理式形式で入力された検索条件を基に文書集合特定手段２２ａによって特定された文書集合を、関連語を求めるための文書集合として用いる。
【００９９】
また、第１の実施の形態では、キーワード入力手段１５に入力されたキーワードを初期キーワードとして初期キーワードの関連語を求めたが、本実施の形態では、文書検索条件入力手段２４ａに入力された検索条件に含まれる全てのキーワードに対して図８，図９の処理を行い、相互情報量を求める。さらに、検索結果表示手段２５ａは、得られた全ての相互情報量の中から大きい値のものから順に、対応するキーワードのペアを表示する。
【０１００】
図２２から図２８に本実施の形態のユーザインタフェースを示す。
図２２は、第２の実施の形態のユーザインターフェースの初期画面５０を示す図である。図２２メインのウィンドウ５０の中には複数のサブウィンドウ５１〜５３が表示されている。サブウィンドウ５１が表示手段２０ａに、サブウィンドウ５２が文書検索条件入力手段２４ａに、サブウィンドウ５３が検索結果表示手段２５ａにそれぞれ対応している。
【０１０１】
以下図２３から図２８では、検索意図が「いかなる建築が地震に強いかについて具体的な地震事例に基づいて書かれた文書を検索したい。」である場合の操作例を示す。
【０１０２】
まず、検索条件の入力を行う。図２３は、第２の実施の形態のユーザインタフェースの第１の操作画面を示す図である。この画面では、検索条件を「地震ａｎｄ建築」として、「検索」ボタン５２ａを押す。
【０１０３】
「検索」ボタン５２ａが押されることによって検索が行われる。図２４は、第２の実施の形態のユーザインタフェースの第２の操作画面を示す図である。検索が行われることにより、検索結果がサブウィンドウ５３に表示される。同時に、「地震」および「建築」のそれぞれに対して、検索結果として得られた文書集合を基に、図８、図９で示した処理が行われ、相互情報量計算が行われる。そして、サブウィンドウ５１には、相互情報量の値の大きいものから順に、関連語が表示される。サブウィンドウ５１中の括弧付きの単語は、相互情報量を求めた際の初期キーワードである。
【０１０４】
検索者は、図２４の画面の関連語表示を参照しながら、適切であると思われる検索条件を選択する。図２５は、第２の実施の形態のユーザインタフェースの第３の操作画面を示す図である。検索者は、さらに適切であると思われる検索条件を選択したら、サブウィンドウ５３に入力する。図２５では、「（兵庫県南部地震ｏｒ東海地震ｏｒ十勝沖地震）ａｎｄ（対震建築ｏｒ耐火建築）」を新たな検索条件としている。
【０１０５】
図２５に示した条件によって再度検索を行う。図２６は、第２の実施の形態のユーザインタフェースの第４の操作画面を示す図である。再度検索を行うと、図２４と同様に、新たな検索条件から得られた文書集合がサブウィンドウ５３に表示されると共に、その文書集合を基にして計算された関連語がサブウィンドウ５１に表示される。
【０１０６】
さらに適切な検索条件を入力して検索を行う。図２７は、第２の実施の形態のユーザインタフェースの第５の操作画面を示す図である。この画面のサブウィンドウ５２には、「（兵庫県南部地震ｏｒ東海地震ｏｒ十勝沖地震ｏｒ神戸地震）ａｎｄ（２×４工法ｏｒ軸組工法ｏｒプレハブ工法ｏｒ減震工法）」を新たな検索条件として入力している。
【０１０７】
すると、図２７の検索条件に応じた文書集合と関連語が得られる。図２８は、第２の実施の形態のユーザインタフェースの第６の操作画面を示す図である。図２７の検索条件で検索を行うことにより、図２６とは異なった検索語がサブウィンドウ５１に表示されるとともに、図２６とは異なった検索結果がサブウィンドウ５３に表示される。
【０１０８】
このように本実施の形態では、関連語提示システムと検索システムを結合して、一つのシステムとして取り扱うことによって、検索プロセスの進行に伴って文書集合の絞り込みが行われた場合でも、常に適切な関連語の提示が可能となる。これにより、効果的な絞り込みが可能となる。
【０１０９】
本実施の形態では、文書検索条件入力手段２４ａにキーワードをａｎｄあるいはｏｒ接続した論理式形式で入力するものとしたが、この検索条件に書誌的事項による検索条件を併用した場合でも、本実施の形態で示した効果が得られることは明らかである。
【０１１０】
なお、相互情報量（あるいはＤｉｃｅ−ｃｏｅｆｆｉｃｉｅｎｔあるいはｔ−ｓｃｏｒｅ）は、任意の２値間で絶対比較が可能な統計量である。例えば、ＭＩ（活断層，地震）とＭＩ（建築，火災保険）の比較が可能であり、値の大きい単語対の方がより強い関連性を持つといえる。従って、複数のキーワードに対応する相互情報量を値の大きいものから順に並べる本実施の形態におけるサブウィンドウ５１のユーザインタフェースは、関連語提示の際の表示順序として適切であるといえる。
【０１１１】
以上のような実施の形態による効果を以下に説明する。
図２６および図２７は、本発明の効果の検証を行うために用いたデータおよびシミュレーション結果の一例である。
【０１１２】
図２９は、本発明の効果確認のためのシミュレーション用データの例である。この図では、書誌的事項あるいはキーワード検索で、二つの文書集合Ｄ１およびＤ２に分割する（絞り込む）ことが可能な２０万の文書集合を想定している。各文書には０から１９９９９９までの整数による文書ＩＤが付加されており、文書集合Ｄ１は文書ＩＤが０から９９９９９まで、Ｄ２は１０００００から１９９９９９までのそれぞれ１０万の文書を要素として含むとする。図２９は、５つのキーワード（ｗｏｒｄＡ〜ｗｏｒｄＥ）が文書集合中に存在する範囲とその出現確率を示すものである。例えば、ｗｏｒｄＡは、文書ＩＤが０から５００００の範囲および１０００００からの１５００００の範囲の文書中に存在し、それぞれの範囲における出現確率（分布確率）は０．５である。
【０１１３】
図３０は、本発明の効果確認のためのシミュレーション結果を示す図である。これは、文書集合全体と文書集合Ｄ１のそれぞれを用いて、ｗｏｒｄＡに対する相互情報量をｗｏｒｄＢからｗｏｒｄＥについて求めた結果である。文書集合全体では、ｗｏｒｄＡに対する相互情報量の値が大きいものから順にｗｏｒｄＢ，ｗｏｒｄＣ，ｗｏｒｄＤ，ｗｏｒｄＥとなり、文書集合Ｄ１では、ｗｏｒｄＥ，ｗｏｒｄＤ，ｗｏｒｄＣ，ｗｏｒｄＢとなっている。即ち、文書集合全体を用いて関連語計算を行った場合には他のキーワードと比較して関連性が低いと判断されたｗｏｒｄＥを、絞り込みによって得られた文書集合Ｄ１を用いて計算することによって、ユーザの検索意図に対して最も関連性が高いキーワードとして提示することが可能である。逆に、文書全体を用いて関連語計算を行った場合には最も関連性が高いと判断されたｗｏｒｄＢを、絞り込みによって得られた文書集合Ｄ１を用いて計算することによって、ユーザの検索意図に対しては提示するに適さないキーワードであると判断することが可能である。
【０１１４】
図３１は、本発明の実データによる計算結果例を示す図である。現代用語辞書の実データを基に、関連語計算用の文書集合として「イスラエル」を含む項目の集合と「インド」を含む項目の集合を用いて、初期キーワード「宗教」の関連語を算出した結果である。いずれも、文書集合の内容を反映した計算結果となっていることが分かる。
【０１１５】
以上のように本発明では、関連語提示システムと検索システムを結合して、一つのシステムとして取り扱うことによって、従来技術では不可能であった絞り込みプロセスに沿った適切な関連語の提示が実現できる。
【０１１６】
また、関連語計算に用いる文書集合を特定するための検索条件と検索プロセスにおける文書絞り込みに用いる検索条件を別のものとすることによって、関連語計算に使用する文書集合を自由に定めることが可能となり、より柔軟な関連語の提示が可能となる。
【０１１７】
なお、上述の実施の形態では検索対象を文書としているが、文書に限らず、百科事典内の項目の如く、または構造化文書における文書要素の如く、複数の単語を含んでおり、その単語群である項目が計算機にとって区別可能に分けられているものであれば検索対象とすることができる。例えば、単語群と他の単語群との間に区切り記号等が挿入されていれば、計算機にとって区別可能な情報である。
【０１１８】
また、上述の実施の形態は、コンピュータプログラムによっても実現可能である。その場合、そのプログラムおよびそのプログラムが検索対象とする文書類は、コンピュータが読み取り可能な記憶媒体に記憶することも可能である。
【０１１９】
ここで「記憶媒体」とは、コンピュータのハードウエア資源に備えられている読取装置に対して、プログラムの記述内容に応じて、磁気、光、電気等のエネルギーの変化状態を引き起こして、それに対応する信号の形式で、読取装置にプログラムの記述内容を伝達できるものである。例えば、磁気ディスク、光ディスク、ＣＤ−ＲＯＭ、コンピュータに内蔵されるメモリなどがある。
【０１２０】
また、上述の実施の形態における機能は、インターネットに代表される広域情報通信網を介して、検索者に提供することができる。その際、ユーザインタフェースに該当する機能は、検索者側の端末に備えている必要がある。もし、インターネット、若しくはイントラネットで本発明の文書処理機能を提供する場合には、一般に流通している閲覧ソフトで閲覧可能な形態で、検索者側の端末に、関連語等の情報を転送すればよい。
【０１２１】
【発明の効果】
以上説明したように本発明の文書処理装置では、検索者の検索条件に応じて文書を検索し、検出された文書を判断基準として関連語を抽出するようにしたため、文書検索プロセスにおける文書絞り込みとは別に、関連語探索のための検索条件を定めることができる。その結果、関連語計算に使用する文書集合を自由に定めることが可能となり、より柔軟な関連語の提示、及びその関連語による検索が可能となる。
【０１２２】
また、本発明の項目検索装置では、検索者の検索条件に応じて単語を含む項目を検索し、検出された項目を判断基準として関連語を抽出するようにしたため、文書検索プロセスにおける項目の絞り込みとは別に、関連語探索のための検索条件を定めることができる。その結果、関連語計算に使用する項目の集合を自由に定めることが可能となり、より柔軟な関連語の提示、及びその関連語による検索が可能となる。
【０１２３】
また、本発明の項目検索方法では、検索者の検索条件に応じて単語を含む項目を検索し、検出された項目を判断基準として関連語を抽出するため、関連語探索のための検索条件を任意に定めることができる。その結果、関連語計算に使用する項目の集合を自由に定めることが可能となり、より柔軟な関連語の提示、及びその関連語による検索が可能となる。
【図面の簡単な説明】
【図１】本発明の原理構成図である。
【図２】本発明の第１の実施の形態の構成を示す図である。
【図３】形態素解析結果リストの例を示す図である。
【図４】単語−単語識別子リストの例を示す図である。
【図５】単語識別子−文書識別子リストの例を示す図である。
【図６】文書識別子−単語識別子リストの例を示す図である。
【図７】索引構造の生成の手順を示すフローチャートである。
【図８】本発明の処理手順を示すフローチャートの前半である。
【図９】本発明の処理手順を示すフローチャートの後半である。
【図１０】第１の実施の形態のユーザインタフェースの初期画面を示す図である。
【図１１】第１の実施の形態のユーザインタフェースの第１の操作画面を示す図である。
【図１２】第１の実施の形態のユーザインタフェースの第２の操作画面を示す図である。
【図１３】第１の実施の形態のユーザインタフェースの第３の操作画面を示す図である。
【図１４】第１の実施の形態のユーザインタフェースの第４の操作画面を示す図である。
【図１５】第１の実施の形態のユーザインタフェースの第５の操作画面を示す図である。
【図１６】第１の実施の形態のユーザインタフェースの第６の操作画面を示す図である。
【図１７】第１の実施の形態のユーザインタフェースの第７の操作画面を示す図である。
【図１８】第１の実施の形態のユーザインタフェースの第８の操作画面を示す図である。
【図１９】第１の実施の形態のユーザインタフェースの第９の操作画面を示す図である。
【図２０】第１の実施の形態のユーザインタフェースの第１０の操作画面を示す図である。
【図２１】本発明の第２の実施の形態の構成を示す図である。
【図２２】第２の実施の形態のユーザインターフェースの初期画面を示す図である。
【図２３】第２の実施の形態のユーザインタフェースの第１の操作画面を示す図である。
【図２４】第２の実施の形態のユーザインタフェースの第２の操作画面を示す図である。
【図２５】第２の実施の形態のユーザインタフェースの第３の操作画面を示す図である。
【図２６】第２の実施の形態のユーザインタフェースの第４の操作画面を示す図である。
【図２７】第２の実施の形態のユーザインタフェースの第５の操作画面を示す図である。
【図２８】第２の実施の形態のユーザインタフェースの第６の操作画面を示す図である。
【図２９】本発明の効果確認のためのシミュレーション用データの例である。
【図３０】本発明の効果確認のためのシミュレーション結果を示す図である。
【図３１】本発明の実データによる計算結果例を示す図である。
【符号の説明】
１ 文書情報記憶手段
２ 検索条件入力手段
３ 検索手段
４ キーワード特定手段
５ 同時出現確率算出手段
６ 第１の単独出現確率算出手段
７ 第２の単独出現確率算出手段
８ 計算手段
９ 単語抽出手段

Claims (6)

1. 文書を識別する文書識別子およびその文書内に含まれる単語とを組にして記憶している文書情報記憶手段と、
   前記文書情報記憶手段に記憶されている文書に対する第１の検索条件を入力する第１の検索条件入力手段と、
   前記第１の検索条件入力手段により入力された前記第１の検索条件に適合する文書を前記文書情報記憶手段より検索する第１の検索手段と、
   前記第１の検索手段により検索された文書内に含まれる単語のうち、任意の単語を関連語探索単語とし、前記関連語探索単語以外の単語を関連語候補とするキーワード特定手段と、
   前記関連語探索単語と前記関連語候補中の一つの単語とが、前記第１の検索手段により検索された文書の中の一つの文書内に含まれる確率である同時出現確率を、前記関連語候補中の単語ごとに求める同時出現確率算出手段と、
   前記関連語探索単語が、前記文書情報記憶手段に記憶されている文書の中の一つの文書内に含まれる確率を求める第１の単独出現確率算出手段と、
   前記関連語候補中の一つの単語が前記文書情報記憶手段に記憶されている文書の中の一つの文書内に含まれる確率を、前記関連語候補中の単語ごとに求める第２の単独出現確率算出手段と、
   前記第１の単独出現確率算出手段により求められた確率と、前記第２の単独出現確率算出手段により求められた確率との積または和を、前記関連語候補中の単語ごとに計算する計算手段と、
   前記関連語候補中の単語ごとに、前記同時出現確率算出手段により求められた前記同時出現確率と前記計算手段により計算された値との比率を求め、各単語の比率に応じて単語を抽出する単語抽出手段と、
   前記単語抽出手段で抽出された単語のうち、操作入力によって選択された単語を検索キーワードとして含む第２の検索条件を入力する第２の検索条件入力手段と、
   前記第２の検索条件入力手段により入力された前記第２の検索条件に適合する文書を前記文書情報記憶手段より検索し、適合する文書の集合を取得する第２の検索手段と、
   を具備することを特徴とする文書処理装置。
2. 複数の単語を含む項目を識別する項目識別子とその項目内に含まれる単語とを組にして記憶している項目記憶手段と、
   前記項目記憶手段に記憶されている項目に対する第１の検索条件を入力する第１の検索条件入力手段と、
   前記第１の検索条件入力手段により入力された前記第１の検索条件に適合する項目を前記項目記憶手段より検索する第１の検索手段と、
   前記第１の検索手段により検索された項目内に含まれる単語のうち、任意の単語を関連語探索単語とし、前記関連語探索単語以外の単語を関連語候補とするキーワード特定手段と、
   前記関連語探索単語と前記関連語候補中の一つの単語とが、前記第１の検索手段により検索された項目の中の一つの項目内に含まれる確率である同時出現確率を、前記関連語候補中の単語ごとに求める同時出現確率算出手段と、
   前記関連語探索単語が、前記項目記憶手段に記憶されている項目の中の一つの項目内に含まれる確率を求める第１の単独出現確率算出手段と、
   前記関連語候補中の一つの単語が前記項目記憶手段に記憶されている項目の中の一つの項目内に含まれる確率を、前記関連語候補中の単語ごとに求める第２の単独出現確率算出手段と、
   前記第１の単独出現確率算出手段により求められた確率と、前記第２の単独出現確率算出手段により求められた確率との積または和を、前記関連語候補中の単語ごとに計算する計算手段と、
   前記関連語候補中の単語ごとに、前記同時出現確率算出手段により求められた前記同時出現確率と前記計算手段により計算された値との比率を求め、各単語ごとの比率に応じて単語を抽出する関連語抽出手段と、
   前記関連語抽出手段で抽出された単語のうち、操作入力によって選択された単語を検索キーワードとして含む第２の検索条件を入力する第２の検索条件入力手段と、
   前記第２の検索条件入力手段により入力された前記第２の検索条件に適合する項目を前記項目記憶手段より検索し、適合する項目の集合を取得する第２の検索手段と、
   を具備することを特徴とする項目検索装置。
3. 複数の単語を含む項目を識別する項目識別子とその項目内に含まれる単語とを組にして記憶している項目記憶手段と、
   前記項目記憶手段に記憶されている項目に対する第１の検索条件を入力する第１の検索条件入力手段と、
   前記第１の検索条件入力手段により入力された前記第１の検索条件に適合する項目を前記項目記憶手段より検索する第１の検索手段と、
   前記第１の検索手段により検索された項目内に含まれる単語のうち、任意の単語を関連語探索単語とし、前記関連語探索単語以外の単語を関連語候補とするキーワード特定手段と、
   前記関連語探索単語と前記関連語候補中の一つの単語とが、前記第１の検索手段により検索された項目の中の一つの項目内に含まれる確率である同時出現確率を、前記関連語候補中の単語ごとに求める同時出現確率算出手段と、
   前記関連語探索単語が、前記項目記憶手段に記憶されている項目の中の一つの項目内に含まれる確率を求める第１の単独出現確率算出手段と、
   前記関連語候補中の一つの単語が前記項目記憶手段に記憶されている項目の中の一つの項目内に含まれる確率を、前記関連語候補中の単語ごとに求める第２の単独出現確率算出手段と、
   前記第１の単独出現確率算出手段により求められた確率と、前記第２の単独出現確率算出手段により求められた確率との積または和を、前記関連語候補中の単語ごとに計算する計算手段と、
   前記関連語候補中の単語ごとに、前記同時出現確率算出手段により求められた前記同時出現確率と前記計算手段により計算された値とを用いた統計量を求め、各単語の統計量に応じて単語を抽出する関連語抽出手段と、
   前記関連語抽出手段で抽出された単語のうち、操作入力によって選択された単語を検索キーワードとして含む第２の検索条件を入力する第２の検索条件入力手段と、
   前記第２の検索条件入力手段により入力された前記第２の検索条件に適合する項目を前記項目記憶手段より検索し、適合する項目の集合を取得する第２の検索手段と、
   を具備することを特徴とする項目検索装置。
4. 前記関連語抽出手段は、前記統計量として相互情報量、Ｄｉｃｅ−ｃｏｅｆｆｉｃｉｅｎｔまたはｔ−ｓｃｏｒｅを用い、前記統計量が所定の閾値以上であり、かつその統計量の大きい単語を関連語として抽出することを特徴とする請求項３記載の項目検索装置。
5. 前記第１の検索手段で検索された項目を表示する表示手段をさらに具備することを特徴とする請求項３記載の項目検索装置。
6. 複数の単語を含む項目を識別する項目識別子とその項目内に含まれる単語とを組にして記憶している項目記憶手段を具備し、前記項目記憶手段に記憶されている項目を検索する情報検索装置の単語抽出方法において、
   前記項目記憶手段に記憶されている項目に対する第１の検索条件を入力する第１のステップと、
   前記第１のステップにより入力された前記第１の検索条件に適合する項目を前記項目記憶手段より検索する第２のステップと、
   前記第２のステップにより検索された項目内に含まれる単語のうち、任意の単語を関連語探索単語とし、前記関連語探索単語以外の単語を関連語候補とする第３のステップと、
   前記関連語探索単語と前記関連語候補中の一つの単語とが、前記第２のステップにより検索された項目の中の一つの項目内に含まれる確率である同時出現確率を、前記関連語候補中の単語ごとに求める第４のステップと、
   前記関連語探索単語が、前記項目記憶手段に記憶されている項目の中の一つの項目内に含まれる確率を求める第５のステップと、
   前記関連語候補中の一つの単語が前記項目記憶手段に記憶されている項目の中の一つの項目内に含まれる確率を、前記関連語候補中の単語ごとに求める第６のステップと、
   前記第５のステップにより求められた確率と、前記第６のステップにより求められた確率との積または和を、前記関連語候補中の単語ごとに計算する第７のステップと、
   前記関連語候補中の単語ごとに、前記第４のステップにより求められた前記同時出現確率と前記第７のステップにより計算された値とを用いた統計量を求め、各単語の統計量に応じて単語を抽出する第８のステップと、
   前記第８のステップにより抽出された単語のうち、操作入力によって選択された単語を検索キーワードとして含む第２の検索条件を入力する第９のステップと、
   前記第９のステップにより入力された前記第２の検索条件に適合する項目を前記項目記憶手段より検索し、適合する項目の集合を取得する第１０のステップと、
   を具備することを特徴とする項目検索方法。

Images