JP3584848B2 - 文書処理装置、項目検索装置及び項目検索方法 - Google Patents
文書処理装置、項目検索装置及び項目検索方法 Download PDFInfo
- Publication number
- JP3584848B2 JP3584848B2 JP2000112348A JP2000112348A JP3584848B2 JP 3584848 B2 JP3584848 B2 JP 3584848B2 JP 2000112348 A JP2000112348 A JP 2000112348A JP 2000112348 A JP2000112348 A JP 2000112348A JP 3584848 B2 JP3584848 B2 JP 3584848B2
- Authority
- JP
- Japan
- Prior art keywords
- word
- search
- item
- document
- probability
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
【発明の属する技術分野】
本発明は各種文書を処理する文書処理装置、複数の単語を含む項目から単語を抽出する項目検索装置、及び各種文書を処理する文書処理装置の項目検索方法に関し、特に単語間の関連度の計算を行う文書処理装置、単語間の関連度に基づき単語抽出する項目検索装置、単語間の関連度の計算を行う文書処理装置の項目検索方法に関する。
【0002】
【従来の技術】
膨大な量の文書を対象とした検索システムでは、一般にキーワードによる検索方式が用いられている。検索条件として任意のキーワード(検索語)を検索システムに入力すると、文書内容に検索語を含む全ての文書が検索結果として得られる。この方式による検索は、全文検索と呼ばれている。また、各文書に対して検索用のキーワードを予め付加しておき、入力された検索語と一致するキーワードが付加された文書を検索結果とする方式も広く用いられている。
【0003】
上記の検索システムでは、ユーザによって入力された検索語と完全に一致する語を含んでいる文書か、あるいは、ユーザが入力したキーワードと完全に一致する語が検索用のキーワードとして付加されている文書しか検索結果として得ることができない。
【0004】
従って、このような検索システムでは、検索語とキーワード間の完全一致が要求されるため、ユーザが求める全ての文書を網羅的に得ることができるものではない。そこで、「特開平2−297290号公報」において提案されている通り、検索漏れを防ぐために、関連語辞書を用いることにより検索語の関連語をユーザに提示し、より検索意図に合致する検索式の作成を促す方式が用いられている。
【0005】
例えば、ユーザが入力した検索語が「SGML」の場合、関連語辞書から「SGML」の関連語として「HTML」「ODA」「構造化文書」等を取得し、ユーザに提示する。これにより、ユーザが適切であると判断した関連語を「SGML」とOR結合して検索することによって、検索漏れの軽減を図る。
【0006】
関連語辞書を手作業で作成するためには多大な工数を要するので、検索対象文書の内容を基に、関連語を計算によって自動的に求める方法が提案されている。すなわち、検索対象文書中に出現する単語の頻度情報に統計処理を加えることにより、ある語と関連する語を算出するものである。
【0007】
関連語計算には、統計量として主に、相互情報量、Dice−coefficient、t−scoreが用いられる。単語word1とword2の間の相互情報量(MI)、Dice−coefficient(DC)、t−score(TS)は、それぞれ、
【0008】
【数1】
【0009】
【数2】
【0010】
【数3】
【0011】
と定義される。ただし、全検索対象文書数をM、word1とword2を共に含む文書数をa、word1のみを含む文書数をb、word2のみを含む文書数をcとした場合、
【0012】
【数4】
【0013】
【数5】
【0014】
【数6】
【0015】
である。MI(word1,word2),DC(word1,word2),TS(word1,word2)のいずれも、その値が大きいほどword1とword2の間に高い関連性があることを意味する。これらの統計量によって関連語を求め、関連語辞書を作成するために、「春野,山崎:辞書と統計を用いた対訳アライメント,情報処理学会自然言語処理研究会研究報告,96−NL−112,pp.23−30(1996)」、「大森,堤,中西:統計情報を用いた対訳単語辞書の作成,言語処理学会第2回年次大会発表論文集,pp.49−52(1996)」等において以下のような従来技術が提案されている。
【0016】
まず、第1のステップとして、検索対象文書中から形態素解析等の技術を用いて文書中に含まれる全ての単語(自立語)を抽出する。この際、抽出した全単語に対して、各単語を含む文書の識別子へのポインタを記録しておく(各単語からその単語を含む文書を特定できる構造を生成する)。
【0017】
次に、第2のステップとして、以下のword1,word2に対する「第1の処理」を、第1のステップで抽出した単語の全2項組を対象として実行する。
第1の処理は、以下のような処理である。
【0018】
word1を含む文書数(=a+b)、word2を含む文書数(=a+c)、word1およびword2を共に含む文書数(=a)を求め、それぞれを全文書数(=M)で除することによって、prob(word1),prob(word2),prob(word1, word2)を求める。これらの値から式(1)(あるいは式(2),(3))に従って、MI(word1,word2)(あるいは、DC(word1,word2),TS(word1,word2))の値を求める。
【0019】
第3のステップとして、以下のword3に対する第2の処理を、第1のステップで抽出した全単語を対象として実行し、関連語辞書を作成する。
第2の処理は、以下のような処理である。
【0020】
以下のword4に対する第3の処理を、第1のステップで抽出した単語のうちword3以外の全ての単語を対象として実行し、戻り値として得られた語をword3の関連語として記録する。
【0021】
第3の処理は、以下のような処理である。
MI(word3,word4)(あるいは、DC(word3,word4),TS(word3,word4))の値が予め定めた閾値Tよりも大きい場合word4を戻り値とする。Tよりも小さい場合は戻り値をかえさない。
【0022】
以上のような処理を行うことにより、第1のステップで検出された全ての単語に対する関連語が求められ、関連語辞書に保持される。この際、関連語辞書に登録されるのは、相互情報量MI等の値が閾値Tよりも大きいものに限られるため、比較的関連性の高い単語が関連語辞書に登録されるものと考えられる。
【0023】
ところで、ある語の関連語がどのような語彙集合となるかは、対象とする分野に大きく依存するのが一般的である。例えば、情報処理分野においては、「ODA」の関連語は「SGML」「HTML」「構造化文書」等であるが、経済/社会分野においては、「政府開発援助」「UNCTAD」「OOF」等である。前述の従来技術では、検索対象文書の内容を基に関連語計算を行うため、得られる関連語辞書は検索対象の分野に沿ったものとなる。
【0024】
また、対話的な文書検索システムでは、検索プロセスの進行に伴って文書集合の絞り込みが行われる。このように文書集合の絞り込みを行えば、目的の文書を容易に検出できるようになる。
【0025】
【発明が解決しようとする課題】
しかし、従来の技術では、文書集合が検索プロセスに伴って絞り込まれた場合、関連語辞書の分野依存性により、ユーザにとって必要となる関連語と、全検索対象文書の内容に沿って作成された関連語とは異なるものとなるという問題点がある。
【0026】
例えば、書誌的事項により、”経済/社会分野”の文書集合へと絞り込みを行った場合でも、全文書内容に沿って作成された関連語辞書によれば、「ODA」の関連語として、正しい語の他に「SGML」「HTML」「構造化文書」等が得られてしまう。
【0027】
関連度の大きい順に関連語が表示されている場合であっても、上記のように、関連語の中に検索者の意図を反映しないキーワードが多く含まれてしまうと、上位に位置するキーワードが検索者の検索意図に近いとは限らない。従って、得られた関連語の中から適切なキーワードを探す作業が、検索者にとって大きな負荷となる。
【0028】
人間である検索者には、関連語の適合性を判定する上で、無益点と呼ばれる物理的・心理的な限界がある。関連語として示された数がその限界を超えている場合には、検索意図に適合した語を全て選ぶという作業を行うことができなくなってしまう。
【0029】
このように、従来の対話的検索システムでは、検索プロセスの進行に伴って文書集合の絞り込みが行われると、得られる関連語中に不適切なキーワードの占める割合が増大してしまう。さらに、適切な関連語が含まれるよう提示を行うためには、提示キーワードを増加させる必要があり、その数が容易に無益点に達してしまうという問題点がある。即ち、事実上、関連語提示を利用することが不可能となる。
【0030】
本発明はこのような点に鑑みてなされたものであり、有益な関連語を的確に利用者に提示することができる文書処理装置を提供することを目的とする。
また、本発明の他の目的は、有益な関連語を的確に利用者に提示することができる項目検索装置を提供することである。
【0031】
また、本発明の他の目的は、有益な関連語を的確に利用者に提示することができる項目検索方法を提供することである。
【0032】
【課題を解決するための手段】
本発明では上記課題を解決するために、文書を識別する文書識別子およびその文書内に含まれる単語とを組にして記憶している文書情報記憶手段と、前記文書情報記憶手段に記憶されている文書に対する第1の検索条件を入力する第1の検索条件入力手段と、前記第1の検索条件入力手段により入力された前記第1の検索条件に適合する文書を前記文書情報記憶手段より検索する第1の検索手段と、前記第1の検索手段により検索された文書内に含まれる単語のうち、任意の単語を関連語探索単語とし、前記関連語探索単語以外の単語を関連語候補とするキーワード特定手段と、前記関連語探索単語と前記関連語候補中の一つの単語とが、前記第1の検索手段により検索された文書の中の一つの文書内に含まれる確率である同時出現確率を、前記関連語候補中の単語ごとに求める同時出現確率算出手段と、前記関連語探索単語が、前記文書情報記憶手段に記憶されている文書の中の一つの文書内に含まれる確率を求める第1の単独出現確率算出手段と、前記関連語候補中の一つの単語が前記文書情報記憶手段に記憶されている文書の中の一つの文書内に含まれる確率を、前記関連語候補中の単語ごとに求める第2の単独出現確率算出手段と、前記第1の単独出現確率算出手段により求められた確率と、第2の単独出現確率算出手段により求められた確率との積または和を、前記関連語候補中の単語ごとに計算する計算手段と、前記関連語候補中の単語ごとに、同時出現確率算出手段により求められた前記同時出現確率と前記計算手段により計算された値との比率を求め、各単語の比率に応じて単語を抽出する単語抽出手段と、前記単語抽出手段で抽出された単語のうち、操作入力によって選択された単語を検索キーワードとして含む第2の検索条件を入力する第2の検索条件入力手段と、前記第2の検索条件入力手段により入力された前記第2の検索条件に適合する文書を前記文書情報記憶手段より検索し、適合する文書の集合を取得する第2の検索手段と、を具備することを特徴とする文書処理装置が提供される。
【0033】
この文書処理装置によれば、検索者が検索条件入力手段に対して、任意の検索条件を入力すると、検索手段が、入力された検索条件に適合する文書を文書情報記憶手段内から検索する。すると、キーワード特定手段が、検索手段により検索された文書内に含まれる単語のうち、任意の単語を関連語探索単語とし、関連語探索単語以外の単語を関連語候補とする。同時出現確率算出手段は、同時出現確率を、関連語候補中の単語ごとに求める。第1の単独出現確率算出手段は、関連語探索単語が、文書情報記憶手段に記憶されている文書の中の一つの文書内に含まれる確率を求める。第2の単独出現確率算出手段は、関連語候補中の一つの単語が文書情報記憶手段に記憶されている文書の中の一つの文書内に含まれる確率を、関連語候補中の単語ごとに求める。計算手段は、第1の単独出現確率算出手段により求められた確率と、第2の単独出現確率算出手段により求められた確率との積または和を、関連語候補中の単語ごとに計算する。そして、単語抽出手段が、関連語候補中の単語ごとに、同時出現確率と計算手段により計算された値との比率を求め、各単語の比率に応じて単語を抽出する。さらに第2の検索条件入力手段が、単語抽出手段で抽出された単語のうち、操作入力によって選択された単語を検索キーワードとして含む第2の検索条件を入力する。第2の検索手段が、第2の検索条件入力手段により入力された第2の検索条件に適合する文書を文書情報記憶手段より検索し、適合する文書の集合を取得する。
【0034】
これにより、検索者が、関連語計算に使用する文書集合を自由に定めることが可能となり、より柔軟な関連語の提示及びその関連語による検索が可能となる。
また、本発明では上記課題を解決するために、複数の単語を含む項目を識別する項目識別子とその項目内に含まれる単語とを組にして記憶している項目記憶手段と、項目記憶手段に記憶されている項目に対する第1の検索条件を入力する第1の検索条件入力手段と、前記第1の検索条件入力手段により入力された前記第1の検索条件に適合する項目を前記項目記憶手段より検索する第1の検索手段と、前記第1の検索手段により検索された項目内に含まれる単語のうち、任意の単語を関連語探索単語とし、前記関連語探索単語以外の単語を関連語候補とするキーワード特定手段と、前記関連語探索単語と前記関連語候補中の一つの単語とが、前記第1の検索手段により検索された項目の中の一つの項目内に含まれる確率である同時出現確率を、前記関連語候補中の単語ごとに求める同時出現確率算出手段と、前記関連語探索単語が、前記項目記憶手段に記憶されている項目の中の一つの項目内に含まれる確率を求める第1の単独出現確率算出手段と、前記関連語候補中の一つの単語が前記項目記憶手段に記憶されている項目の中の一つの項目内に含まれる確率を、前記関連語候補中の単語ごとに求める第2の単独出現確率算出手段と、前記第1の単独出現確率算出手段により求められた確率と、第2の単独出現確率算出手段により求められた確率との積または和を、前記関連語候補中の単語ごとに計算する計算手段と、前記関連語候補中の単語ごとに、同時出現確率算出手段により求められた前記同時出現確率と前記計算手段により計算された値との比率を求め、各単語ごとの比率に応じて単語を抽出する関連語抽出手段と、前記関連語抽出手段で抽出された単語のうち、操作入力によって選択された単語を検索キーワードとして含む第2の検索条件を入力する第2の検索条件入力手段と、前記第2の検索条件入力手段により入力された前記第2の検索条件に適合する項目を前記項目記憶手段より検索し、適合する項目の集合を取得する第2の検索手段と、を具備することを特徴とする項目検索装置が提供される。
【0035】
この項目検索装置によれば、検索者が検索条件入力手段に対して、任意の検索条件を入力すると、検索手段が、入力された検索条件に適合する項目を項目記憶手段内から検索する。すると、キーワード特定手段が、検索手段により検索された項目内に含まれる単語のうち、任意の単語を関連語探索単語とし、関連語探索単語以外の単語を関連語候補とする。同時出現確率算出手段は、同時出現確率を、関連語候補中の単語ごとに求める。第1の単独出現確率算出手段は、関連語探索単語が、項目記憶手段に記憶されている項目の中の一つの項目内に含まれる確率を求める。第2の単独出現確率算出手段は、関連語候補中の一つの単語が項目情報記憶手段に記憶されている項目の中の一つの項目内に含まれる確率を、関連語候補中の単語ごとに求める。計算手段は、第1の単独出現確率算出手段により求められた確率と、第2の単独出現確率算出手段により求められた確率との積または和を、関連語候補中の単語ごとに計算する。そして、関連語抽出手段が、関連語候補中の単語ごとに、同時出現確率と計算手段により計算された値との比率を求め、各単語の比率に応じて単語を抽出する。さらに第2の検索条件入力手段が、単語抽出手段で抽出された単語のうち、操作入力によって選択された単語を検索キーワードとして含む第2の検索条件を入力する。第2の検索手段が、第2の検索条件入力手段により入力された第2の検索条件に適合する項目を項目記憶手段より検索し、適合する項目の集合を取得する。
【0036】
これにより、検索者が、関連語計算に使用する項目の集合を自由に定めることが可能となり、より柔軟な関連語の提示及びその関連語による検索が可能となる。
また、本発明では上記課題を解決するために、複数の単語を含む項目を識別する項目識別子とその項目内に含まれる単語とを組にして記憶している項目記憶手段を具備し、前記項目記憶手段に記憶されている項目を検索する情報検索装置の単語抽出方法において、前記項目記憶手段に記憶されている項目に対する第1の検索条件を入力する第1のステップと、前記第1のステップにより入力された前記第1の検索条件に適合する項目を前記項目記憶手段より検索する第2のステップと、前記第2のステップにより検索された項目内に含まれる単語のうち、任意の単語を関連語探索単語とし、前記関連語探索単語以外の単語を関連語候補とする第3のステップと、前記関連語探索単語と前記関連語候補中の一つの単語とが、前記第2のステップにより検索された項目の中の一つの項目内に含まれる確率である同時出現確率を、前記関連語候補中の単語ごとに求める第4のステップと、前記関連語探索単語が、前記項目記憶手段に記憶されている項目の中の一つの項目内に含まれる確率を求める第5のステップと、前記関連語候補中の一つの単語が前記項目記憶手段に記憶されている項目の中の一つの項目内に含まれる確率を、前記関連語候補中の単語ごとに求める第6のステップと、前記第5のステップにより求められた確率と、前記第6のステップにより求められた確率との積または和を、前記関連語候補中の単語ごとに計算する第7のステップと、前記関連語候補中の単語ごとに、前記第4のステップにより求められた前記同時出現確率と前記第7のステップにより計算された値とを用いた統計量を求め、各単語の統計量に応じて単語を抽出する第8のステップと、前記第8のステップにより抽出された単語のうち、操作入力によって選択された単語を検索キーワードとして含む第2の検索条件を入力する第9のステップと、前記第9のステップにより入力された前記第2の検索条件に適合する項目を前記項目記憶手段より検索し、適合する項目の集合を取得する第10のステップと、を具備することを特徴とする項目検索方法が提供される。
【0037】
この項目検索方法によれば、検索条件を入力すると、入力された検索条件に適合する項目が検索される。次いで、検索された項目内に含まれる単語のうち、任意の単語が関連語探索単語とされ、関連語探索単語以外の単語が関連語候補リストに登録される。さらに、関連語探索単語と関連語探索単語以外の単語との間の同時出現確率と、各単語の単独出現確率の積あるいは和とから統計量が求められる。そして、各単語ごとに求められた統計量に応じて、単語が抽出される。さらに、抽出された単語のうち、操作入力によって選択された単語を検索キーワードとして含む第2の検索条件を入力されると、入力された第2の検索条件に適合する項目が項目記憶手段より検索され、適合する項目の集合が取得される。
【0038】
これにより、検索者が、関連語計算に使用する項目の集合を自由に定め、より柔軟な関連語の提示及びその関連語による検索が可能となる。
【0039】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照して説明する。
図1は、本発明の原理構成図である。
【0040】
文書情報記憶手段1は、文書を識別する文書識別子およびその文書内に含まれる単語とを組にして記憶している。
検索条件入力手段2は、文書情報記憶手段1に記憶されている文書に対する検索条件を入力する。入力された検索条件は、検索手段3に渡される。検索手段3は、検索条件入力手段2により入力された検索条件に適合する文書を文書情報記憶手段1より検索する。キーワード特定手段4は、検索手段3により検索された文書内に含まれる単語のうち、任意の単語を関連語探索単語とし、関連語探索単語以外の単語を関連語候補とする。
【0041】
同時出現確率算出手段5は、関連語探索単語と関連語候補内の一つの単語とが、検索手段3により検索された文書のうち、その一つの文書内に含まれる確率を求め、同時出現確率とする。
【0042】
第1の単独出現確率算出手段6は、関連語探索単語が、文書情報記憶手段1に記憶されている文書のうち、その一つの文書内に含まれる確率を求める。同様に、第2の単独出現確率算出手段7は、関連語候補内の一つの単語が、文書情報記憶手段1に記憶されている文書のうち、その一つの文書内に含まれる確率を求める。
【0043】
計算手段8は、第1の単独出現確率算出手段6により求められた確率および第2の単独出現確率算出手段7により求められた確率との積または和を計算する。単語抽出手段9は、同時出現確率算出手段5により求められた同時出現確率および計算手段8により計算された値との比率に応じて、単語を抽出する。
【0044】
この文書処理装置によれば、検索者が検索条件入力手段2を用いて検索条件を入力すると、検索手段3により検索条件に適合する文書が検索される。すると、キーワード特定手段4により、関連語探索単語が特定され、関連語探索単語以外の単語が関連語候補とされる。さらに、同時出現確率算出手段5が、検出手段3で検出された文書に基づき、同時出現確率を算出する。一方、第1の単独出現確率算出手段6と第2の単独出現確率算出手段7とは、それぞれ関連語探索単語と、関連語候補内の単語の出現確率を算出する。この出現確率は、計算手段8により積または和の値が計算される。そして、単語抽出手段9が、同時出現確率と計算手段8の算出した値とを用いて、特定の単語に対する関連語を抽出する。
【0045】
これにより、検索者の検索条件に応じて、関連語を定めるための基準となる文書を任意に絞り込むことが可能となる。即ち、本発明のように、文書検索プロセスにおける文書絞り込みとは別に、関連語探索のための検索条件を定めることができるようにすれば、関連語計算に使用する文書集合を自由に定めることが可能となり、より柔軟な関連語の提示が可能となる。
【0046】
例えば、検索意図が「今年に入ってからの野球選手の腰痛によるアクシデントについて知りたい」であったとする。この場合検索者は、まず”今年の野球関連の新聞記事”を書誌的事項から得た上で、「腰痛」のキーワードで検索を行う。ここで、検索漏れを防ぐ目的で「腰痛」の関連語を得る場合、検索者は検索条件入力手段2を用いて”医学関連の文書”を検索対象に指定する。すると、”医学関連の文書”を用いて関連語計算が行われ、「ぎっくり腰」「椎間板ヘルニア」等の適切な関連語が、単語抽出手段9により抽出される。
【0047】
もし、通常の類似語辞書で関連語計算を行うと、「腰痛」の関連語(類似語)は「腹痛」「頭痛」「疼痛」等が抽出される。また、”今年の野球関連の新聞記事”を基に「腰痛」の関連語計算を行うと「リタイア」「欠場」等が抽出される。従って、どちらも適切な関連語が得られるとは言い難い。
【0048】
図2は、本発明の第1の実施の形態の構成を示す図である。以下、図2の各構成要素について説明する。
文書格納手段11は、電子化された検索対象文書の内容を書誌的事項および形態素解析手段12によって付加される文書識別子と組にして格納する記憶装置である。
【0049】
形態素解析手段12は、文書格納手段11に格納されている各文書に文書識別子を付加した上で、各文書に形態素解析処理を施して自立語を抽出し、対応する文書識別子と組にして格納する装置である。
【0050】
索引構造生成手段13は、形態素解析手段12での形態素解析処理結果を基に、索引構造として、単語−単語識別子リスト14a、単語識別子−文書識別子リスト14b、文書識別子−単語識別子リスト14cを作成するプログラムモジュールである。
【0051】
索引構造格納手段14は、索引構造生成手段13によって作成された単語−単語識別子リスト14a、単語識別子−文書識別子リスト14b、文書識別子−単語識別子リスト14cを格納する記憶装置である。単語−単語識別子リスト14aは、単語文字列とその単語を示す単語識別子の対応関係を記述したリストである。単語識別子−文書識別子リスト14bは、各単語識別子について、その単語識別子で示される単語文字列を含む文書の文書識別子の集合を記述したリストである。文書識別子−単語識別子リスト14cは、各文書識別子について、その文書識別子で示される文書に含まれる単語の単語識別子の集合を記述したリストである。
【0052】
キーワード入力手段15は、関連語を求めるための初期条件としてキーワードを入力することが可能なユーザインタフェースを持つプログラムモジュールである。
【0053】
文書検索手段16は、キーワードを受け取り、そのキーワードを含む全文書の文書識別子を、単語−単語識別子リスト14aおよび単語識別子−文書識別子リスト14bを参照して取得するプログラムモジュールである。受け取ったキーワードが、キーワードリスト生成手段18によって作成されたキーワードリスト中のキーワードである場合は、文書識別子の総数のみを取得し、キーワード入力手段15に入力されたキーワードの場合は、文書識別子の総数と共に、得られた文書識別子のうち特定文書格納手段23に格納されている文書識別子に属する文書識別子集合も取得する。
【0054】
キーワード検索手段17は、文書検索手段16によって得られた文書識別子集合で示される文書集合の各文書に含まれる単語の識別子集合を、文書識別子−単語識別子リスト14cを参照して取得し、それらを連接して一つの単語識別子集合とするプログラムモジュールである。
【0055】
キーワードリスト生成手段18は、キーワード検索手段17から得られた単語識別子集合中での各単語識別子の出現回数を計測し、単語識別子と出現回数との対をリストとして作成するプログラムモジュールである。
【0056】
関連語計算手段19は、キーワードリスト生成手段18によって作成されたリストおよび文書検索手段16によって取得された文書識別子の総数を基に、キーワード入力手段15に入力されたキーワードとキーワードリスト生成手段18によって作成されたリスト中の各単語識別子に対応する単語の相互情報量を計算するプログラムモジュールである。
【0057】
表示手段20は、関連語計算手段19で計算された相互情報量の値を受け取り、キーワード入力手段15に入力されたキーワードとの間で相互情報量が大きい値となる順に単語を出力するユーザインタフェースを持つプログラムモジュールである。
【0058】
検索条件入力手段21は、ユーザが関連語計算を行うための文書集合を得るための検索条件を入力することが可能なユーザインタフェースを持つプログラムモジュールである。
【0059】
文書集合特定手段22は、文書格納手段11、単語−単語識別子リスト14aおよび単語識別子−文書識別子リスト14bを参照し、検索条件入力手段21あるいは文書検索条件入力手段24に入力された検索語あるいは論理式の条件に適合する文書識別子の集合を得るプログラムモジュールである。
【0060】
特定文書格納手段23は、検索条件入力手段21に入力された検索条件を基に、文書集合特定手段22によって得られた文書識別子集合を格納する記憶手段である。
【0061】
文書検索条件入力手段24は、ユーザが文書検索を行うための検索条件を入力することが可能なユーザインタフェースを持つプログラムモジュールである。
検索結果表示手段25は、文書検索条件入力手段24に入力された検索条件を基に、文書集合特定手段22によって得られた文書識別子集合に対応する文書情報を表示することが可能なユーザインタフェースを持つプログラムモジュールである。
【0062】
以上の図2に示した構成は、図1の本発明の原理構成を具体化したものであり、それぞれの構成要素は次のような関係にある。
文書情報格納手段11および索引構造格納手段14が、文書情報記憶手段1に対応する。検索条件入力手段21が検索条件入力手段2に対応する。文書集合特定手段22及び特定文書格納手段23が、検索手段3に対応する。キーワード入力手段15、文書検索手段16、キーワード検索手段17、キーワードリスト生成手段18が、キーワード特定手段4に対応する。そして、関連語計算手段19が、同時出現確率算出手段5、第1の単独出現確率算出手段6、第2の単独出現確率算出手段7、計算手段8、及び単語抽出手段9に対応する。
【0064】
ここで、本実施の形態では関連語計算の前に、索引構造の生成処理を実行しておく必要がある。そこで、以下に索引構造の生成処理について説明する。
索引構造の生成処理の前提として、形態素解析結果リストが生成されていなければならない。図3は、形態素解析結果リストの例を示す図である。これは、形態素解析手段12が作成する。形態素解析結果リスト31には、文書格納手段11に格納されている各検索対象文書に識別子(文書識別子)を割り当てた上で、それぞれの文書に形態素解析処理を施して自立語を抽出し、抽出された単語(抽出単語)を対応する文書識別子と組にして格納する。ただし、同一文書中から同一の自立語が複数回抽出された場合は、2回目以降の抽出結果を無視し、一つの文書識別子に対応する自立語が重複することはないものとする。
【0065】
この形態素解析結果リストを基に、索引構造生成手段13が各種索引構造を生成する。図4〜図6に索引構造生成手段13により作成され、索引構造格納手段14に格納される索引構造の例を示す。なお図4〜図6中のデータは、図3のデータに基づいて作成された例となっている。
【0066】
図4は、単語−単語識別子リストの例を示す図である。単語−単語識別子リスト32には、抽出された単語と、その単語に割り当てられた識別子とが組となって格納されている。
【0067】
図5は、単語識別子−文書識別子リストの例を示す図である。単語識別子−文書識別子リスト33には、単語識別子と、その単語識別子が割り当てられている単語を含む文書の識別子(文書識別子)が組となって格納されている。
【0068】
図6は、文書識別子−単語識別子リストの例を示す図である。文書識別子−単語識別子リスト34には、文書識別子と、その文書識別子が割り当てられている文書に含まれる単語の単語識別子とが組となって格納されている。
【0069】
索引構造生成手段13による索引構造の生成アルゴリズムは以下の通りである。図7は、索引構造の生成の手順を示すフローチャートである。
〔S1〕単語−単語識別子リスト14aを生成する。具体的には、まず、形態素解析手段12に格納されている形態素解析結果リスト中の全単語を、重複なく、かつ、単語文字列の持つ値の順にソートしたリストを作成する。そして、各単語に対して、リストの先頭から順に1で始まる自然数を単語識別子として割り当てる。
〔S2〕文書識別子−単語識別子リスト14cを生成する。具体的には、形態素解析手段12中の形態素解析結果リスト中の各単語をステップS1で割り当てた単語識別子で置き換え、各文書識別子ごとに対応する単語識別子を小さい値順にソートする。
〔S3〕単語識別子−文書識別子リスト14bを生成する。具体的には、単語識別子を1から順に並べ、各単語識別子に対応する単語が含まれる文書の文書識別子を、ステップS2で作成した文書識別子−単語識別子リスト34を参照して抽出し、単語識別子と対にして格納する。
【0070】
以上のようにして、索引構造が生成され、索引構造格納手段14に格納される。この状態で関連語の計算を行うことが可能となる。
図8は、本発明の処理手順を示すフローチャートの前半である。これは、検索条件入力手段21に入力された検索条件に適合する文書を基に、キーワード入力手段15に入力されたキーワードの関連語を求めるためのアルゴリズムをフローチャートで示したものである。以下に、このフローチャートの処理をステップ番号に沿って説明する。
〔S11〕キーワード入力手段15が、検索者がキーボードあるいはマウスを操作することによって入力した初期キーワードを受け取る。この初期キーワードは、文書検索手段16に渡される。
〔S12〕検索条件入力手段21が、検索者がキーボードあるいはマウスを操作することによって入力した検索条件を受け取る。この検索条件は、文書集合特定手段22に渡される。
〔S13〕初期キーワードを受け取った文書検索手段16は、初期キーワードが単語−単語識別子リスト14aに存在するか否かを判断する。存在していなければステップS14に進み、存在していればステップS15に進む。
〔S14〕初期キーワードが単語−単語識別子リスト14aに存在していなければ関連語の計算を行いようがないため、表示手段20が、初期キーワードの関連語がない旨の表示を行い、処理を終了する。
〔S15〕検索条件を受け取った文書集合特定手段22が、検索条件を満たす文書の文書識別子を、文書格納手段11、単語−単語識別子リスト14a、及び単語識別子−文書識別子リスト14bから取得し、得られた文書識別子集合をDとする。この文書識別子集合Dは、特定文書格納手段23に格納される。
〔S16〕文書検索手段16が、初期キーワードに対応する単語識別子をWiとする。
〔S17〕文書検索手段16が、Wiに対応しDに属する文書識別子を単語識別子−文書識別子リスト14bから取得し、取得した文書識別子の集合をXとする。この文書識別子の集合Xは、キーワード検索手段17に渡される。また、Wiに対応する文書識別子総数をNとする。この文書識別子総数Nは、関連語計算手段19に渡される。この処理が終了したら、図9のステップS18に進む。
【0071】
図9は、本発明の処理手順を示すフローチャートの後半である。
〔S18〕キーワード検索手段17が、Xに属する各単語識別子に対応する単語識別子を文書識別子−単語識別子リスト14cから取得する。取得した単語識別子の集合をYとする。単語識別子の集合Yは、キーワードリスト生成手段18に渡される。
〔S19〕キーワードリスト生成手段18が、Yに属する単語識別子の重複を取り除き、各単語識別子の重複回数を記録する。重複の取り除かれた単語識別子集合を新たにYとし、Yの要素である単語識別子Wn(n=1,2,・・・P)の重複回数をR(Wn)とする。重複回数R(Wn)は、関連語計算手段19に渡される。但し、PはYの要素数である。
〔S20〕文書検索手段16が、Yに属する全単語識別子Wn(n=1,2,・・・P)について、Wnに対応する文書識別子の総数を単語識別子−文書識別子リスト14bから取得する。そして、Yの要素Wnに対応する文書識別子数F(Wn)とする。文書識別子数F(Wn)は、関連語計算手段19に渡される。
〔S21〕関連語計算手段19が、Yに属する単語識別子Wn(n=1,2,・・・P)について、全検索対象文書数をMとして、
【0072】
【数7】
prob(Wi,Wn)=R(Wn)/M・・・(7)
【0073】
【数8】
prob(Wn)=F(Wn)/M・・・(8)
を計算し、
【0074】
【数9】
prob(Wi)=N/M・・・(9)
であることを考慮して、式(1)に従って、Wiで示される初期キーワードとWnで示される単語間の相互情報量(MI(Wi,Wn))を計算する。
〔S22〕関連語計算手段19が、閾値Tを超えるMI(Wi,Wn)(n=1,2,・・・P)が存在するか否かを判断する。存在すればステップS23に進み、存在しなければステップS24に進む。
〔S23〕表示手段20が、関連語計算手段19から、閾値Tを超えるMI(Wi,Wn)(n=1,2,・・・P)に関し、その値が大きいものから順に対応するWnを取得する。そして、単語−単語識別子リスト14aを参照することによって、取得したWnに対応する単語を初期キーワードの関連語として出力し、処理を終了する。
〔S24〕表示手段20が、初期キーワードの関連語がない旨の表示を行い、処理を終了する。
【0075】
このように、図中のステップS21において、検索条件入力手段21に入力された検索条件に適合する文書(識別子)集合D中でのWiおよびWnの間の共起頻度を基にprob(Wi,Wn)を求めていることにより、文書集合Dの内容に沿った関連語の算出が可能となる。
【0076】
図10から図19に第1の実施の形態のユーザインタフェースを示す。
図10は、第1の実施の形態のユーザインタフェースの初期画面を示す図である。図10メインのウィンドウ40の中には複数のサブウィンドウ41〜46が表示されている。サブウィンドウ41がキーワード入力手段15に、サブウィンドウ42が検索条件入力手段21に、サブウィンドウ43が表示手段20に、サブウィンドウ44、45が文書検索条件入力手段24に、サブウィンドウ46が検索結果表示手段25にそれぞれ対応している。サブウィンドウ44では、同一行中にカンマで区切ったキーワード集合をor接続した上で、各行に対応するor接続されたキーワード集合をand接続して検索するものとする。
【0077】
図中下のアイコン47は、検索条件入力手段21あるいは文書検索条件入力手段24に入力するための検索条件を可視化したものである。例えば、「社会経済辞典アイコン」は、社会経済辞典に含まれる項目である旨の書誌的事項が付与された文書集合を検索するための検索条件に対応するものである。これらのアイコンをサブウィンドウ42および45に置くことにより、検索条件の指定を行ったことになる。
【0078】
以下図11から図19では、検索意図が「米海軍におけるセキュリティ問題について書かれた新聞記事を検索したい。」である場合の操作例を示す。
まず、検索条件の入力を行う。図11は、第1の実施の形態のユーザインタフェースの第1の操作画面を示す図である。この画面では、「セキュリティ」に関する関連語を得るために、関連語検索を行う文書集合として「情報工学辞典」のアイコン47aを選択する。
【0079】
目的のアイコンを選択したら、そのアイコン47aをサブウィンドウ42に複写する。図12は、第1の実施の形態のユーザインタフェースの第2の操作画面を示す図である。選択した「情報工学辞典」アイコン42aがサブウィンドウ42に置かれる。これにより、検索条件入力手段21に「情報工学辞典に含まれる項目である旨の書誌的事項が付与された文書集合を得るための検索条件」が入力される。
【0080】
検索条件の入力が終了したら、初期キーワードを入力する。図13は、第1の実施の形態のユーザインタフェースの第3の操作画面を示す図である。この画面では、関連語を求めるための初期キーワード「セキュリティ」をサブウィンドウ41に入力し、「関連語」ボタン41aを押す(ここで、「押す」とは、画面上のマウスポインタを「関連語」ボタン41a上に移動し、マウスのボタンをクリックする動作を示す)。
【0081】
「関連語」ボタン41aが押されると、図8、図9に示した処理が実行される。図14は、第1の実施の形態のユーザインタフェースの第4の操作画面を示す図である。図8、図9に示した処理の実行の結果、情報工学辞典に基づいて計算された「セキュリティ」の関連語がサブウィンドウ43に表示される。このとき、サブウィンドウ41に入力された「セキュリティ」は、サブウィンドウ44にも入力される。
【0082】
検索者は、表示された関連語のうち関連性が高いと判断した語を選択する。図15は、第1の実施の形態のユーザインタフェースの第5の操作画面を示す図である。この例では、「デジタル署名」を選択している。関連性が高いと判断した語が選択されると、サブウィンドウ44の文書検索条件に選択語が追加される(。図16は、第1の実施の形態のユーザインタフェースの第6の操作画面を示す図である。この図では、図15と同様に表示された関連語のうち関連性が高いと判断した語として、「RSA方式」の追加を行っている。
【0083】
次に、図8から図13までと同様に、社会経済辞典を対象に「米海軍」の関連語を求め、関連性が高いと判断した語(「ペンタゴン」「リムパック」)を検索文書検索条件に追加する。図17は、第1の実施の形態のユーザインタフェースの第7の操作画面を示す図である。この例では、サブウィンドウ41には「米海軍」の語が入力されている。サブウィンドウ42には、「社会経済辞典」のアイコン42bが置かれている。サブウィンドウ43には、「社会経済辞典」に基づいて「米海軍」の関連語を計算することにより抽出された語が表示されている。サブウィンドウ44には、図16の画面で入力されていた語の下の行に、「米海軍」、「ペンタゴン」、「リムパック」の語が追加されている。
【0084】
次に、検索対象文書を選択する。図18は、第1の実施の形態のユーザインタフェースの第8の操作画面を示す図である。この画面では、検索対象文書として「新聞記事」を選択し、サブウィンドウ45に「新聞記事」アイコン45aを置いている。これによって、文書検索条件入力手段24に「新聞記事に含まれる項目である旨の書誌的事項が付与された文書集合を得るための検索条件」が入力される。
【0085】
この状態で「検索」ボタンを押す。図19は、第1の実施の形態のユーザインタフェースの第9の操作画面を示す図である。「検索」ボタン44aを押すことによって、サブウィンドウ44中の検索条件を「(セキュリティorデジタル署名orRSA方式)and(米海軍orペンタゴンorリムパック)」と解釈して、既に指定された新聞記事の中から該当する記事の検索が実行される。
【0086】
図20は、第1の実施の形態のユーザインタフェースの第10の操作画面を示す図である。図19の状態で検索が実行されると、サブウィンドウ46に検索結果が表示される。
【0087】
この例からも分かるように、本実施の形態によれば関連語検索に用いる文書集合を自由に指定できるため、従来技術と比較して、より検索者の意図に沿った関連語の提示が可能となる。
【0088】
なお、本実施の形態では、図9のステップS21で説明したとおり、F(Wn)およびNを文書集合全体から求めている。これは、文書集合全体に多く出現する語に対応する相互情報量を小さくすることを目的としたものである。しかしながら、検索条件入力手段21に入力された検索条件に適合する文書集合(D)の要素数が十分多い場合には、F(Wn)およびNを文書集合Dの範囲内で求めても、上記の目的を達成することができる。
【0089】
また、本実施の形態のユーザインタフェースは、関連語計算用の文書集合を特定するために検索条件入力手段21に入力する検索条件を、書誌的事項に基づくアイコン形式で与えたが、これをキーワード等を用いたより一般的な入力方法で置き換えることは容易に実現可能である。
【0090】
図21は、本発明の第2の実施の形態の構成を示す図である。本実施の形態は、第1の実施の形態の構成からキーワード入力手段15および検索条件入力手段21を除いたものとなっている。以下第1の実施の形態と機能の異なる手段についてのみ説明し、第1の実施の形態と同じ機能を有するものには同一の符号を付し、説明を省略する。
【0091】
文書格納手段11aは、電子化された検索対象文書の内容を形態素解析手段12によって付加される文書識別子と対にして格納する記憶装置である。
文書検索手段16aは、キーワードを受け取り、そのキーワードを含む全文書の文書識別子を、単語−単語識別子リスト14aおよび単語識別子−文書識別子リスト14bを参照して取得するプログラムモジュールである。受け取ったキーワードが、キーワードリスト生成手段18によって作成されたキーワードリスト中のキーワードである場合は、文書識別子の総数のみを取得し、文書検索条件入力手段24aに入力された検索条件中のキーワードの場合は、文書識別子の総数と共に、得られた文書識別子のうち特定文書格納手段23aに格納されている文書識別子に属する文書識別子集合も取得する。
【0092】
関連語計算手段19aは、キーワードリスト生成手段18によって作成されたリストおよび文書検索手段16aによって取得された文書識別子の総数を基に、文書検索条件入力手段24aに入力された検索条件中のキーワードとそのキーワードに対してキーワードリスト生成手段18によって作成されたリスト中の各単語識別子に対応する単語の相互情報量を計算するプログラムモジュールである。
【0093】
表示手段20aは、関連語計算手段19aで計算された相互情報量の値を受け取り、文書検索条件入力手段24aに入力された検索条件中のキーワードとの間で相互情報量が大きい値となる順に単語を出力するユーザインタフェースを持つプログラムモジュールである。
【0094】
文書集合特定手段22aは、文書格納手段11a、単語−単語識別子リスト14aおよび単語識別子−文書識別子リスト14bを参照し、文書検索条件入力手段24aに入力された検索条件に適合する文書識別子の集合を得るプログラムモジュールである。
【0095】
特定文書格納手段23aは、文書検索条件入力手段24aに入力された検索条件を基に、文書集合特定手段22aによって得られた文書識別子集合を格納する記憶手段である。
【0096】
文書検索条件入力手段24aは、ユーザが文書検索を行うための検索条件を、キーワードをandあるいはor接続した論理式形式で入力することが可能なユーザインタフェースを持つプログラムモジュールである。
【0097】
検索結果表示手段25aは、文書検索条件入力手段24aに入力された検索条件を基に、文書集合特定手段22aによって得られた文書識別子集合に対応する文書情報を表示することが可能なユーザインタフェースを持つプログラムモジュールである。
【0098】
本実施の形態では、文書検索条件入力手段24aにキーワードをandあるいはor接続した論理式形式で入力された検索条件を基に文書集合特定手段22aによって特定された文書集合を、関連語を求めるための文書集合として用いる。
【0099】
また、第1の実施の形態では、キーワード入力手段15に入力されたキーワードを初期キーワードとして初期キーワードの関連語を求めたが、本実施の形態では、文書検索条件入力手段24aに入力された検索条件に含まれる全てのキーワードに対して図8,図9の処理を行い、相互情報量を求める。さらに、検索結果表示手段25aは、得られた全ての相互情報量の中から大きい値のものから順に、対応するキーワードのペアを表示する。
【0100】
図22から図28に本実施の形態のユーザインタフェースを示す。
図22は、第2の実施の形態のユーザインターフェースの初期画面50を示す図である。図22メインのウィンドウ50の中には複数のサブウィンドウ51〜53が表示されている。サブウィンドウ51が表示手段20aに、サブウィンドウ52が文書検索条件入力手段24aに、サブウィンドウ53が検索結果表示手段25aにそれぞれ対応している。
【0101】
以下図23から図28では、検索意図が「いかなる建築が地震に強いかについて具体的な地震事例に基づいて書かれた文書を検索したい。」である場合の操作例を示す。
【0102】
まず、検索条件の入力を行う。図23は、第2の実施の形態のユーザインタフェースの第1の操作画面を示す図である。この画面では、検索条件を「地震and建築」として、「検索」ボタン52aを押す。
【0103】
「検索」ボタン52aが押されることによって検索が行われる。図24は、第2の実施の形態のユーザインタフェースの第2の操作画面を示す図である。検索が行われることにより、検索結果がサブウィンドウ53に表示される。同時に、「地震」および「建築」のそれぞれに対して、検索結果として得られた文書集合を基に、図8、図9で示した処理が行われ、相互情報量計算が行われる。そして、サブウィンドウ51には、相互情報量の値の大きいものから順に、関連語が表示される。サブウィンドウ51中の括弧付きの単語は、相互情報量を求めた際の初期キーワードである。
【0104】
検索者は、図24の画面の関連語表示を参照しながら、適切であると思われる検索条件を選択する。図25は、第2の実施の形態のユーザインタフェースの第3の操作画面を示す図である。検索者は、さらに適切であると思われる検索条件を選択したら、サブウィンドウ53に入力する。図25では、「(兵庫県南部地震or東海地震or十勝沖地震)and(対震建築or耐火建築)」を新たな検索条件としている。
【0105】
図25に示した条件によって再度検索を行う。図26は、第2の実施の形態のユーザインタフェースの第4の操作画面を示す図である。再度検索を行うと、図24と同様に、新たな検索条件から得られた文書集合がサブウィンドウ53に表示されると共に、その文書集合を基にして計算された関連語がサブウィンドウ51に表示される。
【0106】
さらに適切な検索条件を入力して検索を行う。図27は、第2の実施の形態のユーザインタフェースの第5の操作画面を示す図である。この画面のサブウィンドウ52には、「(兵庫県南部地震or東海地震or十勝沖地震or神戸地震)and(2×4工法or軸組工法orプレハブ工法or減震工法)」を新たな検索条件として入力している。
【0107】
すると、図27の検索条件に応じた文書集合と関連語が得られる。図28は、第2の実施の形態のユーザインタフェースの第6の操作画面を示す図である。図27の検索条件で検索を行うことにより、図26とは異なった検索語がサブウィンドウ51に表示されるとともに、図26とは異なった検索結果がサブウィンドウ53に表示される。
【0108】
このように本実施の形態では、関連語提示システムと検索システムを結合して、一つのシステムとして取り扱うことによって、検索プロセスの進行に伴って文書集合の絞り込みが行われた場合でも、常に適切な関連語の提示が可能となる。これにより、効果的な絞り込みが可能となる。
【0109】
本実施の形態では、文書検索条件入力手段24aにキーワードをandあるいはor接続した論理式形式で入力するものとしたが、この検索条件に書誌的事項による検索条件を併用した場合でも、本実施の形態で示した効果が得られることは明らかである。
【0110】
なお、相互情報量(あるいはDice−coefficientあるいはt−score)は、任意の2値間で絶対比較が可能な統計量である。例えば、MI(活断層,地震)とMI(建築,火災保険)の比較が可能であり、値の大きい単語対の方がより強い関連性を持つといえる。従って、複数のキーワードに対応する相互情報量を値の大きいものから順に並べる本実施の形態におけるサブウィンドウ51のユーザインタフェースは、関連語提示の際の表示順序として適切であるといえる。
【0111】
以上のような実施の形態による効果を以下に説明する。
図26および図27は、本発明の効果の検証を行うために用いたデータおよびシミュレーション結果の一例である。
【0112】
図29は、本発明の効果確認のためのシミュレーション用データの例である。この図では、書誌的事項あるいはキーワード検索で、二つの文書集合D1およびD2に分割する(絞り込む)ことが可能な20万の文書集合を想定している。各文書には0から199999までの整数による文書IDが付加されており、文書集合D1は文書IDが0から99999まで、D2は100000から199999までのそれぞれ10万の文書を要素として含むとする。図29は、5つのキーワード(wordA〜wordE)が文書集合中に存在する範囲とその出現確率を示すものである。例えば、wordAは、文書IDが0から50000の範囲および100000からの150000の範囲の文書中に存在し、それぞれの範囲における出現確率(分布確率)は0.5である。
【0113】
図30は、本発明の効果確認のためのシミュレーション結果を示す図である。これは、文書集合全体と文書集合D1のそれぞれを用いて、wordAに対する相互情報量をwordBからwordEについて求めた結果である。文書集合全体では、wordAに対する相互情報量の値が大きいものから順にwordB,wordC,wordD,wordEとなり、文書集合D1では、wordE,wordD,wordC,wordBとなっている。即ち、文書集合全体を用いて関連語計算を行った場合には他のキーワードと比較して関連性が低いと判断されたwordEを、絞り込みによって得られた文書集合D1を用いて計算することによって、ユーザの検索意図に対して最も関連性が高いキーワードとして提示することが可能である。逆に、文書全体を用いて関連語計算を行った場合には最も関連性が高いと判断されたwordBを、絞り込みによって得られた文書集合D1を用いて計算することによって、ユーザの検索意図に対しては提示するに適さないキーワードであると判断することが可能である。
【0114】
図31は、本発明の実データによる計算結果例を示す図である。現代用語辞書の実データを基に、関連語計算用の文書集合として「イスラエル」を含む項目の集合と「インド」を含む項目の集合を用いて、初期キーワード「宗教」の関連語を算出した結果である。いずれも、文書集合の内容を反映した計算結果となっていることが分かる。
【0115】
以上のように本発明では、関連語提示システムと検索システムを結合して、一つのシステムとして取り扱うことによって、従来技術では不可能であった絞り込みプロセスに沿った適切な関連語の提示が実現できる。
【0116】
また、関連語計算に用いる文書集合を特定するための検索条件と検索プロセスにおける文書絞り込みに用いる検索条件を別のものとすることによって、関連語計算に使用する文書集合を自由に定めることが可能となり、より柔軟な関連語の提示が可能となる。
【0117】
なお、上述の実施の形態では検索対象を文書としているが、文書に限らず、百科事典内の項目の如く、または構造化文書における文書要素の如く、複数の単語を含んでおり、その単語群である項目が計算機にとって区別可能に分けられているものであれば検索対象とすることができる。例えば、単語群と他の単語群との間に区切り記号等が挿入されていれば、計算機にとって区別可能な情報である。
【0118】
また、上述の実施の形態は、コンピュータプログラムによっても実現可能である。その場合、そのプログラムおよびそのプログラムが検索対象とする文書類は、コンピュータが読み取り可能な記憶媒体に記憶することも可能である。
【0119】
ここで「記憶媒体」とは、コンピュータのハードウエア資源に備えられている読取装置に対して、プログラムの記述内容に応じて、磁気、光、電気等のエネルギーの変化状態を引き起こして、それに対応する信号の形式で、読取装置にプログラムの記述内容を伝達できるものである。例えば、磁気ディスク、光ディスク、CD−ROM、コンピュータに内蔵されるメモリなどがある。
【0120】
また、上述の実施の形態における機能は、インターネットに代表される広域情報通信網を介して、検索者に提供することができる。その際、ユーザインタフェースに該当する機能は、検索者側の端末に備えている必要がある。もし、インターネット、若しくはイントラネットで本発明の文書処理機能を提供する場合には、一般に流通している閲覧ソフトで閲覧可能な形態で、検索者側の端末に、関連語等の情報を転送すればよい。
【0121】
【発明の効果】
以上説明したように本発明の文書処理装置では、検索者の検索条件に応じて文書を検索し、検出された文書を判断基準として関連語を抽出するようにしたため、文書検索プロセスにおける文書絞り込みとは別に、関連語探索のための検索条件を定めることができる。その結果、関連語計算に使用する文書集合を自由に定めることが可能となり、より柔軟な関連語の提示、及びその関連語による検索が可能となる。
【0122】
また、本発明の項目検索装置では、検索者の検索条件に応じて単語を含む項目を検索し、検出された項目を判断基準として関連語を抽出するようにしたため、文書検索プロセスにおける項目の絞り込みとは別に、関連語探索のための検索条件を定めることができる。その結果、関連語計算に使用する項目の集合を自由に定めることが可能となり、より柔軟な関連語の提示、及びその関連語による検索が可能となる。
【0123】
また、本発明の項目検索方法では、検索者の検索条件に応じて単語を含む項目を検索し、検出された項目を判断基準として関連語を抽出するため、関連語探索のための検索条件を任意に定めることができる。その結果、関連語計算に使用する項目の集合を自由に定めることが可能となり、より柔軟な関連語の提示、及びその関連語による検索が可能となる。
【図面の簡単な説明】
【図1】本発明の原理構成図である。
【図2】本発明の第1の実施の形態の構成を示す図である。
【図3】形態素解析結果リストの例を示す図である。
【図4】単語−単語識別子リストの例を示す図である。
【図5】単語識別子−文書識別子リストの例を示す図である。
【図6】文書識別子−単語識別子リストの例を示す図である。
【図7】索引構造の生成の手順を示すフローチャートである。
【図8】本発明の処理手順を示すフローチャートの前半である。
【図9】本発明の処理手順を示すフローチャートの後半である。
【図10】第1の実施の形態のユーザインタフェースの初期画面を示す図である。
【図11】第1の実施の形態のユーザインタフェースの第1の操作画面を示す図である。
【図12】第1の実施の形態のユーザインタフェースの第2の操作画面を示す図である。
【図13】第1の実施の形態のユーザインタフェースの第3の操作画面を示す図である。
【図14】第1の実施の形態のユーザインタフェースの第4の操作画面を示す図である。
【図15】第1の実施の形態のユーザインタフェースの第5の操作画面を示す図である。
【図16】第1の実施の形態のユーザインタフェースの第6の操作画面を示す図である。
【図17】第1の実施の形態のユーザインタフェースの第7の操作画面を示す図である。
【図18】第1の実施の形態のユーザインタフェースの第8の操作画面を示す図である。
【図19】第1の実施の形態のユーザインタフェースの第9の操作画面を示す図である。
【図20】第1の実施の形態のユーザインタフェースの第10の操作画面を示す図である。
【図21】本発明の第2の実施の形態の構成を示す図である。
【図22】第2の実施の形態のユーザインターフェースの初期画面を示す図である。
【図23】第2の実施の形態のユーザインタフェースの第1の操作画面を示す図である。
【図24】第2の実施の形態のユーザインタフェースの第2の操作画面を示す図である。
【図25】第2の実施の形態のユーザインタフェースの第3の操作画面を示す図である。
【図26】第2の実施の形態のユーザインタフェースの第4の操作画面を示す図である。
【図27】第2の実施の形態のユーザインタフェースの第5の操作画面を示す図である。
【図28】第2の実施の形態のユーザインタフェースの第6の操作画面を示す図である。
【図29】本発明の効果確認のためのシミュレーション用データの例である。
【図30】本発明の効果確認のためのシミュレーション結果を示す図である。
【図31】本発明の実データによる計算結果例を示す図である。
【符号の説明】
1 文書情報記憶手段
2 検索条件入力手段
3 検索手段
4 キーワード特定手段
5 同時出現確率算出手段
6 第1の単独出現確率算出手段
7 第2の単独出現確率算出手段
8 計算手段
9 単語抽出手段
Claims (6)
- 文書を識別する文書識別子およびその文書内に含まれる単語とを組にして記憶している文書情報記憶手段と、
前記文書情報記憶手段に記憶されている文書に対する第1の検索条件を入力する第1の検索条件入力手段と、
前記第1の検索条件入力手段により入力された前記第1の検索条件に適合する文書を前記文書情報記憶手段より検索する第1の検索手段と、
前記第1の検索手段により検索された文書内に含まれる単語のうち、任意の単語を関連語探索単語とし、前記関連語探索単語以外の単語を関連語候補とするキーワード特定手段と、
前記関連語探索単語と前記関連語候補中の一つの単語とが、前記第1の検索手段により検索された文書の中の一つの文書内に含まれる確率である同時出現確率を、前記関連語候補中の単語ごとに求める同時出現確率算出手段と、
前記関連語探索単語が、前記文書情報記憶手段に記憶されている文書の中の一つの文書内に含まれる確率を求める第1の単独出現確率算出手段と、
前記関連語候補中の一つの単語が前記文書情報記憶手段に記憶されている文書の中の一つの文書内に含まれる確率を、前記関連語候補中の単語ごとに求める第2の単独出現確率算出手段と、
前記第1の単独出現確率算出手段により求められた確率と、前記第2の単独出現確率算出手段により求められた確率との積または和を、前記関連語候補中の単語ごとに計算する計算手段と、
前記関連語候補中の単語ごとに、前記同時出現確率算出手段により求められた前記同時出現確率と前記計算手段により計算された値との比率を求め、各単語の比率に応じて単語を抽出する単語抽出手段と、
前記単語抽出手段で抽出された単語のうち、操作入力によって選択された単語を検索キーワードとして含む第2の検索条件を入力する第2の検索条件入力手段と、
前記第2の検索条件入力手段により入力された前記第2の検索条件に適合する文書を前記文書情報記憶手段より検索し、適合する文書の集合を取得する第2の検索手段と、
を具備することを特徴とする文書処理装置。 - 複数の単語を含む項目を識別する項目識別子とその項目内に含まれる単語とを組にして記憶している項目記憶手段と、
前記項目記憶手段に記憶されている項目に対する第1の検索条件を入力する第1の検索条件入力手段と、
前記第1の検索条件入力手段により入力された前記第1の検索条件に適合する項目を前記項目記憶手段より検索する第1の検索手段と、
前記第1の検索手段により検索された項目内に含まれる単語のうち、任意の単語を関連語探索単語とし、前記関連語探索単語以外の単語を関連語候補とするキーワード特定手段と、
前記関連語探索単語と前記関連語候補中の一つの単語とが、前記第1の検索手段により検索された項目の中の一つの項目内に含まれる確率である同時出現確率を、前記関連語候補中の単語ごとに求める同時出現確率算出手段と、
前記関連語探索単語が、前記項目記憶手段に記憶されている項目の中の一つの項目内に含まれる確率を求める第1の単独出現確率算出手段と、
前記関連語候補中の一つの単語が前記項目記憶手段に記憶されている項目の中の一つの項目内に含まれる確率を、前記関連語候補中の単語ごとに求める第2の単独出現確率算出手段と、
前記第1の単独出現確率算出手段により求められた確率と、前記第2の単独出現確率算出手段により求められた確率との積または和を、前記関連語候補中の単語ごとに計算する計算手段と、
前記関連語候補中の単語ごとに、前記同時出現確率算出手段により求められた前記同時出現確率と前記計算手段により計算された値との比率を求め、各単語ごとの比率に応じて単語を抽出する関連語抽出手段と、
前記関連語抽出手段で抽出された単語のうち、操作入力によって選択された単語を検索キーワードとして含む第2の検索条件を入力する第2の検索条件入力手段と、
前記第2の検索条件入力手段により入力された前記第2の検索条件に適合する項目を前記項目記憶手段より検索し、適合する項目の集合を取得する第2の検索手段と、
を具備することを特徴とする項目検索装置。 - 複数の単語を含む項目を識別する項目識別子とその項目内に含まれる単語とを組にして記憶している項目記憶手段と、
前記項目記憶手段に記憶されている項目に対する第1の検索条件を入力する第1の検索条件入力手段と、
前記第1の検索条件入力手段により入力された前記第1の検索条件に適合する項目を前記項目記憶手段より検索する第1の検索手段と、
前記第1の検索手段により検索された項目内に含まれる単語のうち、任意の単語を関連語探索単語とし、前記関連語探索単語以外の単語を関連語候補とするキーワード特定手段と、
前記関連語探索単語と前記関連語候補中の一つの単語とが、前記第1の検索手段により検索された項目の中の一つの項目内に含まれる確率である同時出現確率を、前記関連語候補中の単語ごとに求める同時出現確率算出手段と、
前記関連語探索単語が、前記項目記憶手段に記憶されている項目の中の一つの項目内に含まれる確率を求める第1の単独出現確率算出手段と、
前記関連語候補中の一つの単語が前記項目記憶手段に記憶されている項目の中の一つの項目内に含まれる確率を、前記関連語候補中の単語ごとに求める第2の単独出現確率算出手段と、
前記第1の単独出現確率算出手段により求められた確率と、前記第2の単独出現確率算出手段により求められた確率との積または和を、前記関連語候補中の単語ごとに計算する計算手段と、
前記関連語候補中の単語ごとに、前記同時出現確率算出手段により求められた前記同時出現確率と前記計算手段により計算された値とを用いた統計量を求め、各単語の統計量に応じて単語を抽出する関連語抽出手段と、
前記関連語抽出手段で抽出された単語のうち、操作入力によって選択された単語を検索キーワードとして含む第2の検索条件を入力する第2の検索条件入力手段と、
前記第2の検索条件入力手段により入力された前記第2の検索条件に適合する項目を前記項目記憶手段より検索し、適合する項目の集合を取得する第2の検索手段と、
を具備することを特徴とする項目検索装置。 - 前記関連語抽出手段は、前記統計量として相互情報量、Dice−coefficientまたはt−scoreを用い、前記統計量が所定の閾値以上であり、かつその統計量の大きい単語を関連語として抽出することを特徴とする請求項3記載の項目検索装置。
- 前記第1の検索手段で検索された項目を表示する表示手段をさらに具備することを特徴とする請求項3記載の項目検索装置。
- 複数の単語を含む項目を識別する項目識別子とその項目内に含まれる単語とを組にして記憶している項目記憶手段を具備し、前記項目記憶手段に記憶されている項目を検索する情報検索装置の単語抽出方法において、
前記項目記憶手段に記憶されている項目に対する第1の検索条件を入力する第1のステップと、
前記第1のステップにより入力された前記第1の検索条件に適合する項目を前記項目記憶手段より検索する第2のステップと、
前記第2のステップにより検索された項目内に含まれる単語のうち、任意の単語を関連語探索単語とし、前記関連語探索単語以外の単語を関連語候補とする第3のステップと、
前記関連語探索単語と前記関連語候補中の一つの単語とが、前記第2のステップにより検索された項目の中の一つの項目内に含まれる確率である同時出現確率を、前記関連語候補中の単語ごとに求める第4のステップと、
前記関連語探索単語が、前記項目記憶手段に記憶されている項目の中の一つの項目内に含まれる確率を求める第5のステップと、
前記関連語候補中の一つの単語が前記項目記憶手段に記憶されている項目の中の一つの項目内に含まれる確率を、前記関連語候補中の単語ごとに求める第6のステップと、
前記第5のステップにより求められた確率と、前記第6のステップにより求められた確率との積または和を、前記関連語候補中の単語ごとに計算する第7のステップと、
前記関連語候補中の単語ごとに、前記第4のステップにより求められた前記同時出現確率と前記第7のステップにより計算された値とを用いた統計量を求め、各単語の統計量に応じて単語を抽出する第8のステップと、
前記第8のステップにより抽出された単語のうち、操作入力によって選択された単語を検索キーワードとして含む第2の検索条件を入力する第9のステップと、
前記第9のステップにより入力された前記第2の検索条件に適合する項目を前記項目記憶手段より検索し、適合する項目の集合を取得する第10のステップと、
を具備することを特徴とする項目検索方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000112348A JP3584848B2 (ja) | 1996-10-31 | 2000-04-13 | 文書処理装置、項目検索装置及び項目検索方法 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP08290789A JP3099756B2 (ja) | 1996-10-31 | 1996-10-31 | 文書処理装置、単語抽出装置及び単語抽出方法 |
JP2000112348A JP3584848B2 (ja) | 1996-10-31 | 2000-04-13 | 文書処理装置、項目検索装置及び項目検索方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP08290789A Division JP3099756B2 (ja) | 1996-10-31 | 1996-10-31 | 文書処理装置、単語抽出装置及び単語抽出方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2000331032A JP2000331032A (ja) | 2000-11-30 |
JP3584848B2 true JP3584848B2 (ja) | 2004-11-04 |
Family
ID=33477870
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000112348A Expired - Fee Related JP3584848B2 (ja) | 1996-10-31 | 2000-04-13 | 文書処理装置、項目検索装置及び項目検索方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3584848B2 (ja) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002297621A (ja) * | 2001-03-30 | 2002-10-11 | Just Syst Corp | 広告提供装置、広告提供方法ならびに記録媒体 |
JP4253483B2 (ja) * | 2002-09-20 | 2009-04-15 | 株式会社リコー | 異表記辞書作成装置および異表記辞書作成方法およびその方法をコンピュータに実行させるためのプログラム |
US7702618B1 (en) | 2004-07-26 | 2010-04-20 | Google Inc. | Information retrieval system for archiving multiple document versions |
US7711679B2 (en) | 2004-07-26 | 2010-05-04 | Google Inc. | Phrase-based detection of duplicate documents in an information retrieval system |
US7580921B2 (en) * | 2004-07-26 | 2009-08-25 | Google Inc. | Phrase identification in an information retrieval system |
US7567959B2 (en) | 2004-07-26 | 2009-07-28 | Google Inc. | Multiple index based information retrieval system |
JP4613346B2 (ja) * | 2004-09-01 | 2011-01-19 | 独立行政法人産業技術総合研究所 | キーワード抽出方法、キーワード抽出プログラムおよびキーワード抽出装置、並びにメタデータ作成方法、メタデータ作成プログラムおよびメタデータ作成装置 |
JP4456456B2 (ja) * | 2004-10-12 | 2010-04-28 | ヤフー株式会社 | 文献検索支援装置、その方法、文献検索装置、および、それらのプログラム |
JP4524640B2 (ja) * | 2005-03-31 | 2010-08-18 | ソニー株式会社 | 情報処理装置および方法、並びにプログラム |
US7546289B2 (en) | 2005-05-11 | 2009-06-09 | W.W. Grainger, Inc. | System and method for providing a response to a search query |
WO2007060727A1 (ja) * | 2005-11-25 | 2007-05-31 | Mitsubishi Space Software Co., Ltd. | 文献検索装置、方法及びプログラム |
WO2008151465A1 (en) | 2007-06-14 | 2008-12-18 | Google Inc. | Dictionary word and phrase determination |
US8117223B2 (en) | 2007-09-07 | 2012-02-14 | Google Inc. | Integrating external related phrase information into a phrase-based indexing information retrieval system |
JP2009080842A (ja) * | 2008-12-12 | 2009-04-16 | Ricoh Co Ltd | 文書検索装置、文書検索方法、文書検索プログラム、及び記録媒体 |
KR101052631B1 (ko) | 2009-01-29 | 2011-07-28 | 성균관대학교산학협력단 | 동시 발생빈도를 이용한 검색어에 대한 연관어 제공 방법 및 이를 이용한 장치 |
JP2014106665A (ja) * | 2012-11-27 | 2014-06-09 | Hitachi Ltd | 文書検索装置、文書検索方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08153112A (ja) * | 1994-11-28 | 1996-06-11 | Toshiba Corp | 文書作成装置及び文書作成方法 |
JP3099756B2 (ja) * | 1996-10-31 | 2000-10-16 | 富士ゼロックス株式会社 | 文書処理装置、単語抽出装置及び単語抽出方法 |
-
2000
- 2000-04-13 JP JP2000112348A patent/JP3584848B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2000331032A (ja) | 2000-11-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3099756B2 (ja) | 文書処理装置、単語抽出装置及び単語抽出方法 | |
Clifton et al. | Topcat: Data mining for topic identification in a text corpus | |
JP3584848B2 (ja) | 文書処理装置、項目検索装置及び項目検索方法 | |
US20070106499A1 (en) | Natural language search system | |
US20090119281A1 (en) | Granular knowledge based search engine | |
KR20190038243A (ko) | 맥락을 이용하여 문서를 검색하는 시스템 및 방법 | |
CN101582080A (zh) | 一种基于图像和文本相关性挖掘的Web图像聚类方法 | |
Abdi et al. | A question answering system in hadith using linguistic knowledge | |
CN107066262A (zh) | 源代码文件克隆邻接表合并检测方法 | |
JP3173411B2 (ja) | 関連文書検索装置及び関連文書検索プログラムを記録した記録媒体 | |
CN112148886A (zh) | 一种内容知识图谱的构建方法及系统 | |
Manaf et al. | Comparison of carp rabin algorithm and Jaro-Winkler distance to determine the equality of Sunda languages | |
JP4967133B2 (ja) | 情報取得装置、そのプログラム及び方法 | |
CN101853298A (zh) | 一种面向事件的查询扩展方法 | |
Sinoara et al. | Named entities as privileged information for hierarchical text clustering | |
US20220327445A1 (en) | Workshop assistance system and workshop assistance method | |
KR20220041337A (ko) | 유사어로 검색어 갱신 및 핵심 문서를 추출하기 위한 그래프 생성 시스템 및 이를 이용한 그래프 생성 방법 | |
Ullah et al. | Pattern and semantic analysis to improve unsupervised techniques for opinion target identification | |
JP2000020538A (ja) | 情報検索方法、情報検索装置および情報検索プログラム記憶媒体 | |
JP2012104051A (ja) | 文書インデックス作成装置 | |
JP2002032394A (ja) | 関連語情報作成装置、関連語提示装置、文書検索装置、関連語情報作成方法、関連語提示方法、文書検索方法および記憶媒体 | |
JP2005092443A (ja) | クラスター分析装置およびクラスター分析方法 | |
Mukherjee et al. | Automatic extraction of significant terms from the title and abstract of scientific papers using the machine learning algorithm: A multiple module approach | |
JPH1185794A (ja) | 検索語入力装置および検索語入力プログラムを記録した記録媒体 | |
JP2010282403A (ja) | 文書検索方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040330 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040531 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040713 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040726 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070813 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080813 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090813 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100813 Year of fee payment: 6 |
|
LAPS | Cancellation because of no payment of annual fees |