JP3099756B2 - 文書処理装置、単語抽出装置及び単語抽出方法 - Google Patents

文書処理装置、単語抽出装置及び単語抽出方法

Info

Publication number
JP3099756B2
JP3099756B2 JP08290789A JP29078996A JP3099756B2 JP 3099756 B2 JP3099756 B2 JP 3099756B2 JP 08290789 A JP08290789 A JP 08290789A JP 29078996 A JP29078996 A JP 29078996A JP 3099756 B2 JP3099756 B2 JP 3099756B2
Authority
JP
Japan
Prior art keywords
word
search
document
probability
item
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP08290789A
Other languages
English (en)
Other versions
JPH10134075A (ja
Inventor
博 増市
宏 梅基
昌一 舘野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd, Fujifilm Business Innovation Corp filed Critical Fuji Xerox Co Ltd
Priority to JP08290789A priority Critical patent/JP3099756B2/ja
Priority to US08/933,113 priority patent/US5905980A/en
Publication of JPH10134075A publication Critical patent/JPH10134075A/ja
Priority to JP2000112348A priority patent/JP3584848B2/ja
Application granted granted Critical
Publication of JP3099756B2 publication Critical patent/JP3099756B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/31—Indexing; Data structures therefor; Storage structures
    • G06F16/313—Selection or weighting of terms for indexing
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00—Data processing: database and file management or data structures
    • Y10S707/953—Organization of data
    • Y10S707/961—Associative
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00—Data processing: database and file management or data structures
    • Y10S707/99931—Database or file accessing
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00—Data processing: database and file management or data structures
    • Y10S707/99931—Database or file accessing
    • Y10S707/99933—Query processing, i.e. searching
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00—Data processing: database and file management or data structures
    • Y10S707/99931—Database or file accessing
    • Y10S707/99933—Query processing, i.e. searching
    • Y10S707/99935—Query augmenting and refining, e.g. inexact access

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は各種文書を処理する
文書処理装置、複数の単語を含む項目から単語を抽出す
る単語抽出装置、各種文書を処理する文書処理装置の単
語抽出方法、及び単語抽出プログラムを記録した記憶媒
体に関し、特に単語間の関連度の計算を行う文書処理装
置、単語間の関連度に基づき単語抽出する単語抽出装
置、単語間の関連度の計算を行う文書処理装置の単語抽
出方法、及び単語間の関連度に基づき単語を抽出させる
ための単語抽出プログラムを記録した記憶媒体に関す
る。
【０００２】
【従来の技術】膨大な量の文書を対象とした検索システ
ムでは、一般にキーワードによる検索方式が用いられて
いる。検索条件として任意のキーワード（検索語）を検
索システムに入力すると、文書内容に検索語を含む全て
の文書が検索結果として得られる。この方式による検索
は、全文検索と呼ばれている。また、各文書に対して検
索用のキーワードを予め付加しておき、入力された検索
語と一致するキーワードが付加された文書を検索結果と
する方式も広く用いられている。
【０００３】上記の検索システムでは、ユーザによって
入力された検索語と完全に一致する語を含んでいる文書
か、あるいは、ユーザが入力したキーワードと完全に一
致する語が検索用のキーワードとして付加されている文
書しか検索結果として得ることができない。
【０００４】従って、このような検索システムでは、検
索語とキーワード間の完全一致が要求されるため、ユー
ザが求める全ての文書を網羅的に得ることができるもの
ではない。そこで、「特開平２−２９７２９０号公報」
において提案されている通り、検索漏れを防ぐために、
関連語辞書を用いることにより検索語の関連語をユーザ
に提示し、より検索意図に合致する検索式の作成を促す
方式が用いられている。
【０００５】例えば、ユーザが入力した検索語が「ＳＧ
ＭＬ」の場合、関連語辞書から「ＳＧＭＬ」の関連語と
して「ＨＴＭＬ」「ＯＤＡ」「構造化文書」等を取得
し、ユーザに提示する。これにより、ユーザが適切であ
ると判断した関連語を「ＳＧＭＬ」とＯＲ結合して検索
することによって、検索漏れの軽減を図る。
【０００６】関連語辞書を手作業で作成するためには多
大な工数を要するので、検索対象文書の内容を基に、関
連語を計算によって自動的に求める方法が提案されてい
る。すなわち、検索対象文書中に出現する単語の頻度情
報に統計処理を加えることにより、ある語と関連する語
を算出するものである。
【０００７】関連語計算には、統計量として主に、相互
情報量、Ｄｉｃｅ−ｃｏｅｆｆｉｃｉｅｎｔ、ｔ−ｓｃ
ｏｒｅが用いられる。単語ｗｏｒｄ１とｗｏｒｄ２の間
の相互情報量（ＭＩ）、Ｄｉｃｅ−ｃｏｅｆｆｉｃｉｅ
ｎｔ（ＤＣ）、ｔ−ｓｃｏｒｅ（ＴＳ）は、それぞれ、
【０００８】
【数１】
【０００９】
【数２】
【００１０】
【数３】
【００１１】と定義される。ただし、全検索対象文書数
をＭ、ｗｏｒｄ１とｗｏｒｄ２を共に含む文書数をａ、
ｗｏｒｄ１のみを含む文書数をｂ、ｗｏｒｄ２のみを含
む文書数をｃとした場合、
【００１２】
【数４】
【００１３】
【数５】
【００１４】
【数６】
【００１５】である。ＭＩ（ｗｏｒｄ１，ｗｏｒｄ
２），ＤＣ（ｗｏｒｄ１，ｗｏｒｄ２），ＴＳ（ｗｏｒ
ｄ１，ｗｏｒｄ２）のいずれも、その値が大きいほどｗ
ｏｒｄ１とｗｏｒｄ２の間に高い関連性があることを意
味する。これらの統計量によって関連語を求め、関連語
辞書を作成するために、「春野，山崎：辞書と統計を用
いた対訳アライメント，情報処理学会自然言語処理研究
会研究報告，９６−ＮＬ−１１２，ｐｐ．２３−３０
（１９９６）」、「大森，堤，中西：統計情報を用いた
対訳単語辞書の作成，言語処理学会第２回年次大会発表
論文集，ｐｐ．４９−５２（１９９６）」等において以
下のような従来技術が提案されている。
【００１６】まず、第１のステップとして、検索対象文
書中から形態素解析等の技術を用いて文書中に含まれる
全ての単語（自立語）を抽出する。この際、抽出した全
単語に対して、各単語を含む文書の識別子へのポインタ
を記録しておく（各単語からその単語を含む文書を特定
できる構造を生成する）。
【００１７】次に、第２のステップとして、以下のｗｏ
ｒｄ１，ｗｏｒｄ２に対する「第１の処理」を、第１の
ステップで抽出した単語の全２項組を対象として実行す
る。第１の処理は、以下のような処理である。
【００１８】ｗｏｒｄ１を含む文書数（＝ａ＋ｂ）、ｗ
ｏｒｄ２を含む文書数（＝ａ＋ｃ）、ｗｏｒｄ１および
ｗｏｒｄ２を共に含む文書数（＝ａ）を求め、それぞれ
を全文書数（＝Ｍ）で除することによって、ｐｒｏｂ
（ｗｏｒｄ１），ｐｒｏｂ（ｗｏｒｄ２），ｐｒｏｂ
（ｗｏｒｄ１， ｗｏｒｄ２）を求める。これらの値か
ら式（１）（あるいは式（２），（３））に従って、Ｍ
Ｉ（ｗｏｒｄ１，ｗｏｒｄ２）（あるいは、ＤＣ（ｗｏ
ｒｄ１，ｗｏｒｄ２），ＴＳ（ｗｏｒｄ１，ｗｏｒｄ
２））の値を求める。
【００１９】第３のステップとして、以下のｗｏｒｄ３
に対する第２の処理を、第１のステップで抽出した全単
語を対象として実行し、関連語辞書を作成する。第２の
処理は、以下のような処理である。
【００２０】以下のｗｏｒｄ４に対する第３の処理を、
第１のステップで抽出した単語のうちｗｏｒｄ３以外の
全ての単語を対象として実行し、戻り値として得られた
語をｗｏｒｄ３の関連語として記録する。
【００２１】第３の処理は、以下のような処理である。
ＭＩ（ｗｏｒｄ３，ｗｏｒｄ４）（あるいは、ＤＣ（ｗ
ｏｒｄ３，ｗｏｒｄ４），ＴＳ（ｗｏｒｄ３，ｗｏｒｄ
４））の値が予め定めた閾値Ｔよりも大きい場合ｗｏｒ
ｄ４を戻り値とする。Ｔよりも小さい場合は戻り値をか
えさない。
【００２２】以上のような処理を行うことにより、第１
のステップで検出された全ての単語に対する関連語が求
められ、関連語辞書に保持される。この際、関連語辞書
に登録されるのは、相互情報量ＭＩ等の値が閾値Ｔより
も大きいものに限られるため、比較的関連性の高い単語
が関連語辞書に登録されるものと考えられる。
【００２３】ところで、ある語の関連語がどのような語
彙集合となるかは、対象とする分野に大きく依存するの
が一般的である。例えば、情報処理分野においては、
「ＯＤＡ」の関連語は「ＳＧＭＬ」「ＨＴＭＬ」「構造
化文書」等であるが、経済／社会分野においては、「政
府開発援助」「ＵＮＣＴＡＤ」「ＯＯＦ」等である。前
述の従来技術では、検索対象文書の内容を基に関連語計
算を行うため、得られる関連語辞書は検索対象の分野に
沿ったものとなる。
【００２４】また、対話的な文書検索システムでは、検
索プロセスの進行に伴って文書集合の絞り込みが行われ
る。このように文書集合の絞り込みを行えば、目的の文
書を容易に検出できるようになる。
【００２５】
【発明が解決しようとする課題】しかし、従来の技術で
は、文書集合が検索プロセスに伴って絞り込まれた場
合、関連語辞書の分野依存性により、ユーザにとって必
要となる関連語と、全検索対象文書の内容に沿って作成
された関連語とは異なるものとなるという問題点があ
る。
【００２６】例えば、書誌的事項により、”経済／社会
分野”の文書集合へと絞り込みを行った場合でも、全文
書内容に沿って作成された関連語辞書によれば、「ＯＤ
Ａ」の関連語として、正しい語の他に「ＳＧＭＬ」「Ｈ
ＴＭＬ」「構造化文書」等が得られてしまう。
【００２７】関連度の大きい順に関連語が表示されてい
る場合であっても、上記のように、関連語の中に検索者
の意図を反映しないキーワードが多く含まれてしまう
と、上位に位置するキーワードが検索者の検索意図に近
いとは限らない。従って、得られた関連語の中から適切
なキーワードを探す作業が、検索者にとって大きな負荷
となる。
【００２８】人間である検索者には、関連語の適合性を
判定する上で、無益点と呼ばれる物理的・心理的な限界
がある。関連語として示された数がその限界を超えてい
る場合には、検索意図に適合した語を全て選ぶという作
業を行うことができなくなってしまう。
【００２９】このように、従来の対話的検索システムで
は、検索プロセスの進行に伴って文書集合の絞り込みが
行われると、得られる関連語中に不適切なキーワードの
占める割合が増大してしまう。さらに、適切な関連語が
含まれるよう提示を行うためには、提示キーワードを増
加させる必要があり、その数が容易に無益点に達してし
まうという問題点がある。即ち、事実上、関連語提示を
利用することが不可能となる。
【００３０】本発明はこのような点に鑑みてなされたも
のであり、有益な関連語を的確に利用者に提示すること
ができる文書処理装置を提供することを目的とする。ま
た、本発明の他の目的は、有益な関連語を的確に利用者
に提示することができる単語抽出装置を提供することで
ある。
【００３１】また、本発明の他の目的は、有益な関連語
を的確に利用者に提示することができる単語抽出方法を
提供することである。さらに、本発明の別の目的は、有
益な関連語を的確に利用者に提示できるコンピュータを
構築できる単語抽出プログラムを記録した記録媒体を提
供することである。
【００３２】
【課題を解決するための手段】本発明では上記課題を解
決するために、文書を識別する文書識別子およびその文
書内に含まれる単語とを組にして記憶している文書情報
記憶手段と、前記文書情報記憶手段に記憶されている文
書内の特定の文書集合を検索する検索条件を入力する検
索条件入力手段と、前記検索条件入力手段により入力さ
れた検索条件に適合する文書を前記文書情報記憶手段よ
り検索する検索手段と、前記検索手段により検索された
文書内に含まれる単語のうち、任意の単語を関連語探索
単語とし、前記関連語探索単語以外の単語を関連語候補
とするキーワード特定手段と、前記関連語探索単語と前
記関連語候補中の一つの単語とが、前記検索手段により
検索された文書の中の一つの文書内に含まれる確率であ
る同時出現確率を、前記関連語候補中の単語ごとに求め
る同時出現確率算出手段と、前記関連語探索単語が、前
記文書情報記憶手段に記憶されている文書の中の一つの
文書内に含まれる確率を求める第１の単独出現確率算出
手段と、前記関連語候補中の一つの単語が前記文書情報
記憶手段に記憶されている文書の中の一つの文書内に含
まれる確率を、前記関連語候補中の単語ごとに求める第
２の単独出現確率算出手段と、前記第１の単独出現確率
算出手段により求められた確率と、第２の単独出現確率
算出手段により求められた確率との積または和を、前記
関連語候補中の単語ごとに計算する計算手段と、前記関
連語候補中の単語ごとに、同時出現確率算出手段により
求められた前記同時出現確率と前記計算手段により計算
された値との比率を求め、各単語の比率に応じて単語を
抽出する単語抽出手段と、を具備することを特徴とする
文書処理装置が提供される。
【００３３】この文書処理装置によれば、検索者が検索
条件入力手段に対して、特定の文書集合を検索する検索
条件を入力すると、検索手段が、入力された検索条件に
適合する文書を文書情報記憶手段内から検索する。する
と、キーワード特定手段が、検索手段により検索された
文書内に含まれる単語のうち、任意の単語を関連語探索
単語とし、関連語探索単語以外の単語を関連語候補とす
る。同時出現確率算出手段は、同時出現確率を、関連語
候補中の単語ごとに求める。第１の単独出現確率算出手
段は、関連語探索単語が、文書情報記憶手段に記憶され
ている文書の中の一つの文書内に含まれる確率を求め
る。第２の単独出現確率算出手段は、関連語候補中の一
つの単語が文書情報記憶手段に記憶されている文書の中
の一つの文書内に含まれる確率を、関連語候補中の単語
ごとに求める。計算手段は、第１の単独出現確率算出手
段により求められた確率と、第２の単独出現確率算出手
段により求められた確率との積または和を、関連語候補
中の単語ごとに計算する。そして、単語抽出手段が、関
連語候補中の単語ごとに、同時出現確率と計算手段によ
り計算された値との比率を求め、各単語の比率に応じて
単語を抽出する。
【００３４】これにより、検索者が、関連語計算に使用
する文書集合を自由に定めることが可能となり、より柔
軟な関連語の提示が可能となる。また、本発明では上記
課題を解決するために、複数の単語を含む項目を識別す
る項目識別子とその項目内に含まれる単語とを組にして
記憶している項目記憶手段と、項目記憶手段に記憶され
ている項目内の特定の項目集合を検索する検索条件を入
力する検索条件入力手段と、前記検索条件入力手段によ
り入力された検索条件に適合する項目を前記項目記憶手
段より検索する検索手段と、前記検索手段により検索さ
れた項目内に含まれる単語のうち、任意の単語を関連語
探索単語とし、前記関連語探索単語以外の単語を関連語
候補とするキーワード特定手段と、前記関連語探索単語
と前記関連語候補中の一つの単語とが、前記検索手段に
より検索された項目の中の一つの項目内に含まれる確率
である同時出現確率を、前記関連語候補中の単語ごとに
求める同時出現確率算出手段と、前記関連語探索単語
が、前記項目記憶手段に記憶されている項目の中の一つ
の項目内に含まれる確率を求める第１の単独出現確率算
出手段と、前記関連語候補中の一つの単語が前記項目記
憶手段に記憶されている項目の中の一つの項目内に含ま
れる確率を、前記関連語候補中の単語ごとに求める第２
の単独出現確率算出手段と、前記第１の単独出現確率算
出手段により求められた確率と、第２の単独出現確率算
出手段により求められた確率との積または和を、前記関
連語候補中の単語ごとに計算する計算手段と、前記関連
語候補中の単語ごとに、同時出現確率算出手段により求
められた前記同時出現確率と前記計算手段により計算さ
れた値との比率を求め、各単語ごとの比率に応じて単語
を抽出する関連語抽出手段と、を具備することを特徴と
する単語抽出装置が提供される。
【００３５】この単語抽出装置によれば、検索者が検索
条件入力手段に対して、特定の項目集合を検索する検索
条件を入力すると、検索手段が、入力された検索条件に
適合する項目を項目記憶手段内から検索する。すると、
キーワード特定手段が、検索手段により検索された項目
内に含まれる単語のうち、任意の単語を関連語探索単語
とし、関連語探索単語以外の単語を関連語候補とする。
同時出現確率算出手段は、同時出現確率を、関連語候補
中の単語ごとに求める。第１の単独出現確率算出手段
は、関連語探索単語が、項目記憶手段に記憶されている
項目の中の一つの項目内に含まれる確率を求める。第２
の単独出現確率算出手段は、関連語候補中の一つの単語
が項目情報記憶手段に記憶されている項目の中の一つの
項目内に含まれる確率を、関連語候補中の単語ごとに求
める。計算手段は、第１の単独出現確率算出手段により
求められた確率と、第２の単独出現確率算出手段により
求められた確率との積または和を、関連語候補中の単語
ごとに計算する。そして、関連語抽出手段が、関連語候
補中の単語ごとに、同時出現確率と計算手段により計算
された値との比率を求め、各単語の比率に応じて単語を
抽出する。
【００３６】これにより、検索者が、関連語計算に使用
する項目の集合を自由に定めることが可能となり、より
柔軟な関連語の提示が可能となる。また、本発明では上
記課題を解決するために、複数の単語を含む項目を識別
する項目識別子とその項目内に含まれる単語とを組にし
て記憶している項目記憶手段を具備し、前記項目記憶手
段に記憶されている項目を検索する情報検索装置の単語
抽出方法において、前記項目記憶手段に記憶されている
項目内の特定の項目集合を検索する検索条件を入力する
第１のステップと、前記第１のステップにより入力され
た検索条件に適合する項目を前記項目記憶手段より検索
する第２のステップと、前記第２のステップにより検索
された項目内に含まれる単語のうち、任意の単語を関連
語探索単語とし、前記関連語探索単語以外の単語を関連
語候補とする第３のステップと、前記関連語探索単語と
前記関連語候補中の一つの単語とが、前記第２のステッ
プにより検索された項目の中の一つの項目内に含まれる
確率である同時出現確率を、前記関連語候補中の単語ご
とに求める第４のステップと、前記関連語探索単語が、
前記項目記憶手段に記憶されている項目の中の一つの項
目内に含まれる確率を求める第５のステップと、前記関
連語候補中の一つの単語が前記項目記憶手段に記憶され
ている項目の中の一つの項目内に含まれる確率を、前記
関連語候補中の単語ごとに求める第６のステップと、前
記第５のステップにより求められた確率と、前記第６の
ステップにより求められた確率との積または和を、前記
関連語候補中の単語ごとに計算する第７のステップと、
前記関連語候補中の単語ごとに、前記第４のステップに
より求められた前記同時出現確率と前記第７のステップ
により計算された値とを用いた統計量を求め、各単語の
統計量に応じて単語を抽出する第８のステップと、を具
備することを特徴とする単語抽出方法が提供される。
【００３７】この単語抽出方法によれば、特定の項目集
合を検索する検索条件を入力すると、入力された検索条
件に適合する項目が検索される。次いで、検索された項
目内に含まれる単語のうち、任意の単語が関連語探索単
語とされ、関連語探索単語以外の単語が関連語候補リス
トに登録される。さらに、関連語探索単語と関連語探索
単語以外の単語との間の同時出現確率と、各単語の単独
出現確率の積あるいは和とから統計量が求められる。そ
して、各単語ごとに求められた統計量に応じて、単語が
抽出される。
【００３８】これにより、検索者が、関連語計算に使用
する項目の集合を自由に定め、より柔軟な関連語の提示
が可能となる。
【００３９】
【００４０】
【発明の実施の形態】以下、本発明の実施の形態を図面
を参照して説明する。図１は、本発明の原理構成図であ
る。
【００４１】文書情報記憶手段１は、文書を識別する文
書識別子およびその文書内に含まれる単語とを組にして
記憶している。検索条件入力手段２は、文書情報記憶手
段１に記憶されている特定の文書集合を検索する検索条
件を入力する。入力された検索条件は、検索手段３に渡
される。検索手段３は、検索条件入力手段２により入力
された検索条件に適合する文書を文書情報記憶手段１よ
り検索する。キーワード特定手段４は、検索手段３によ
り検索された文書内に含まれる単語のうち、任意の単語
を関連語探索単語とし、関連語探索単語以外の単語を関
連語候補とする。
【００４２】同時出現確率算出手段５は、関連語探索単
語と関連語候補内の一つの単語とが、検索手段３により
検索された文書のうち、その一つの文書内に含まれる確
率を求め、同時出現確率とする。
【００４３】第１の単独出現確率算出手段６は、関連語
探索単語が、文書情報記憶手段１に記憶されている文書
のうち、その一つの文書内に含まれる確率を求める。同
様に、第２の単独出現確率算出手段７は、関連語候補内
の一つの単語が、文書情報記憶手段１に記憶されている
文書のうち、その一つの文書内に含まれる確率を求め
る。
【００４４】計算手段８は、第１の単独出現確率算出手
段６により求められた確率および第２の単独出現確率算
出手段７により求められた確率との積または和を計算す
る。単語抽出手段９は、同時出現確率算出手段５により
求められた同時出現確率および計算手段８により計算さ
れた値との比率に応じて、単語を抽出する。
【００４５】この文書処理装置によれば、検索者が検索
条件入力手段２を用いて検索条件を入力すると、検索手
段３により検索条件に適合する文書が検索される。する
と、キーワード特定手段４により、関連語探索単語が特
定され、関連語探索単語以外の単語が関連語候補とされ
る。さらに、同時出現確率算出手段５が、検出手段３で
検出された文書に基づき、同時出現確率を算出する。一
方、第１の単独出現確率算出手段６と第２の単独出現確
率算出手段７とは、それぞれ関連語探索単語と、関連語
候補内の単語の出現確率を算出する。この出現確率は、
計算手段８により積または和の値が計算される。そし
て、単語抽出手段９が、同時出現確率と計算手段８の算
出した値とを用いて、特定の単語に対する関連語を抽出
する。
【００４６】これにより、検索者の検索条件に応じて、
関連語を定めるための基準となる文書を任意に絞り込む
ことが可能となる。即ち、本発明のように、文書検索プ
ロセスにおける文書絞り込みとは別に、関連語探索のた
めの検索条件を定めることができるようにすれば、関連
語計算に使用する文書集合を自由に定めることが可能と
なり、より柔軟な関連語の提示が可能となる。
【００４７】例えば、検索意図が「今年に入ってからの
野球選手の腰痛によるアクシデントについて知りたい」
であったとする。この場合検索者は、まず”今年の野球
関連の新聞記事”を書誌的事項から得た上で、「腰痛」
のキーワードで検索を行う。ここで、検索漏れを防ぐ目
的で「腰痛」の関連語を得る場合、検索者は検索条件入
力手段２を用いて”医学関連の文書”を検索対象に指定
する。すると、”医学関連の文書”を用いて関連語計算
が行われ、「ぎっくり腰」「椎間板ヘルニア」等の適切
な関連語が、単語抽出手段８により抽出される。
【００４８】もし、通常の類似語辞書で関連語計算を行
うと、「腰痛」の関連語（類似語）は「腹痛」「頭痛」
「疼痛」等が抽出される。また、”今年の野球関連の新
聞記事”を基に「腰痛」の関連語計算を行うと「リタイ
ア」「欠場」等が抽出される。従って、どちらも適切な
関連語が得られるとは言い難い。
【００４９】図２は、本発明の第１の実施の形態の構成
を示す図である。以下、図２の各構成要素について説明
する。文書格納手段１１は、電子化された検索対象文書
の内容を書誌的事項および形態素解析手段１２によって
付加される文書識別子と組にして格納する記憶装置であ
る。
【００５０】形態素解析手段１２は、文書格納手段１１
に格納されている各文書に文書識別子を付加した上で、
各文書に形態素解析処理を施して自立語を抽出し、対応
する文書識別子と組にして格納する装置である。
【００５１】索引構造生成手段１３は、形態素解析手段
１２での形態素解析処理結果を基に、索引構造として、
単語−単語識別子リスト１４ａ、単語識別子−文書識別
子リスト１４ｂ、文書識別子−単語識別子リスト１４ｃ
を作成するプログラムモジュールである。
【００５２】索引構造格納手段１４は、索引構造生成手
段１３によって作成された単語−単語識別子リスト１４
ａ、単語識別子−文書識別子リスト１４ｂ、文書識別子
−単語識別子リスト１４ｃを格納する記憶装置である。
単語−単語識別子リスト１４ａは、単語文字列とその単
語を示す単語識別子の対応関係を記述したリストであ
る。単語識別子−文書識別子リスト１４ｂは、各単語識
別子について、その単語識別子で示される単語文字列を
含む文書の文書識別子の集合を記述したリストである。
文書識別子−単語識別子リスト１４ｃは、各文書識別子
について、その文書識別子で示される文書に含まれる単
語の単語識別子の集合を記述したリストである。
【００５３】キーワード入力手段１５は、関連語を求め
るための初期条件としてキーワードを入力することが可
能なユーザインタフェースを持つプログラムモジュール
である。
【００５４】文書検索手段１６は、キーワードを受け取
り、そのキーワードを含む全文書の文書識別子を、単語
−単語識別子リスト１４ａおよび単語識別子−文書識別
子リスト１４ｂを参照して取得するプログラムモジュー
ルである。受け取ったキーワードが、キーワードリスト
生成手段１８によって作成されたキーワードリスト中の
キーワードである場合は、文書識別子の総数のみを取得
し、キーワード入力手段１５に入力されたキーワードの
場合は、文書識別子の総数と共に、得られた文書識別子
のうち特定文書格納手段２３に格納されている文書識別
子に属する文書識別子集合も取得する。
【００５５】キーワード検索手段１７は、文書検索手段
１６によって得られた文書識別子集合で示される文書集
合の各文書に含まれる単語の識別子集合を、文書識別子
−単語識別子リスト１４ｃを参照して取得し、それらを
連接して一つの単語識別子集合とするプログラムモジュ
ールである。
【００５６】キーワードリスト生成手段１８は、キーワ
ード検索手段１７から得られた単語識別子集合中での各
単語識別子の出現回数を計測し、単語識別子と出現回数
との対をリストとして作成するプログラムモジュールで
ある。
【００５７】関連語計算手段１９は、キーワードリスト
生成手段１８によって作成されたリストおよび文書検索
手段１６によって取得された文書識別子の総数を基に、
キーワード入力手段１５に入力されたキーワードとキー
ワードリスト生成手段１８によって作成されたリスト中
の各単語識別子に対応する単語の相互情報量を計算する
プログラムモジュールである。
【００５８】表示手段２０は、関連語計算手段１９で計
算された相互情報量の値を受け取り、キーワード入力手
段１５に入力されたキーワードとの間で相互情報量が大
きい値となる順に単語を出力するユーザインタフェース
を持つプログラムモジュールである。
【００５９】検索条件入力手段２１は、ユーザが関連語
計算を行うための文書集合を得るための検索条件を入力
することが可能なユーザインタフェースを持つプログラ
ムモジュールである。
【００６０】文書集合特定手段２２は、文書格納手段１
１、単語−単語識別子リスト１４ａおよび単語識別子−
文書識別子リスト１４ｂを参照し、検索条件入力手段２
１あるいは文書検索条件入力手段２４に入力された検索
語あるいは論理式の条件に適合する文書識別子の集合を
得るプログラムモジュールである。
【００６１】特定文書格納手段２３は、検索条件入力手
段２１に入力された検索条件を基に、文書集合特定手段
２２によって得られた文書識別子集合を格納する記憶手
段である。
【００６２】文書検索条件入力手段２４は、ユーザが文
書検索を行うための検索条件を入力することが可能なユ
ーザインタフェースを持つプログラムモジュールであ
る。検索結果表示手段２５は、文書検索条件入力手段２
４に入力された検索条件を基に、文書集合特定手段２２
によって得られた文書識別子集合に対応する文書情報を
表示することが可能なユーザインタフェースを持つプロ
グラムモジュールである。
【００６３】以上の図２に示した構成は、図１の本発明
の原理構成を具体化したものであり、それぞれの構成要
素は次のような関係にある。文書情報格納手段１１およ
び索引構造格納手段１４が、文書情報記憶手段１に対応
する。検索条件入力手段２１が検索条件入力手段２に対
応する。文書集合特定手段２２及び特定文書格納手段２
３が、検索手段３に対応する。キーワード入力手段１
５、文書検索手段１６、キーワード検索手段１７、キー
ワードリスト生成手段１８が、キーワード特定手段４に
対応する。そして、関連語計算手段１９が、同時出現確
率算出手段５、第１の単独出現確率算出手段６、第２の
単独出現確率算出手段７、計算手段８、及び単語抽出手
段９に対応する。
【００６４】なお、文書検索条件入力手段２４および検
索結果表示手段２５は、文書検索を行うための手段であ
って、本発明の構成に必須のものではない。しかしなが
ら、関連語の提示システムは文書検索システムと密接な
関係があり、その関係を示すために、本実施の形態では
文書検索システムを含めて説明を行うこととした。
【００６５】ここで、本実施の形態では関連語計算の前
に、索引構造の生成処理を実行しておく必要がある。そ
こで、以下に索引構造の生成処理について説明する。索
引構造の生成処理の前提として、形態素解析結果リスト
が生成されていなければならない。図３は、形態素解析
結果リストの例を示す図である。これは、形態素解析手
段１２が作成する。形態素解析結果リスト３１には、文
書格納手段１１に格納されている各検索対象文書に識別
子（文書識別子）を割り当てた上で、それぞれの文書に
形態素解析処理を施して自立語を抽出し、抽出された単
語（抽出単語）を対応する文書識別子と組にして格納す
る。ただし、同一文書中から同一の自立語が複数回抽出
された場合は、２回目以降の抽出結果を無視し、一つの
文書識別子に対応する自立語が重複することはないもの
とする。
【００６６】この形態素解析結果リストを基に、索引構
造生成手段１３が各種索引構造を生成する。図４〜図６
に索引構造生成手段１３により作成され、索引構造格納
手段１４に格納される索引構造の例を示す。なお図４〜
図６中のデータは、図３のデータに基づいて作成された
例となっている。
【００６７】図４は、単語−単語識別子リストの例を示
す図である。単語−単語識別子リスト３２には、抽出さ
れた単語と、その単語に割り当てられた識別子とが組と
なって格納されている。
【００６８】図５は、単語識別子−文書識別子リストの
例を示す図である。単語識別子−文書識別子リスト３３
には、単語識別子と、その単語識別子が割り当てられて
いる単語を含む文書の識別子（文書識別子）が組となっ
て格納されている。
【００６９】図６は、文書識別子−単語識別子リストの
例を示す図である。文書識別子−単語識別子リスト３４
には、文書識別子と、その文書識別子が割り当てられて
いる文書に含まれる単語の単語識別子とが組となって格
納されている。
【００７０】索引構造生成手段１３による索引構造の生
成アルゴリズムは以下の通りである。図７は、索引構造
の生成の手順を示すフローチャートである。 〔Ｓ１〕単語−単語識別子リスト１４ａを生成する。具
体的には、まず、形態素解析手段１２に格納されている
形態素解析結果リスト中の全単語を、重複なく、かつ、
単語文字列の持つ値の順にソートしたリストを作成す
る。そして、各単語に対して、リストの先頭から順に１
で始まる自然数を単語識別子として割り当てる。 〔Ｓ２〕文書識別子−単語識別子リスト１４ｃを生成す
る。具体的には、形態素解析手段１２中の形態素解析結
果リスト中の各単語をステップＳ１で割り当てた単語識
別子で置き換え、各文書識別子ごとに対応する単語識別
子を小さい値順にソートする。 〔Ｓ３〕単語識別子−文書識別子リスト１４ｂを生成す
る。具体的には、単語識別子を１から順に並べ、各単語
識別子に対応する単語が含まれる文書の文書識別子を、
ステップＳ２で作成した文書識別子−単語識別子リスト
３４を参照して抽出し、単語識別子と対にして格納す
る。
【００７１】以上のようにして、索引構造が生成され、
索引構造格納手段１４に格納される。この状態で関連語
の計算を行うことが可能となる。図８は、本発明の処理
手順を示すフローチャートの前半である。これは、検索
条件入力手段２１に入力された検索条件に適合する文書
を基に、キーワード入力手段１５に入力されたキーワー
ドの関連語を求めるためのアルゴリズムをフローチャー
トで示したものである。以下に、このフローチャートの
処理をステップ番号に沿って説明する。 〔Ｓ１１〕キーワード入力手段１５が、検索者がキーボ
ードあるいはマウスを操作することによって入力した初
期キーワードを受け取る。この初期キーワードは、文書
検索手段１６に渡される。 〔Ｓ１２〕検索条件入力手段２１が、検索者がキーボー
ドあるいはマウスを操作することによって入力した検索
条件を受け取る。この検索条件は、文書集合特定手段２
２に渡される。 〔Ｓ１３〕初期キーワードを受け取った文書検索手段１
６は、初期キーワードが単語−単語識別子リスト１４ａ
に存在するか否かを判断する。存在していなければステ
ップＳ１４に進み、存在していればステップＳ１５に進
む。 〔Ｓ１４〕初期キーワードが単語−単語識別子リスト１
４ａに存在していなければ関連語の計算を行いようがな
いため、表示手段２０が、初期キーワードの関連語がな
い旨の表示を行い、処理を終了する。 〔Ｓ１５〕検索条件を受け取った文書集合特定手段２２
が、検索条件を満たす文書の文書識別子を、文書格納手
段１１、単語−単語識別子リスト１４ａ、及び単語識別
子−文書識別子リスト１４ｂから取得し、得られた文書
識別子集合をＤとする。この文書識別子集合Ｄは、特定
文書格納手段２３に格納される。 〔Ｓ１６〕文書検索手段１６が、初期キーワードに対応
する単語識別子をＷｉとする。 〔Ｓ１７〕文書検索手段１６が、Ｗｉに対応しＤに属す
る文書識別子を単語識別子−文書識別子リスト１４ｂか
ら取得し、取得した文書識別子の集合をＸとする。この
文書識別子の集合Ｘは、キーワード検索手段１７に渡さ
れる。また、Ｗｉに対応する文書識別子総数をＮとす
る。この文書識別子総数Ｎは、関連語計算手段１９に渡
される。この処理が終了したら、図９のステップＳ１８
に進む。
【００７２】図９は、本発明の処理手順を示すフローチ
ャートの後半である。 〔Ｓ１８〕キーワード検索手段１７が、Ｘに属する各単
語識別子に対応する単語識別子を文書識別子−単語識別
子リスト１４ｃから取得する。取得した単語識別子の集
合をＹとする。単語識別子の集合Ｙは、キーワードリス
ト生成手段１８に渡される。 〔Ｓ１９〕キーワードリスト生成手段１８が、Ｙに属す
る単語識別子の重複を取り除き、各単語識別子の重複回
数を記録する。重複の取り除かれた単語識別子集合を新
たにＹとし、Ｙの要素である単語識別子Ｗｎ（ｎ＝１，
２，・・・Ｐ）の重複回数をＲ（Ｗｎ）とする。重複回
数Ｒ（Ｗｎ）は、関連語計算手段１９に渡される。但
し、ＰはＹの要素数である。 〔Ｓ２０〕文書検索手段１６が、Ｙに属する全単語識別
子Ｗｎ（ｎ＝１，２，・・・Ｐ）について、Ｗｎに対応
する文書識別子の総数を単語識別子−文書識別子リスト
１４ｂから取得する。そして、Ｙの要素Ｗｎに対応する
文書識別子数Ｆ（Ｗｎ）とする。文書識別子数Ｆ（Ｗ
ｎ）は、関連語計算手段１９に渡される。 〔Ｓ２１〕関連語計算手段１９が、Ｙに属する単語識別
子Ｗｎ（ｎ＝１，２，・・・Ｐ）について、全検索対象
文書数をＭとして、
【００７３】
【数７】 prob（Ｗｉ，Ｗｎ）＝Ｒ（Ｗｎ）／Ｍ・・・（７）
【００７４】
【数８】 prob（Ｗｎ）＝Ｆ（Ｗｎ）／Ｍ・・・（８） を計算し、
【００７５】
【数９】 prob（Ｗｉ）＝Ｎ／Ｍ・・・（９） であることを考慮して、式（１）に従って、Ｗｉで示さ
れる初期キーワードとＷｎで示される単語間の相互情報
量（ＭＩ（Ｗｉ，Ｗｎ））を計算する。 〔Ｓ２２〕関連語計算手段１９が、閾値Ｔを超えるＭＩ
（Ｗｉ，Ｗｎ）（ｎ＝１，２，・・・Ｐ）が存在するか
否かを判断する。存在すればステップＳ２３に進み、存
在しなければステップＳ２４に進む。 〔Ｓ２３〕表示手段２０が、関連語計算手段１９から、
閾値Ｔを超えるＭＩ（Ｗｉ，Ｗｎ）（ｎ＝１，２，・・
・Ｐ）に関し、その値が大きいものから順に対応するＷ
ｎを取得する。そして、単語−単語識別子リスト１４ａ
を参照することによって、取得したＷｎに対応する単語
を初期キーワードの関連語として出力し、処理を終了す
る。 〔Ｓ２４〕表示手段２０が、初期キーワードの関連語が
ない旨の表示を行い、処理を終了する。
【００７６】このように、図中のステップＳ２１におい
て、検索条件入力手段２１に入力された検索条件に適合
する文書（識別子）集合Ｄ中でのＷｉおよびＷｎの間の
共起頻度を基にprob（Ｗｉ，Ｗｎ）を求めていることに
より、文書集合Ｄの内容に沿った関連語の算出が可能と
なる。
【００７７】図１０から図１９に第１の実施の形態のユ
ーザインタフェースを示す。図１０は、第１の実施の形
態のユーザインタフェースの初期画面を示す図である。
図１０メインのウィンドウ４０の中には複数のサブウィ
ンドウ４１〜４６が表示されている。サブウィンドウ４
１がキーワード入力手段１５に、サブウィンドウ４２が
検索条件入力手段２１に、サブウィンドウ４３が表示手
段２０に、サブウィンドウ４４、４５が文書検索条件入
力手段２４に、サブウィンドウ４６が検索結果表示手段
２５にそれぞれ対応している。サブウィンドウ４４で
は、同一行中にカンマで区切ったキーワード集合をｏｒ
接続した上で、各行に対応するｏｒ接続されたキーワー
ド集合をａｎｄ接続して検索するものとする。
【００７８】図中下のアイコン４７は、検索条件入力手
段２１あるいは文書検索条件入力手段２４に入力するた
めの検索条件を可視化したものである。例えば、「社会
経済辞典アイコン」は、社会経済辞典に含まれる項目で
ある旨の書誌的事項が付与された文書集合を検索するた
めの検索条件に対応するものである。これらのアイコン
をサブウィンドウ４２および４５に置くことにより、検
索条件の指定を行ったことになる。
【００７９】以下図１１から図１９では、検索意図が
「米海軍におけるセキュリティ問題について書かれた新
聞記事を検索したい。」である場合の操作例を示す。ま
ず、検索条件の入力を行う。図１１は、第１の実施の形
態のユーザインタフェースの第１の操作画面を示す図で
ある。この画面では、「セキュリティ」に関する関連語
を得るために、関連語検索を行う文書集合として「情報
工学辞典」のアイコン４７ａを選択する。
【００８０】目的のアイコンを選択したら、そのアイコ
ン４７ａをサブウィンドウ４２に複写する。図１２は、
第１の実施の形態のユーザインタフェースの第２の操作
画面を示す図である。選択した「情報工学辞典」アイコ
ン４２ａがサブウィンドウ４２に置かれる。これによ
り、検索条件入力手段２１に「情報工学辞典に含まれる
項目である旨の書誌的事項が付与された文書集合を得る
ための検索条件」が入力される。
【００８１】検索条件の入力が終了したら、初期キーワ
ードを入力する。図１３は、第１の実施の形態のユーザ
インタフェースの第３の操作画面を示す図である。この
画面では、関連語を求めるための初期キーワード「セキ
ュリティ」をサブウィンドウ４１に入力し、「関連語」
ボタン４１ａを押す（ここで、「押す」とは、画面上の
マウスポインタを「関連語」ボタン４１ａ上に移動し、
マウスのボタンをクリックする動作を示す）。
【００８２】「関連語」ボタン４１ａが押されると、図
８、図９に示した処理が実行される。図１４は、第１の
実施の形態のユーザインタフェースの第４の操作画面を
示す図である。図８、図９に示した処理の実行の結果、
情報工学辞典に基づいて計算された「セキュリティ」の
関連語がサブウィンドウ４３に表示される。このとき、
サブウィンドウ４１に入力された「セキュリティ」は、
サブウィンドウ４４にも入力される。
【００８３】検索者は、表示された関連語のうち関連性
が高いと判断した語を選択する。図１５は、第１の実施
の形態のユーザインタフェースの第５の操作画面を示す
図である。この例では、「デジタル署名」を選択してい
る。関連性が高いと判断した語が選択されると、サブウ
ィンドウ４４の文書検索条件に選択語が追加される（。
図１６は、第１の実施の形態のユーザインタフェースの
第６の操作画面を示す図である。この図では、図１５と
同様に表示された関連語のうち関連性が高いと判断した
語として、「ＲＳＡ方式」の追加を行っている。
【００８４】次に、図８から図１３までと同様に、社会
経済辞典を対象に「米海軍」の関連語を求め、関連性が
高いと判断した語（「ペンタゴン」「リムパック」）を
検索文書検索条件に追加する。図１７は、第１の実施の
形態のユーザインタフェースの第７の操作画面を示す図
である。この例では、サブウィンドウ４１には「米海
軍」の語が入力されている。サブウィンドウ４２には、
「社会経済辞典」のアイコン４２ｂが置かれている。サ
ブウィンドウ４３には、「社会経済辞典」に基づいて
「米海軍」の関連語を計算することにより抽出された語
が表示されている。サブウィンドウ４４には、図１６の
画面で入力されていた語の下の行に、「米海軍」、「ペ
ンタゴン」、「リムパック」の語が追加されている。
【００８５】次に、検索対象文書を選択する。図１８
は、第１の実施の形態のユーザインタフェースの第８の
操作画面を示す図である。この画面では、検索対象文書
として「新聞記事」を選択し、サブウィンドウ４５に
「新聞記事」アイコン４５ａを置いている。これによっ
て、文書検索条件入力手段２４に「新聞記事に含まれる
項目である旨の書誌的事項が付与された文書集合を得る
ための検索条件」が入力される。
【００８６】この状態で「検索」ボタンを押す。図１９
は、第１の実施の形態のユーザインタフェースの第９の
操作画面を示す図である。「検索」ボタン４４ａを押す
ことによって、サブウィンドウ４４中の検索条件を
「（セキュリティｏｒデジタル署名ｏｒＲＳＡ方式）ａ
ｎｄ（米海軍ｏｒペンタゴンｏｒリムパック）」と解釈
して、既に指定された新聞記事の中から該当する記事の
検索が実行される。
【００８７】図２０は、第１の実施の形態のユーザイン
タフェースの第１０の操作画面を示す図である。図１９
の状態で検索が実行されると、サブウィンドウ４６に検
索結果が表示される。
【００８８】この例からも分かるように、本実施の形態
によれば関連語検索に用いる文書集合を自由に指定でき
るため、従来技術と比較して、より検索者の意図に沿っ
た関連語の提示が可能となる。
【００８９】なお、本実施の形態では、図９のステップ
Ｓ２１で説明したとおり、Ｆ（Ｗｎ）およびＮを文書集
合全体から求めている。これは、文書集合全体に多く出
現する語に対応する相互情報量を小さくすることを目的
としたものである。しかしながら、検索条件入力手段２
１に入力された検索条件に適合する文書集合（Ｄ）の要
素数が十分多い場合には、Ｆ（Ｗｎ）およびＮを文書集
合Ｄの範囲内で求めても、上記の目的を達成することが
できる。
【００９０】また、本実施の形態のユーザインタフェー
スは、関連語計算用の文書集合を特定するために検索条
件入力手段２１に入力する検索条件を、書誌的事項に基
づくアイコン形式で与えたが、これをキーワード等を用
いたより一般的な入力方法で置き換えることは容易に実
現可能である。
【００９１】図２１は、本発明の第２の実施の形態の構
成を示す図である。本実施の形態は、第１の実施の形態
の構成からキーワード入力手段１５および検索条件入力
手段２１を除いたものとなっている。以下第１の実施の
形態と機能の異なる手段についてのみ説明し、第１の実
施の形態と同じ機能を有するものには同一の符号を付
し、説明を省略する。
【００９２】文書格納手段１１ａは、電子化された検索
対象文書の内容を形態素解析手段１２によって付加され
る文書識別子と対にして格納する記憶装置である。文書
検索手段１６ａは、キーワードを受け取り、そのキーワ
ードを含む全文書の文書識別子を、単語−単語識別子リ
スト１４ａおよび単語識別子−文書識別子リスト１４ｂ
を参照して取得するプログラムモジュールである。受け
取ったキーワードが、キーワードリスト生成手段１８に
よって作成されたキーワードリスト中のキーワードであ
る場合は、文書識別子の総数のみを取得し、文書検索条
件入力手段２４ａに入力された検索条件中のキーワード
の場合は、文書識別子の総数と共に、得られた文書識別
子のうち特定文書格納手段２３ａに格納されている文書
識別子に属する文書識別子集合も取得する。
【００９３】関連語計算手段１９ａは、キーワードリス
ト生成手段１８によって作成されたリストおよび文書検
索手段１６ａによって取得された文書識別子の総数を基
に、文書検索条件入力手段２４ａに入力された検索条件
中のキーワードとそのキーワードに対してキーワードリ
スト生成手段１８によって作成されたリスト中の各単語
識別子に対応する単語の相互情報量を計算するプログラ
ムモジュールである。
【００９４】表示手段２０ａは、関連語計算手段１９ａ
で計算された相互情報量の値を受け取り、文書検索条件
入力手段２４ａに入力された検索条件中のキーワードと
の間で相互情報量が大きい値となる順に単語を出力する
ユーザインタフェースを持つプログラムモジュールであ
る。
【００９５】文書集合特定手段２２ａは、文書格納手段
１１ａ、単語−単語識別子リスト１４ａおよび単語識別
子−文書識別子リスト１４ｂを参照し、文書検索条件入
力手段２４ａに入力された検索条件に適合する文書識別
子の集合を得るプログラムモジュールである。
【００９６】特定文書格納手段２３ａは、文書検索条件
入力手段２４ａに入力された検索条件を基に、文書集合
特定手段２２ａによって得られた文書識別子集合を格納
する記憶手段である。
【００９７】文書検索条件入力手段２４ａは、ユーザが
文書検索を行うための検索条件を、キーワードをａｎｄ
あるいはｏｒ接続した論理式形式で入力することが可能
なユーザインタフェースを持つプログラムモジュールで
ある。
【００９８】検索結果表示手段２５ａは、文書検索条件
入力手段２４ａに入力された検索条件を基に、文書集合
特定手段２２ａによって得られた文書識別子集合に対応
する文書情報を表示することが可能なユーザインタフェ
ースを持つプログラムモジュールである。
【００９９】本実施の形態では、文書検索条件入力手段
２４ａにキーワードをａｎｄあるいはｏｒ接続した論理
式形式で入力された検索条件を基に文書集合特定手段２
２ａによって特定された文書集合を、関連語を求めるた
めの文書集合として用いる。
【０１００】また、第１の実施の形態では、キーワード
入力手段１５に入力されたキーワードを初期キーワード
として初期キーワードの関連語を求めたが、本実施の形
態では、文書検索条件入力手段２４ａに入力された検索
条件に含まれる全てのキーワードに対して図８，図９の
処理を行い、相互情報量を求める。さらに、検索結果表
示手段２５ａは、得られた全ての相互情報量の中から大
きい値のものから順に、対応するキーワードのペアを表
示する。
【０１０１】図２２から図２８に本実施の形態のユーザ
インタフェースを示す。図２２は、第２の実施の形態の
ユーザインターフェースの初期画面５０を示す図であ
る。図２２メインのウィンドウ５０の中には複数のサブ
ウィンドウ５１〜５３が表示されている。サブウィンド
ウ５１が表示手段２０ａに、サブウィンドウ５２が文書
検索条件入力手段２４ａに、サブウィンドウ５３が検索
結果表示手段２５ａにそれぞれ対応している。
【０１０２】以下図２３から図２８では、検索意図が
「いかなる建築が地震に強いかについて具体的な地震事
例に基づいて書かれた文書を検索したい。」である場合
の操作例を示す。
【０１０３】まず、検索条件の入力を行う。図２３は、
第２の実施の形態のユーザインタフェースの第１の操作
画面を示す図である。この画面では、検索条件を「地震
ａｎｄ建築」として、「検索」ボタン５２ａを押す。
【０１０４】「検索」ボタン５２ａが押されることによ
って検索が行われる。図２４は、第２の実施の形態のユ
ーザインタフェースの第２の操作画面を示す図である。
検索が行われることにより、検索結果がサブウィンドウ
５３に表示される。同時に、「地震」および「建築」の
それぞれに対して、検索結果として得られた文書集合を
基に、図８、図９で示した処理が行われ、相互情報量計
算が行われる。そして、サブウィンドウ５１には、相互
情報量の値の大きいものから順に、関連語が表示され
る。サブウィンドウ５１中の括弧付きの単語は、相互情
報量を求めた際の初期キーワードである。
【０１０５】検索者は、図２４の画面の関連語表示を参
照しながら、適切であると思われる検索条件を選択す
る。図２５は、第２の実施の形態のユーザインタフェー
スの第３の操作画面を示す図である。検索者は、さらに
適切であると思われる検索条件を選択したら、サブウィ
ンドウ５３に入力する。図２５では、「（兵庫県南部地
震ｏｒ東海地震ｏｒ十勝沖地震）ａｎｄ（対震建築ｏｒ
耐火建築）」を新たな検索条件としている。
【０１０６】図２５に示した条件によって再度検索を行
う。図２６は、第２の実施の形態のユーザインタフェー
スの第４の操作画面を示す図である。再度検索を行う
と、図２４と同様に、新たな検索条件から得られた文書
集合がサブウィンドウ５３に表示されると共に、その文
書集合を基にして計算された関連語がサブウィンドウ５
１に表示される。
【０１０７】さらに適切な検索条件を入力して検索を行
う。図２７は、第２の実施の形態のユーザインタフェー
スの第５の操作画面を示す図である。この画面のサブウ
ィンドウ５２には、「（兵庫県南部地震ｏｒ東海地震ｏ
ｒ十勝沖地震ｏｒ神戸地震）ａｎｄ（２×４工法ｏｒ軸
組工法ｏｒプレハブ工法ｏｒ減震工法）」を新たな検索
条件として入力している。
【０１０８】すると、図２７の検索条件に応じた文書集
合と関連語が得られる。図２８は、第２の実施の形態の
ユーザインタフェースの第６の操作画面を示す図であ
る。図２７の検索条件で検索を行うことにより、図２６
とは異なった検索語がサブウィンドウ５１に表示される
とともに、図２６とは異なった検索結果がサブウィンド
ウ５３に表示される。
【０１０９】このように本実施の形態では、関連語提示
システムと検索システムを結合して、一つのシステムと
して取り扱うことによって、検索プロセスの進行に伴っ
て文書集合の絞り込みが行われた場合でも、常に適切な
関連語の提示が可能となる。これにより、効果的な絞り
込みが可能となる。
【０１１０】本実施の形態では、文書検索条件入力手段
２４ａにキーワードをａｎｄあるいはｏｒ接続した論理
式形式で入力するものとしたが、この検索条件に書誌的
事項による検索条件を併用した場合でも、本実施の形態
で示した効果が得られることは明らかである。
【０１１１】なお、相互情報量（あるいはＤｉｃｅ−ｃ
ｏｅｆｆｉｃｉｅｎｔあるいはｔ−ｓｃｏｒｅ）は、任
意の２値間で絶対比較が可能な統計量である。例えば、
ＭＩ（活断層，地震）とＭＩ（建築，火災保険）の比較
が可能であり、値の大きい単語対の方がより強い関連性
を持つといえる。従って、複数のキーワードに対応する
相互情報量を値の大きいものから順に並べる本実施の形
態におけるサブウィンドウ５１のユーザインタフェース
は、関連語提示の際の表示順序として適切であるといえ
る。
【０１１２】以上のような実施の形態による効果を以下
に説明する。図２６および図２７は、本発明の効果の検
証を行うために用いたデータおよびシミュレーション結
果の一例である。
【０１１３】図２９は、本発明の効果確認のためのシミ
ュレーション用データの例である。この図では、書誌的
事項あるいはキーワード検索で、二つの文書集合Ｄ１お
よびＤ２に分割する（絞り込む）ことが可能な２０万の
文書集合を想定している。各文書には０から１９９９９
９までの整数による文書ＩＤが付加されており、文書集
合Ｄ１は文書ＩＤが０から９９９９９まで、Ｄ２は１０
００００から１９９９９９までのそれぞれ１０万の文書
を要素として含むとする。図２９は、５つのキーワード
（ｗｏｒｄＡ〜ｗｏｒｄＥ）が文書集合中に存在する範
囲とその出現確率を示すものである。例えば、ｗｏｒｄ
Ａは、文書ＩＤが０から５００００の範囲および１００
０００からの１５００００の範囲の文書中に存在し、そ
れぞれの範囲における出現確率（分布確率）は０．５で
ある。
【０１１４】図３０は、本発明の効果確認のためのシミ
ュレーション結果を示す図である。これは、文書集合全
体と文書集合Ｄ１のそれぞれを用いて、ｗｏｒｄＡに対
する相互情報量をｗｏｒｄＢからｗｏｒｄＥについて求
めた結果である。文書集合全体では、ｗｏｒｄＡに対す
る相互情報量の値が大きいものから順にｗｏｒｄＢ，ｗ
ｏｒｄＣ，ｗｏｒｄＤ，ｗｏｒｄＥとなり、文書集合Ｄ
１では、ｗｏｒｄＥ，ｗｏｒｄＤ，ｗｏｒｄＣ，ｗｏｒ
ｄＢとなっている。即ち、文書集合全体を用いて関連語
計算を行った場合には他のキーワードと比較して関連性
が低いと判断されたｗｏｒｄＥを、絞り込みによって得
られた文書集合Ｄ１を用いて計算することによって、ユ
ーザの検索意図に対して最も関連性が高いキーワードと
して提示することが可能である。逆に、文書全体を用い
て関連語計算を行った場合には最も関連性が高いと判断
されたｗｏｒｄＢを、絞り込みによって得られた文書集
合Ｄ１を用いて計算することによって、ユーザの検索意
図に対しては提示するに適さないキーワードであると判
断することが可能である。
【０１１５】図３１は、本発明の実データによる計算結
果例を示す図である。現代用語辞書の実データを基に、
関連語計算用の文書集合として「イスラエル」を含む項
目の集合と「インド」を含む項目の集合を用いて、初期
キーワード「宗教」の関連語を算出した結果である。い
ずれも、文書集合の内容を反映した計算結果となってい
ることが分かる。
【０１１６】以上のように本発明では、関連語提示シス
テムと検索システムを結合して、一つのシステムとして
取り扱うことによって、従来技術では不可能であった絞
り込みプロセスに沿った適切な関連語の提示が実現でき
る。
【０１１７】また、関連語計算に用いる文書集合を特定
するための検索条件と検索プロセスにおける文書絞り込
みに用いる検索条件を別のものとすることによって、関
連語計算に使用する文書集合を自由に定めることが可能
となり、より柔軟な関連語の提示が可能となる。
【０１１８】なお、上述の実施の形態では検索対象を文
書としているが、文書に限らず、百科事典内の項目の如
く、または構造化文書における文書要素の如く、複数の
単語を含んでおり、その単語群である項目が計算機にと
って区別可能に分けられているものであれば検索対象と
することができる。例えば、単語群と他の単語群との間
に区切り記号等が挿入されていれば、計算機にとって区
別可能な情報である。
【０１１９】また、上述の実施の形態は、コンピュータ
プログラムによっても実現可能である。その場合、その
プログラムおよびそのプログラムが検索対象とする文書
類は、コンピュータが読み取り可能な記憶媒体に記憶す
ることも可能である。
【０１２０】ここで「記憶媒体」とは、コンピュータの
ハードウエア資源に備えられている読取装置に対して、
プログラムの記述内容に応じて、磁気、光、電気等のエ
ネルギーの変化状態を引き起こして、それに対応する信
号の形式で、読取装置にプログラムの記述内容を伝達で
きるものである。例えば、磁気ディスク、光ディスク、
ＣＤ−ＲＯＭ、コンピュータに内蔵されるメモリなどが
ある。
【０１２１】また、上述の実施の形態における機能は、
インターネットに代表される広域情報通信網を介して、
検索者に提供することができる。その際、ユーザインタ
フェースに該当する機能は、検索者側の端末に備えてい
る必要がある。もし、インターネット、若しくはイント
ラネットで本発明の文書処理機能を提供する場合には、
一般に流通している閲覧ソフトで閲覧可能な形態で、検
索者側の端末に、関連語等の情報を転送すればよい。
【０１２２】
【発明の効果】以上説明したように本発明の文書処置装
置では、検索者の特定の文書集合を検索する検索条件に
応じて文書を検索し、検出された文書を判断基準として
関連語を抽出するようにしたため、全体の文書を検索す
る場合に比べ不必要な関連語が抽出されない。また、文
書検索プロセスにおける文書絞り込みとは別に、関連語
探索のための検索条件を定めることができる。その結
果、関連語計算に使用する文書集合を自由に定めること
が可能となり、より柔軟な関連語の提示が可能となる。
【０１２３】また、本発明の単語抽出装置では、検索者
の特定の項目集合を検索する検索条件に応じて単語を含
む項目を検索し、検出された項目を判断基準として関連
語を抽出するようにしたため、全体の項目を検索する場
合に比べ不必要な関連語が抽出されない。また、文書検
索プロセスにおける項目の絞り込みとは別に、関連語探
索のための検索条件を定めることができる。その結果、
関連語計算に使用する項目の集合を自由に定めることが
可能となり、より柔軟な関連語の提示が可能となる。
【０１２４】また、本発明の単語抽出方法では、検索者
の特定の項目集合を検索する検索条件に応じて単語を含
む項目を検索し、検出された項目を判断基準として関連
語を抽出するため、全体の項目を検索する場合に比べ不
必要な関連語が抽出されない。また、関連語探索のため
の検索条件を任意に定めることができる。その結果、関
連語計算に使用する項目の集合を自由に定めることが可
能となり、より柔軟な関連語の提示が可能となる。
【０１２５】
【図面の簡単な説明】
【図１】本発明の原理構成図である。
【図２】本発明の第１の実施の形態の構成を示す図であ
る。
【図３】形態素解析結果リストの例を示す図である。
【図４】単語−単語識別子リストの例を示す図である。
【図５】単語識別子−文書識別子リストの例を示す図で
ある。
【図６】文書識別子−単語識別子リストの例を示す図で
ある。
【図７】索引構造の生成の手順を示すフローチャートで
ある。
【図８】本発明の処理手順を示すフローチャートの前半
である。
【図９】本発明の処理手順を示すフローチャートの後半
である。
【図１０】第１の実施の形態のユーザインタフェースの
初期画面を示す図である。
【図１１】第１の実施の形態のユーザインタフェースの
第１の操作画面を示す図である。
【図１２】第１の実施の形態のユーザインタフェースの
第２の操作画面を示す図である。
【図１３】第１の実施の形態のユーザインタフェースの
第３の操作画面を示す図である。
【図１４】第１の実施の形態のユーザインタフェースの
第４の操作画面を示す図である。
【図１５】第１の実施の形態のユーザインタフェースの
第５の操作画面を示す図である。
【図１６】第１の実施の形態のユーザインタフェースの
第６の操作画面を示す図である。
【図１７】第１の実施の形態のユーザインタフェースの
第７の操作画面を示す図である。
【図１８】第１の実施の形態のユーザインタフェースの
第８の操作画面を示す図である。
【図１９】第１の実施の形態のユーザインタフェースの
第９の操作画面を示す図である。
【図２０】第１の実施の形態のユーザインタフェースの
第１０の操作画面を示す図である。
【図２１】本発明の第２の実施の形態の構成を示す図で
ある。
【図２２】第２の実施の形態のユーザインターフェース
の初期画面を示す図である。
【図２３】第２の実施の形態のユーザインタフェースの
第１の操作画面を示す図である。
【図２４】第２の実施の形態のユーザインタフェースの
第２の操作画面を示す図である。
【図２５】第２の実施の形態のユーザインタフェースの
第３の操作画面を示す図である。
【図２６】第２の実施の形態のユーザインタフェースの
第４の操作画面を示す図である。
【図２７】第２の実施の形態のユーザインタフェースの
第５の操作画面を示す図である。
【図２８】第２の実施の形態のユーザインタフェースの
第６の操作画面を示す図である。
【図２９】本発明の効果確認のためのシミュレーション
用データの例である。
【図３０】本発明の効果確認のためのシミュレーション
結果を示す図である。
【図３１】本発明の実データによる計算結果例を示す図
である。
【符号の説明】
１ 文書情報記憶手段 ２ 検索条件入力手段 ３ 検索手段 ４ キーワード特定手段 ５ 同時出現確率算出手段 ６ 第１の単独出現確率算出手段 ７ 第２の単独出現確率算出手段 ８ 計算手段 ９ 単語抽出手段
フロントページの続き (72)発明者 舘野 昌一 神奈川県足柄上郡中井町境430 グリー ンテクなかい 富士ゼロックス株式会社 内 (56)参考文献 特開 平８−153112（ＪＰ，Ａ) Ｋ．Ｗ．Ｃｈｕｒｃｈ、Ｐ．Ｈａｎｋ ｓ，「Ｗｏｒｄ Ａｓｓｏｃｉａｔｉｏ ｎ Ｎｏｒｍｓ，Ｍｕｔｕａｌ Ｉｎｆ ｏｒｍａｔｉｏｎ，ａｎｄ Ｌｅｘｉｃ ｏｇｒａｐｈｙ」，Ｃｏｍｐｕｔａｔｉ ｏｎａｌ Ｌｉｎｇｕｉｓｔｉｃｓ，Ｖ ｏｌ．16，Ｎｏ．１，1990年３月，ｐ. 22−29 森田、小川、小林，「ファジィ文書検 索システム（１）実験システムと評価 〜」，情報処理学会第39回（平成元年度 後期）全国大会講演論文集（▲ＩＩ ▼），平成１年10月16日，ｐ．1067− 1068 北村、松本，「対訳コーパス中の共起 頻度に基づく対訳表現の自動抽出」，電 子情報通信学会技術研究報告，Ｖｏｌ. 96，Ｎｏ．157（ＭＬＣ96−９〜20）, 平成８年７月18日，ｐ．69−76 (58)調査した分野(Int.Cl.7，ＤＢ名) G06F 17/30 ＪＩＣＳＴファイル（ＪＯＩＳ)

Claims (6)

    (57)【特許請求の範囲】
  1. 【請求項１】 文書を識別する文書識別子およびその文
    書内に含まれる単語とを組にして記憶している文書情報
    記憶手段と、 前記文書情報記憶手段に記憶されている文書内の特定の
    文書集合を検索する検索条件を入力する検索条件入力手
    段と、 前記検索条件入力手段により入力された検索条件に適合
    する文書を前記文書情報記憶手段より検索する検索手段
    と、 前記検索手段により検索された文書内に含まれる単語の
    うち、任意の単語を関連語探索単語とし、前記関連語探
    索単語以外の単語を関連語候補とするキーワード特定手
    段と、 前記関連語探索単語と前記関連語候補中の一つの単語と
    が、前記検索手段により検索された文書の中の一つの文
    書内に含まれる確率である同時出現確率を、前記関連語
    候補中の単語ごとに求める同時出現確率算出手段と、 前記関連語探索単語が、前記文書情報記憶手段に記憶さ
    れている文書の中の一つの文書内に含まれる確率を求め
    る第１の単独出現確率算出手段と、 前記関連語候補中の一つの単語が前記文書情報記憶手段
    に記憶されている文書の中の一つの文書内に含まれる確
    率を、前記関連語候補中の単語ごとに求める第２の単独
    出現確率算出手段と、 前記第１の単独出現確率算出手段により求められた確率
    と、第２の単独出現確率算出手段により求められた確率
    との積または和を、前記関連語候補中の単語ごとに計算
    する計算手段と、 前記関連語候補中の単語ごとに、同時出現確率算出手段
    により求められた前記同時出現確率と前記計算手段によ
    り計算された値との比率を求め、各単語の比率に応じて
    単語を抽出する単語抽出手段と、 を具備することを特徴とする文書処理装置。
  2. 【請求項２】 複数の単語を含む項目を識別する項目識
    別子とその項目内に含まれる単語とを組にして記憶して
    いる項目記憶手段と、 前記項目記憶手段に記憶されている項目内の特定の項目
    集合を検索する検索条件を入力する検索条件入力手段
    と、 前記検索条件入力手段により入力された検索条件に適合
    する項目を前記項目記憶手段より検索する検索手段と、 前記検索手段により検索された項目内に含まれる単語の
    うち、任意の単語を関連語探索単語とし、前記関連語探
    索単語以外の単語を関連語候補とするキーワード特定手
    段と、 前記関連語探索単語と前記関連語候補中の一つの単語と
    が、前記検索手段により検索された項目の中の一つの項
    目内に含まれる確率である同時出現確率を、前記関連語
    候補中の単語ごとに求める同時出現確率算出手段と、 前記関連語探索単語が、前記項目記憶手段に記憶されて
    いる項目の中の一つの項目内に含まれる確率を求める第
    １の単独出現確率算出手段と、 前記関連語候補中の一つの単語が前記項目記憶手段に記
    憶されている項目の中の一つの項目内に含まれる確率
    を、前記関連語候補中の単語ごとに求める第２の単独出
    現確率算出手段と、 前記第１の単独出現確率算出手段により求められた確率
    と、第２の単独出現確率算出手段により求められた確率
    との積または和を、前記関連語候補中の単語ごとに計算
    する計算手段と、 前記関連語候補中の単語ごとに、同時出現確率算出手段
    により求められた前記同時出現確率と前記計算手段によ
    り計算された値との比率を求め、各単語ごとの比率に応
    じて単語を抽出する関連語抽出手段と、 を具備することを特徴とする単語抽出装置。
  3. 【請求項３】 複数の単語を含む項目を識別する項目識
    別子とその項目内に含まれる単語とを組にして記憶して
    いる項目記憶手段と、 前記項目記憶手段に記憶されている項目内の特定の項目
    集合を検索する索条件を入力する検索条件入力手段と、 前記検索条件入力手段により入力された検索条件に適合
    する項目を前記項目記憶手段より検索する検索手段と、 前記検索手段により検索された項目内に含まれる単語の
    うち、任意の単語を関連語探索単語とし、前記関連語探
    索単語以外の単語を関連語候補とするキーワード特定手
    段と、 前記関連語探索単語と前記関連語候補中の一つの単語と
    が、前記検索手段により検索された項目の中の一つの項
    目内に含まれる確率である同時出現確率を、前記関連語
    候補中の単語ごとに求める同時出現確率算出手段と、 前記関連語探索単語が、前記項目記憶手段に記憶されて
    いる項目の中の一つの項目内に含まれる確率を求める第
    １の単独出現確率算出手段と、 前記関連語候補中の一つの単語が前記項目記憶手段に記
    憶されている項目の中の一つの項目内に含まれる確率
    を、前記関連語候補中の単語ごとに求める第２の単独出
    現確率算出手段と、 前記第１の単独出現確率算出手段により求められた確率
    と、第２の単独出現確率算出手段により求められた確率
    との積または和を、前記関連語候補中の単語ごとに計算
    する計算手段と、 前記関連語候補中の単語ごとに、同時出現確率算出手段
    により求められた前記同時出現確率と前記計算手段によ
    り計算された値とを用いた統計量を求め、各単語の統計
    量に応じて単語を抽出する関連語抽出手段と、 を具備することを特徴とする単語抽出装置。
  4. 【請求項４】 前記関連語抽出手段は、前記統計量とし
    て相互情報量、Ｄｉｃｅ−ｃｏｅｆｆｉｃｉｅｎｔまた
    はｔ−ｓｃｏｒｅを用い、前記統計量が所定の閾値以上
    であり、かつその統計量の大きい単語を関連語として抽
    出することを特徴とする請求項３記載の単語抽出装置。
  5. 【請求項５】 前記検索手段で検索された項目を表示す
    る表示手段をさらに具備することを特徴とする請求項３
    記載の単語抽出装置。
  6. 【請求項６】 複数の単語を含む項目を識別する項目識
    別子とその項目内に含まれる単語とを組にして記憶して
    いる項目記憶手段を具備し、前記項目記憶手段に記憶さ
    れている項目を検索する情報検索装置の単語抽出方法に
    おいて、前記項目記憶手段に記憶されている項目内の特
    定の項目集合を検索する検索条件を入力する第１のステ
    ップと、 前記第１のステップにより入力された検索条件に適合す
    る項目を前記項目記憶手段より検索する第２のステップ
    と、 前記第２のステップにより検索された項目内に含まれる
    単語のうち、任意の単語を関連語探索単語とし、前記関
    連語探索単語以外の単語を関連語候補とする第３のステ
    ップと、 前記関連語探索単語と前記関連語候補中の一つの単語と
    が、前記第２のステップにより検索された項目の中の一
    つの項目内に含まれる確率である同時出現確率を、前記
    関連語候補中の単語ごとに求める第４のステップと、 前記関連語探索単語が、前記項目記憶手段に記憶されて
    いる項目の中の一つの項目内に含まれる確率を求める第
    ５のステップと、 前記関連語候補中の一つの単語が前記項目記憶手段に記
    憶されている項目の中の一つの項目内に含まれる確率
    を、前記関連語候補中の単語ごとに求める第６のステッ
    プと、 前記第５のステップにより求められた確率と、前記第６
    のステップにより求められた確率との積または和を、前
    記関連語候補中の単語ごとに計算する第７のステップ
    と、 前記関連語候補中の単語ごとに、前記第４のステップに
    より求められた前記同時出現確率と前記第７のステップ
    により計算された値とを用いた統計量を求め、各単語の
    統計量に応じて単語を抽出する第８のステップと、 を具備することを特徴とする単語抽出方法。
JP08290789A 1996-10-31 1996-10-31 文書処理装置、単語抽出装置及び単語抽出方法 Expired - Fee Related JP3099756B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP08290789A JP3099756B2 (ja) 1996-10-31 1996-10-31 文書処理装置、単語抽出装置及び単語抽出方法
US08/933,113 US5905980A (en) 1996-10-31 1997-09-18 Document processing apparatus, word extracting apparatus, word extracting method and storage medium for storing word extracting program
JP2000112348A JP3584848B2 (ja) 1996-10-31 2000-04-13 文書処理装置、項目検索装置及び項目検索方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP08290789A JP3099756B2 (ja) 1996-10-31 1996-10-31 文書処理装置、単語抽出装置及び単語抽出方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2000112348A Division JP3584848B2 (ja) 1996-10-31 2000-04-13 文書処理装置、項目検索装置及び項目検索方法

Publications (2)

Publication Number Publication Date
JPH10134075A JPH10134075A (ja) 1998-05-22
JP3099756B2 true JP3099756B2 (ja) 2000-10-16

Family

ID=17760527

Family Applications (1)

Application Number Title Priority Date Filing Date
JP08290789A Expired - Fee Related JP3099756B2 (ja) 1996-10-31 1996-10-31 文書処理装置、単語抽出装置及び単語抽出方法

Country Status (2)

Country Link
US (1) US5905980A (ja)
JP (1) JP3099756B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000331032A (ja) * 1996-10-31 2000-11-30 Fuji Xerox Co Ltd 文書処理装置、単語抽出装置及び単語抽出方法

Families Citing this family (88)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6498921B1 (en) * 1999-09-01 2002-12-24 Chi Fai Ho Method and system to answer a natural-language question
US5836771A (en) * 1996-12-02 1998-11-17 Ho; Chi Fai Learning method and system based on questioning
US6154757A (en) * 1997-01-29 2000-11-28 Krause; Philip R. Electronic text reading environment enhancement method and apparatus
JPH10307846A (ja) * 1997-03-03 1998-11-17 Toshiba Corp ドキュメント情報管理システム、ドキュメント情報管理方法、及びドキュメント検索方法
JP3173411B2 (ja) * 1997-03-17 2001-06-04 富士ゼロックス株式会社 関連文書検索装置及び関連文書検索プログラムを記録した記録媒体
US6128613A (en) * 1997-06-26 2000-10-03 The Chinese University Of Hong Kong Method and apparatus for establishing topic word classes based on an entropy cost function to retrieve documents represented by the topic words
JP3114703B2 (ja) * 1998-07-02 2000-12-04 富士ゼロックス株式会社 対訳文検索装置
US6405188B1 (en) * 1998-07-31 2002-06-11 Genuity Inc. Information retrieval system
US6314502B1 (en) 1998-11-12 2001-11-06 Ricoh Co., Ltd. Method and apparatus for opportunistic queue processing
US6978297B1 (en) * 1998-11-12 2005-12-20 Ricoh, Co., Ltd. System and method of managing queues by maintaining metadata files having attributes corresponding to capture of electronic document and using the metadata files to selectively lock the electronic document
US7039688B2 (en) * 1998-11-12 2006-05-02 Ricoh Co., Ltd. Method and apparatus for automatic network configuration
JP3022539B1 (ja) * 1999-01-07 2000-03-21 富士ゼロックス株式会社 文書検索装置
US6631373B1 (en) * 1999-03-02 2003-10-07 Canon Kabushiki Kaisha Segmented document indexing and search
US6269361B1 (en) * 1999-05-28 2001-07-31 Goto.Com System and method for influencing a position on a search result list generated by a computer network search engine
JP3918374B2 (ja) 1999-09-10 2007-05-23 富士ゼロックス株式会社 文書検索装置および方法
US7386599B1 (en) 1999-09-30 2008-06-10 Ricoh Co., Ltd. Methods and apparatuses for searching both external public documents and internal private documents in response to single search request
US7239406B1 (en) 1999-09-30 2007-07-03 Ricoh Co., Ltd System for capturing facsimile data in an electronic document management system
US6772338B1 (en) 1999-10-26 2004-08-03 Ricoh Co., Ltd. Device for transfering data between an unconscious capture device and another device
EP1102472B1 (en) * 1999-11-12 2002-12-04 Ricoh Company, Ltd. Capturing facsimile data in an electronic document management system
DE60044423D1 (de) * 2000-02-03 2010-07-01 Hitachi Ltd Verfahren und Gerät zum Wiederauffinden und Ausgeben von Dokumenten und Speichermedium mit entspechendem Program
US7333983B2 (en) 2000-02-03 2008-02-19 Hitachi, Ltd. Method of and an apparatus for retrieving and delivering documents and a recording media on which a program for retrieving and delivering documents are stored
GB2362238A (en) 2000-05-12 2001-11-14 Applied Psychology Res Ltd Automatic text classification
US20020099730A1 (en) * 2000-05-12 2002-07-25 Applied Psychology Research Limited Automatic text classification system
US7322047B2 (en) 2000-11-13 2008-01-22 Digital Doors, Inc. Data security system and method associated with data mining
US7669051B2 (en) * 2000-11-13 2010-02-23 DigitalDoors, Inc. Data security system and method with multiple independent levels of security
US7146644B2 (en) * 2000-11-13 2006-12-05 Digital Doors, Inc. Data security system and method responsive to electronic attacks
US7313825B2 (en) * 2000-11-13 2007-12-25 Digital Doors, Inc. Data security system and method for portable device
US7140044B2 (en) * 2000-11-13 2006-11-21 Digital Doors, Inc. Data security system and method for separation of user communities
US8176563B2 (en) * 2000-11-13 2012-05-08 DigitalDoors, Inc. Data security system and method with editor
US7103915B2 (en) * 2000-11-13 2006-09-05 Digital Doors, Inc. Data security system and method
US8677505B2 (en) * 2000-11-13 2014-03-18 Digital Doors, Inc. Security system with extraction, reconstruction and secure recovery and storage of data
US7191252B2 (en) * 2000-11-13 2007-03-13 Digital Doors, Inc. Data security system and method adjunct to e-mail, browser or telecom program
US7546334B2 (en) 2000-11-13 2009-06-09 Digital Doors, Inc. Data security system and method with adaptive filter
US7349987B2 (en) * 2000-11-13 2008-03-25 Digital Doors, Inc. Data security system and method with parsing and dispersion techniques
US9311499B2 (en) * 2000-11-13 2016-04-12 Ron M. Redlich Data security system and with territorial, geographic and triggering event protocol
DE10057634C2 (de) * 2000-11-21 2003-01-30 Bosch Gmbh Robert Verfahren zur Verarbeitung von Text in einer Rechnereinheit und Rechnereinheit
US20020133585A1 (en) * 2001-03-13 2002-09-19 Deming Douglas R. Computer program for recording and selective playback of a communication involving the hypertext transfer protocol
US20020133450A1 (en) * 2001-03-13 2002-09-19 Deming Douglas R. Hypertext transfer protocol application programming interface between client-side trading systems and server-side stock trading systems
US20050044274A1 (en) * 2001-03-13 2005-02-24 Deming Douglas R. Methods of handling automated trading
AU2006203729B2 (en) * 2001-11-26 2008-07-31 Fujitsu Limited Information analyzing method and apparatus
US7814043B2 (en) * 2001-11-26 2010-10-12 Fujitsu Limited Content information analyzing method and apparatus
US20030157470A1 (en) * 2002-02-11 2003-08-21 Michael Altenhofen E-learning station and interface
US20040049505A1 (en) * 2002-09-11 2004-03-11 Kelly Pennock Textual on-line analytical processing method and system
US7249312B2 (en) * 2002-09-11 2007-07-24 Intelligent Results Attribute scoring for unstructured content
JP2004280488A (ja) * 2003-03-17 2004-10-07 Hitachi Ltd 文書管理方法及び文書管理装置
US8533840B2 (en) * 2003-03-25 2013-09-10 DigitalDoors, Inc. Method and system of quantifying risk
JP2004348241A (ja) * 2003-05-20 2004-12-09 Hitachi Ltd 情報提供方法、サーバ及びプログラム
US20050010764A1 (en) * 2003-06-26 2005-01-13 International Business Machines Corporation System and method for securely transmitting, and improving the transmission of, tag based protocol files containing proprietary information
US7383262B2 (en) * 2004-06-29 2008-06-03 Microsoft Corporation Ranking database query results using probabilistic models from information retrieval
US20060074980A1 (en) * 2004-09-29 2006-04-06 Sarkar Pte. Ltd. System for semantically disambiguating text information
JP4008954B2 (ja) 2004-10-29 2007-11-14 松下電器産業株式会社 情報検索装置
JPWO2006051966A1 (ja) * 2004-11-12 2008-05-29 株式会社ジャストシステム 文書管理装置及び文書管理方法
WO2006073095A1 (ja) 2005-01-07 2006-07-13 Matsushita Electric Industrial Co., Ltd. 連想辞書作成装置
US9092523B2 (en) 2005-02-28 2015-07-28 Search Engine Technologies, Llc Methods of and systems for searching by incorporating user-entered information
US7392253B2 (en) * 2005-03-03 2008-06-24 Microsoft Corporation System and method for secure full-text indexing
JP4524640B2 (ja) * 2005-03-31 2010-08-18 ソニー株式会社 情報処理装置および方法、並びにプログラム
US7953720B1 (en) 2005-03-31 2011-05-31 Google Inc. Selecting the best answer to a fact query from among a set of potential answers
US7587387B2 (en) 2005-03-31 2009-09-08 Google Inc. User interface for facts query engine with snippets from information sources that include query terms and answer terms
US8239394B1 (en) 2005-03-31 2012-08-07 Google Inc. Bloom filters for query simulation
US8688673B2 (en) * 2005-09-27 2014-04-01 Sarkar Pte Ltd System for communication and collaboration
JP4980604B2 (ja) * 2005-11-11 2012-07-18 株式会社リコー 文書検索装置、文書検索方法、文書検索プログラム及び記録媒体
US8055674B2 (en) * 2006-02-17 2011-11-08 Google Inc. Annotation framework
US7925676B2 (en) 2006-01-27 2011-04-12 Google Inc. Data object visualization using maps
US20070185870A1 (en) 2006-01-27 2007-08-09 Hogue Andrew W Data object visualization using graphs
US8954426B2 (en) * 2006-02-17 2015-02-10 Google Inc. Query language
EP1835418A1 (en) * 2006-03-14 2007-09-19 Hewlett-Packard Development Company, L.P. Improvements in or relating to document retrieval
US8954412B1 (en) 2006-09-28 2015-02-10 Google Inc. Corroborating facts in electronic documents
US8655939B2 (en) * 2007-01-05 2014-02-18 Digital Doors, Inc. Electromagnetic pulse (EMP) hardened information infrastructure with extractor, cloud dispersal, secure storage, content analysis and classification and method therefor
US9015301B2 (en) * 2007-01-05 2015-04-21 Digital Doors, Inc. Information infrastructure management tools with extractor, secure storage, content analysis and classification and method therefor
US8468244B2 (en) 2007-01-05 2013-06-18 Digital Doors, Inc. Digital information infrastructure and method for security designated data and with granular data stores
US8347202B1 (en) 2007-03-14 2013-01-01 Google Inc. Determining geographic locations for place names in a fact repository
US8239751B1 (en) 2007-05-16 2012-08-07 Google Inc. Data from web documents in a spreadsheet
CN101606155B (zh) * 2007-08-09 2013-03-13 松下电器产业株式会社 内容检索装置
JP5161658B2 (ja) 2008-05-30 2013-03-13 株式会社東芝 キーワード入力支援装置、キーワード入力支援方法及びプログラム
JP2009080842A (ja) * 2008-12-12 2009-04-16 Ricoh Co Ltd 文書検索装置、文書検索方法、文書検索プログラム、及び記録媒体
US8719701B2 (en) * 2009-01-02 2014-05-06 Apple Inc. Identification of guides and gutters of a document
US9087059B2 (en) * 2009-08-07 2015-07-21 Google Inc. User interface for presenting search results for multiple regions of a visual query
US9135277B2 (en) 2009-08-07 2015-09-15 Google Inc. Architecture for responding to a visual query
US20110314001A1 (en) * 2010-06-18 2011-12-22 Microsoft Corporation Performing query expansion based upon statistical analysis of structured data
US9495334B2 (en) * 2012-02-01 2016-11-15 Adobe Systems Incorporated Visualizing content referenced in an electronic document
US20150074127A1 (en) * 2013-09-10 2015-03-12 Microsoft Corporation Creating Visualizations from Data in Electronic Documents
WO2015086824A1 (en) * 2013-12-13 2015-06-18 Danmarks Tekniske Universitet Method of and system for information retrieval
WO2016151690A1 (ja) * 2015-03-20 2016-09-29 株式会社 東芝 文書検索装置、方法及びプログラム
GB2537927A (en) 2015-04-30 2016-11-02 Fujitsu Ltd Term Probabilistic Model For Co-occurrence Scores
JP6711678B2 (ja) * 2016-04-13 2020-06-17 キヤノン株式会社 情報処理システム、情報処理方法及びプログラム
JP6847812B2 (ja) * 2017-10-25 2021-03-24 株式会社東芝 文書理解支援装置、文書理解支援方法、およびプログラム
CN109885180B (zh) * 2019-02-21 2022-12-06 北京百度网讯科技有限公司 纠错方法和装置、计算机可读介质
CN113361275A (zh) * 2021-08-10 2021-09-07 北京优幕科技有限责任公司 演讲稿逻辑结构评价方法和设备

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02297290A (ja) * 1989-05-11 1990-12-07 Fuji Xerox Co Ltd 検索装置
US5488725A (en) * 1991-10-08 1996-01-30 West Publishing Company System of document representation retrieval by successive iterated probability sampling
US5265065A (en) * 1991-10-08 1993-11-23 West Publishing Company Method and apparatus for information retrieval from a database by replacing domain specific stemmed phases in a natural language to create a search query
US5576954A (en) * 1993-11-05 1996-11-19 University Of Central Florida Process for determination of text relevancy
US5694559A (en) * 1995-03-07 1997-12-02 Microsoft Corporation On-line help method and system utilizing free text query
US5749081A (en) * 1995-04-06 1998-05-05 Firefly Network, Inc. System and method for recommending items to a user
US5737734A (en) * 1995-09-15 1998-04-07 Infonautics Corporation Query word relevance adjustment in a search of an information retrieval system

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Ｋ．Ｗ．Ｃｈｕｒｃｈ、Ｐ．Ｈａｎｋｓ，「Ｗｏｒｄ Ａｓｓｏｃｉａｔｉｏｎ Ｎｏｒｍｓ，Ｍｕｔｕａｌ Ｉｎｆｏｒｍａｔｉｏｎ，ａｎｄ Ｌｅｘｉｃｏｇｒａｐｈｙ」，Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｌｉｎｇｕｉｓｔｉｃｓ，Ｖｏｌ．１６，Ｎｏ．１，１９９０年３月，ｐ．２２−２９
北村、松本，「対訳コーパス中の共起頻度に基づく対訳表現の自動抽出」，電子情報通信学会技術研究報告，Ｖｏｌ．９６，Ｎｏ．１５７（ＭＬＣ９６−９〜２０），平成８年７月１８日，ｐ．６９−７６
森田、小川、小林，「ファジィ文書検索システム（１）実験システムと評価〜」，情報処理学会第３９回（平成元年度後期）全国大会講演論文集（▲ＩＩ▼），平成１年１０月１６日，ｐ．１０６７−１０６８

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000331032A (ja) * 1996-10-31 2000-11-30 Fuji Xerox Co Ltd 文書処理装置、単語抽出装置及び単語抽出方法

Also Published As

Publication number Publication date
US5905980A (en) 1999-05-18
JPH10134075A (ja) 1998-05-22

Similar Documents

Publication Publication Date Title
JP3099756B2 (ja) 文書処理装置、単語抽出装置及び単語抽出方法
Clifton et al. Topcat: Data mining for topic identification in a text corpus
Larkey A patent search and classification system
US8051080B2 (en) Contextual ranking of keywords using click data
US5848407A (en) Hypertext document retrieving apparatus for retrieving hypertext documents relating to each other
JP4241934B2 (ja) テキスト処理及び検索システム及び方法
US7949648B2 (en) Compiling and accessing subject-specific information from a computer network
US10552467B2 (en) System and method for language sensitive contextual searching
US20090070322A1 (en) Browsing knowledge on the basis of semantic relations
JP3584848B2 (ja) 文書処理装置、項目検索装置及び項目検索方法
JPH0778182A (ja) キーワード付与システム
US20050114317A1 (en) Ordering of web search results
JP4967133B2 (ja) 情報取得装置、そのプログラム及び方法
Benitez et al. Semantic knowledge construction from annotated image collections
JP3431836B2 (ja) ドキュメントデータベースの検索支援方法とそのプログラムを記憶した記憶媒体
JP2014102625A (ja) 情報検索システム、プログラム、および方法
Kahloula et al. Plagiarism Detection in Arabic Documents: Approaches, Architecture and Systems.
JP2002032394A (ja) 関連語情報作成装置、関連語提示装置、文書検索装置、関連語情報作成方法、関連語提示方法、文書検索方法および記憶媒体
JP2003216634A (ja) 情報検索システム
Dhanapal An intelligent information retrieval agent
WO2009035871A1 (en) Browsing knowledge on the basis of semantic relations
US20150046437A1 (en) Search Method
JP2005316590A (ja) 情報検索装置
Boddu ELIMINATE THE NOISY DATA FROM WEB PAGES USING DATA MINING TECHNIQUES.
Murata Detection of breaking news from online web search queries

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20070818

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080818

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090818

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100818

Year of fee payment: 10

LAPS Cancellation because of no payment of annual fees