JP4574186B2 - 重要言語識別方法、重要言語識別プログラム、重要言語識別装置、文書検索装置およびキーワード抽出装置 - Google Patents

Description

本発明は、入力された自然言語中の重要語を識別する重要言語識別方法、重要言語識別プログラム、重要言語識別装置、文書検索装置およびキーワード抽出装置に関する。

従来、自然言語による入力を検索条件とする文書検索においては、検索条件となっている文章中あるいは文書中から抽出された全単語から、真に検索に有用な重要語のみを識別する技術が採用されている。検索条件から抽出された各単語の重要度を算定するのに、従来から用いられてきたのは、単語の検索条件中での出現頻度である。すなわち、検索条件の中で繰り返し用いられている単語がそうでない単語よりも重要とみなされる。この場合、検索が行われるたびに、そこで与えられている検索条件のみに基づいて単語の重要度が判断される（例えば、特許文献１，２を参照。）。

一方、それらとは別に、過去の検索時の情報を後の検索に利用する方法もいくつか提案されている（例えば、特許文献３〜５を参照。）。特に、特許文献４に記載の技術は、過去の検索語の履歴を保存し、それを後の検索時に検索語候補として提示する。これにより、検索語が適切でなかった場合に検索条件を補正することができる。

特開平５−３２４７３３号公報 特開２００１−２９０８４０号公報 特開２０００−２２７９２２号公報 特開２００２−７４５０号公報 特開２００２−２３６６９９号公報

しかしながら、上記従来技術のように、単語の検索条件中での出現頻度を基に重要語を識別するのでは、検索条件の中で繰り返し用いられている単語がそうでない単語よりも重要とは限らないので、重要語として識別するための精度に問題がある。

例えば、特許文献４に開示された技術は、過去の検索語を検索語候補として提示する際に、検索対象や検索目的が限定されている状況での検索を想定している。したがって、このような制約のない場合には、実際に過去の検索語が適用できる場合は極めて限られるので、重要語として識別するための有効性は薄い。特に、検索条件として、単語だけでなく、ある程度長い文章も入力できるシステムでは、検索語候補である単語を予測提示しても、それが実際にユーザが入力しようとしている検索条件と一致する可能性は極めて低い。

本発明は、上述した従来技術による問題点を解消するため、ユーザが検索に不可欠と考える単語を重要語と識別し、ユーザの検索意図が十分に反映された重要語に基づく検索を支援する重要言語識別方法および重要言語識別プログラム、重要言語識別装置を提供することを目的とする。さらに、その重要言語識別装置を備えた文書検索装置、キーワード抽出装置を提供することも本発明の目的としている。

上述した課題を解決し、目的を達成するため、請求項１にかかる重要言語識別装置は、検索語候補の単語から重要言語を識別する重要言語識別装置であって、ユーザが入力した単語を含む検索条件を受け付ける検索条件受付手段と、前記検索条件受付手段で受け付けられた検索条件から検索語候補の単語を抽出する検索語候補抽出手段と、前記検索語候補抽出手段で抽出された前記検索語候補の単語が出現する出現頻度の累積値を記憶する記憶手段と、前記検索語候補抽出手段で抽出された前記検索語候補の単語の重要度を算定する単語重要度算定手段と、を有し、前記抽出された検索語候補の単語の数が所定数以下の場合は、前記単語重要度算定手段が、前記検索語候補の単語を重要語とし、前記記憶手段が、前記検索語候補の単語に対応して前記検索語候補の単語の前記検索条件で出現した出現頻度を前記記憶手段に記憶されている前記累積値に加算した値を新たな累積値として記憶し、前記抽出された前記検索語候補の単語の数が所定数を超える場合は、前記単語重要度算定手段が、前記抽出された検索語候補の単語の前記出現頻度と、前記記憶手段に記憶されている該検索語候補の単語に対応する前記累積値とを用いて所定の演算を行い、前記検索語候補の単語の重要度を算定することを特徴とする。

この請求項１に記載の発明によれば、抽出された検索語候補のうちユーザの検索意図を十分に反映しているものをその重要度により把握することができる。

また、請求項２にかかる重要言語識別方法は、検索語候補の単語から重要言語を識別する重要言語識別方法であって、重要言語識別装置が、前記検索語候補の単語が出現する出現頻度の累積値を記憶する記憶手段を備え、前記重要言語識別方法は、前記重要言語識別装置が、ユーザが入力した単語を含む検索条件を受け付ける検索条件受付工程と、前記検索条件受付工程で受け付けられた検索条件から検索語候補の単語を抽出する検索語候補抽出工程と、前記検索語候補抽出工程で抽出された検索語候補の単語の数が所定数以下の場合は、前記検索語候補の単語に対応して前記検索語候補の単語の前記検索条件で出現した出現頻度を前記記憶手段に記憶されている累積値に加算した値を新たな累積値として記憶手段に記憶する記憶工程と、を含み、前記抽出された検索語候補の単語の数が所定数以下の場合は、前記単語重要度算定工程で、前記検索語候補の単語を重要語とし、前記記憶工程で、前記検索語候補の単語に対応して前記検索語候補の単語の前記検索条件で出現した出現頻度を前記記憶手段に記憶されている前記累積値に加算した値を新たな累積値として記憶し、前記抽出された前記検索語候補の単語の数が所定数を超える場合は、前記単語重要度算定工程で、前記抽出された検索語候補の単語の前記出現頻度と、前記記憶手段に記憶されている該検索語候補の単語に対応する前記累積値とを用いて所定の演算を行い、前記検索語候補の単語の重要度を算定することを特徴とする。

この請求項８に記載の発明によれば、抽出された検索語候補のうちユーザの検索意図を十分に反映しているものをその重要度により把握することができる。

また、請求項３に記載の重要言語識別プログラムは、請求項２に記載の重要言語識別方法をコンピュータに実行させることを特徴とする。

この請求項３に記載の発明によれば、請求項２に記載の重要言語識別方法をコンピュータに実行させることができる。

本発明にかかる重要言語識別方法および重要言語識別プログラム、重要言語識別装置によれば、短い検索条件で用いられた、ユーザが検索に不可欠と考える検索語を、長い検索条件においても重要とみなすことで、ユーザの検索意図が十分に反映された重要語を正確に識別できるという効果を奏する。さらに、この重要言語識別装置を文書検索装置に適用することで、ユーザの検索意図が十分に反映された検索語に基づく文書検索が可能になる。また、この重要言語識別装置をキーワード抽出装置に適用することで、ユーザの検索意図に合致したキーワード抽出ができる。

以下に添付図面を参照して、本発明にかかる重要言語識別方法および重要言語識別プログラム、重要言語識別装置、文書検索装置、キーワード抽出装置の好適な実施の形態を詳細に説明する。

（重要言語識別装置のハードウェア構成）
まず、本発明の実施の形態にかかる重要言語識別装置のハードウェア構成について説明する。図１は、この重要言語識別装置のハードウェア構成を示す図である。この重要言語識別装置１００は、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、ハードディスク１０４、入力手段１０５、表示手段１０６、記憶媒体読取手段１０７、および通信インターフェース（Ｉ／Ｆ）１０８が、バス１０９によって接続され構成されている。

ＣＰＵ１０１は、装置全体を制御する。ＲＯＭ１０２には、基本入出力プログラムが記憶されている。ＲＡＭ１０３は、ＣＰＵ１０１のワークエリアとして使用される。ハードディスク１０４は、ＣＰＵ１０１の制御にしたがいデータの書き込み／読み出しを行う。入力手段１０５は、キーボードやマウス等からなり、文字、数字、データの入力や、表示手段１０６に表示されるカーソルの移動や範囲選択、あるいはウインドウの移動やサイズの変更等を行う。表示手段１０６は、カーソル、アイコンあるいはツールボックスをはじめ、文書、画像、機能情報等のデータを表示する。記憶媒体読取手段１０７は、ＣＰＵ１０１の制御にしたがって、着脱可能な記憶媒体であるＣＤ／ＤＶＤディスク１１０からのデータの読み取りを制御する。通信インターフェース１０８は、ネットワーク２００に接続され、このネットワーク２００と重要言語識別装置１００とのインターフェースとして機能する。

（重要言語識別装置を含むネットワーク構成）
次に、この重要言語識別装置を含むネットワーク構成を説明する。図２は、この重要言語識別装置を含むネットワーク構成を示す概略図である。図１に示したように、重要言語識別装置１００は、ネットワーク２００に接続可能な通信インターフェース１０８を備えている。そこで、図２に示すように、複数の重要言語識別装置１００をネットワーク２００に接続することで、ネットワーク２００に接続されているサーバ２０１を仲介した各重要言語識別装置１００間でのデータの送受信が可能になる。

（重要言語識別装置の機能的構成）
続いて、この重要言語識別装置の機能的構成について説明する。図３は、この重要言語識別装置の機能的構成を示すブロック図である。重要言語識別装置１００は、検索条件受付部３０１、検索語選出部３０２、および単語重要度算定部３０３を含み構成される。検索条件受付部３０１は、ユーザが入力手段１０５から入力した検索条件を受け付ける。検索語選出部３０２は、検索条件受付部３０１が受け付けた検索条件を形態素解析によって単語に分割する。そして、分割された単語群から助詞等検索に不適な単語を不要語として取り除き、残った単語を検索語候補として抽出する。単語重要度算定部３０３は、検索語選出部３０２で抽出された検索語候補の重要度（どの程度ユーザの検索意図が反映されているか）を算定する。そして、検索語選出部３０２は、単語重要度算定部３０３が算定した各検索語候補の重要度に基づいて、適切な検索語を選出する。

ところで、この重要言語識別装置１００において検索語候補の重要度を算定する際、次のことがいえる。すなわち、検索条件受付部３０１で受け付ける検索条件が短い場合（例えば、検索条件が数語程度からなる文節の形式である場合等）、検索条件中の各単語のほとんどが、ユーザが吟味の上、検索に不要な単語を除去し不可欠であるとみなした重要語であると考えられる。すなわち、検索条件中の各単語はユーザの検索意図が直接反映されている蓋然性が非常に高い。一方、検索条件が長い場合（例えば、検索条件が多く単語を含む文章全体である場合等）、そこに含まれる単語をすべて検索語とすることは、検索のためにはさほど重要でないかまたは不要である単語を含んでいる可能性が高いため、好ましくない。したがって、検索条件として入力された単語群のなかから重要である単語のみを検索語として選出することが好ましい。

そこで、重要言語識別装置１００では、検索条件受付部３０１が受け付けた検索条件が短く、検索語選出部３０２で抽出された検索語候補（単語）数が所定数（例えば３〜５語程度）以下の場合は、単語重要度算定部３０３が、それら検索語候補をすべて同一レベルの重要語とみなす。加えて、単語重要度算定部３０３は、重要語と認識された検索語候補の出現頻度を把握し、把握結果（累積値）をハードディスク１０４に記憶しておく。

一方、検索条件受付部３０１が受け付けた検索条件が長く、検索語選出部３０２で抽出された検索語候補数が所定数を超える場合は、単語重要度算定部３０３は、まず、長い検索条件から検索語候補として新たに検索語選出部３０２において抽出された各単語の出現頻度を算出する（第１段階）。次に、単語重要度算定部３０３は、第１段階で算出された各単語の出現頻度と、前記短い検索条件下で重要語と認識された同一検索語候補の出現頻度（累積値）との間で所定の演算（例えば、加法や乗法等）を行い（第２段階）、この結果を各検索語候補の重要度とする。すなわち、本発明の重要言語識別装置は、検索語候補の数が所定数を超える場合には、前記第１段階および前記第２段階の処理を行って、各検索語候補の重要度を求める。

そして、検索語選出部３０２は、前記検索語候補が所定数以下の場合は、単語重要度算定部３０３が同一レベルの重要語とみなしたすべての検索語候補を検索語として選出する。一方、前記検索語候補が所定数を超える場合は、単語重要度算定部３０３が算定した重要度に基づき前記検索語候補のなかから所定値以上の重要度を有するものを検索語として選出する。なお、所定値以上の重要度とは、例えば上位３〜５位までというように、ユーザがあらかじめ設定するものとする。また、この場合は、検索語として選出された単語やその出現頻度をハードディスク１０４に記憶させることはしない。長い検索条件において選出された検索語は、ユーザの意図が直接反映されているわけではないからである。

例えば、第１の検索条件として、「サーバー」、「クライアント」が入力されたとする。この第１の検索条件は２語であるため、短い検索条件となり、各単語の出現頻度として「サーバー」＝１、「クライアント」＝１が算出され、各値がそのまま各単語の出現頻度累積値として記憶される。

次に、第２の検索条件として、「サーバー」、「クライアント」、「ＪＡＶＡ（Ｒ）」が入力されたとする。この第２の検索条件も３語であるため、短い検索条件となり、各単語の出現頻度として「サーバー」＝１、「クライアント」＝１、「ＪＡＶＡ（Ｒ）」＝１が算出される。そして、各単語の出現頻度の累積値として、「サーバー」＝２、「クライアント」＝２、「ＪＡＶＡ（Ｒ）」＝１が記憶される。

さらに、第３の検索条件として、「サーバー」、「クライアント」、「ＪＡＶＡ（Ｒ）」、「インターネット」、「ウェブ」が入力されたとする。この第３の検索条件は５語であるため、長い検索条件となる。したがって、まず第１段階として第３の検索条件のみにおける各単語の出現頻度として、「サーバー」＝１、「クライアント」＝１、「ＪＡＶＡ（Ｒ）」＝１、「インターネット」＝１、「ウェブ」＝１が算出される。続いて、第２段階として、この第３の検索条件のみから求められた各単語の出現頻度と、同一単語の出現頻度の累積値との間で所定の演算を行い、これを各検索語候補の重要度とする。ここでは、各検索語候補の重要度を求めるための演算に乗法を用いるとすると、「サーバー」＝２、「クライアント」＝２、「ＪＡＶＡ（Ｒ）」＝１、「インターネット」＝０、「ウェブ」＝０が各検索語候補の重要度となる。

最後に、検索語が選出される。ここに示した例では、各検索語候補の重要度は、「サーバー」＝２、「クライアント」＝２、「ＪＡＶＡ（Ｒ）」＝１、「インターネット」＝０、「ウェブ」＝０であるので、重要度上位３位までの検索語候補を検索語として選出するとすれば、「サーバー」、「クライアント」、「ＪＡＶＡ（Ｒ）」が検索語として選出されることになる。

このようにすることにより、本発明の重要言語識別装置は、ユーザの検索意図を十分反映された単語を検索語として選出することが可能になる。

（重要語識別処理の手順）
次に、本発明の重要言語識別装置を用いた重要言語識別処理の手順について説明する。図４は、この重要言語識別処理の手順を示すフローチャートである。

まず、検索条件受付部３０１が、入力手段１０５からユーザにより入力された検索条件を受け付ける（ステップＳ４０１）。ここで入力される検索条件は、人間が特別な訓練なしに自然に習得し使用できる自然言語により設定される。

次に、検索語選出部３０２が、検索条件受付部３０１によって受け付けられた検索条件から検索語候補を抽出する（ステップＳ４０２）。具体的には、ユーザにより入力された検索条件を形態素解析によって単語に分割する。そして、分割された単語群から助詞等検索に不適な単語を不要語として取り除き、残った単語を検索語候補とする。

続いて、単語重要度算定部３０３が、検索語選出部３０２により抽出された検索語候補の数が所定数以下か否かを判断する（ステップＳ４０３）。基準となる検索語候補の数はユーザが任意に設定できるが、一般的には３〜５語程度が好ましい。抽出された検索語候補の数が所定数以下である場合（ステップＳ４０３：Ｙｅｓ）は、単語重要度算定部３０３が当該検索語候補をすべて重要語とみなし、重要語とされた各検索語候補の出現頻度（累積値）をハードディスク１０４に記憶する（ステップＳ４０４）。そして、検索語選出部３０２は、単語重要度算定部３０３が重要語とみなした検索語候補をすべて検索語として選出し（ステップＳ４０５）、処理を終了する。一方、抽出された検索語候補の数が所定数を超える場合（ステップＳ４０３：Ｎｏ）は、ステップＳ４０６へ進む。

ステップＳ４０３において、抽出された検索語候補の数が所定数を超える場合は（ステップＳ４０３：Ｎｏ）、単語重要度算定部３０３が前述した方法で検索語候補の重要度を算出する（ステップＳ４０６）。そして、検索語選出部３０２が、単語重要度算定部３０３が算定した検索語候補の重要度（例えば、上位３〜５位程度）に基づき、実際に用いる検索語を選出し（ステップＳ４０５）、処理を終了する。

本発明の重要言語識別方法では、以上のような手順を経ることにより、ユーザの検索意図が十分反映された単語を検索語として選出することが可能になる。

（文書検索装置）
次に、本発明の重要言語識別装置を備えた文書検索装置について説明する。図５は、この文書検索装置の機能的構成の一例を示すブロック図である。この文書検出装置は、重要言語識別装置１００、文書検索部５０１、および文書データベース５０２を含み構成される。そして、文書データベース５０２に格納されている文書データに対して、前述したような処理を経て重要言語識別装置１００で選出された検索語をもとに公知の方法により文書検索を行う。このように、重要言語識別装置１００で選出された検索語に基づいた文書検索を行うことで、よりユーザの検索意図に合致した文書検索が可能になる。

また、図５に示した文書検索装置において、検索語と関連する単語を関連語として選出し、この関連語による再検索を実行させることもできる。図６は、関連語による検索を可能とする文書検索装置の機能的構成を示すブロック図である。この文書検索装置は、図５に示した構成に加え、検索語選出部３０２で選出された検索語の関連語候補を抽出し、この関連語候補の重要度を単語重要語算定部３０３に算定させ、重要度の高い関連語候補を関連語として選出する関連語選出部６０１を備えている。そして、文書検索部５０１がその関連語に基づいて再検索を行う。このようにすることで、さらにユーザの検索意図に合致した文書検索が可能になる。

（キーワード抽出装置）
続いて、本発明の重要言語識別装置を備えたキーワード抽出装置について説明する。図７は、このキーワード抽出装置の機能的構成の一例を示すブロック図である。このキーワード抽出装置は、重要言語識別装置１００、入力文書受付部７０１、およびキーワード抽出部７０２を含み構成される。このキーワード抽出装置は、文書を検索するのではなく、入力された文章からキーワードを抽出するところが、図５および図６に示した文書検索装置とは異なる。このキーワード抽出装置では、まず、入力文書受付部７０１において、入力文章から形態素解析によりキーワード候補となる単語を抽出する。そして、キーワード抽出部７０２において、重要言語識別装置１００によって算定された単語の重要度を参照して、前記キーワード候補として抽出された各単語の重要度を算定し、重要度の高い単語をキーワードとして抽出する。このようにすることで、よりユーザの意図に合致したキーワード抽出が可能になる。

以上説明したように、本発明の重要言語識別方法および重要言語識別プログラム、重要言語識別装置によれば、短い検索条件で用いられた、ユーザが検索に不可欠と考える検索語を、長い検索条件においても重要とみなすことで、ユーザの検索意図が十分に反映された重要語を正確に識別できる。さらに、この重要言語識別装置を文書検索装置に適用することで、ユーザの検索意図が十分に反映された検索語に基づく文書検索が可能になる。また、この重要言語識別装置をキーワード抽出装置に適用することで、ユーザの検索意図に合致したキーワード抽出ができる。

なお、本実施の形態で説明した重要言語識別方法は、あらかじめ用意されたプログラムをパーソナル・コンピュータやワークステーション等のコンピュータで実行することにより実現することができる。このプログラムは、ハードディスク、フレキシブルディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。またこのプログラムは、インターネット等のネットワークを介して配布することが可能な伝送媒体であってもよい。

以上のように、本発明にかかる重要言語識別方法および重要言語識別プログラム、重要語識別装置は、ユーザが検索に不可欠と考える重要語をより正確に識別することに有用であり、特に、文書検索装置、キーワード抽出装置に適している。

本発明の実施の形態にかかる重要言語識別装置のハードウェア構成を示す図である。 重要言語識別装置を含むネットワーク構成を示す概略図である。 重要言語識別装置の機能的構成を示すブロック図である。 重要言語識別処理の手順を示すフローチャートである。 重要言語識別装置を備えた文書検索装置の機能的構成の一例を示すブロック図である。 重要言語識別装置を備えた文書検索装置の機能的構成の一例を示すブロック図である。 重要言語識別装置を備えたキーワード抽出装置の機能的構成の一例を示すブロック図である。

符号の説明

１００ 重要言語識別装置
１０１ ＣＰＵ
１０２ ＲＯＭ
１０３ ＲＡＭ
１０４ ハードディスク
１０５ 入力手段
１０６ 表示手段
１０７ 記憶媒体読取手段
１０８ 通信インターフェース（Ｉ／Ｆ）
１０９ バス
１１０ ＣＤ／ＤＶＤディスク
２００ ネットワーク
２０１ サーバ
３０１ 検索条件受付部
３０２ 検索語選出部
３０３ 単語重要度算定部
５０１ 文書検索部
５０２ 文書データベース
６０１ 関連語選出部
７０１ 入力文書受付部
７０２ キーワード抽出部

Claims (3)

1. 検索語候補の単語から重要言語を識別する重要言語識別装置であって、
   ユーザが入力した単語を含む検索条件を受け付ける検索条件受付手段と、
   前記検索条件受付手段で受け付けられた検索条件から検索語候補の単語を抽出する検索語候補抽出手段と、
   前記検索語候補抽出手段で抽出された前記検索語候補の単語が出現する出現頻度の累積値を記憶する記憶手段と、
   前記検索語候補抽出手段で抽出された前記検索語候補の単語の重要度を算定する単語重要度算定手段と、
   を有し、
   前記抽出された前記検索語候補の単語の数が所定数以下の場合は、
   前記単語重要度算定手段が、前記検索語候補の単語を重要語とし、
   前記記憶手段が、前記検索語候補の単語に対応して前記検索語候補の単語の前記検索条件で出現した出現頻度を前記記憶手段に記憶されている前記累積値に加算した値を新たな累積値として記憶し、
   前記抽出された前記検索語候補の単語の数が所定数を超える場合は、
   前記単語重要度算定手段が、
   前記抽出された検索語候補の単語の前記出現頻度と、前記記憶手段に記憶されている前記検索語候補の単語に対応する前記累積値とを用いて所定の演算を行い、前記検索語候補の単語の重要度を算定することを特徴とする重要言語識別装置。
   
2. 検索語候補の単語から重要言語を識別する重要言語識別方法であって、
   重要言語識別装置が、前記検索語候補の単語が出現する出現頻度の累積値を記憶する記憶手段を備え、
   前記重要言語識別方法は、
   前記重要言語識別装置が、
   ユーザが入力した単語を含む検索条件を受け付ける検索条件受付工程と、
   前記検索条件受付工程で受け付けられた検索条件から検索語候補の単語を抽出する検索語候補抽出工程と、
   前記検索語候補抽出工程で抽出された前記検索語候補の単語が出現する出現頻度の累積値を記憶する記憶工程と、
   前記検索語候補抽出工程で抽出された前記検索語候補の単語の重要度を算定する単語重要度算定工程と、
   を含み、
   前記抽出された前記検索語候補の単語の数が所定数以下の場合は、
   前記単語重要度算定工程で、前記検索語候補の単語を重要語とし、
   前記記憶工程で、前記検索語候補の単語に対応して前記検索語候補の単語の前記検索条件で出現した出現頻度を前記記憶手段に記憶されている前記累積値に加算した値を新たな累積値として記憶し、
   前記抽出された前記検索語候補の単語の数が所定数を超える場合は、
   前記単語重要度算定工程で、
   前記抽出された検索語候補の単語の前記出現頻度と、前記記憶手段に記憶されている前記検索語候補の単語に対応する前記累積値とを用いて所定の演算を行い、前記検索語候補の単語の重要度を算定することを特徴とする重要言語識別方法。
   
3. 請求項２に記載の重要言語識別方法をコンピュータに実行させることを特徴とする重要言語識別プログラム。

Images