JP4189251B2 - キーワード解析方法及びそれに使用するプログラム - Google Patents

Description

【０００１】
【産業上の利用分野】
本発明は遺伝子関連のデータの解析に利用して好適なキーワード解析技術に関し、特に、テキストマイニング方法によってキーワードを解析するためのキーワード解析技術に関する。
【０００２】
【従来の技術】
大量の文書データ集合を保持するデータベースを検索し、所望のテーマについて記述されている文書データを抽出し、参照することを目的としたデータベース検索システムにおいて、所望のテーマについて記述されている文書データであるか否かを決定付ける条件として、ユーザが入力した１つまたは複数のキーワードを文書データ中に含むか否かを用いる方法が一般的である。
【０００３】
あるいは、単に含むか否かという条件だけでは所望のテーマについて記述していない文書データも条件を満たしてしまう可能性が高いため、キーワードの１文書データあたりの出現回数を求め、それに基づいて抽出された文書データの順位付けを行うことで、より所望のテーマに近いテーマについて記述されている文書データを絞り込む方法も用いられている。
【０００４】
後者の方法の例として、「特開２００２−４９６３８号公報文書情報検索装置、方法、文書情報検索プログラム及び文書情報検索プログラムを格納したコンピュータ可読の記録媒体」が挙げられる。
【０００５】
しかし、単純な順位付けでは、１つのパラメータによる文書データの絞り込みしかできないため、所望のテーマについて記述されている文書データであるにも関わらず、入力したキーワードの出現頻度が他の文書データに比して小さいという理由だけで、抽出されないということが起こりうる。
【０００６】
これに対し、複数のキーワードを全文書データ中から抽出し、その各々の出現頻度を算出したうえで、全出現頻度の傾向が似ている文書データグループを自動的に抽出する、クラスタ解析と呼ばれる手法も用いられる。その例として、「特開平９−２３１２３８号公報テキスト検索結果表示方法及び装置」がある。
【０００７】
【特許文献１】
特開２００２−４９６３８号公報
【特許文献２】
特開平９−２３１２３８号公報
【０００８】
【発明が解決しようとする課題】
しかし、前記クラスタ解析の方法には次の課題がある。すなわち、文書データ間の類似度とキーワードの出現頻度とをより正確に対応付けるために、全文書データ中に共通に出現するキーワードを自動的に抽出し、そられの出現頻度を用いてクラスタ解析を実行する。従って、検索者が所望するテーマとは異なるテーマについて記述している文書データグループがクラスタ化されてしまう可能性が高く、所望のテーマについて記述している文書データのみ、あるいはほぼ同等の文書データから成るクラスタを得ることが困難になっている。
【０００９】
また、遺伝子関連の文書データの例に見られるように、特定のテーマを象徴する情報がキーワードではない場合がある。遺伝子関連のデータの例では、特定の遺伝子のIDや塩基配列が特定のテーマを象徴する情報でもある。
【００１０】
この例では、同一の塩基配列を持つ遺伝子に関して記述している文書データであっても、それらに出現するキーワード群が非常に異なる集合であることがありうる。かつ、検索者は特定の遺伝子に関して記述している文書データを抽出したいのであって、たとえそれら文書データに出現するキーワード群が非常に異なっていたとしても、それら文書データを全て抽出したいと考える。
【００１１】
これに対し、キーワードの出現頻度に基づく従来の方法では、検索者にとって所望のテーマを象徴する適切なキーワードを選択する手段がないという問題がある。
本発明は、所望のテーマについて記述している文書データを文書データグループとして特定することが容易に行えるキーワード解析方法を提供することにある。
【００１２】
【課題を解決するための手段】
本発明によると、文書データを格納したデータベースにおいて任意のキーワードを解析するためのキーワード解析方法において、
ユーザが入力した第１のキーワードに基づいて、上記データベースよりテキストデータを抽出するテキストデータ抽出ステップと、該抽出したテキストデータにおけるユーザが入力した第２のキーワードの出現頻度を算出する頻度算出ステップと、上記第２のキーワードの出現頻度を上記第１のキーワードに基づいて分類した頻度テーブルを生成する頻度テーブル生成ステップと、上記第２のキーワードの出現頻度に基づいて上記第１のキーワードをクラスタ解析するクラスタ解析ステップと、を含む。
【００１３】
従って、検索者は全文書データをまず複数のグループに任意に分類し、さらにその文書データグループを単位として、やはり任意に入力したキーワード群の各々についてその出現頻度に応じてクラスタ解析を実行する。その結果として、個々の文書データでは出現するキーワードが異なる場合であっても、所望のテーマについて記述している文書データを文書データグループとして特定することが容易に行えるようになる。
【００１４】
【発明の実施の形態】
以下図を参照して、本発明の実施例を説明する。図１は本発明によるキーワード解析システム構成を示す。本例のキーワード解析システムは、ディスプレイ装置１０１、演算装置１０２、マウス装置１０３、キーボード１０４、ファイルシステム１０５、及び、第１及び第２のキーワードテーブル１１１、１１２を有する。
【００１５】
ディスプレイ装置１０１は、文字および図形を表示する機能とマウスカーソルを表示する機能とを有する。演算装置１０２は、ディスプレイ装置１０１上のマウスカーソルの位置を受信する機能と、キーボードから任意の文字列を受信する機能と、メモリ中にデータを保持する機能と、テキストデータから特定の一部の文字列を切り出す機能と、特定の文字列同士が一致するか否かを判定する機能を有する。マウス装置１０３は、ディスプレイ装置１０１上のマウスカーソルの移動を指示し、ボタンを押すことによりマウスカーソルの位置の認識を指示する機能を有する。キーボード１０４は、任意の文字列を入力し、演算装置１０２に送信する機能を有する。
【００１６】
ファイルシステム１０５は、テキストデータ１０６を各々ファイルとして保持する機能を持つ補助記憶装置である。図７は、ファイルシステム１０５に含まれるテキストデータ１０６のファイル名の一覧を格納するテーブルの構造を示している。
【００１７】
図２は第１のキーワードテーブル１１１の構造を示している。このテーブルには複数の第１のキーワードが１列に格納されている。第１のキーワードテーブル１１１は、ファイルシステム１０５よりテキストデータ１０６を検索及び分類するために使用する。図３は第２のキーワードテーブル１１２の構造を示している。このテーブルは第１のキーワードテーブルと同様に複数の第２のキーワードが１列に格納されている。第２のキーワードテーブル１１２は、第１のキーワードをクラスタ解析するために使用する。
【００１８】
再び図１を参照して、本発明によるキーワード解析システムの概念を説明する。先ず、検索者は、キーボード１０４から、ファイルシステム１０５に含まれるテキストデータ１０６の検索及び分類に使用する第１のキーワードを入力し、第１のキーワードテーブル１１１に格納する。次に、検索者は、キーボード１０４から、クラスタ解析に使用する第２のキーワードを入力し、第２のキーワードテーブル１１２に格納する。
【００１９】
キーワード解析システムは第１のキーワードを使用して、ファイルシステム１０５に格納された第１のキーワードを含むテキストデータ１０６を抽出する。それによって、例えば、ファイルシステム１０５に格納されたｍ件のテキストデータ１０６よりｎ件（ｎ≦ｍ）のテキストデータ１０６を抽出することができる。また、抽出したテキストデータを、第１のキーワード毎に分類することができる。
【００２０】
次に、上記第１のキーワードを用いて抽出した複数のテキストデータ１０６内に第２のキーワードが含まれる頻度を算出した頻度算出結果テーブル５００が生成される。本実施例におけるこの頻度とは個々のテキストデータ１０６内に第２のキーワードが１回以上現れるかを示す数値であり、複数回現れた場合でも、１つのテキストデータ１０６に対しては１とカウントされる。すなわち、算出される頻度ｆの数値は上記第１のキーワードにより抽出されたテキストデータｎ件に対し、ｆ≦ｎとなる。
【００２１】
本発明によると、この頻度算出結果テーブル５００に格納された第１のキーワードを第２のキーワードの頻度分布に基づいてクラスタ解析する。頻度算出結果テーブル５００には、第１のキーワードの各々に対して第２のキーワードの頻度分布が記載されている。従って、第１のキーワードのうち、第２のキーワードの頻度分布の態様が類似しているものをグループ化することができる。
【００２２】
こうしてクラスタ解析することによって、第１のキーワードは幾つかのグループに分類される。各グループの第１のキーワードは、類似した第２のキーワードの頻度分布を有する。従って、同一グループの第１のキーワードは、類似した又は共通の性質を有する。ユーザは、このグループ化されたキーワード群を様々な用途に使用することができる。
クラスタ解析法として、デンドログラム、ｋ−ｍｅａｎｓ、ＳＯＭ（Self Organized Map）等が知られているが、本発明ではどのような方法を使用してもよい。
【００２３】
図４は、２つのキーワードテーブル１１１、１１２を使用して算出したキーワード頻度算出結果テーブルの構造を示している。左端の縦列４０１は、第１のキーワードテーブルに格納されている全ての第１のキーワードを格納する列である。次の縦列４０２は、第１のキーワードの各々をその内部に含むテキストデータファイルの名前を格納する列である。
上端の横行４０３は、第２のキーワードテーブルに格納されている全ての第２のキーワードを格納する行である。セル４０４は、第２のキーワードの頻度を格納する領域である。
【００２４】
例えば、第１のキーワード１−１は、名称がＰ００１．ｔｘｔ、Ｐ００２．ｔｘｔ、Ｐ００３．ｔｘｔ、Ｐ００４．ｔｘｔ、Ｐ００５．ｔｘｔ、Ｐ００６．ｔｘｔ、Ｐ００７．ｔｘｔ、Ｐ００８．ｔｘｔである８つのテキストデータに含まれる。また、第１のキーワード１−１と第２のキーワード２−１の両者を含む頻度（テキストデータ数）は５であり、第１のキーワード１−１と第２のキーワード２−２の両者を含む頻度（テキストデータ数）は２である。
【００２５】
図５はディスプレイ装置１０１の画面に表示されるキーワード頻度算出結果テーブルの構成を示している。このキーワード頻度算出結果テーブルは、図４に示したキーワード頻度算出結果テーブルより、第２の縦列４０２を省略したものである。左端の縦列５０１は、図４のキーワード頻度算出結果テーブルの縦列４０１に格納された全ての第１のキーワードを表示する列である。上端の横列５０２は、図４のキーワード頻度算出結果テーブルの横列４０３に格納された全ての第２のキーワードを表示する行である。セル５０３は、図４のキーワード頻度算出結果テーブルのセル４０４に格納された頻度を表示する領域である。
【００２６】
ディスプレイ装置１０１の画面は、クラスタ解析の実行を演算装置１０２に指示するための解析指示ボタン５０４を含む。マウス装置１０３によって、解析指示ボタン５０４を押すことによって、図４のキーワード頻度算出結果テーブルの第１のキーワードがクラスタ解析される。
【００２７】
図６は、図５の画面において、解析指示ボタン５０４を指示することによってクラスタ解析が行われた後の画面の構成を示している。本例では、第１のキーワードのうち、キーワード１−１、１−３、１−５が１つのグループとして分類され、キーワード１−２、１−４、１−６が１つのグループとして分類されている。キーワード１−１、１−３、１−５に含まれる第２のキーワードの頻度ベクトルは互いに類似しており、キーワード１−２、１−４、１−６に含まれる第２のキーワードの頻度ベクトルは互いに類似している。第１のグループのキーワード１−１、１−３、１−５に含まれる頻度のベクトルは、第２のグループのキーワード１−２、１−４、１−６に含まれる頻度のベクトルに類似していない。クラスタ解析は、第１のキーワードに含まれる頻度のベクトルの特徴に基づいて、第１のキーワードを分類し、グループ化する。
【００２８】
図６の画面において、マウス装置１０３によって、所望のセルをクリックすることによって、更に詳細なデータが表示される。例えば、第１のキーワード１−５と第２のキーワード２−３の交点のセルをクリックすると、図８に示す画面が表示される。
【００２９】
図８の画面の領域８０１及び８０２は、図６の画面において、マウス装置１０３によって指定されたセルに対応する第１及び第２のキーワードを表示する。領域８０３は、第１のキーワード８０１及び第２のキーワードが含まれるテキストデータファイル名の一覧を表示する領域であり、図４の第１のキーワードの各々の縦列４０２に格納されたファイル名のうち第２のキーワードが含まれるテキストファイルの名称が表示される。
【００３０】
図９を参照して本発明によるキーワード解析システムによる処理の流れを説明する。まず、検索者は、キーボード１０４から、ファイルシステム１０５に含まれるテキストデータ１０６の検索及び分類に使用する第１のキーワードを入力し、図２に示した第１のキーワードテーブル１１１に格納する。第１のキーワードは、所望のテーマを表現するテキストデータ１０６を検索することができるように、選択される。
【００３１】
また検索者は、キーボード１０４から、クラスタ解析に使用する第２のキーワードを入力し、図３に示した第２のキーワードテーブル１１２に格納する。第２のキーワードは、第１のキーワードを、所望のテーマに基づいて分類することができるように、選択される。
【００３２】
まず、ステップ９０１において、第１のキーワードテーブル１１１から第１のキーワードを１つ取り出す。次に、ステップ９０２において、全ての第１のキーワードについて処理したか否か、すなわちステップ９０１において第１のキーワードが取り出せなかったか否かを調べる。全ての第１のキーワードについて処理し終わっていた場合には、ステップ９１１に進み、全ての第１のキーワードについて処理していない場合には、ステップ９０３に進む。
ステップ９０３において、ファイルシステム１０５より、テキストデータファイル１０６を１つ取り出す。
【００３３】
ステップ９０４において、ファイルシステム１０５の全てのテキストデータファイルを処理したか否か、すなわちステップ９０３においてテキストデータファイルを取り出せなかったか否かを調べ、全てのテキストデータファイルを処理し終わっていた場合は、ステップ９０５に進み、全てのテキストデータファイルを処理していない場合は、ステップ９０１に戻る。
【００３４】
ステップ９０５において、ステップ９０４にて取り出したテキストデータファイルにステップ９０１にて取り出した第１のキーワードが含まれているか否かを調べる。第１のキーワードが含まれていない場合は、ステップ９０３に戻り、次のテキストデータファイルを取り出して、処理を繰り返す。第１のキーワードが含まれている場合は、ステップ９０６に進む。
【００３５】
ステップ９０６において、図４の頻度テーブルのセル４０２にステップ９０３にて取り出したテキストデータファイルのファイル名を格納する。ファイル名を格納する場所は、ステップ９０５において含まれていると判断されたキーワードが表示されたキーワード行４０１と同一の行である。
【００３６】
次に、ステップ９０７において、第２のキーワードテーブル１１２から第２のキーワードを１つ取り出す。次に、ステップ９０８において、全ての第２のキーワードについて処理したか否か、すなわちステップ９０７において第２のキーワードを取り出せなかったか否かを調べる。全ての第２のキーワードについて処理し終わっていた場合には、ステップ９０３に戻り、次のファイルを処理する。全ての第２のキーワードについて処理していない場合には、ステップ９０９に進む。
【００３７】
ステップ９０９において、ステップ９０３にて取り出したテキストデータファイルにこの第２のキーワードが含まれているか否かを調べる。第２のキーワードが含まれている場合は、ステップ９１０に進み、第２のキーワードが含まれていない場合は、ステップ９０７に戻り、次の第２のキーワードを取り出し、同様な処理を行う。
【００３８】
ステップ９１０において、図４の頻度テーブルの出現頻度を１増加させる。第１のキーワードが格納されている行と同一の行であり、かつ第２のキーワードが格納されているの列と同一の列である、１つのセルに格納されている数値、すなわち出現頻度を１増加させる。
【００３９】
こうして、ステップ９０８において、全ての第２のキーワードについて処理したことが確認されるまで、ステップ９０７からステップ９１０を繰り返す。全ての第２のキーワードについて処理された場合は、ステップ９０３に戻り、未処理のテキストデータファイルを１つ取り出すステップを繰り返す。また、全てのテキストデータファイルについて処理された場合は、ステップ９０４からステップ９０１に進み、未処理の第１のキーワードを１つ取り出すステップを繰り返す。この結果、図４における頻度テーブルのセル４０４に格納する頻度が全て算出される。
【００４０】
次に、ステップ９１１において、図４の頻度テーブルをディスプレイ装置１０１の画面に表示する。ディスプレイ装置１０１の画面には、図５に示したテーブル画面が表示される。
次に、ステップ９１２において、ユーザはマウス装置１０３を使って画面上の解析ボタン５０４をクリックする。
【００４１】
ステップ９１３において、クラスタ解析を実行する。セル５０３に表示された数値を列方向にベクトルとしてクラスタ解析を行い、類似したベクトルを含む１つ以上複数のクラスタを得る。ここで、クラスタとは、図５における列方向のデータをメモリ上においてグループ化したものを指す。クラスタ解析の手法はここでは限定しない。
【００４２】
次に、ステップ９１４において、図６に示すように頻度テーブルを表示した画面を更新する。図６の例では、クラスタ解析により、キーワード１−１、キーワード１−３、キーワード１−５が１つのクラスタを形成し、残りが別のクラスタを形成している。さらに、頻度テーブル表示画面上にて、同一のクラスタを形成するセルを色分けしてよい。それによって、クラスタを視覚的に識別し易くなる。
【００４３】
次に、ステップ９１５において、ユーザがマウス装置１０３を使って頻度テーブル表示画面上のいずれかのセルをクリックしたか否かを判定する。クリックした場合は、ステップ９１６において、クリックしたセルに対し、図４のテーブルにおいて同じ行に格納されているテキストデータファイル名を領域４０２から全て取り出し、さらにクリックしたセルに対し、図４のテーブルにおいて同じ列に格納されている第２のキーワードを領域４０３から取り出す。更に、前記テキストデータファイルのうち、取り出した第２のキーワードを含むものを抽出し、図７のテーブルに格納する。
【００４４】
そしてステップ９１７において、それらのデータを図８のファイルリスト画面に表示する。８０１および８０２にはそれぞれステップ９１５でクリックしたセルに対応する第１および第２のキーワードを表示する。８０３には第１および第２のキーワードを含むテキストデータファイルの名称の一覧が表示される。図８は図６の太線で囲まれたセルをクリックした場合の例であり、８０１にはそのセルに対応した第１のキーワードであるキーワード１−５、８０２にはそのセルに対応した第２のキーワードであるキーワード２−３、８０３には該第１および第２のキーワードを含むファイルの名称の一覧が表示される。図６の該クリックしたセルに格納されている頻度（第１および第２のキーワードを含むファイルの数）は６なので図８の８０３には６つのテキストデータファイル名が表示されている。
【００４５】
図９の処理はコンピュータによって実行されてよい。従って、本発明は図９の処理をコンピュータに実行させるためのプログラム及びそのようなプログラムを格納した記録媒体を含む。
【００４６】
以上、本発明の例を説明したが、本発明は上述の例に限定されるものではなく、特許請求の範囲に記載された発明の範囲にて様々な変更が可能であることは当業者に理解されよう。
【００４７】
【発明の効果】
本発明によると、検索者は、入力した検索分類用キーワードに基づいて、文書データを抽出し、分類し、入力したクラスタ解析用キーワードに基づいて、検索分類用キーワードを複数のグループに分類することができる効果がある。
【００４８】
従って、本発明によると、キーワードをまず複数のグループに任意に分類し、さらにその文書データグループを単位として、やはり任意に入力したキーワード群の各々についてその出現頻度に応じてクラスタ解析を実行する結果として、個々の文書データでは出現するキーワードが異なる場合であっても、所望のテーマについて記述している文書データを文書データグループとして特定することが容易に行えるようになる。
【図面の簡単な説明】
【図１】本発明によるキーワード解析システムの構成例を示す図である。
【図２】第１のキーワードテーブルの構造を示す図である。
【図３】第２のキーワードテーブルの構造を示す図である。
【図４】頻度テーブルの構造を示す図である。
【図５】クラスタ解析前の頻度テーブルの内容を表示する画面を示す図である。
【図６】クラスタ解析後の頻度テーブルの内容を表示する画面を示す図である。
【図７】テキストデータファイル名一覧テーブルを示す図である。
【図８】テキストデータファイル名一覧表示画面を示す図である。
【図９】本発明によるキーワード解析システムの処理の流れを示す流れ図である。
【符号の説明】
１０１…ディスプレイ装置、 １０２…演算装置、 １０３…マウス装置、 １０４…キーボード、 １０５…ファイルシステム、 １０６…テキストデータファイル、 １１１,１１２…キーワードテーブル

Claims (5)

1. データ及び命令を入力する入力装置と検索及び解析処理を行なう演算装置とテキストデータの文書を格納する記憶装置とによって任意のキーワードを解析するためのキーワード解析方法において、
   上記入力装置を介して、複数の第１のキーワードを取り入れる第１のキーワード入力ステップと、
   上記入力装置を介して、複数の第２のキーワードを取り入れる第２のキーワード入力ステップと、
   上記演算装置によって、上記第１のキーワードを含む文書を上記記憶装置から検索する検索ステップと、
   上記演算装置によって、上記第１のキーワードを含む文書のうち上記第２のキーワードを含む文書を検索し、上記第１のキーワードと上記第２のキーワードの両者を含む文書の頻度を算出するキーワード頻度算出ステップと、
   上記演算装置によって、上記キーワード頻度算出ステップの算出結果に基づいて、上記第１のキーワードに対する上記第２のキーワードの頻度分布を示すキーワード頻度算出結果テーブルを生成するキーワード頻度算出結果テーブル生成ステップと、
   上記演算装置によって、クラスタ解析により、上記キーワード頻度算出結果テーブルにおける上記第１のキーワードのうち、上記第２のキーワードの頻度分布が類似しているものをグループ化するクラスタ解析ステップと、
   を含むキーワード解析方法。
2. 請求項１記載のキーワード解析方法において、
   上記キーワード頻度算出結果テーブルは、上記第１のキーワードを示す複数の行と、上記第２のキーワードを示す複数の列と、を有し、上記行と上記列の交点のセルに、上記第１のキーワードと上記第２のキーワードの両者を含む文書の頻度が格納されていることを特徴とするキーワード解析方法。
3. 請求項２記載のキーワード解析方法において、
   上記入力装置を介して、上記キーワード頻度算出結果テーブルのセルを指定する命令を取り入れたとき、上記演算装置は、該セルに対応した上記第１のキーワードと第２のキーワードの両者を含む文書の名称を表示装置に表示することを特徴とするキーワード解析方法。
4. 請求項１記載のキーワード解析方法において、
   上記キーワード頻度算出結果テーブルには、上記第１のキーワードの各々に対して各第１のキーワードを含む文書の識別子が格納されていることを特徴とするキーワード解析方法。
5. 請求項１から４のいずれか１項記載のキーワード解析方法をコンピュータに実行させるためのプログラム。

Images