JP5414614B2 - キーワードタイプ判定装置及びプログラム - Google Patents

Description

本発明は、キーワードタイプ判定装置及びプログラムに係り、特に、キーワードに対してそのキーワードのタイプを判定するキーワードタイプ判定装置及びプログラムに関する。

現在、キーワードが入力されるとそのキーワードに関する情報を検索するシステムが数多く存在する。その種類は多岐にわたり、扱う情報によってニュース検索、画像検索、商品検索など様々な種類の専門検索システムが存在する。しかし、キーワードの種類によって専門検索システムを切り替えて利用することは利用者にとって煩わしい操作であり、単一の検索システムが入力されたキーワードのタイプに応じて適切な専門検索を行って結果を出力することが望ましい。ここで、キーワードのタイプとは、例えば「芸能人」「映画」「グルメ」というようなキーワードの意味による分類種別を表す。キーワードのタイプを知ることにより、例えばキーワードのタイプが「芸能人」であれば、画像検索の結果を出力するといったことが可能となる。そのためには、入力されたキーワードに対しそのキーワードのタイプを判定する必要がある。

キーワードからそのキーワードのタイプを判定する方法として、キーワードタイプごとに用意した数個のキーワードタイプ関連語からキーワードタイプの分野を求め、与えられたキーワードの分野との比較を行うことによってキーワードのタイプを判定する方法がある（例えば、非特許文献１参照）。

廣嶋伸章，戸田浩之，松浦由美子，片岡良治，藤村滋，森本正志，概念ベースを利用したＷｅｂ検索のクエリタイプ判定，WebDB Forum 2009，2009．

しかしながら、従来の方法では、キーワードのタイプを正しく判定するための調整が難しいという問題があった。非特許文献１では、キーワードタイプ分野データベースを作成するために、キーワードタイプ毎に数個のキーワードタイプ関連語を用意しなければならないが、キーワードタイプの特徴をよく表していると思われるキーワードタイプ関連語を用意しても実際にはキーワードタイプの分野を適切に表現できず性能に影響を及ぼすということが考えられ、キーワードタイプ関連語を変更して試行錯誤を繰り返す必要があった。

本発明は上記の問題点に鑑みてなされたものであって、キーワードのタイプを正しく判定するための調整を行わなくても正しくキーワードのタイプを判定することを可能としたキーワードタイプ判定装置及びプログラムを提供することを目的とする。

上記の課題を解決するため、本発明（請求項１）は、キーワードに対してそのキーワードのタイプを判定するキーワードタイプ判定装置であって、
文書集合記憶手段と、
キーワードタイプ毎に用意されたキーワードタイプに属する数個のキーワードからキーワード集合を取得するキーワード拡張手段と、
取得したキーワード集合からキーワードタイプ分野データベースを作成するキーワードタイプ分野データベース作成手段と、
文書集合記憶手段の中からキーワードに関連する文書を取得する文書取得手段と、
文書中の情報を利用して各キーワードタイプらしさの度合いを表すキーワードタイプスコアを算出するキーワードタイプスコア算出手段と、
キーワードタイプスコアの高い上位Ｎ件のキーワードタイプをキーワードに対するキーワードタイプと判定するキーワードタイプ判定手段と、を有する。

また、本発明（請求項２）は、単語と該単語に対する概念を表す単語概念ベクトルが格納された概念ベースを更に有し、
キーワードタイプ分野データベース作成手段は、
概念ベースを参照して各キーワードタイプに対してその分野を表すキーワードタイプ分野ベクトルを算出してキーワードタイプと共にキーワードタイプ分野データベースに格納する手段を含み、
キーワードタイプスコア算出手段は、
概念ベースを参照して文書中の情報である単一または複数のテキストの一部または全部からキーワードの分野を表すキーワード分野ベクトルを算出し、キーワードタイプ分野データベースを参照して該キーワード分野ベクトルと各キーワードタイプ分野ベクトルとの関連度を算出し、関連度をキーワードタイプスコアとする手段を含む。

本発明（請求項３）は、請求項１または２に記載のキーワードタイプ判定装置における各手段をコンピュータに実行させるためのキーワードタイプ判定プログラムである。

本発明によれば、キーワードタイプ関連語よりも容易に用意することができるキーワードタイプに属する数個のキーワードからキーワード集合を取得し、取得したキーワード集合からキーワードタイプ分野データベースを作成するため、キーワードのタイプを正しく判定するための調整を行わなくても正しくキーワードのタイプを判定することができる。

本発明の一実施の形態におけるキーワードタイプ判定装置の構成図である。 本発明の一実施の形態におけるキーワードタイプ判定装置の前処理の動作を示すフローチャートである。 本発明の一実施の形態におけるキーワードタイプ判定装置のキーワードタイプ判定の動作を示すフローチャートである。 本発明の一実施の形態におけるキーワードタイプとそのキーワードタイプに属するキーワードの組の例である。 本発明の一実施の形態における概念ベースの例である。 本発明の一実施の形態におけるキーワードタイプ分野データベースの例である。 本発明の一実施の形態における文書取得部により取得した文書の例である。 本発明の一実施の形態におけるキーワードタイプ判定部により算出したキーワード分野ベクトルの例である。 本発明の一実施の形態におけるキーワードタイプ判定部により算出したキーワードタイプスコアの例である。

以下図面と共に、本発明の実施の形態を説明する。

以下、図面を参照して本発明の実施例について説明する。

図１は、本発明の一実施の形態におけるキーワードタイプ判定装置の構成を示す。図１に示すキーワードタイプ判定装置１００は、キーワード拡張部１と、キーワードタイプ分野データベース作成部２と、文書取得部３と、キーワードタイプスコア算出部４と、キーワードタイプ判定部５と、検索ログ記憶部６と、文書集合記憶部７と、概念ベース８と、キーワードタイプ分野データベース９を有する。

キーワード拡張部１は、キーワードタイプ毎に用意したキーワードタイプに属する数個のキーワードからキーワード集合を取得する。

キーワードタイプ分野データベース作成部２は、取得したキーワード集合からキーワードタイプ分野データベース９を作成する。

文書取得部３は、予め用意した文書集合記憶部７の中からキーワードに関連する文書を取得する。

キーワードタイプスコア算出部４は、文書中の情報を利用して各キーワードタイプらしさの度合いを表すキーワードタイプスコアを算出する。

キーワードタイプ判定部５は、キーワードタイプスコアの高い上位Ｎ件のキーワードタイプをキーワードに対するキーワードタイプと判定する。

なお、キーワード拡張部１、キーワードタイプ分野データベース作成部２、文書取得部３、キーワードタイプスコア算出部４、キーワードタイプ判定部５は、それぞれ取得したデータや途中結果等を格納するためのメモリ（図示せず）を有する。

次に、キーワードタイプ判定装置１００の動作について説明する。

本発明は、データベースを作成するための前処理段階と、実際にキーワードタイプを判定する段階の２つに分かれている。

図２は、本発明の一実施の形態におけるキーワードタイプ判定装置の前処理の動作を示すフローチャートである。

ステップ１０１） まず、キーワード拡張部１が、検索ログ記憶部６を参照して各キーワードタイプに属するキーワードからキーワード集合を取得し、メモリ（図示せず）に格納する。

ステップ１０２） キーワードタイプ分野データベース作成部２が、文書集合記憶部７及び概念ベース８を参照して各キーワードタイプのキーワード集合を利用してキーワードタイプの分野を表すキーワードタイプ分野ベクトルを算出し、メモリ（図示せず）に格納する。

ステップ１０３） キーワードタイプ分野データベース作成部２は、キーワードタイプとキーワードタイプ分野ベクトルの組をキーワードタイプ分野データベース９に格納する。

図３は、本発明の一実施の形態におけるキーワードタイプ判定装置のキーワードタイプ判定の動作を示すフローチャートである。

ステップ２０１） まず、文書取得部３は、文書集合記憶部７の中からキーワードに関連する文書を取得する。

ステップ２０２） キーワードタイプスコア算出部４は、取得した文書のテキストの全部を利用して、概念ベース８を参照してキーワードの分野を表すキーワード分野ベクトルを算出し、メモリ（図示せず）に格納する。

ステップ２０３） 続いて、キーワードタイプスコア算出部４は、キーワードタイプ分野データベース９を参照してキーワード分野ベクトルと各キーワードタイプ分野ベクトルとの関連度を算出し、関連度をキーワードタイプスコアとし、メモリ（図示せず）に格納する。

ステップ２０４） キーワードタイプ判定部５が、キーワードタイプスコアをメモリ（図示せず）から読み出し、キーワードタイプスコアの高い上位Ｎ件のキーワードタイプをキーワードに対するキーワードタイプと判定する。

次に、キーワードタイプ判定装置１００の動作をより具体的に説明する。以下の説明では、「ＡＢＣ」というキーワードのキーワードタイプを判定することとする。

図２に示したフローチャートに従って前処理の動作を具体的に説明する。

ステップ１０１） キーワード拡張部１は、検索ログ記憶部６を参照して各キーワードタイプに属するキーワードからキーワード集合を取得する。ここでは、文献「小町守，鈴木久美，検索ログからの半教師あり意味知識獲得の改善，人工知能学会論文誌，２３巻３号，pp．217−225，2008」に記載のTchaiアルゴリズムを利用して、キーワードと検索ログからキーワードを抽出するためのパターンを抽出し、パターンと検索ログからキーワードを抽出するということを繰り返すことにより、キーワード集合を取得することとする。キーワード集合の取得方法はこれに限るものではなく、キーワードが単語列と助詞「と」で連結されている場合にその単語列を新たにキーワードとして抽出することを繰り返すことによりキーワード集合を取得したりしてもかまわない。ここでは、キーワードタイプ「芸能人」に属するキーワード「ＡＡＡ」「ＢＢＢ」「ＣＣＣ」からキーワード集合「ＡＡＡ，ＢＢＢ，ＣＣＣ，ＤＤＤ，ＥＥＥ，ＦＦＦ，ＧＧＧ，ＨＨＨ，ＩＩＩ，ＪＪＪ，ＫＫＫ，ＬＬＬ，ＭＭＭ，ＮＮＮ」が得られたものとする。

ステップ１０２） キーワードタイプ分野データベース作成部２は、文書集合記憶部７及び概念ベース８を参照して、各キーワードタイプのキーワード集合を利用してキーワードタイプの分野を表すキーワードタイプ分野ベクトルを算出し、メモリ（図示せず）に格納する。

当該概念ベース８は単語に対して単語の概念を表す概念ベクトルが付与されたデータベースである。概念ベース８の例を図４に示す。ここでは、キーワード集合中の各キーワードに関連する文書を文書集合記憶部７から取得し、取得された文書のテキスト中の単語の概念ベクトルの平均を文書分野ベクトルとして算出し、文書の文書分野ベクトルの平均をキーワード分野ベクトルとて算出し、キーワードのキーワード分野ベクトルの平均をキーワードタイプ分野ベクトルとして算出することとする。キーワードタイプ分野ベクトルの算出方法はこれに限るものではなく、キーワード中の単語の概念ベクトルの平均をキーワード分野ベクトルとし、キーワード分野ベクトルの平均をキーワードタイプ分野ベクトルとしたりしてもよい。また、ここでは、従来の文書検索手法を用いて文書タイトルまたは本文にキーワードが多く含まれる上位３件の文書を関連する文書として取得するものとする。文書の取得の方法はこれに限るものではなく、任意の件数の文書を取得したり、文書のタイトルがキーワードと一致する文書やキーワードが含まれる文書を関連する文書として取得したりしてもよい。

ステップ１０３） キーワードタイプ分野データベース作成部２は、キーワードタイプとステップ１０２の処理により、メモリ（図示せず）に格納されているキーワードタイプ分野ベクトルの組をキーワードタイプ分野データベース９に格納する。キーワードタイプ分野データベース９の例を図６に示す。

次に、上記のステップ１０１〜１０３の処理が終了し、キーワードタイプ分野データベース９が生成された後に行われるキーワードタイプ判定処理について説明する。

以下、
図３に示したフローチャートに従ってキーワードタイプ判定の動作を具体的に説明する。

ステップ２０１） 文書取得部３は、入力されたキーワードに基づいて、文書集合記憶部７の中からキーワードに関連する文書を取得し、メモリ（図示せず）に格納する。ここでは、従来の文書検索手法を用いて文書タイトルまたは本文にキーワードが多く含まれる上位３件の文書を関連する文書として取得するものとする。文書の取得の方法はこれに限るものではなく、任意の件数の文書を取得したり、文書のタイトルがキーワードと一致する文書やキーワードが含まれる文書を関連する文書として取得したりしてもよい。取得し、メモリ（図示せず）に格納された文書の例を図７に示す。

ステップ２０２） キーワードタイプスコア算出部４は、メモリ（図示せず）に格納されている文書のテキストの全部を利用し、概念ベース８を参照してキーワード分野ベクトルを算出し、メモリ（図示せず）に格納する。各文書の本文をテキストとし、形態素解析手法を用いてテキストを単語に分割し、各単語に対する概念ベクトルが存在すれば概念ベクトルを取得する。各単語から得られた概念ベクトルの平均を文書分野ベクトルとし、各文書から得られた文書分野ベクトルの平均をキーワード分野ベクトルとする。メモリ（図示せず）に格納されたキーワード分野ベクトルの例を図８に示す。

なお、キーワード分野ベクトルの算出方法はこれに限るものではなく、文書のタイトルもテキストとして利用したり、単語の重要度に応じて重みを変えたり、複数のベクトルをクラスタリングして主要なクラスタに含まれるベクトルのみを利用したりしてもよい。

ステップ２０３） キーワードタイプスコア算出部４により、キーワードタイプ分野データベース９を参照して、キーワード分野ベクトルとメモリ（図示せず）内の各キーワードタイプ分野ベクトルとの関連度を算出してキーワードタイプスコアとして出力する。具体的には、各キーワードタイプに対し、図８に示すキーワード分野ベクトルと図６に示すキーワードタイプ分野ベクトルとのコサイン距離を関連度として算出し、キーワードタイプスコアとし、図９に示すように、メモリ（図示せず）に格納する。

なお、キーワードタイプスコアの例を図９に示す。キーワードタイプスコアの算出方法はこれに限るものではなく、ユークリッド距離などに基づいて算出したりしてもよい。

ステップ２０４） キーワードタイプ判定部５は、図９に示すメモリ（図示せず）のキーワードタイプスコアの高い上位Ｎ件のキーワードタイプを抽出し、これをキーワードに対するキーワードタイプとする。ここではＮ＝１とする。Ｎの値の設定方法はこれに限るものではなく、１以外の値でもよいし、キーワードタイプスコアの値に応じて動的に変更してもよい。図９より、キーワードタイプスコアの値が最も高いキーワードタイプは「芸能人」であるため、キーワード「ＡＢＣ」のキーワードタイプは「芸能人」と判定される。

このように、本実施例で説明した処理により、キーワードタイプ関連語よりも容易に用意することができるキーワードタイプに属する数個のキーワードからキーワード集合を取得し、取得したキーワード集合からキーワードタイプ分野データベース９を作成することで、入力されたキーワードのタイプを正しく判定するための調整を行わなくても正しくキーワードのタイプを判定することができる。

なお、本実施例のキーワードタイプ判定装置１００は、上述した一連の動作を実行させるプログラムをコンピュータにインストールすることにより実現することが可能である。また、当該プログラムをキーワードタイプ判定装置として利用されるコンピュータに接続されるハードディスク装置や、フレキシブルディスク、ＣＤ−ＲＯＭなどの可搬記憶媒体に格納しておき、コンピュータにインストールして実行させることも可能である。また、当該プログラムをネットワークのサーバに格納しておき、そこからダウンロードしてインストールする形態をとることも可能である。

なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。

本発明は、入力されたキーワードのタイプに応じた適切な専門検索を行う検索システムの開発などに利用可能である。

１ キーワード拡張部
２ キーワードタイプ分野データベース作成部
３ 文書取得部
４ キーワードタイプスコア算出部
５ キーワードタイプ判定部
６ 検索ログ記憶部
７ 文書集合記憶部
８ 概念ベース
９ キーワードタイプ分野データベース

Claims (3)

1. キーワードに対してそのキーワードのタイプを判定するキーワードタイプ判定装置であって、
   文書集合記憶手段と、
   キーワードタイプ毎に用意されたキーワードタイプに属する数個のキーワードからキーワード集合を取得するキーワード拡張手段と、
   取得した前記キーワード集合からキーワードタイプ分野データベースを作成するキーワードタイプ分野データベース作成手段と、
   前記文書集合記憶手段の中からキーワードに関連する文書を取得する文書取得手段と、
   前記文書中の情報を利用して各キーワードタイプらしさの度合いを表すキーワードタイプスコアを算出するキーワードタイプスコア算出手段と、
   前記キーワードタイプスコアの高い上位Ｎ件のキーワードタイプをキーワードに対するキーワードタイプと判定するキーワードタイプ判定手段と、
   を有するキーワードタイプ判定装置。
2. 単語と該単語に対する概念を表す単語概念ベクトルが格納された概念ベースを更に有し、
   前記キーワードタイプ分野データベース作成手段は、
   前記概念ベースを参照して各キーワードタイプに対してその分野を表すキーワードタイプ分野ベクトルを算出してキーワードタイプと共に前記キーワードタイプ分野データベースに格納する手段を含み、
   前記キーワードタイプスコア算出手段は、
   前記概念ベースを参照して文書中の情報である単一または複数のテキストの一部または全部からキーワードの分野を表すキーワード分野ベクトルを算出し、前記キーワードタイプ分野データベースを参照して該キーワード分野ベクトルと各キーワードタイプ分野ベクトルとの関連度を算出し、関連度をキーワードタイプスコアとする手段を含む
   請求項１に記載のキーワードタイプ判定装置。
3. 請求項１または２に記載のキーワードタイプ判定装置における各手段をコンピュータに実行させるためのキーワードタイプ判定プログラム。

Images