JP4714710B2 - 自動タグ付与装置、自動タグ付与方法、自動タグ付与プログラムおよびそのプログラムを記録した記録媒体 - Google Patents

Description

本発明は、文書の内容を表したメタデータをタグとして設定することによる文書分類方法に係り、特に、既にタグが設定されている大量の文書からタグとして適切なものを選別し、入力文書に対してその内容に沿った適切なタグを自動的に付与する自動タグ付与装置、自動タグ付与方法、自動タグ付与プログラムおよびそのプログラムを記録した記録媒体に関する。

近年、ブログ等の情報発信ツールの普及とともに、非常に多くの個人が情報発信を行うようになった結果、インターネット上の情報量の爆発的な増加にいっそう拍車がかかり、結果としてユーザーが情報を選別および整理するための負担は大きなものとなった。

そこで、現状のインターネット上の情報の多くを占める、テキスト情報に対しては、文書の内容を表した短い語句からなるメタデータをタグとして設定することによって、ユーザーにとっての利便性を向上させる試みが行われてきた。

すなわち、例えば以下の第１〜第３の技術等が公知である。第１の技術として、多くのブログでは、記事の話題をタグもしくはカテゴリ、ジャンル等として、記事の投稿者が短い語句で設定することができるようになっている。

また第２の技術では、主として文書中の特徴的な短い語句からなる属性値を前記タグと同様の文書のラベルとして、統計的な処理を行い、文書検索における検索結果と同時に提示することによって、ユーザーの利便性向上を測る方法（特許文献１参照）もある。

また第３の技術では、タグの設定されているブログ記事を訓練データとして、機械学習手法であるＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）を利用することで、複数の２値分類器を１つの自動マルチタグ付与器とする手法も、Ｏｈｋｕｒａら（非特許文献１参照）によって提案されている。

尚、本発明に関連する残差ＤＦ（Ｄｏｃｕｍｅｎｔ Ｆｒｅｑｕｅｎｃｙ）値については、例えば非特許文献２に記載されている。
特開２００５−３３９１３９号公報 Ｔｓｕｔｏｍｕ Ｏｈｋｕｒａ，Ｙｏｕｊｉ Ｋｉｙｏｔａ，Ｈｉｒｏｓｈｉ Ｎａｋａｇａｗａ．Ｂｒｏｗｓｉｎｇ Ｓｙｓｔｅｍ ｆｏｒ Ｗｅｂｌｏｇ Ａｒｔｉｃｌｅｓ ｂａｓｅｄ ｏｎ Ａｕｔｏｍａｔｅｄ Ｆｏｌｋｓｏｎｏｍｙ．Ｗｏｒｋｓｈｏｐ ｏｎ ｔｈｅ Ｗｅｂｌｏｇｇｉｎｇ Ｅｃｏｓｙｓｔｅｍ（ＷＷＷ２００６）．２００６．５． 藤村滋，藤村考，片岡良治，奥雅博．Ｂｌｏｇのタグ間類似度のスコアリング．日本データベース学会Ｌｅｔｔｅｒｓ，Ｖｏ１５，Ｎｏ．４．ｐｐ．３３−３６．

上記第１の技術においては、タグを設定することがユーザーに委ねられるため、タグが設定されない文書も多いという問題があった。さらに、ユーザーがタグとして設定する語句を自由に選択できるため、タグの種類は膨大なものとなり、表記ゆれや類義語によって、同一の意味を表すと考えられるタグが乱立するといった問題があった。

また、上記第２の技術をはじめとする、文書中の語句または属性値をタグまたはラベルとして利用する方法においては、タグとなりうる語句は文書中に含まれている必要があり、例えば、サッカーの話題であるのに「サッカー」という語が含まれていない文書には、「サッカー」というタグを設定することが原理的に不可能であるといった問題があった。

また、上記第３の技術においては、多数の一般ユーザーが作成したブログ記事のタグを利用するため、タグに関して類義語や表記ゆれによって多くの似たようなタグが乱立するために、結果としてひとつの記事に似たような意味を持つタグが複数個設定されてしまうという問題があった。さらに、幅広い話題に対応させようとした場合、必要となる２値分類器の数が非常に多くなるので、タグの時間的な意味の変化に対応するため分類器の再学習を行う際にその計算量が膨大になってしまうという問題があった。

本発明は上記課題を解決するものであり、その目的は、文書に適切なタグを付与して文書の整理を行い、閲覧者を支援することができ、また、タグを精度良く付与することができる自動タグ付与装置、自動タグ付与方法、自動タグ付与プログラムおよびそのプログラムを記録した記録媒体を提供することにある。

上記課題を解決するための請求項１に記載の自動タグ付与装置は、タグ付き文書集合を基に文書に適切なタグを自動付与する装置において、既にタグづけがされている文書を捕捉収集し、タグ付き文書データベースに格納する文書収集手段と、前記データベース中の各タグに対して、そのタグが設定された文書集合中の特徴的な語句を基に、各タグ間の意味的な類似度を測定し、同一の意味を示すタグが存在する場合には、そのタグ同士を統合するタグ統合手段と、前記データベースに対して、入力文書と関連する文書を検索する関連文書検索を行い、得られた関連文書群中の各文書のタグを、前記タグ統合手段による統合後のタグで集計し、各タグが設定されている前記データベース内の文書数と確率的に関連文書群中に当該タグが含まれうる確率を基にした有意差検定を行い、有意に多いと判定された当該タグを入力文書に付与するタグ付与手段と、を有することを特徴としている。

また請求項２に記載の自動タグ付与装置は、請求項１において、前記データベース中の各文書を自動タグ付与装置の入力文書とし、付与されたタグと当該文書に設定されているタグとの類似度を算出し、該類似度が所定の値より低い前記入力文書を前記データベースから除くデータ精選手段をさらに有する、ことを特徴としている。

また請求項３に記載の自動タグ付与装置は、請求項１または２において、前記データベース中の各タグに対して、前記特徴的な語句を基に、そのタグが特定の話題を示すかどうかを判定するタグ重要性判定手段をさらに具備し、前記タグ付与手段は、前記データベースに対して、入力文書と関連する文書を検索する関連文書検索を行い、得られた関連文書群中の各文書のタグを、前記タグ統合手段による統合後のタグで集計し、前記重要性判定手段で特定の話題を示すと判定されたタグについて、各タグが設定されている前記データベース内の文書数と確率的に関連文書群中に当該タグが含まれうる確率を基にした有意差検定を行い、有意に多いと判定された当該タグを入力文書に付与する、ことを特徴としている。

また請求項４に記載の自動タグ付与装置は、請求項３において、前記タグ重要性判定手段は、特徴的な語句とその特徴性を表したスコアの対を要素としたタグ特徴ベクトルのベクトル長に基づいて重要性を判定することを特徴としている。

また請求項５に記載の自動タグ付与方法は、タグ付き文書集合を基に文書に適切なタグを自動付与する方法において、文書収集手段が、既にタグづけがされている文書を捕捉収集し、タグ付き文書データベースに格納する文書収集ステップと、タグ統合手段が、前記データベース中の各タグに対して、そのタグが設定された文書集合中の特徴的な語句を基に、各タグ間の意味的な類似度を測定し、同一の意味を示すタグが存在する場合には、そのタグ同士を統合するタグ統合ステップと、タグ付与手段が、前記データベースに対して、入力文書と関連する文書を検索する関連文書検索を行い、得られた関連文書群中の各文書のタグを、前記タグ統合手段による統合後のタグで集計し、各タグが設定されている前記データベース内の文書数と確率的に関連文書群中に当該タグが含まれうる確率を基にした有意差検定を行い、有意に多いと判定された当該タグを入力文書に付与するタグ付与ステップと、を有することを特徴としている。

また請求項６に記載の自動タグ付与プログラムは、コンピュータを、請求項１ないし４のいずれか１項に記載の各手段として機能させるための自動タグ付与プログラムとしたことを特徴としている。

また請求項７に記載の記録媒体は、請求項６に記載の自動タグ付与プログラムを記録したコンピュータ読み取り可能な記録媒体としたことを特徴としている。

上記構成によれば、タグが付与されていない文書に適切なタグを付与することで文書の整理を行い、閲覧者を支援することができる。また、付与されるタグの精度が向上する。

（１）請求項１〜７に記載の発明によれば、タグが付与されていない文書に適切なタグを付与することで文書の整理を行い、閲覧者を支援することができる。また、本発明ではひとつのタグだけでなく複数の適切なマルチタグを付与することもできる。マルチタグが付与可能であるため、意味的には複数の内容を含むがタグがひとつしか付与されていない文書に対しても、マルチタグを付与することで、閲覧者の利便性をさらに向上させることが可能となる。従来の方法では、大量の文書を扱う際に分類先であるタグの種類を大規模化することが困難であったが、本発明では、関連文書検索機能を持った全文検索エンジンとの親和性が高いため、大規模な文書を高速に扱うことのできる全文検索エンジンのデータベース部分を利用することで、幅広い話題に対応したタグを高速にかつ精度良く付与することが可能となる。
（２）また請求項２に記載の発明によれば、文書に関係のないタグが付与されていた文書を前記データベースから除くことができ、付与されるタグの精度を向上させることが可能となる。

以下、図面を参照しながら本発明の実施の形態を説明するが、本発明は下記の実施形態例に限定されるものではない。

まず、自動タグ付与装置について説明する。

図１は本発明の実施形態の一例である自動タグ付与装置の構成を示す図である。本実施形態の自動タグ付与装置は、所定のプログラムに基づいて動作する一般的なコンピュータ装置からなり、１は、インターネット２等のネットワークからタグが付与された文書を捕捉収集し、タグ付文書データベース（以下、タグ付文書ＤＢと称する）３に文書を格納する文書収集手段である。

４は、タグ付文書ＤＢ３から各タグのタグ特徴ベクトルを作成し、この特徴ベクトルを比較することで類似したタグを統合した上で、その結果をタグ情報データベース（以下、タグ情報ＤＢと称する）５に格納するタグ統合手段である。

６は、前記タグ特徴ベクトルを用いてタグの重要性を判定し、その結果をタグ情報ＤＢ５に格納するタグ重要性判定手段である。

７は、タグ付文書ＤＢ３およびタグ情報ＤＢ５を用いて、入力された文書に対してタグを付与するタグ付与手段である。

８は、タグ付文書ＤＢ３内の各文書に対して、タグ付与手段７を適用し、各文書に元からつけられていたタグとタグ付与手段７によって付与されたタグが類似していない文書をタグ付文書ＤＢ３内から除外することによって、タグ付与手段７の精度向上を図るデータ精選手段である。

図１の装置の全体としての処理の流れは、図２に示されるように、まずステップＳ１１において、文書収集手段１は、インターネット２等のネットワークからタグが付与された文書を収集しタグ付文書ＤＢ３に格納する。

次にステップＳ１２において、タグ統合手段４はタグ付文書ＤＢ３中に存在するタグをタグ情報ＤＢ５に格納し、その各タグについてタグの特徴量を算出した上で、タグ間の類似度を求め、類似度の高いタグ同士を統合するための情報をタグ情報ＤＢ５に格納する。

またステップＳ１３において、タグ重要性判定手段６は、前記ステップＳ１２で求めたタグの特徴量を利用し、タグが、例えば「野球」のように内容を表すタグが、特定の話題を示さないタグ、すなわち例えば「日記」や「その他」といったような直接的な内容を表さないタグかを判定し、その情報をタグの重要性の情報として、タグ情報ＤＢ５に格納する。

続いてステップＳ１４において、データ精選手段８は、タグ付与手段７を利用して、タグ付文書ＤＢ３内の各文書を後述のタグ付与ステップの入力文書とすることで、タグ付けを行い、自身につけられたタグと類似度の低いタグが付与される文書は、付与されているタグが誤っている文書としてタグ付文書ＤＢ３から除くことで、タグ付与の精度の向上を図る。

最後にステップＳ１５において、タグ付与手段７は、タグを付与すべき文書を入力文書として受け取り、類似した文書のタグを基にタグを付与し、入力文書がなくなるまでその処理を繰り返す（ステップＳ１５およびステップＳ１６）。

以下、前記図２に示された処理の手順を基に、前記各手段の詳細を説明する。

文書収集手段１は、従来から用いられている一般的な検索システムにおけるクローラ（Ｃｒａｗｌｅｒ：検索エンジンのロボット；コンピュータがサーバを自動巡回して情報を収集し索引付けするシステム）の機能に加え、タグが付与されているかどうかを判定し、タグが付与されている文書をタグ付文書ＤＢ３に格納する。

一例として、ブログ記事におけるＲＳＳの＜ｄｃ：ｓｕｂｊｅｃｔ＞をタグとして、タグが設定されているブログ記事をタグ付文書ＤＢ３に格納することが考えられる。

文書に付与されるタグは時間的にその傾向が変化することが考えられる。そこで、タグ付文書ＤＢ３内に格納される文書に対して時間的な制約をかけることで、その時々に適切なタグをタグ付与手段７によって付与することができるようになる。具体的には、タグ付文書ＤＢ３内に格納される文書は直近１週間や１ヶ月間と限定することができる。

タグ付文書ＤＢ３は例えば図３に示すように、文書ＩＤ、タグ、本文等を文書ごとに関連付けを行った形でデータとして保持している。ここで、図３の文書ＩＤは文書ごとにユニークに与えられる識別子である。タグは文書作成者によって設定された本文の内容を端的に表している語句である。本文は、文書のテキストそのものである。また、図３におけるＵＲＬや文書作成時刻であるＴｉｍｅ、本文のタイトルのように、付加的な情報を加えて関連付けを行った上で、データを保持することもできる。

タグ統合手段４は、後述のタグ情報ＤＢ５中の各タグに対して、タグ付文書ＤＢ３よりそのタグが設定された文書集合を取得し、この文書集合中の各語句の統計量を利用して各タグの特徴量を抽出し、この特徴量を利用してタグ間の類似度を算出し、類似度の特に大きいタグ同士を同一の意味を持つタグとして一つのタグに統合し、その結果をタグ情報ＤＢ５に格納する。

前記タグ情報ＤＢ５は、タグ付文書ＤＢ３中の各文書に設定されたタグを基に作成され、例えば図４に示すように、タグＩＤ、タグ、文書数、タグ特徴量、類似度、統合先、重要性をタグごとに関連付けを行った形でデータとして保持している。

ここで、図４のタグＩＤはタグごとにユニークに与えられる識別子である。文書数はタグ付文書ＤＢ３中でそのタグが設定された文書数である。タグ特徴量は前述のタグ統合手段４の処理過程で抽出された語句とスコアである実数値の対の集合によるリスト型のデータである。同様に、類似度は前述のタグ統合手段４の処理過程で算出された比較対象のタグと実数値の対の集合によるリスト型のデータである。統合先には、もしそのタグが他のタグに統合される場合にはその統合先のタグＩＤが格納され、統合先がない場合にはＮＵＬＬ値が設定される。重要性には、後述のタグ重要性判定手段６によってタグの重要性を判定した結果が格納される。タグ付けの結果としてそのタグを出力する場合にはＴＲＵＥ、出力しない場合にはＦＡＬＳＥが設定される。

タグ統合手段４における特徴量としては、そのタグが設定された文書集合中の語句とその残差ＤＦ（Ｄｏｃｕｍｅｎｔ Ｆｒｅｑｕｅｎｃｙ）値（非特許文献２参照）の対を要素とした語句ベクトルを用いる。

残差ＤＦ値は、語句の文書集合中での文書頻度とポアソン分布によって推定されたその文書集合中での文書頻度の差によって表される。例えば、処理対象のタグが設定された文書集合の総数をｎ、文書集合中の語句ｉの文書頻度をｄｆ_i、全文書数をＮ、全文書中での語句ｉの大域的頻度をＦ_iとすると、残差ＤＦ値は以下の式によって求められる。

一例として、「サッカー」というタグが付与されたブログ記事集合中の「Ｊリーグ」という語句の残差ＤＦ値は、収集したブログ記事数を４０００００、「サッカー」というタグが付与されたブログ記事数を１０００、この記事集合中での「Ｊリーグ」の文書頻度を３００、収集したブログ記事全体での「Ｊリーグ」の大域的頻度を７００とすると、残差ＤＦは３００−１０００（１−ｅｘｐ（−７００／４０００００））＝２９８．２５．．．のようになる。

残差ＤＦ値は、次の仮定に基づいた指標である。同一のタグが付与された文書集合は内容的にも、用いられている語句的にも似ている可能性が高いため、文書の内容を代表するような特徴語の文書頻度は大きくなる。一方で、文意に関係がなくどのような文書にも現れる一般的な語句の文書中での出現回数の確率分布はポアソン分布によってよく近似される事が知られている。したがって、両者の差分を取ることによって、一般語の影響を打ち消し、特徴語の値をより際立たせることができる。

また、残差ＤＦ値は同一のタグが付与された文書数が大きくなるにつれて、値の格差も大きくなるという特徴を持つ。したがって、その格差を小さくするため残差ＤＦ値を対数化するなどの方法もある。また、残差ＤＦ値は次元的には文書の頻度となるので対象のタグが付与された文書数によって正規化を行った値を特徴量として採用するといった方法も考えられる。

タグ統合手段４における類似度は、上記の特徴量を利用して算出することができる。ここで、タグとの特徴量は語句と残差ＤＦ値をはじめとしたスコアの対を要素としたベクトルであるので、タグ間の類似度はベクトル同士のコサインによって求めることができる。例えば、Ｃ_i、Ｃ_jをタグの特徴ベクトルとすると、類似度は以下の式となる。

上述のタグ間の類似度を用いてタグの統合を行う。

具体的な方法としては、一例として、階層的クラスタリングを用いる方法がある。例えば、最短距離法を利用し、類似度の閾値を０．６としたときに生成されたクラスタの一例を図５に示す。図５は、タグをノードとし、閾値以上の類似度を持つタグ間にエッジを引いたグラフとして表されている。

ここで、階層的クラスタリングの手法としては最短距離法の他にも、最長距離法や群平均法等の手法を用いることもできる。

また、閾値の設定方法としては、特定の類似度の値を閾値とする他にも、クラスタ数に閾値を設け、クラスタ数がある一定の閾値に達したときクラスタリングを終了するといった方法もある。

クラスタ中のどのタグに他のタグを統合するかについては、例えば、設定ブログの数が最も多いタグをそのクラスタの代表タグとする方法やクラスタをグラフ構造としてみた場合の中心性を利用し、最も中心性が大きなタグに統合するといった方法などがある。

このタグ統合手段４においては、計算量の問題からタグ特徴ベクトルを算出する際に設定ブログ数や設定記事数に閾値を設け、その値以上のタグ数百〜数千程度のみを考慮しても良い。また、残差ＤＦ値を求める際に考慮する記事集合中の記事数を数百〜数千程度に限定しても良い。

タグ重要性判定手段６は、タグ統合手段４の過程で得られたタグ特徴ベクトルを利用し、タグの重要性を判定し、その結果をタグ情報ＤＢ５に格納する。ここで、タグの重要性とは、タグ「野球」、「サッカー」などのように文書の内容を端的に指し示すか、それともタグ「日記」「その他」のようにそのタグを見ただけでは文書の内容を推測することができないかの度合いである。

重要性の判定においては次の仮定を用いる。特徴的な話題を持つ重要なタグはタグ特徴ベクトルの要素として残差ＤＦ値の大きな語句を多く持つと考えられる。したがって、重要なタグほど特徴ベクトル長が大きいと考えられる。したがって、特徴ベクトルのユークリッド距離を利用してタグの重要性判定が可能となる。

ここで、特徴ベクトル長を求める際には残差ＤＦ値は文書数に影響を受ける指標であるため、対象のタグが設定されている文書数で正規化を行う必要がある。また、実際の判定には、一例として、ベクトル長にある閾値を定めその値以上のものは重要なタグ、未満のものは重要でないタグとする方法などがある。図６は上述の方法で算出した際のベクトル長の大きいタグ、小さいタグの例である。

データ精選手段８は、タグ付与手段７の機能を利用するため、先にタグ付与手段７について詳細に説明する。

タグ付与手段７は、受け取った入力文書を基にしてタグ付文書ＤＢ３に関連文書検索を行い、類似した文書をｎ個取得する。ｎ個の文書につけられたタグを基に入力文書に適切なタグを付与し、その結果をタグ付文書としてシステムの出力とする。

ここでタグを付与する際には、最も適切なタグを一つだけ出力することも可能であるし、また複数のタグを出力することもできる。

ｎ個の類似文書につけられたタグを基にタグを付与する方法として、まず類似文書集合中の各タグについて出現頻度の集計を行う。ここで、タグの集計に関しては図４で述べたタグ情報ＤＢ５を利用し、統合先が指定されている場合にはその統合先タグでカウントする。また、重要性においてＦＡＬＳＥが指定されている場合には以降の処理は行わずにそのタグは出力しない。集計された各タグについて、入力文書にそのタグが付与されるべきか否かは、次のように有意差検定によって決定される。

ｎ個の類似記事の各記事において、タグＡが設定されているかどうかはタグ付文書ＤＢ３の文書数が十分に多ければ、近似的に独立であると考えられ、２項分布で表すことが可能である。中心極限定理によって、前記ＤＢ３中でタグＡが設定された記事数をＮ_A、ＤＢ中の全文書数をＮとすると、記事にタグＡが付与されている確率はＰ_A（＝Ｎ_A／Ｎ）であり、以下の不等式が成立する場合、ｎ記事中でのタグＡの出現頻度は偶然と考えにくく、入力記事にタグＡを付与する。ここで、各記号についてＺはｔ分布に基づく検定統計量、Ｓ_nはｎ文書中でタグＡが設定された記事の実測値である。

類似文書数ｎは計算量の問題から数十〜数千程度で設定することが考えられる。また、関連文書検索において関連度または類似度を文書のスコアとして利用可能な場合には、そのスコアが一定以上の文書を類似文書として利用するなどの方法を用いても良い。

データ精選手段８は、タグ付与手段７を利用し、タグ付文書ＤＢ３内の各文書に対しタグを付与した上で、その文書につけられているタグと付与されたタグを比較し、その文書につけられたタグの信頼性を判定する。さらに、信頼性の低いタグが付与された文書をタグ付文書ＤＢ３から取り除くことによってタグ付与手段７の精度を向上させることができる。

タグの信頼性の判定方法としては、一例として、付与されたタグが複数であった場合には、各タグとの類似度の和が一定の閾値を超えない場合は、そのタグの信頼性が低いとして文書を取り除く。もしくは、類似度が一定の閾値より低いタグがｎ個以上付与された場合にはその文書を取り除くなどの方法が考えられる。ここで、ｎはあらかじめ定められた閾値である。また、付与されたタグが一つであった場合には、そのタグとの類似度が閾値を超えるかどうかによって判定することができる。

尚本発明の自動タグ付与方法は、図２の各ステップＳ１１〜Ｓ１６を実行するものである。

また、本実施形態の自動タグ付与装置における各手段の一部もしくは全部の機能をコンピュータのプログラムで構成し、そのプログラムをコンピュータを用いて実行して本発明を実現することができること、本実施形態の自動タグ付与方法における手順をコンピュータのプログラムで構成し、そのプログラムをコンピュータに実行させることができることは言うまでもなく、コンピュータでその機能を実現するためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えばＦＤ（Ｆｌｏｐｐｙ（登録商標） Ｄｉｓｋ）や、ＭＯ（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ ｄｉｓｋ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、メモリカード、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｋ）−ＲＯＭ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＨＤＤ、リムーバブルディスクなどに記録して、保存したり、配布したりすることが可能である。また、上記のプログラムをインターネットや電子メールなど、ネットワークを通して提供することも可能である。

以上、本発明を実施形態例に基づき具体的に説明したが、本発明は上述の実施例に限定されるものではなく、幅広く応用することができる。

本発明の一実施形態例の自動タグ付与装置の構成を示すブロック図。 図１の装置の処理の流れを示すフローチャート。 本発明の自動タグ付与装置で用いるタグ付与文書データベースの一例を示す説明図。 本発明の自動タグ付与装置で用いるタグ情報データベースの一例を示す説明図。 本発明の自動タグ付与装置で用いるタグ統合手段におけるクラスタの例を示す説明図。 本発明の自動タグ付与装置におけるタグ重要性判定手段で用いるタグ特徴ベクトル長とタグの例を示す説明図。

符号の説明

１…文書収集手段
２…インターネット
３…タグ付文書データベース
４…タグ統合手段
５…タグ情報データベース
６…タグ重要性判定手段
７…タグ付与手段
８…データ精選手段

Claims (7)

1. タグ付き文書集合を基に文書に適切なタグを自動付与する装置において、
   既にタグづけがされている文書を捕捉収集し、タグ付き文書データベースに格納する文書収集手段と、
   前記データベース中の各タグに対して、そのタグが設定された文書集合中の特徴的な語句を基に、各タグ間の意味的な類似度を測定し、同一の意味を示すタグが存在する場合には、そのタグ同士を統合するタグ統合手段と、
   前記データベースに対して、入力文書と関連する文書を検索する関連文書検索を行い、得られた関連文書群中の各文書のタグを、前記タグ統合手段による統合後のタグで集計し、各タグが設定されている前記データベース内の文書数と確率的に関連文書群中に当該タグが含まれうる確率を基にした有意差検定を行い、有意に多いと判定された当該タグを入力文書に付与するタグ付与手段と、
   を有することを特徴とする自動タグ付与装置。
2. 前記データベース中の各文書を自動タグ付与装置の入力文書とし、付与されたタグと当該文書に設定されているタグとの類似度を算出し、該類似度が所定の値より低い前記入力文書を前記データベースから除くデータ精選手段をさらに有する、
   ことを特徴とする請求項１に記載の自動タグ付与装置。
3. 前記データベース中の各タグに対して、前記特徴的な語句を基に、そのタグが特定の話題を示すかどうかを判定するタグ重要性判定手段をさらに具備し、
   前記タグ付与手段は、前記データベースに対して、入力文書と関連する文書を検索する関連文書検索を行い、得られた関連文書群中の各文書のタグを、前記タグ統合手段による統合後のタグで集計し、前記重要性判定手段で特定の話題を示すと判定されたタグについて、各タグが設定されている前記データベース内の文書数と確率的に関連文書群中に当該タグが含まれうる確率を基にした有意差検定を行い、有意に多いと判定された当該タグを入力文書に付与する、
   ことを特徴とする請求項１または２に記載の自動タグ付与装置。
4. 前記タグ重要性判定手段は、特徴的な語句とその特徴性を表したスコアの対を要素としたタグ特徴ベクトルのベクトル長に基づいて重要性を判定することを特徴とする請求項３に記載の自動タグ付与装置。
5. タグ付き文書集合を基に文書に適切なタグを自動付与する方法において、
   文書収集手段が、既にタグづけがされている文書を捕捉収集し、タグ付き文書データベースに格納する文書収集ステップと、
   タグ統合手段が、前記データベース中の各タグに対して、そのタグが設定された文書集合中の特徴的な語句を基に、各タグ間の意味的な類似度を測定し、同一の意味を示すタグが存在する場合には、そのタグ同士を統合するタグ統合ステップと、
   タグ付与手段が、前記データベースに対して、入力文書と関連する文書を検索する関連文書検索を行い、得られた関連文書群中の各文書のタグを、前記タグ統合手段による統合後のタグで集計し、各タグが設定されている前記データベース内の文書数と確率的に関連文書群中に当該タグが含まれうる確率を基にした有意差検定を行い、有意に多いと判定された当該タグを入力文書に付与するタグ付与ステップと、
   を有することを特徴とする自動タグ付与方法。
6. コンピュータを、請求項１ないし４のいずれか１項に記載の各手段として機能させるための自動タグ付与プログラム。
7. 請求項６に記載の自動タグ付与プログラムを記録したコンピュータ読み取り可能な記録媒体。

Images