JP4225542B2 - キーワードベクトル辞書生成装置とシステムおよびプログラム - Google Patents
キーワードベクトル辞書生成装置とシステムおよびプログラム Download PDFInfo
- Publication number
- JP4225542B2 JP4225542B2 JP2003181218A JP2003181218A JP4225542B2 JP 4225542 B2 JP4225542 B2 JP 4225542B2 JP 2003181218 A JP2003181218 A JP 2003181218A JP 2003181218 A JP2003181218 A JP 2003181218A JP 4225542 B2 JP4225542 B2 JP 4225542B2
- Authority
- JP
- Japan
- Prior art keywords
- keyword
- time
- vector dictionary
- keyword vector
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Machine Translation (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、コンピュータが文書を判別するため基準となる辞書（キーワードベクトル辞書）を生成する技術に係わり、特に、キーワードベクトル辞書の精度を向上させるのに好適な技術に関するものである。
【０００２】
【従来の技術】
コンピュータ処理により文書を判別するための基準となる辞書を生成する従来の技術としては、例えば、学習データとして入力される文書中のキーワードの出現頻度を加算して、その加算値で重みを付与する技術がある。この技術によれば、同じような回数でキーワードが出現する点が類似した文書を判別することが可能となる。
【０００３】
例えば、特許文献１においても、その実施例における重み付けの例としてこの技術が用いられている。
【０００４】
しかし、この技術では、過去に用いた学習データのキーワードであっても、最近用いた学習データのキーワードであっても、同じ重みが付与されるため、刻々と内容が変化する文書を学習データとして用いる場合に、過去のキーワードの重みが影響する問題点がある。
【０００５】
また、例えば、特許文献２に記載のように、コンピュータにより文書を判別するための基準となる辞書に相当するデータベースを生成する技術として、文書送信者のアドレスを用いる技術がある。
【０００６】
この技術では、受信したメールが不要メールであると利用者が判断した際に、ネットワーク上の発信者評価パラメータ記憶装置に、発信者の評価ポイントを下げて登録する。そして、メール受信時に該メールの発信者のアドレスをキーにして、発信者評価パラメータ記憶装置の発信者の評価ポイントを検索し、メール発信者のアドレスの評価ポイントが下げられて登録されている場合は、不要メールである、といった文書の判別を実施している。
【０００７】
しかし、この技術では、送信者が毎回異なる架空のアドレスを用いている場合は、送信者のアドレスで判別できないという問題が発生する。
【０００８】
また、文書中のキーワードの条件で分類する技術も、古くから用いられている。しかし、この技術では、既知のパターンに則った文書は分類可能であるが、未知の文書の分類は困難であるという問題点がある。
【０００９】
そして、これらの技術を含め、従来の技術では、学習データが入力されてから、判別するまでの経過時間が考慮されていない。そのため、刻々と内容が変化するような文書を学習データとして用いた場合、分類することが困難であった。
【００１０】
【特許文献１】
特許第２９７８０４４号
【特許文献２】
特開２００３−１８３２４号公報
【００１１】
【発明が解決しようとする課題】
解決しようとする問題点は、従来の技術では、学習データが入力されてから、判別するまでの経過時間が考慮されていない点である。
【００１２】
本発明の目的は、これら従来技術の課題を解決し、刻々と内容が変化するような文書を学習データとして用いることを可能とすることである。
【００１３】
【課題を解決するための手段】
上記目的を達成するため、本発明では、学習データとして入力される文書中のキーワードの出現した時刻の新旧によって、キーワードの重みを変えてキーワードベクトル辞書を生成することを特徴とする。例えば、キーワードの学習データとして入力されてから現在までの経過時間を、辞書を構成する要素の重みに反映することで、学習データの内容の変化が大きい場合においても、対応できるような辞書を生成する。
【００１４】
【発明の実施の形態】
以下、本発明の実施の形態を、図面により詳細に説明する。
【００１５】
図１は、本発明に係わるキーワードベクトル辞書生成装置の第１の構成例を示すブロック図である。
【００１６】
図１におけるキーワードベクトル辞書生成装置は、ＣＰＵ（Central Processing Unit）や主メモリ、表示装置、入力装置、外部記憶装置等を具備したコンピュータ構成からなり、光ディスク駆動装置等を介してＣＤ−ＲＯＭ等の記憶媒体に記録されたプログラムやデータを外部記憶装置内にインストールした後、この外部記憶装置から主メモリに読み込みＣＰＵで処理することにより、各実行処理部の処理を行う。
【００１７】
図１において、１０１は本例のキーワードベクトル辞書生成装置であり、キーワードベクトル辞書生成装置１０１は、減衰率算出実行部１０２、演算実行部１０３、時刻記憶実行部１０４、追加記録実行部１０５等の処理機能と、時間減衰関数記憶部１０７、時刻記憶部１０８、キーワードベクトル辞書記憶部１０９の記憶機能、および、現在時刻情報を読み取るタイマ１０６、例えば操作者の入力操作に基づきあるいは記憶媒体やネットワークからキーワードとその重み値を入力する入力部１１０を有する。
【００１８】
このような構成からなる本例のキーワードベクトル辞書生成装置１０１では、コンピュータ処理による文書の特徴の判別に用いるキーワードベクトル辞書を生成する際、キーワードベクトル辞書記憶部１０９において、キーワードと当該キーワードの重み値を記憶し、演算実行部１０３において、キーワードベクトル辞書記憶部１０９で記憶したキーワードの、記憶してからの経過時間に応じて当該キーワードの重み値を減衰する。
【００１９】
すなわち、キーワードベクトル辞書記憶部１０９においては、１以上のキーワードと当該キーワードの重み値を記憶する。これらのキーワードは、入力部１１０で入力され、追加記録実行部１０５を介してキーワードベクトル辞書記憶部１０９に格納される。
【００２０】
このキーワードベクトル辞書記憶部１０９で当該キーワードを記憶した時刻を時刻記憶部１０８において記憶する。また、時間減衰関数記憶部１０７においては、予め、経過時間に対応した重み値の減衰率の算出に用いる時間減衰関数を記憶する。
【００２１】
そして、減衰率算出実行部１０２においては、所定の契機に、時刻記憶部１０８で記憶した時刻とタイマ１０６で読み出される現在の時刻から経過時間を取得し、取得した経過時間に対応する重み値の減衰率を、時間減衰関数記憶部１０７から読み出した時間減衰関数に基づき算出する。
【００２２】
このようにして減衰率算出実行部１０２で算出した重み値の減衰率に応じて、演算実行部１０３において、キーワードベクトル辞書記憶部１０９に記憶した当該キーワードの重み値を減衰して更新する。
【００２３】
さらに、この演算実行部１０３によりキーワードの重み値を減衰した時刻に基づき、時刻記憶実行部１０４において、時刻記憶部１０８で記憶した当該キーワードの記憶時刻を更新する。
【００２４】
以降、所定の契機で、時刻記憶実行部１０４で更新された時刻記憶部１０８の時刻に基づく減衰率算出実行部１０２による重み値の減衰率の算出と、演算実行部１０３による当該キーワードの重み値の減衰、ならびに、時刻記憶実行部１０４による時刻記憶ｂ１０８における当該キーワードの記憶時刻の更新を行う。
【００２５】
以下、その処理動作を更に詳しく説明する。尚、結果に違いが無い場合、以下に説明する処理順序が前後しても問題ない。
【００２６】
図１のキーワードベクトル辞書生成装置１０１は、まず、減衰率算出実行部１０２において、タイマ１０６から現在時刻を、時間減衰関数記憶部１０７から時間減衰関数を、そして時刻記憶部１０８から前回実行時刻を取得する。
【００２７】
例えば、現在時刻として「２００３／０５／２８ １７：００：００」、時間減衰関数として「ｔ＞１０００：ｐ（ｔ）＝０，ｔ＜＝１０００：ｐ（ｔ）＝１−０．０１×ｔ」（ただし、ｔは１時間単位）、前回実行時刻として「２００３／０５／２８ １６：００：００」を取得する。
【００２８】
そして、減衰率算出実行部１０２において、減衰率を算出する。前記の例の場合、現在時刻と前回実行時刻の差は、１時間であるため、時間減衰関数から減衰率を求めると、減衰率は「０．９９０」となる。
【００２９】
次いで、演算実行部１０３」において、キーワードベクトル辞書記憶部１０９に格納されている全てのキーワードの重み値を減衰させる演算を行う。
【００３０】
例えば、減衰演算として、以下のキーワードそれぞれの重み値に減衰率で積算を行った場合を考える。
【００３１】
（キーワード） （重み値）
「．ｎｅｔ」 「０．９５０」
「☆」 「１．０００」
「未承諾」 「０．９００」
「拒否」 「０．７５０」
【００３２】
この場合、演算によって、下記の結果となる。
【００３３】
（キーワード） （重み値）
「．ｎｅｔ」 「０．９４１」
「☆」 「０．９９０」
「未承諾」 「０．８９１」
「拒否」 「０．７４３」
【００３４】
このようにして、キーワードベクトル辞書記憶部１０９に格納されている全てのキーワードの重み値が減衰する。
【００３５】
その後、時刻記憶実行部１０４において、現在時刻を時刻記憶部１０６に記憶させる。
【００３６】
追加記録実行部１０５では、入力部１１０から入力されたキーワードに予め定めておいた重みを付与して、キーワードベクトル辞書記憶部１０９に追加記録を行う。
【００３７】
例えば、入力キーワードが、「絶対儲かる」の場合で、予め定めておく重みが「１」の場合、以下のようにキーワードベクトル辞書記憶部１０９に追加記録する。
【００３８】
（キーワード） （重み値）
「絶対儲かる」 「１」
【００３９】
このようにして、キーワードベクトル辞書を生成することが可能となる。
【００４０】
尚、初回実行の場合などで、前回実行時刻が格納されていない場合は、減衰率算出実行部１０２と、演算実行部１０３は実行しないものとする。
【００４１】
図２は、本発明に係わるキーワードベクトル辞書生成装置の第２の構成例を示すブロック図である。
【００４２】
図２におけるキーワードベクトル辞書生成装置２０１も図１におけるキーワードベクトル辞書生成装置１０１と同様のコンピュータ構成からなり、本例のキーワードベクトル辞書生成装置２０１は、追加記録実行部２０２、時刻付与部２０３、辞書初期化実行部２０７、経過時間算出実行部２０８、重み値算出実行部２０９、追加格納実行部２１１等の処理機能と、キーワード記憶部（図中「一時記憶部」と記載）２０６、時間重み関数記憶部２１０、キーワードベクトル辞書記憶部２１２の記憶機能、および、現在時刻情報を読み取るタイマ２０５、例えば操作者の入力操作に基づきあるいは記憶媒体やネットワークからキーワードとその重み値を入力する入力部２０４を有する。
【００４３】
このような構成からなる本例のキーワードベクトル辞書生成装置２０１では、コンピュータ処理による文書の特徴の判別に用いるキーワードベクトル辞書を生成するために、キーワード記憶部２０６において、１以上のキーワードを記憶すると共に当該キーワードを記憶した時刻を記憶し、時間重み関数記憶部２１０においては、予め、経過時間に対応した重み値の算出に用いる時間重み関数を記憶しておく。
【００４４】
尚、キーワード記憶部２０６に記憶されるキーワードは、入力部２０４で入力され、時刻付与部２０３において、タイマ２０５からの現在時刻（記憶時刻）が付与され、追加記録実行部２０２によりキーワード記憶部２０６に格納される。
【００４５】
そして、経過時間算出実行部２０８において、所定の契機で、キーワード蓄積部２０６で記憶したキーワードと当該キーワードの記憶時刻を読み出し、この記憶時刻と現在時刻とから経過時間を取得する。
【００４６】
この経過時間算出実行部２０８で取得した経過時間に対応する重み値を、重み値算出実行部２０９において、時間重み関数記憶部２１０から読み出した時間重み関数に基づき算出する。
【００４７】
さらに、この重み値算出実行部２０９で算出した重み値を、追加格納実行部２１１により、当該キーワードと共にキーワードベクトル辞書記憶部２１２に記憶する。
【００４８】
尚、辞書初期化実行部２０７において、所定の契機でキーワードベクトル辞書記憶部２１２におけるキーワードと重み値の記憶内容を初期化し、この辞書初期化実行部２０７によるキーワードベクトル辞書記憶部２１２に対する初期化後に、経過時間算出実行部２０８によるキーワード蓄積部２０６からのキーワードと重み値の読み出しと経過時間の取得、および重み値算出実行部２０９による重み値の算出、ならびに追加格納実行部２１１によるキーワードベクトル辞書記憶部２１２におけるキーワードと重み値の記憶を行うこととする。
【００４９】
以下、本例のキーワードベクトル辞書生成装置２０１の処理動作を更に詳しく説明する。
【００５０】
図２のキーワードベクトル辞書生成装置２０１では、例えば、入力部２０４でキーワードの入力があった際などを契機として、追加記録実行部２０２において、入力部２０４で入力したキーワードと、時刻付与部２０３で付与した時刻情報とを、キーワード蓄積部２０６に追加格納する。
【００５１】
例えば、「高収入」というキーワードが「２００３／０５／２９ １０：００：００」に入力された場合、キーワード蓄積部２０６には、以下の内容が、それまで記録されているキーワード時刻に、追加して格納される。
【００５２】
（キーワード） （時刻）
「高収入」 「２００３／０５／２９ １０：００：００」
【００５３】
次に、予め指定された周期等の、追加記録実行部の実行契機とは別の契機、もしくは、追加記録実行部２０２が実行した契機を基に、辞書初期化実行部２０７により、キーワードベクトル辞書記憶部２１２を初期化する。
【００５４】
その後、経過時間算出実行部２０８において、キーワード蓄積部２０６のキーワードと時刻（記憶時刻）とを取得し、タイマ２０５での現在時刻とから、そのキーワードの経過時間を算出する。
【００５５】
例えば、キーワード蓄積部２０６に下記のキーワードと記憶時刻が記憶されているとする。
【００５６】
（キーワード） （時刻）
「高収入」 「２００３／０５／２９ １０：００：００」
「絶対儲かる」 「２００３／０５／２８ １７：００：００」
「広告」 「２００３／０５／２８ １５：００：００」
【００５７】
ここで、現在時刻が「２００３／０５／２９ １０：００：００」の場合、「絶対儲かる」の経過時間は１７時間となる。
【００５８】
このようにして経過時間算出実行部２０８で算出した経過時間から、重み値算出実行部２０９において、時間重み関数記憶部２１０から読み出した時間重み関数に基づき重み値を算出する。
【００５９】
例えば、重み算出関数が「ｐ（ｔ）＝０．９９＾ｔ」（ただし、ｔは１時間単位、「＾」べき乗・累乗）の場合、キーワード「絶対儲かる」の重み値は、「０．９９＾１７＝０．８４３」となる、
【００６０】
そして、追加格納実行部２１１において、重み値算出実行部２０９で算出した重み値と、キーワードとを、キーワードベクトル辞書記憶部２１２に追加格納する。
【００６１】
例えば、「絶対儲かる」とのキーワードの場合は下記のように追加格納する。
【００６２】
（キーワード） （重み値）
「絶対儲かる」 「０．８４３」
【００６３】
尚、本例では、繰返し実行部２１３を設け、この繰返し実行部２１３によりキーワード蓄積部２０６において、他の重み付けをするキーワードがあるか否かを判断・管理しており、キーワード蓄積部２０６に格納されているキーワードと時刻データからキーワードベクトル辞書を生成する場合は、経過時間算出実行部２０８、重み値算出実行部２０９、追加格納実行部２１１での処理を繰り返す。
【００６４】
例えば、キーワード蓄積部２０６のキーワードと時刻データから、全ての重み値を生成してキーワードベクトル辞書記憶部２１２に格納した場合には下記のようになる。
【００６５】
（キーワード） （重み値）
「高収入」 「１．０００」
「絶対儲かる」 「０．８４３」
「広告」 「０．８２６」
【００６６】
図３は、本発明に係わるキーワードベクトル辞書生成装置の第３の構成例を示すブロック図である。
【００６７】
図３におけるキーワードベクトル辞書生成装置３０１も図１および図２におけるキーワードベクトル辞書生成装置１０１，２０１と同様のコンピュータ構成からなり、本例のキーワードベクトル辞書生成装置３０１は、形態素解析実行部３０２、キーワード送出実行部３０４等の処理機能と、一時記憶部３０５の記憶機能、例えば操作者の入力操作に基づきあるいは記憶媒体やネットワークから文書を入力する文書入力部３０３を有する。
【００６８】
そして、本例のキーワードベクトル辞書生成装置３０１では、図１および図２におけるキーワードベクトル辞書生成装置１０１，２０１の機構を有しており、キーワード送出実行部３０４からのキーワードを入力部３０６を介してキーワードベクトル辞書生成装置１０１，２０１に入力することで、キーワードベクトル辞書３０７を生成する。
【００６９】
すなわち、本例のキーワードベクトル辞書生成装置３０１では、文書入力部３０３で入力された文書を、形態素解析実行部３０２において形態素解析し、１以上のキーワードを生成して一時記憶部３０５に格納した後、キーワード送出実行部３０４により、キーワードを読み出して入力部３０６を介してキーワードベクトル辞書生成装置１０１，２０１に入力し、このキーワードベクトル辞書生成装置１０１，２０１においてキーワードに対して重み値の演算を行う。
【００７０】
以下、本例のキーワードベクトル辞書生成装置３０１の処理動作を更に詳しく説明する。
【００７１】
図３のキーワードベクトル辞書生成装置３０１では、例えば、文書入力部３０３により、キーワードになっていない文書データを入力し、形態素解析実行部３０２においてキーワードに分割して、そのキーワードを、キーワード送出実行部３０４により、図１，２のキーワードベクトル辞書生成装置１０１，２０１の入力部に順次送出する。
【００７２】
例えば、文書入力部３０３から「未承諾広告 激安商品はこちら」という文書データが入力された場合、形態素解析実行部３０２においては、「未／承諾／広告／激安／商品／は／こちら」のような単語に分割する。そして、この生成した単語の集合を、一旦、一時記憶部３０５に記憶させる。
【００７３】
ここで、形態素解析実行部３０２における形態素解析を行うエンジンとして、例えば「茶せん（ｈｔｔｐ：／／ｃｈａｓｅｎ．ａｉｓｔ−ｎａｒａ．ａｃ．ｊｐ／）」といった形態素解析ツール等を用いることが考えられる。
【００７４】
また、形態素解析された結果を、連続語辞書に基づき形態素を結合して単語にすることが考えられる。また、不要語辞書に基づき、不要な単語は削除することも考えられる。
【００７５】
次に、キーワード送出実行部３０４において、一時記憶部３０５に格納された単語集合を取得して、キーワードベクトル辞書生成装置１０１，２０１の入力部３０６に順次送出する。
【００７６】
図４は、本発明に係わるキーワードベクトル辞書生成システムの構成例を示すブロック図である。
【００７７】
図４におけるキーワードベクトル辞書生成システム（図中「キーワードベクトル辞書生成装置」と記載）４０１も図１〜図３におけるキーワードベクトル辞書生成装置１０１，２０１，３０１と同様のコンピュータ構成からなり、本例のキーワードベクトル辞書生成システム４０１は、属性分類実行部４０２と属性情報入力部４０３等の処理機能と、分類定義情報記憶部４０４の記憶機能を有する。
【００７８】
そして、本例のキーワードベクトル辞書生成システム４０１では、図１から図３におけるキーワードベクトル辞書生成装置１０１，２０１，３０１の少なくともいずれか１つを含む複数のキーワードベクトル辞書生成装置４０５〜４０７を具備している。
【００７９】
このような構成において、本例のキーワードベクトル辞書生成装置４０１では、分類定義情報記憶部４０４において、予め、属性情報と、具備したキーワードベクトル辞書生成装置４０５〜４０７との対応付け情報を登録しておき、属性情報入力部４０３において、キーワードとこのキーワードに関連した属性情報を入力すると、属性分類実行部４０２において、入力したキーワードを、このキーワードと共に入力した属性情報が分類定義情報記憶部４０４において対応付けられたキーワードベクトル辞書生成装置４０５〜４０７に送出する。
【００８０】
各キーワードベクトル辞書生成装置４０５〜４０７では、入力部４０５ａ〜４０７ａにより、属性分類実行部４０２からのキーワードを入力し、図１〜図３の例で説明した処理を行い、キーワードベクトル辞書Ａ４０５ｂ〜Ｃ４０７ｂの生成を行う。
【００８１】
以下、本例のキーワードベクトル辞書生成システム４０１の処理動作を更に詳しく説明する。
【００８２】
図４のキーワードベクトル辞書生成システム４０１では、属性分類実行部４０２において、属性情報人力部４０３で入力したキーワードと属性情報を基に、分類定義情報記憶部４０４を参照して、その分類定義情報に従って、当該キーワードを分類し、分類された先のキーワードベクトル辞書生成装置４０５〜４０７の入力部４０５ａ〜４０７ａに送出する。
【００８３】
例えば、属性情報入力部４０３において、下記のキーワードベクトルと属性情報が入力されたとする。
【００８４】
（キーワード） （属性情報）
「未承諾広告」 「ｓｐａｍ＠ａａａ．ｃｏｍ」
【００８５】
また、分類定義情報記憶部４０４において、分類定義情報が次のようになっているものとする。
【００８６】
（属性情報） （分類）
「ｓｐａｍ＠ａａａ．ｃｏｍ」 「キーワードベクトル辞書生成装置Ａ」
「ｖｉｒｕｓ＠ｓｐａｍ．ｃｏｍ」 「キーワードベクトル辞書生成装置Ａ」
「ｄｏｓ＠ａ．ｏｃｎ．ｎｅ．ｊｐ」 「キーワードベクトル辞書生成装置Ｂ」
「ｄｏｓ＠ｂ．ｏｃｎ．ｎｅ．ｊｐ」 「キーワードベクトル辞書生成装置Ｂ」
「ｏｋ＠ｏｋｎ．ｎｅ．ｊｐ」 「キーワードベクトル辞書生成装置Ｃ」
【００８７】
このような条件に基づき、属性分類実行部４０２は、キーワード「未承諾広告」を、キーワードベクトル辞書生成装置Ａ４０５の入力部４０５ａに送出する。
【００８８】
このようにして、本例のキーワードベクトル辞書生成システム４０１によれば、キーワードに関連した属性情報毎に、キーワードベクトル辞書４０５ｂ〜４０７ｂを生成することが可能となる。
【００８９】
尚、属性情報分類定義情報としては、本例以外にも、「メールアドレスの一部」、「氏名」、「年齢」、「性別」、「住所」、「職業」、「時間帯」「趣味・嗜好」、「電話番号やその一部」などの利用、それらを組み合わせたものが考えられる。
【００９０】
また、本図４の仕組みを用いずとも、予め複数のキーワードベクトル辞書生成装置を用意しておき、利用者の指定や、設定によって、複数あるキーワードベクトル辞書生成装置から任意のキーワードベクトル辞書生成装置を指定するといった利用もできる。
【００９１】
例えば、メールを入力文書データとする場合、（１）不要なメールのキーワードベクトルを生成するために特化するために「不要メール」のみを受け付けるキーワードベクトル辞書生成装置、（２）必要なメールのキーワードベクトルを生成するために特化するために「必要メール」のみを受け付けるキーワードベクトル辞書生成装置、（３）プライベートな必要なメールのキーワードベクトルを生成するために特化するために「プライベートな必要メール」のみを受け付けるキーワードベクトル辞書生成装置、（４）プライベートな不要なメールのキーワードベクトルを生成するために特化するために「プライベートな不要メール」のみを受け付けるキーワードベクトル辞書生成装置といった、複数のキーワードベクトル辞書生成装置から、目的に応じて選択して利用することが考えられる。
【００９２】
さらに、複数の利用者がキーワードベクトル辞書生成装置を共有して辞書を生成する利用も考えられる。例えば、複数の人が「迷惑」と感じた文書データを学習データとしてキーワードベクトル辞書生成装置に送信することで、多くの人が「迷惑」と感じる文書の特徴ベクトルが生成される。
【００９３】
以上、図１〜図４を用いて説明したように、本例では、コンピュータにより文書を判別するための基準となる辞書を生成する際、学習データとして入力される文書中のキーワードの出現した時刻の新旧によって、キーワードの重みを変えて辞書を生成する。すなわち、学習データとして入力された時刻と、その超過時間を、辞書を構成する要素の重みに反映する。このことにより、学習データの内容の変化が大きい場合においても、対応できるような辞書を生成することができ、辞書の精度を向上させることができる。
【００９４】
例えば、図１のキーワードベクトル辞書生成装置１０１では、減衰率算出実行部１０２にて、時刻記憶部１０８に記憶されている時刻と、現在の時刻から、経過時間を取得し、時間減衰関数記憶部１０７に格納されている、予め経過時間に対応した重みの減衰率を定義している時間減衰関数に前記経過時間を入力して、減衰率を取得し、複数もしくは単数のキーワードとその重み値とを格納しているキーワードベクトル辞書記憶部１０９に格納されている一部もしくは全てのキーワードの重み値を、前記減衰率で減衰演算を演算実行部１０３にて行い、また、学習データである単数もしくは複数のキーワードを入力部１１０にて入力し、追加記録実行部１０５において、この入力キーワードに予め定めた重みを付与して、キーワードとその重み値を、ベクトル辞書記憶部１０９に追加記録し、それらの時刻を時刻記憶実行部１０４により時刻記録部１０８において記憶する。
【００９５】
このように、図１のキーワードベクトル辞書生成装置１０１では、入力部１１０において入力が発生した時等のしかるべき契機において、キーワードベクトル辞書記憶部１０９に格納されているキーワードの重み値に対して、前回、演算実行部１０３が減衰演算を実行してからの経過時刻を用いて、一括して減衰演算を行うため、古くに入力されたキーワードの重みが小さくなっていくような辞書を生成することが可能となる。特に、しかるべき契機に一括して減衰演算を実施するので、重みの減衰演算処理の負担を軽減することが可能となる。
【００９６】
また、図２のキーワードベクトル辞書生成装置２０１では、単数もしくは複数のキーワードを入力部２０４において入力し、時刻付与部２０３において入力キーワードに時刻を付与し、追加記録実行部２０２において、入力キーワードとその時刻情報とを蓄積記録するキーワード蓄積部２０６に、前記キーワードとその時刻を追加記録し、追加記録実行部２０２とは異なる、もしくは同じ等のしかるべき契機で、辞書初期化実行部２０７が、キーワードベクトル辞書記憶部２１２を初期化して空にし、経過時間算出実行部２０８において、キーワード蓄積部２０６から、記録されたキーワードとその時刻と、現在の時刻から経過時間を取得して、重み値算出実行部２０９において時間重み関数記憶部２１０の時間重み関数に、経過時間を入力して重み値を取得し、この重み値と対応するキーワードとを追加格納実行部２１１において、キーワードベクトル辞書記憶部２１２に追加記録し、キーワード蓄積部２０６に格納された全てのキーワードに対して、経過時間算出実行部２０８で重み値を取得し、追加格納実行部２１１にて前記重み値と対応するキーワードとを追加格納することで、キーワードベクトル辞書を生成する。
【００９７】
このように、図２のキーワードベクトル辞書生成装置２０１では、入力部２０４において入力されたキーワードと時刻とを関連付けて、キーワード蓄積部２０６に追記し、しかるべき契機において、キーワード蓄積部２０６に蓄積されたキーワードそれぞれと、その時刻から算出した経過時間から、キーワードそれぞれに重み付けを行うことで、古くに入力されたキーワードの重みが小さくなっていくような辞書を生成することが可能となる。特に、しかるべき契機に、キーワードそれぞれに対して重み値の算出を毎回行っているため、より精度の高い辞書の生成が可能となる。
【００９８】
また、図３のキーワードベクトル辞書生成装置３０１では、文書データを文書入力部３０３にて入力し、形態素解析実行部３０２において、前記文書データを単語に形態素解析し、それぞれの単語を一時記憶部３０５で一時記憶させ、キーワード送出実行部３０４において、図１，２のキーワードベクトル辞書生成措置１０１，２０１等の入力部３０６へ入力させる。
【００９９】
このように、図３のキーワードベクトル辞書生成装置３０１では、キーワード化されていない、文書データを入力データとして用いることが可能となる。
【０１００】
また、図４のキーワードベクトル辞書生成システム４０１では、属性情報入力部４０３において入力キーワードに関連した属性情報を入力し、属性分類実行部４０２において、予め分類条件を定義した分類定義情報記憶部４０４の分類定義情報に基づいて、前記入力した属性情報を分類し、分類結果に対応した、複数もしくは単数の、図１〜図３におけるキーワードベクトル辞書生成装置１０１，２０１，３０１を含む複数のキーワードベクトル辞書生成装置４０５〜４０７の入力部４０５ａ〜４０７ａへ入力させる。
【０１０１】
このように、図４のキーワードベクトル辞書生成システム４０１では、属性分類実行部４０２において、入力キーワードに関連した属性情報を、分類条件を定義した分類定義情報に基づいて分類し、図１〜図３の各キーワードベクトル辞書生成装置１０１，２０１，３０１を含む複数のキーワードベクトル辞書生成装置４０５〜４０７に処理を継続することで、属性情報に応じた複数の辞書を生成することが可能となる。
【０１０２】
尚、本発明は、上記各図の説明でも記載したように、図１〜図４を用いて説明した例に限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能である。例えば、本例のコンピュータ構成例としても、キーボードや光ディスクの駆動装置の無いコンピュータ構成としても良い。また、本例では、光ディスクを記録媒体として用いているが、ＦＤ（Flexible Disk）等を記録媒体として用いることでも良い。また、プログラムのインストールに関しても、通信装置を介してネットワーク経由でプログラムをダウンロードしてインストールすることでも良い。
【０１０３】
【発明の効果】
本発明によれば、コンピュータにより文書を自動判別するための基準となる辞書を生成する際、学習データが入力される際の時刻情報を用いて、学習データが入力されてからの経過時間に応じて重み付けを行うことで、刻々と内容が変化するような文書を学習データとして用いた場合でも、新しい学習データの影響を大きくし、また、古い学習データの影響を少なくすることを可能とした辞書を生成することができる。すなわち、（１）入力された学習データの新旧によって重みを変えた特徴ベクトル辞書を生成でき、刻々と内容が変化する学習データを用いた場合でも、新しい内容の重みを大きくすることができる。また、（２）複数のキーワードベクトル辞書生成装置を目的に応じて使い分けることで、目的に応じたキーワードベクトル辞書を生成することができる。さらに、（３）複数の利用者でキーワードベクトル辞書生成装置を共有することで、「迷惑」と感じるメールのように、同じように感じる文書データをもとにして、単純な条件では判別できない「迷惑」と感じるメールの特徴的なキーワードベクトル辞書をリアルタイムに生成することが可能となり、そのような文書を判別することが可能となる。
【図面の簡単な説明】
【図１】本発明に係わるキーワードベクトル辞書生成装置の第１の構成例を示すブロック図である。
【図２】本発明に係わるキーワードベクトル辞書生成装置の第２の構成例を示すブロック図である。
【図３】本発明に係わるキーワードベクトル辞書生成装置の第３の構成例を示すブロック図である。
【図４】本発明に係わるキーワードベクトル辞書生成システムの構成例を示すブロック図である。
【符号の説明】
１０１，２０１，３０１：キーワードベクトル辞書生成装置、１０２：減衰率算出実行部、１０３：演算実行部、１０４：時刻記憶実行部、１０５：追加記録実行部、１０６：タイマ、１０７：時間減衰関数記憶部、１０８：時刻記憶部、１０９：キーワードベクトル辞書記憶部、１１０：入力部、２０２：追加記録実行部、２０３：時刻付与部、２０４：入力部、２０５：タイマ、２０６：キーワード記憶部（「一時記憶部」）、２０７：辞書初期化実行部、２０８：経過時間算出実行部、２０９：重み値算出実行部、２１０：時間重み関数記憶部、２１１：追加格納実行部、２１２：キーワードベクトル辞書記憶部、２１３：繰返し実行部、３０２：形態素解析実行部、３０３：文書入力部、３０４：キーワード送出実行部、３０５：一時記憶部、３０６：入力部、３０７：キーワードベクトル辞書、４０１：キーワードベクトル辞書生成システム、４０２：属性分類実行部、４０３：属性情報入力部、４０４：分類定義情報記憶部、４０５，４０６，４０７：キーワードベクトル辞書生成装置Ａ，Ｂ，Ｃ、４０５ａ〜４０７ａ：入力部、４０５ｂ〜４０７ｂ：キーワードベクトル辞書。
【発明の属する技術分野】
この発明は、コンピュータが文書を判別するため基準となる辞書（キーワードベクトル辞書）を生成する技術に係わり、特に、キーワードベクトル辞書の精度を向上させるのに好適な技術に関するものである。
【０００２】
【従来の技術】
コンピュータ処理により文書を判別するための基準となる辞書を生成する従来の技術としては、例えば、学習データとして入力される文書中のキーワードの出現頻度を加算して、その加算値で重みを付与する技術がある。この技術によれば、同じような回数でキーワードが出現する点が類似した文書を判別することが可能となる。
【０００３】
例えば、特許文献１においても、その実施例における重み付けの例としてこの技術が用いられている。
【０００４】
しかし、この技術では、過去に用いた学習データのキーワードであっても、最近用いた学習データのキーワードであっても、同じ重みが付与されるため、刻々と内容が変化する文書を学習データとして用いる場合に、過去のキーワードの重みが影響する問題点がある。
【０００５】
また、例えば、特許文献２に記載のように、コンピュータにより文書を判別するための基準となる辞書に相当するデータベースを生成する技術として、文書送信者のアドレスを用いる技術がある。
【０００６】
この技術では、受信したメールが不要メールであると利用者が判断した際に、ネットワーク上の発信者評価パラメータ記憶装置に、発信者の評価ポイントを下げて登録する。そして、メール受信時に該メールの発信者のアドレスをキーにして、発信者評価パラメータ記憶装置の発信者の評価ポイントを検索し、メール発信者のアドレスの評価ポイントが下げられて登録されている場合は、不要メールである、といった文書の判別を実施している。
【０００７】
しかし、この技術では、送信者が毎回異なる架空のアドレスを用いている場合は、送信者のアドレスで判別できないという問題が発生する。
【０００８】
また、文書中のキーワードの条件で分類する技術も、古くから用いられている。しかし、この技術では、既知のパターンに則った文書は分類可能であるが、未知の文書の分類は困難であるという問題点がある。
【０００９】
そして、これらの技術を含め、従来の技術では、学習データが入力されてから、判別するまでの経過時間が考慮されていない。そのため、刻々と内容が変化するような文書を学習データとして用いた場合、分類することが困難であった。
【００１０】
【特許文献１】
特許第２９７８０４４号
【特許文献２】
特開２００３−１８３２４号公報
【００１１】
【発明が解決しようとする課題】
解決しようとする問題点は、従来の技術では、学習データが入力されてから、判別するまでの経過時間が考慮されていない点である。
【００１２】
本発明の目的は、これら従来技術の課題を解決し、刻々と内容が変化するような文書を学習データとして用いることを可能とすることである。
【００１３】
【課題を解決するための手段】
上記目的を達成するため、本発明では、学習データとして入力される文書中のキーワードの出現した時刻の新旧によって、キーワードの重みを変えてキーワードベクトル辞書を生成することを特徴とする。例えば、キーワードの学習データとして入力されてから現在までの経過時間を、辞書を構成する要素の重みに反映することで、学習データの内容の変化が大きい場合においても、対応できるような辞書を生成する。
【００１４】
【発明の実施の形態】
以下、本発明の実施の形態を、図面により詳細に説明する。
【００１５】
図１は、本発明に係わるキーワードベクトル辞書生成装置の第１の構成例を示すブロック図である。
【００１６】
図１におけるキーワードベクトル辞書生成装置は、ＣＰＵ（Central Processing Unit）や主メモリ、表示装置、入力装置、外部記憶装置等を具備したコンピュータ構成からなり、光ディスク駆動装置等を介してＣＤ−ＲＯＭ等の記憶媒体に記録されたプログラムやデータを外部記憶装置内にインストールした後、この外部記憶装置から主メモリに読み込みＣＰＵで処理することにより、各実行処理部の処理を行う。
【００１７】
図１において、１０１は本例のキーワードベクトル辞書生成装置であり、キーワードベクトル辞書生成装置１０１は、減衰率算出実行部１０２、演算実行部１０３、時刻記憶実行部１０４、追加記録実行部１０５等の処理機能と、時間減衰関数記憶部１０７、時刻記憶部１０８、キーワードベクトル辞書記憶部１０９の記憶機能、および、現在時刻情報を読み取るタイマ１０６、例えば操作者の入力操作に基づきあるいは記憶媒体やネットワークからキーワードとその重み値を入力する入力部１１０を有する。
【００１８】
このような構成からなる本例のキーワードベクトル辞書生成装置１０１では、コンピュータ処理による文書の特徴の判別に用いるキーワードベクトル辞書を生成する際、キーワードベクトル辞書記憶部１０９において、キーワードと当該キーワードの重み値を記憶し、演算実行部１０３において、キーワードベクトル辞書記憶部１０９で記憶したキーワードの、記憶してからの経過時間に応じて当該キーワードの重み値を減衰する。
【００１９】
すなわち、キーワードベクトル辞書記憶部１０９においては、１以上のキーワードと当該キーワードの重み値を記憶する。これらのキーワードは、入力部１１０で入力され、追加記録実行部１０５を介してキーワードベクトル辞書記憶部１０９に格納される。
【００２０】
このキーワードベクトル辞書記憶部１０９で当該キーワードを記憶した時刻を時刻記憶部１０８において記憶する。また、時間減衰関数記憶部１０７においては、予め、経過時間に対応した重み値の減衰率の算出に用いる時間減衰関数を記憶する。
【００２１】
そして、減衰率算出実行部１０２においては、所定の契機に、時刻記憶部１０８で記憶した時刻とタイマ１０６で読み出される現在の時刻から経過時間を取得し、取得した経過時間に対応する重み値の減衰率を、時間減衰関数記憶部１０７から読み出した時間減衰関数に基づき算出する。
【００２２】
このようにして減衰率算出実行部１０２で算出した重み値の減衰率に応じて、演算実行部１０３において、キーワードベクトル辞書記憶部１０９に記憶した当該キーワードの重み値を減衰して更新する。
【００２３】
さらに、この演算実行部１０３によりキーワードの重み値を減衰した時刻に基づき、時刻記憶実行部１０４において、時刻記憶部１０８で記憶した当該キーワードの記憶時刻を更新する。
【００２４】
以降、所定の契機で、時刻記憶実行部１０４で更新された時刻記憶部１０８の時刻に基づく減衰率算出実行部１０２による重み値の減衰率の算出と、演算実行部１０３による当該キーワードの重み値の減衰、ならびに、時刻記憶実行部１０４による時刻記憶ｂ１０８における当該キーワードの記憶時刻の更新を行う。
【００２５】
以下、その処理動作を更に詳しく説明する。尚、結果に違いが無い場合、以下に説明する処理順序が前後しても問題ない。
【００２６】
図１のキーワードベクトル辞書生成装置１０１は、まず、減衰率算出実行部１０２において、タイマ１０６から現在時刻を、時間減衰関数記憶部１０７から時間減衰関数を、そして時刻記憶部１０８から前回実行時刻を取得する。
【００２７】
例えば、現在時刻として「２００３／０５／２８ １７：００：００」、時間減衰関数として「ｔ＞１０００：ｐ（ｔ）＝０，ｔ＜＝１０００：ｐ（ｔ）＝１−０．０１×ｔ」（ただし、ｔは１時間単位）、前回実行時刻として「２００３／０５／２８ １６：００：００」を取得する。
【００２８】
そして、減衰率算出実行部１０２において、減衰率を算出する。前記の例の場合、現在時刻と前回実行時刻の差は、１時間であるため、時間減衰関数から減衰率を求めると、減衰率は「０．９９０」となる。
【００２９】
次いで、演算実行部１０３」において、キーワードベクトル辞書記憶部１０９に格納されている全てのキーワードの重み値を減衰させる演算を行う。
【００３０】
例えば、減衰演算として、以下のキーワードそれぞれの重み値に減衰率で積算を行った場合を考える。
【００３１】
（キーワード） （重み値）
「．ｎｅｔ」 「０．９５０」
「☆」 「１．０００」
「未承諾」 「０．９００」
「拒否」 「０．７５０」
【００３２】
この場合、演算によって、下記の結果となる。
【００３３】
（キーワード） （重み値）
「．ｎｅｔ」 「０．９４１」
「☆」 「０．９９０」
「未承諾」 「０．８９１」
「拒否」 「０．７４３」
【００３４】
このようにして、キーワードベクトル辞書記憶部１０９に格納されている全てのキーワードの重み値が減衰する。
【００３５】
その後、時刻記憶実行部１０４において、現在時刻を時刻記憶部１０６に記憶させる。
【００３６】
追加記録実行部１０５では、入力部１１０から入力されたキーワードに予め定めておいた重みを付与して、キーワードベクトル辞書記憶部１０９に追加記録を行う。
【００３７】
例えば、入力キーワードが、「絶対儲かる」の場合で、予め定めておく重みが「１」の場合、以下のようにキーワードベクトル辞書記憶部１０９に追加記録する。
【００３８】
（キーワード） （重み値）
「絶対儲かる」 「１」
【００３９】
このようにして、キーワードベクトル辞書を生成することが可能となる。
【００４０】
尚、初回実行の場合などで、前回実行時刻が格納されていない場合は、減衰率算出実行部１０２と、演算実行部１０３は実行しないものとする。
【００４１】
図２は、本発明に係わるキーワードベクトル辞書生成装置の第２の構成例を示すブロック図である。
【００４２】
図２におけるキーワードベクトル辞書生成装置２０１も図１におけるキーワードベクトル辞書生成装置１０１と同様のコンピュータ構成からなり、本例のキーワードベクトル辞書生成装置２０１は、追加記録実行部２０２、時刻付与部２０３、辞書初期化実行部２０７、経過時間算出実行部２０８、重み値算出実行部２０９、追加格納実行部２１１等の処理機能と、キーワード記憶部（図中「一時記憶部」と記載）２０６、時間重み関数記憶部２１０、キーワードベクトル辞書記憶部２１２の記憶機能、および、現在時刻情報を読み取るタイマ２０５、例えば操作者の入力操作に基づきあるいは記憶媒体やネットワークからキーワードとその重み値を入力する入力部２０４を有する。
【００４３】
このような構成からなる本例のキーワードベクトル辞書生成装置２０１では、コンピュータ処理による文書の特徴の判別に用いるキーワードベクトル辞書を生成するために、キーワード記憶部２０６において、１以上のキーワードを記憶すると共に当該キーワードを記憶した時刻を記憶し、時間重み関数記憶部２１０においては、予め、経過時間に対応した重み値の算出に用いる時間重み関数を記憶しておく。
【００４４】
尚、キーワード記憶部２０６に記憶されるキーワードは、入力部２０４で入力され、時刻付与部２０３において、タイマ２０５からの現在時刻（記憶時刻）が付与され、追加記録実行部２０２によりキーワード記憶部２０６に格納される。
【００４５】
そして、経過時間算出実行部２０８において、所定の契機で、キーワード蓄積部２０６で記憶したキーワードと当該キーワードの記憶時刻を読み出し、この記憶時刻と現在時刻とから経過時間を取得する。
【００４６】
この経過時間算出実行部２０８で取得した経過時間に対応する重み値を、重み値算出実行部２０９において、時間重み関数記憶部２１０から読み出した時間重み関数に基づき算出する。
【００４７】
さらに、この重み値算出実行部２０９で算出した重み値を、追加格納実行部２１１により、当該キーワードと共にキーワードベクトル辞書記憶部２１２に記憶する。
【００４８】
尚、辞書初期化実行部２０７において、所定の契機でキーワードベクトル辞書記憶部２１２におけるキーワードと重み値の記憶内容を初期化し、この辞書初期化実行部２０７によるキーワードベクトル辞書記憶部２１２に対する初期化後に、経過時間算出実行部２０８によるキーワード蓄積部２０６からのキーワードと重み値の読み出しと経過時間の取得、および重み値算出実行部２０９による重み値の算出、ならびに追加格納実行部２１１によるキーワードベクトル辞書記憶部２１２におけるキーワードと重み値の記憶を行うこととする。
【００４９】
以下、本例のキーワードベクトル辞書生成装置２０１の処理動作を更に詳しく説明する。
【００５０】
図２のキーワードベクトル辞書生成装置２０１では、例えば、入力部２０４でキーワードの入力があった際などを契機として、追加記録実行部２０２において、入力部２０４で入力したキーワードと、時刻付与部２０３で付与した時刻情報とを、キーワード蓄積部２０６に追加格納する。
【００５１】
例えば、「高収入」というキーワードが「２００３／０５／２９ １０：００：００」に入力された場合、キーワード蓄積部２０６には、以下の内容が、それまで記録されているキーワード時刻に、追加して格納される。
【００５２】
（キーワード） （時刻）
「高収入」 「２００３／０５／２９ １０：００：００」
【００５３】
次に、予め指定された周期等の、追加記録実行部の実行契機とは別の契機、もしくは、追加記録実行部２０２が実行した契機を基に、辞書初期化実行部２０７により、キーワードベクトル辞書記憶部２１２を初期化する。
【００５４】
その後、経過時間算出実行部２０８において、キーワード蓄積部２０６のキーワードと時刻（記憶時刻）とを取得し、タイマ２０５での現在時刻とから、そのキーワードの経過時間を算出する。
【００５５】
例えば、キーワード蓄積部２０６に下記のキーワードと記憶時刻が記憶されているとする。
【００５６】
（キーワード） （時刻）
「高収入」 「２００３／０５／２９ １０：００：００」
「絶対儲かる」 「２００３／０５／２８ １７：００：００」
「広告」 「２００３／０５／２８ １５：００：００」
【００５７】
ここで、現在時刻が「２００３／０５／２９ １０：００：００」の場合、「絶対儲かる」の経過時間は１７時間となる。
【００５８】
このようにして経過時間算出実行部２０８で算出した経過時間から、重み値算出実行部２０９において、時間重み関数記憶部２１０から読み出した時間重み関数に基づき重み値を算出する。
【００５９】
例えば、重み算出関数が「ｐ（ｔ）＝０．９９＾ｔ」（ただし、ｔは１時間単位、「＾」べき乗・累乗）の場合、キーワード「絶対儲かる」の重み値は、「０．９９＾１７＝０．８４３」となる、
【００６０】
そして、追加格納実行部２１１において、重み値算出実行部２０９で算出した重み値と、キーワードとを、キーワードベクトル辞書記憶部２１２に追加格納する。
【００６１】
例えば、「絶対儲かる」とのキーワードの場合は下記のように追加格納する。
【００６２】
（キーワード） （重み値）
「絶対儲かる」 「０．８４３」
【００６３】
尚、本例では、繰返し実行部２１３を設け、この繰返し実行部２１３によりキーワード蓄積部２０６において、他の重み付けをするキーワードがあるか否かを判断・管理しており、キーワード蓄積部２０６に格納されているキーワードと時刻データからキーワードベクトル辞書を生成する場合は、経過時間算出実行部２０８、重み値算出実行部２０９、追加格納実行部２１１での処理を繰り返す。
【００６４】
例えば、キーワード蓄積部２０６のキーワードと時刻データから、全ての重み値を生成してキーワードベクトル辞書記憶部２１２に格納した場合には下記のようになる。
【００６５】
（キーワード） （重み値）
「高収入」 「１．０００」
「絶対儲かる」 「０．８４３」
「広告」 「０．８２６」
【００６６】
図３は、本発明に係わるキーワードベクトル辞書生成装置の第３の構成例を示すブロック図である。
【００６７】
図３におけるキーワードベクトル辞書生成装置３０１も図１および図２におけるキーワードベクトル辞書生成装置１０１，２０１と同様のコンピュータ構成からなり、本例のキーワードベクトル辞書生成装置３０１は、形態素解析実行部３０２、キーワード送出実行部３０４等の処理機能と、一時記憶部３０５の記憶機能、例えば操作者の入力操作に基づきあるいは記憶媒体やネットワークから文書を入力する文書入力部３０３を有する。
【００６８】
そして、本例のキーワードベクトル辞書生成装置３０１では、図１および図２におけるキーワードベクトル辞書生成装置１０１，２０１の機構を有しており、キーワード送出実行部３０４からのキーワードを入力部３０６を介してキーワードベクトル辞書生成装置１０１，２０１に入力することで、キーワードベクトル辞書３０７を生成する。
【００６９】
すなわち、本例のキーワードベクトル辞書生成装置３０１では、文書入力部３０３で入力された文書を、形態素解析実行部３０２において形態素解析し、１以上のキーワードを生成して一時記憶部３０５に格納した後、キーワード送出実行部３０４により、キーワードを読み出して入力部３０６を介してキーワードベクトル辞書生成装置１０１，２０１に入力し、このキーワードベクトル辞書生成装置１０１，２０１においてキーワードに対して重み値の演算を行う。
【００７０】
以下、本例のキーワードベクトル辞書生成装置３０１の処理動作を更に詳しく説明する。
【００７１】
図３のキーワードベクトル辞書生成装置３０１では、例えば、文書入力部３０３により、キーワードになっていない文書データを入力し、形態素解析実行部３０２においてキーワードに分割して、そのキーワードを、キーワード送出実行部３０４により、図１，２のキーワードベクトル辞書生成装置１０１，２０１の入力部に順次送出する。
【００７２】
例えば、文書入力部３０３から「未承諾広告 激安商品はこちら」という文書データが入力された場合、形態素解析実行部３０２においては、「未／承諾／広告／激安／商品／は／こちら」のような単語に分割する。そして、この生成した単語の集合を、一旦、一時記憶部３０５に記憶させる。
【００７３】
ここで、形態素解析実行部３０２における形態素解析を行うエンジンとして、例えば「茶せん（ｈｔｔｐ：／／ｃｈａｓｅｎ．ａｉｓｔ−ｎａｒａ．ａｃ．ｊｐ／）」といった形態素解析ツール等を用いることが考えられる。
【００７４】
また、形態素解析された結果を、連続語辞書に基づき形態素を結合して単語にすることが考えられる。また、不要語辞書に基づき、不要な単語は削除することも考えられる。
【００７５】
次に、キーワード送出実行部３０４において、一時記憶部３０５に格納された単語集合を取得して、キーワードベクトル辞書生成装置１０１，２０１の入力部３０６に順次送出する。
【００７６】
図４は、本発明に係わるキーワードベクトル辞書生成システムの構成例を示すブロック図である。
【００７７】
図４におけるキーワードベクトル辞書生成システム（図中「キーワードベクトル辞書生成装置」と記載）４０１も図１〜図３におけるキーワードベクトル辞書生成装置１０１，２０１，３０１と同様のコンピュータ構成からなり、本例のキーワードベクトル辞書生成システム４０１は、属性分類実行部４０２と属性情報入力部４０３等の処理機能と、分類定義情報記憶部４０４の記憶機能を有する。
【００７８】
そして、本例のキーワードベクトル辞書生成システム４０１では、図１から図３におけるキーワードベクトル辞書生成装置１０１，２０１，３０１の少なくともいずれか１つを含む複数のキーワードベクトル辞書生成装置４０５〜４０７を具備している。
【００７９】
このような構成において、本例のキーワードベクトル辞書生成装置４０１では、分類定義情報記憶部４０４において、予め、属性情報と、具備したキーワードベクトル辞書生成装置４０５〜４０７との対応付け情報を登録しておき、属性情報入力部４０３において、キーワードとこのキーワードに関連した属性情報を入力すると、属性分類実行部４０２において、入力したキーワードを、このキーワードと共に入力した属性情報が分類定義情報記憶部４０４において対応付けられたキーワードベクトル辞書生成装置４０５〜４０７に送出する。
【００８０】
各キーワードベクトル辞書生成装置４０５〜４０７では、入力部４０５ａ〜４０７ａにより、属性分類実行部４０２からのキーワードを入力し、図１〜図３の例で説明した処理を行い、キーワードベクトル辞書Ａ４０５ｂ〜Ｃ４０７ｂの生成を行う。
【００８１】
以下、本例のキーワードベクトル辞書生成システム４０１の処理動作を更に詳しく説明する。
【００８２】
図４のキーワードベクトル辞書生成システム４０１では、属性分類実行部４０２において、属性情報人力部４０３で入力したキーワードと属性情報を基に、分類定義情報記憶部４０４を参照して、その分類定義情報に従って、当該キーワードを分類し、分類された先のキーワードベクトル辞書生成装置４０５〜４０７の入力部４０５ａ〜４０７ａに送出する。
【００８３】
例えば、属性情報入力部４０３において、下記のキーワードベクトルと属性情報が入力されたとする。
【００８４】
（キーワード） （属性情報）
「未承諾広告」 「ｓｐａｍ＠ａａａ．ｃｏｍ」
【００８５】
また、分類定義情報記憶部４０４において、分類定義情報が次のようになっているものとする。
【００８６】
（属性情報） （分類）
「ｓｐａｍ＠ａａａ．ｃｏｍ」 「キーワードベクトル辞書生成装置Ａ」
「ｖｉｒｕｓ＠ｓｐａｍ．ｃｏｍ」 「キーワードベクトル辞書生成装置Ａ」
「ｄｏｓ＠ａ．ｏｃｎ．ｎｅ．ｊｐ」 「キーワードベクトル辞書生成装置Ｂ」
「ｄｏｓ＠ｂ．ｏｃｎ．ｎｅ．ｊｐ」 「キーワードベクトル辞書生成装置Ｂ」
「ｏｋ＠ｏｋｎ．ｎｅ．ｊｐ」 「キーワードベクトル辞書生成装置Ｃ」
【００８７】
このような条件に基づき、属性分類実行部４０２は、キーワード「未承諾広告」を、キーワードベクトル辞書生成装置Ａ４０５の入力部４０５ａに送出する。
【００８８】
このようにして、本例のキーワードベクトル辞書生成システム４０１によれば、キーワードに関連した属性情報毎に、キーワードベクトル辞書４０５ｂ〜４０７ｂを生成することが可能となる。
【００８９】
尚、属性情報分類定義情報としては、本例以外にも、「メールアドレスの一部」、「氏名」、「年齢」、「性別」、「住所」、「職業」、「時間帯」「趣味・嗜好」、「電話番号やその一部」などの利用、それらを組み合わせたものが考えられる。
【００９０】
また、本図４の仕組みを用いずとも、予め複数のキーワードベクトル辞書生成装置を用意しておき、利用者の指定や、設定によって、複数あるキーワードベクトル辞書生成装置から任意のキーワードベクトル辞書生成装置を指定するといった利用もできる。
【００９１】
例えば、メールを入力文書データとする場合、（１）不要なメールのキーワードベクトルを生成するために特化するために「不要メール」のみを受け付けるキーワードベクトル辞書生成装置、（２）必要なメールのキーワードベクトルを生成するために特化するために「必要メール」のみを受け付けるキーワードベクトル辞書生成装置、（３）プライベートな必要なメールのキーワードベクトルを生成するために特化するために「プライベートな必要メール」のみを受け付けるキーワードベクトル辞書生成装置、（４）プライベートな不要なメールのキーワードベクトルを生成するために特化するために「プライベートな不要メール」のみを受け付けるキーワードベクトル辞書生成装置といった、複数のキーワードベクトル辞書生成装置から、目的に応じて選択して利用することが考えられる。
【００９２】
さらに、複数の利用者がキーワードベクトル辞書生成装置を共有して辞書を生成する利用も考えられる。例えば、複数の人が「迷惑」と感じた文書データを学習データとしてキーワードベクトル辞書生成装置に送信することで、多くの人が「迷惑」と感じる文書の特徴ベクトルが生成される。
【００９３】
以上、図１〜図４を用いて説明したように、本例では、コンピュータにより文書を判別するための基準となる辞書を生成する際、学習データとして入力される文書中のキーワードの出現した時刻の新旧によって、キーワードの重みを変えて辞書を生成する。すなわち、学習データとして入力された時刻と、その超過時間を、辞書を構成する要素の重みに反映する。このことにより、学習データの内容の変化が大きい場合においても、対応できるような辞書を生成することができ、辞書の精度を向上させることができる。
【００９４】
例えば、図１のキーワードベクトル辞書生成装置１０１では、減衰率算出実行部１０２にて、時刻記憶部１０８に記憶されている時刻と、現在の時刻から、経過時間を取得し、時間減衰関数記憶部１０７に格納されている、予め経過時間に対応した重みの減衰率を定義している時間減衰関数に前記経過時間を入力して、減衰率を取得し、複数もしくは単数のキーワードとその重み値とを格納しているキーワードベクトル辞書記憶部１０９に格納されている一部もしくは全てのキーワードの重み値を、前記減衰率で減衰演算を演算実行部１０３にて行い、また、学習データである単数もしくは複数のキーワードを入力部１１０にて入力し、追加記録実行部１０５において、この入力キーワードに予め定めた重みを付与して、キーワードとその重み値を、ベクトル辞書記憶部１０９に追加記録し、それらの時刻を時刻記憶実行部１０４により時刻記録部１０８において記憶する。
【００９５】
このように、図１のキーワードベクトル辞書生成装置１０１では、入力部１１０において入力が発生した時等のしかるべき契機において、キーワードベクトル辞書記憶部１０９に格納されているキーワードの重み値に対して、前回、演算実行部１０３が減衰演算を実行してからの経過時刻を用いて、一括して減衰演算を行うため、古くに入力されたキーワードの重みが小さくなっていくような辞書を生成することが可能となる。特に、しかるべき契機に一括して減衰演算を実施するので、重みの減衰演算処理の負担を軽減することが可能となる。
【００９６】
また、図２のキーワードベクトル辞書生成装置２０１では、単数もしくは複数のキーワードを入力部２０４において入力し、時刻付与部２０３において入力キーワードに時刻を付与し、追加記録実行部２０２において、入力キーワードとその時刻情報とを蓄積記録するキーワード蓄積部２０６に、前記キーワードとその時刻を追加記録し、追加記録実行部２０２とは異なる、もしくは同じ等のしかるべき契機で、辞書初期化実行部２０７が、キーワードベクトル辞書記憶部２１２を初期化して空にし、経過時間算出実行部２０８において、キーワード蓄積部２０６から、記録されたキーワードとその時刻と、現在の時刻から経過時間を取得して、重み値算出実行部２０９において時間重み関数記憶部２１０の時間重み関数に、経過時間を入力して重み値を取得し、この重み値と対応するキーワードとを追加格納実行部２１１において、キーワードベクトル辞書記憶部２１２に追加記録し、キーワード蓄積部２０６に格納された全てのキーワードに対して、経過時間算出実行部２０８で重み値を取得し、追加格納実行部２１１にて前記重み値と対応するキーワードとを追加格納することで、キーワードベクトル辞書を生成する。
【００９７】
このように、図２のキーワードベクトル辞書生成装置２０１では、入力部２０４において入力されたキーワードと時刻とを関連付けて、キーワード蓄積部２０６に追記し、しかるべき契機において、キーワード蓄積部２０６に蓄積されたキーワードそれぞれと、その時刻から算出した経過時間から、キーワードそれぞれに重み付けを行うことで、古くに入力されたキーワードの重みが小さくなっていくような辞書を生成することが可能となる。特に、しかるべき契機に、キーワードそれぞれに対して重み値の算出を毎回行っているため、より精度の高い辞書の生成が可能となる。
【００９８】
また、図３のキーワードベクトル辞書生成装置３０１では、文書データを文書入力部３０３にて入力し、形態素解析実行部３０２において、前記文書データを単語に形態素解析し、それぞれの単語を一時記憶部３０５で一時記憶させ、キーワード送出実行部３０４において、図１，２のキーワードベクトル辞書生成措置１０１，２０１等の入力部３０６へ入力させる。
【００９９】
このように、図３のキーワードベクトル辞書生成装置３０１では、キーワード化されていない、文書データを入力データとして用いることが可能となる。
【０１００】
また、図４のキーワードベクトル辞書生成システム４０１では、属性情報入力部４０３において入力キーワードに関連した属性情報を入力し、属性分類実行部４０２において、予め分類条件を定義した分類定義情報記憶部４０４の分類定義情報に基づいて、前記入力した属性情報を分類し、分類結果に対応した、複数もしくは単数の、図１〜図３におけるキーワードベクトル辞書生成装置１０１，２０１，３０１を含む複数のキーワードベクトル辞書生成装置４０５〜４０７の入力部４０５ａ〜４０７ａへ入力させる。
【０１０１】
このように、図４のキーワードベクトル辞書生成システム４０１では、属性分類実行部４０２において、入力キーワードに関連した属性情報を、分類条件を定義した分類定義情報に基づいて分類し、図１〜図３の各キーワードベクトル辞書生成装置１０１，２０１，３０１を含む複数のキーワードベクトル辞書生成装置４０５〜４０７に処理を継続することで、属性情報に応じた複数の辞書を生成することが可能となる。
【０１０２】
尚、本発明は、上記各図の説明でも記載したように、図１〜図４を用いて説明した例に限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能である。例えば、本例のコンピュータ構成例としても、キーボードや光ディスクの駆動装置の無いコンピュータ構成としても良い。また、本例では、光ディスクを記録媒体として用いているが、ＦＤ（Flexible Disk）等を記録媒体として用いることでも良い。また、プログラムのインストールに関しても、通信装置を介してネットワーク経由でプログラムをダウンロードしてインストールすることでも良い。
【０１０３】
【発明の効果】
本発明によれば、コンピュータにより文書を自動判別するための基準となる辞書を生成する際、学習データが入力される際の時刻情報を用いて、学習データが入力されてからの経過時間に応じて重み付けを行うことで、刻々と内容が変化するような文書を学習データとして用いた場合でも、新しい学習データの影響を大きくし、また、古い学習データの影響を少なくすることを可能とした辞書を生成することができる。すなわち、（１）入力された学習データの新旧によって重みを変えた特徴ベクトル辞書を生成でき、刻々と内容が変化する学習データを用いた場合でも、新しい内容の重みを大きくすることができる。また、（２）複数のキーワードベクトル辞書生成装置を目的に応じて使い分けることで、目的に応じたキーワードベクトル辞書を生成することができる。さらに、（３）複数の利用者でキーワードベクトル辞書生成装置を共有することで、「迷惑」と感じるメールのように、同じように感じる文書データをもとにして、単純な条件では判別できない「迷惑」と感じるメールの特徴的なキーワードベクトル辞書をリアルタイムに生成することが可能となり、そのような文書を判別することが可能となる。
【図面の簡単な説明】
【図１】本発明に係わるキーワードベクトル辞書生成装置の第１の構成例を示すブロック図である。
【図２】本発明に係わるキーワードベクトル辞書生成装置の第２の構成例を示すブロック図である。
【図３】本発明に係わるキーワードベクトル辞書生成装置の第３の構成例を示すブロック図である。
【図４】本発明に係わるキーワードベクトル辞書生成システムの構成例を示すブロック図である。
【符号の説明】
１０１，２０１，３０１：キーワードベクトル辞書生成装置、１０２：減衰率算出実行部、１０３：演算実行部、１０４：時刻記憶実行部、１０５：追加記録実行部、１０６：タイマ、１０７：時間減衰関数記憶部、１０８：時刻記憶部、１０９：キーワードベクトル辞書記憶部、１１０：入力部、２０２：追加記録実行部、２０３：時刻付与部、２０４：入力部、２０５：タイマ、２０６：キーワード記憶部（「一時記憶部」）、２０７：辞書初期化実行部、２０８：経過時間算出実行部、２０９：重み値算出実行部、２１０：時間重み関数記憶部、２１１：追加格納実行部、２１２：キーワードベクトル辞書記憶部、２１３：繰返し実行部、３０２：形態素解析実行部、３０３：文書入力部、３０４：キーワード送出実行部、３０５：一時記憶部、３０６：入力部、３０７：キーワードベクトル辞書、４０１：キーワードベクトル辞書生成システム、４０２：属性分類実行部、４０３：属性情報入力部、４０４：分類定義情報記憶部、４０５，４０６，４０７：キーワードベクトル辞書生成装置Ａ，Ｂ，Ｃ、４０５ａ〜４０７ａ：入力部、４０５ｂ〜４０７ｂ：キーワードベクトル辞書。
Claims (4)
- コンピュータ処理による文書の特徴の判別に用いるキーワードベクトル辞書を生成する装置であって、
１以上のキーワードと当該キーワードの重み値を記憶するキーワードベクトル辞書記憶手段と、
該キーワードベクトル辞書記憶手段で当該キーワードを記憶した時刻を記憶する時刻記憶手段と、
予め、経過時間に対応した重み値の減衰率の算出に用いる時間減衰関数を記憶する時間減衰関数記憶手段と、
上記時刻記憶手段で記憶した時刻と現在の時刻から経過時間を取得し、取得した経過時間に対応する重み値の減衰率を上記時間減衰関数記憶手段から読み出した時間減衰関数に基づき算出する減衰率算出手段と、
該減衰率算出手段で算出した重み値の減衰率に応じて、上記キーワードベクトル辞書記憶手段に記憶した全てのキーワードの重み値を減衰して更新する演算実行手段と、
該演算実行手段により上記キーワードの重み値を減衰した時刻で上記時刻記憶手段で記憶した記憶時刻を更新する時刻記憶実行手段と
を有することを特徴とするキーワードベクトル辞書生成装置。 - 請求項１に記載のキーワードベクトル辞書生成装置であって、
入力されたキーワードに予め定めておいた重みを付与して、上記キーワードベクトル辞書記憶手段に追加記録する追加記録実行手段を
有することを特徴とするキーワードベクトル辞書生成装置。 - 請求項１もしくは請求項２のいずれかに記載のキーワードベクトル辞書生成装置を、目的に応じて別々に複数具備し、
キーワードと上記キーワードベクトル辞書生成装置の特定に用いる属性情報を入力する属性情報入力手段と、
予め、上記属性情報と上記具備したキーワードベクトル辞書生成装置との対応付け情報を登録した分類定義情報記憶手段と、
上記属性情報入力手段で入力したキーワードを、該キーワードと共に入力した属性情報が上記分類定義情報記憶手段において対応付けられたキーワードベクトル辞書生成装置に送出する属性分類手段と
を有することを特徴とするキーワードベクトル辞書生成システム。 - コンピュータを、請求項１もしくは請求項２のいずれかに記載のキーワードベクトル辞書生成装置における各手段もしくは請求項３に記載のキーワードベクトル辞書生成システムにおける各手段として機能させるためのプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003181218A JP4225542B2 (ja) | 2003-06-25 | 2003-06-25 | キーワードベクトル辞書生成装置とシステムおよびプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003181218A JP4225542B2 (ja) | 2003-06-25 | 2003-06-25 | キーワードベクトル辞書生成装置とシステムおよびプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2005018344A JP2005018344A (ja) | 2005-01-20 |
| JP4225542B2 true JP4225542B2 (ja) | 2009-02-18 |
Family
ID=34181982
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003181218A Expired - Fee Related JP4225542B2 (ja) | 2003-06-25 | 2003-06-25 | キーワードベクトル辞書生成装置とシステムおよびプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4225542B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4757016B2 (ja) * | 2005-12-21 | 2011-08-24 | 富士通株式会社 | 文書分類プログラム、文書分類装置、および文書分類方法 |
| JP2010128970A (ja) * | 2008-11-28 | 2010-06-10 | Toshiba Corp | コンテンツ検索装置、およびコンテンツ検索装置のコンテンツ検索方法 |
| GB2488373A (en) * | 2011-02-28 | 2012-08-29 | Hsbc Holdings Plc | Database ranks results based on reputational scores |
| JP7077585B2 (ja) * | 2017-11-15 | 2022-05-31 | 富士フイルムビジネスイノベーション株式会社 | 情報処理システム、情報処理装置およびプログラム |
-
2003
- 2003-06-25 JP JP2003181218A patent/JP4225542B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2005018344A (ja) | 2005-01-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8055078B2 (en) | Filter for blocking image-based spam | |
| US7827165B2 (en) | Providing a social network aware input dictionary | |
| US8489593B2 (en) | Compiling information obtained by combinatorial searching | |
| JP5420243B2 (ja) | 所望リポジトリの判定 | |
| US20030074409A1 (en) | Method and apparatus for generating a user interest profile | |
| JP2007503660A (ja) | 類似性測度に基づいて電子メール・スパムをフィルタ処理するための方法および装置 | |
| Sanz et al. | Email spam filtering | |
| Mohammed et al. | Classifying unsolicited bulk email (UBE) using python machine learning techniques | |
| JP5551025B2 (ja) | 特許検索式生成装置、特許検索式生成方法、およびプログラム | |
| JP2019191975A (ja) | 人材選定装置、人材選定システム、人材選定方法及びプログラム | |
| EP1556788A2 (en) | Intelligent classification system | |
| JP2012003589A (ja) | コンテンツ収集装置、コンテンツ収集方法およびコンテンツ収集プログラム | |
| JP4225542B2 (ja) | キーワードベクトル辞書生成装置とシステムおよびプログラム | |
| US8356076B1 (en) | Apparatus and method for performing spam detection and filtering using an image history table | |
| US10530889B2 (en) | Identifying member profiles containing disallowed content in an online social network | |
| JP2003067304A (ja) | 電子メールフィルタリングシステム、電子メールフィルタリング方法、電子メールフィルタリングプログラム及びそれを記録した記録媒体 | |
| JP4379365B2 (ja) | コンテンツ提供装置，コンテンツ提供システムおよびプログラム | |
| US20200364589A1 (en) | Collection apparatus, collection method, and collection program | |
| Phomkeona et al. | Zero-day malicious email investigation and detection using features with deep-learning approach | |
| JP2020135673A (ja) | 投稿評価システム及び方法 | |
| JP7068587B2 (ja) | 情報処理装置、情報処理方法、プログラム | |
| JP6298583B2 (ja) | 個人情報の保護方法、電子機器、およびコンピュータ・プログラム | |
| JP4484957B1 (ja) | 検索式生成装置、検索式生成方法、およびプログラム | |
| JP4821328B2 (ja) | 補完単語語句提案方法、プログラムおよび補完単語語句提案装置 | |
| JP7287992B2 (ja) | 情報処理装置、情報処理システム、情報処理方法、及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050708 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080822 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080826 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081017 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081121 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081121 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111205 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111205 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121205 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121205 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131205 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |