JPWO2011018867A1 - 情報分類装置、情報分類方法、及びプログラム - Google Patents

Abstract

情報分類装置１は、和集合ルールを用いて分類対象コンテンツに対する正否判定を行う和集合判定部１０と、複数の個別判定ルールを、正と判定された分類対象コンテンツに適用して、条件に合致するかどうかの判定を行い、各個別判定ルールの判定結果に基づいて、正と判定された分類対象コンテンツに対して再度の正否判定を行う個別判定部１１とを備える。和集合判定ルールは、分類対象とは異なる複数のコンテンツに対して予め二人以上によって実行された正否判定の結果と、異なる各コンテンツの特徴量とを用いて作成され、各個別判定ルールは、各人に対応するように、上述の正否判定の結果と特徴量とを用いて作成される。

Description

本発明は、コンテンツをカテゴリに分類するための情報分類装置、情報分類方法、及びコンピュータ読み取り可能な記録媒体に関する。

近年、大量の情報を有効活用することが求められている。そして、大量の情報の有効活用のためには、情報を分類して管理することが極めて重要となる。例えば、新聞記事を政治や経済等のジャンル別に分類すること、及び技術文書を技術分野別に分類することは、特定のテーマを調査する際の調査対象の絞り込みを容易なものとする。よって、情報の分類は、情報の有効活用に有用である。

また、ある情報を分類するための分類方法は、一つではなく、多数存在するが、各分類方法には一長一短があることから、最適な分類方法の選択は困難な場合がある。このため、従来から、１つの分類基準が与えられている場合に最適な分類方法を選択するための方法が提案されている（例えば、特許文献１参照。）。

具体的には、特許文献１に開示された情報分類方法では、次のような処理が実行される。先ず、分類サンプルデータから、分類カテゴリ毎に特徴素が抽出される。次に、分類サンプルデータに基づいて複数の分類方法の中から最も分類精度が高い分類方法が決定される。次いで、決定された分類方法に従い、抽出された特徴素に基づいて、分類カテゴリ毎の特徴を表す分類学習情報が生成される。その後、決定された分類方法と分類学習情報とに従って、分類対象である新規テキスト群が分類カテゴリ毎に分類される。

ところで、最適な情報分類方法が決定されても、分類基準に人の感性が関わる場合は、人によって分類基準が異なるため、分類についての問題（分類問題）に対して、本質的な正解を決定することが困難となる。例えば、ある文に対して意見が述べられているか否か、ある商品の特長がその商品が売れている要因であるか否か、等の分類問題が存在するとする。このような分類問題は、人の感性に依存するため、分類基準は異なってしまう。このような分類基準の相違を修正するため、複数人による投票によって分類基準を決定し、その後、情報分類を実行する技術が提案されている。

従来からの投票型の情報分類技術としては、例えば、以下の二つ分類方法が知られている。なお、以下の説明においては、予め、複数人（ｎ人）それぞれによって幾つかの情報に対してカテゴリの分類を行わせ、各人のカテゴリ分類によって得られた情報がサンプルデータとして付与されているとする。また、以下の方法においては、ｍ（≦ｎ）人以上によって、そのカテゴリと見なされた情報が、そのカテゴリに分類されるように、カテゴリ分類が実行される。なお、以下において、対象となる情報が着目するカテゴリに分類される場合を「正例」とし、着目するカテゴリに分類されない場合を「負例」と表す。

第１の分類方法では、先ず、ｎ人によるカテゴリ分類によって得られたサンプルデータが取得される。次に、サンプルデータに基づいて、特定の情報分類ルールを有する情報分類器の構築が行われる（例えば、非特許文献１参照。）。なお、特定の情報分類ルールとしては、例えば、ｍ人以上が、着目するカテゴリであると判断した情報をそのカテゴリの正例とし、それ以外の情報をそのカテゴリの負例とするルール等が挙げられる。

また、第２の分類方法でも、先ず、ｎ人によるカテゴリ分類によって得られたサンプルデータが取得される。次に、第２の分類方法では、サンプルデータを人毎に分析し、各人に対応するｎ個の情報分類器が構築される。そして、ｍ個以上の情報分類器が、着目するカテゴリであると判断した情報をそのカテゴリの正例とし、それ以外の情報をそのカテゴリの負例として、正例と負例とへの分類が実行される。第２の分類方法は、各人の基準で別々の情報分類器の構築が行われる点で、第１の分類方法と異なっている。

特開２００２−７４３３号公報

Hironori Mizuguchi, Masaaki Tsuchida and Dai Kusui,"Three-Phase Opinion Analysis System at NTCIR-6", Proceedings ofNTRIC-6 Workshop Meeting, pp 330-335, 2007.

しかしながら、上述した第１の分類方法及び第２の分類方法には、サンプルデータ作成時に携わった個人の認識における偏り、即ち、他人の認識と異なる部分が考慮されていないため、分類精度の向上が難しいという問題がある。

ここで、「個人の認識における偏り」を、図１１を用いて説明する。図１１は、個人の認識における偏りを示す説明図である。図１１に示すように、例えば、Ａ、Ｂ、Ｃの三人の認識を円で図示すると、各円は一致することはないが、一部分（図中斜線部分）でのみ重なる。図１１において、各円の重なっていない部分が、「個人の認識における偏り」に相当する。

具体的には、第１の分類方法では、情報毎に、ｎ人全体の傾向に基づいて分類が行われる。よって、図１１に示す個人の認識における偏りが考慮されることはない。また、第１の分類方法では、情報毎に、正例と判断したｍ人の構成が変化してしまう。例えば、ある情報は、判定者Ａ及びＢによって正例とされ、他の情報は判定者Ａ、Ｂ、Ｃによって正例とされ、更に別の他の情報は判定者Ｂ及びＣによって正例とされている。このため、分類基準に一貫性がなく、このことからも分類精度の向上が難しくなっている。

第２の分類方法では、各分類器自体には個人の認識における偏りは反映されているが、各分類器において、どの部分が個人の認識の偏りに相当するかまでは考慮されていない。つまり、第２の分類方法であっても、個人の認識における偏り部分と共通部分とを特定し、これらを考慮して情報分類が行われるわけではないため、分類精度の向上は困難である。

更に、第２の分類方法では、各分類器において個人の認識における偏りが強く反映され過ぎてしまい、本来、正例とすべき情報が正例に分類されなかったり、負例とすべき情報が負例に分類されなかったりといった事態が発生する場合もある。この場合も分類精度の向上は困難である。

本発明の目的は、上記問題を解消し、個人の認識における偏りを認識し、これを情報分類に反映させて分類精度の向上を図り得る、情報分類装置、情報分類方法、及びコンピュータ読み取り可能な記録媒体を提供することにある。

上記目的を達成するため、本発明における情報分類装置は、分類対象となるコンテンツをカテゴリに分類するための情報分類装置であって、
第１のルールを用いて、前記分類対象となるコンテンツに対する正否判定を行う、第１の判定部と、
互いに条件が異なる複数の第２のルールそれぞれを、前記第１の判定部によって正と判定されたコンテンツに適用して、前記条件に合致するかどうかの判定を行い、前記複数の第２のルールそれぞれの判定結果に基づいて、前記第１の判定部によって正と判定されたコンテンツに対して再度の正否判定を行う、第２の判定部とを備え、
前記第１のルールは、前記分類対象となるコンテンツとは異なる複数のコンテンツそれぞれに対して予め二人以上の人によって実行された正否判定の結果と、前記異なる複数のコンテンツそれぞれの特徴量とを用いて作成され、
前記複数の第２のルールそれぞれは、前記二人以上の人それぞれに対応し、且つ、前記予め二人以上の人によって実行された正否判定の結果と、前記特徴量とを用いて作成されている、ことを特徴とする。

また、上記目的を達成するため、本発明における情報分類方法は、分類対象となるコンテンツをカテゴリに分類するための情報分類方法であって、
（ａ）第１のルールを用いて、前記分類対象となるコンテンツに対する正否判定を行う、ステップと、
（ｂ）互いに条件が異なる複数の第２のルールそれぞれを、前記（ａ）のステップによって正と判定されたコンテンツに適用して、前記条件に合致するかどうかの判定を行い、前記複数の第２のルールそれぞれの判定結果に基づいて、前記（ａ）のステップで正と判定されたコンテンツに対して再度の正否判定を行う、ステップとを有し、
前記第１のルールは、前記分類対象となるコンテンツとは異なる複数のコンテンツそれぞれに対して予め二人以上の人によって実行された正否判定の結果と、前記異なる複数のコンテンツそれぞれの特徴量とを用いて作成され、
前記複数の第２のルールそれぞれは、前記二人以上の人それぞれに対応し、且つ、前記予め二人以上の人によって実行された正否判定の結果と、前記特徴量とを用いて作成されている、ことを特徴とする。

更に、上記目的を達成するため、本発明におけるコンピュータ読み取り可能な記録媒体は、分類対象となるコンテンツのカテゴリへの分類をコンピュータに実行させるためのプログラムを記録した、コンピュータ読み取り可能な記録媒体であって、
前記コンピュータに、
（ａ）第１のルールを用いて、前記分類対象となるコンテンツに対する正否判定を行う、ステップと、
（ｂ）互いに条件が異なる複数の第２のルールそれぞれを、前記（ａ）のステップによって正と判定されたコンテンツに適用して、前記条件に合致するかどうかの判定を行い、前記複数の第２のルールそれぞれの判定結果に基づいて、前記（ａ）のステップで正と判定されたコンテンツに対して再度の正否判定を行う、ステップとを実行させる、命令を含むプログラムを記録しており、
前記第１のルールは、前記分類対象となるコンテンツとは異なる複数のコンテンツそれぞれに対して予め二人以上の人によって実行された正否判定の結果と、前記異なる複数のコンテンツそれぞれの特徴量とを用いて作成され、
前記複数の第２のルールそれぞれは、前記二人以上の人それぞれに対応し、且つ、前記予め二人以上の人によって実行された正否判定の結果と、前記特徴量とを用いて作成されている、ことを特徴とする。

以上のように、本発明における、情報分類装置、情報分類方法、及びプログラムによれば、個人の認識における偏りを認識し、これを情報分類に反映させて分類精度の向上を図ることができる。

図１は、実施の形態１における情報分類装置の構成を示すブロック図である。 図２は、実施の形態１における情報分類装置の動作を示すフロー図である。 図３は、実施の形態１で用いられる分類対象データの一例を示す図である。 図４は、実施の形態１で用いられる和集合判定ルールの一例を示す図である。 図５は、実施の形態１で用いられる個別判定ルールの一例を示す図である。 図６は、実施の形態１における分類結果の一例を示す図である。 図７は、実施の形態２における情報分類装置の構成を示すブロック図である。 図８は、実施の形態２における情報分類装置の動作を示すフロー図である。 図９は、実施の形態２で用いられる訓練データの一例を示す図である。 図１０は、本発明の実施の形態１または２におけるプログラムを実行可能なコンピュータを示すブロック図である。 図１１は、個人の認識における偏りを示す説明図である。

（実施の形態１）
以下、本発明の実施の形態１における情報分類装置及び情報分類方法について、図１〜図６を参照しながら説明する。最初に、本実施の形態１における情報分類装置の構成について図１を用いて説明する。図１は、実施の形態１における情報分類装置の構成を示すブロック図である。

図１に示す、本実施の形態１における情報分類装置１は、分類対象となるコンテンツ（分類対象コンテンツ）をカテゴリに分類するための装置である。本実施の形態１において、コンテンツとしては、Ｅ−ｍａｉｌ、Ｗｅｂページ等が挙げられる。

また、以下の説明では、各分類対象コンテンツが、あるカテゴリに属すか否かの２クラス分類が実行される例が挙げられている。但し、本実施の形態１はこれに限定されるものではない。本実施の形態１は、情報分類装置１が、分類対象コンテンツを複数のカテゴリ（クラス）のいずれかに分類する場合であっても良い。この場合、情報分類装置１は、カテゴリ毎に、分類対象コンテンツが当該カテゴリに属するかどうかを判定する。

図１に示すように、情報分類装置１は、第１の判定部１０と、第２の判定部１１とを備えている。第１の判定部１０は、第１のルールを用いて、分類対象となるコンテンツに対する正否判定を実行する。

第２の判定部１１は、互いに条件が異なる複数の第２のルールそれぞれを、第１の判定部１０によって正と判定されたコンテンツに適用して、条件に合致するかどうかの判定を行う。また、第２の判定部１１は、複数の第２のルールそれぞれの判定結果に基づいて、第１の判定部１０によって正と判定されたコンテンツに対して再度の正否判定を実行する。

また、第１のルールは、分類対象となるコンテンツとは異なる複数のコンテンツ（ルール作成用コンテンツ）から作成されている。具体的には、第１のルールは、各ルール作成用コンテンツに対して予め二人以上の人によって実行された正否判定の結果と、各ルール作成用コンテンツの特徴量とを用いて作成されている。

更に、各第２のルールは、上述の各ルール作成用コンテンツに対して正否判定を行った各人に対応して作成されている。そして、各第２のルールは、第１のルールの作成で述べた、正否判定の結果と、特徴量とを用いて作成されている。

従って、第１のルールを用いた最初の正否判定の結果には、第１のルール及び第２のルールの作成に貢献した複数人全体での意思が反映される。一方、第２のルールを用いた各判定の結果には、個人の認識における偏りが強く反映される。

このように、情報分類装置１は、先ず、分類対象コンテンツに対して、個人の認識における偏りが排除された判定を行う。そして、情報分類装置１は、正と判定された分類対象コンテンツに対してのみ、個人の認識における偏りが反映された第２のルールを適用して、個人毎の認識の相違を特定する。その後、情報分類装置１は、第２のルールの適用結果に基づいて、再度、分類対象コンテンツに対して判定を行う。このため、情報分類装置１によれば、個人の認識における偏りが認識され、そして、この認識が情報分類に反映されるので、結果、分類精度の向上が図られる。

ここで、本実施の形態１における情報分類装置１の構成について更に具体的に説明する。図１に示すように、本実施の形態１では、情報分類装置１には、記憶装置２が接続されている。情報分類装置１は、記憶装置２と共に情報分類システム３を構成している。

また、本実施の形態１では、第１のルール及び第２のルールは、コンピュータ等を用いた機械学習によって予め作成されている。この場合、第１のルールは、各ルール作成用コンテンツに対して予め二人以上の人によって実行された正否判定の結果と、各ルール作成用コンテンツの特徴量とを用いて、この二人以上の人による正否判定を学習することによって作成されているのが好ましい。更に、各第２のルールは、第１のルールの作成で述べた、正否判定の結果と、特徴量とを用いて、各人の正否判定を学習することによって作成されているのが好ましい。

具体的には、第１のルールは、複数のルール作成用コンテンツのうち、予め定められたｍ人が正と判定するコンテンツを正のデータに設定し、それ以外のコンテンツを否のデータに設定して学習されているのが好ましい。この場合、ｍは１とするのが好ましい。よって、第１のルールは、少なくとも一人が正と判定するコンテンツを正のデータに設定し、それ以外のコンテンツを否のデータに設定して学習されているのが好ましい。

例えば、ルール作成用コンテンツに対して、Ａ、Ｂ、Ｃの三人によって正否判定が行われているとする。この場合は、図１１中において太線で示されたＡ、Ｂ、Ｃの和集合（Ａ∪Ｂ∪Ｃ）に含まれるコンテンツが正（正解）に設定され、この和集合に含まれないコンテンツが否（不正解）に設定されて、学習が行われる。

更に、各第２のルールは、複数のルール作成用コンテンツのうち、当該第２のルールに対応する人を含むｊ人以下が賛同するコンテンツを正のデータに設定し、当該第２のルールに対応する人を含むｋ人以上が賛同するコンテンツを否のデータに設定して学習されているのが好ましい。この場合、ｊ及びｋは共に１以上の整数であり、「ｋ＞ｊ」の関係にあるのが良い。ｊ及びｋの値は、適宜設定することができる。

例えば、ｊが１、ｋが３に設定されており、図１１におけるＡに対応する第２のルールを作成する場合は、Ａのみが賛同するコンテンツが正に設定され、Ａ、Ｂ、Ｃの全員が賛同するコンテンツが否に設定されて、学習が行われる。また、ｊを小さく、ｋを大きくする程、第２のルールに反映される個人の偏りは、強くなる傾向にある。逆に、ｊを大きく、ｋを小さくする程、第２のルールに反映される個人の偏りは、弱くなる傾向にある。

また、以降の説明では、第１のルールは、「和集合判定ルール」とし、第１の判定部１０は「和集合判定部」１０とする。更に、第２のルールは、「個別判定ルール」とし、第２の判定部１１は、「個別判定部」１１とする。和集合判定ルール及び個別判定ルールの具体例については、後述する（図４、図５参照。）。

なお、本実施の形態では、和集合判定ルール（第１のルール）及び個別判定ルール（第２のルール）は、人手によって予め作成されていても良い。この場合、和集合判定ルールは、異なる複数のコンテンツのうち、少なくとも一人が正と判定するコンテンツを正のデータとし、それ以外のコンテンツを否のデータとするルールとなるように作成されているのが良い。各個別判定ルールは、異なる複数のコンテンツのうち、対応する人を含むｊ人以下が賛同するコンテンツを正のデータとし、対応する人を含むｋ（ｋ＞ｊ）人以上が賛同するコンテンツを否のデータとする、ルールとなるように作成されているのが良い。

また、図１に示すように、本実施の形態１では、記憶装置２は、分類対象データ記憶部２０と、和集合判定ルール記憶部２１と、個別判定ルール記憶部２２と、分類結果記憶部２３とを備えている。これらは、実際には、記憶装置２の記憶領域に構築されている。

分類対象データ記憶部２０には、和集合判定ルール及び個別判定ルールによる判定の対象となるデータ、即ち、分類対象コンテンツのデータ（分類対象データ）が記憶されている。また、分類対象データの形式（フォーマット）は、判定対象となるのであれば限定されず、テキスト形式、バイナリ形式等のいずれの形式であっても良い。つまり、分類対象データ記憶部２０には、形式に限定されず、分類対象データが記憶される。

また、和集合判定ルール記憶部２１には、和集合判定部１０が使用する和集合判定ルールが記憶されている。個別判定ルール記憶部２２には、個別判定部１１が使用する複数の個別判定ルールが記憶されている。分類結果記憶部２３には、後述する個別判定部１１によって最終的に行われる情報分類の結果が記憶されている。

和集合判定部１０は、本実施の形態１では、分類対象データ記憶部２０から、分類対象データを抽出し、抽出したデータに対して、和集合判定ルール記憶部２１から取り出した和集合判定ルールを用いて正否判定を実行する。具体的には、和集合判定部１０は、例えば、スパムかどうかの判断基準を含む和集合判定ルールを用いて、分類対象コンテンツがスパム（正）及び非スパム（否）のいずれであるか等を判定する。

また、個別判定部１１は、本実施の形態１では、和集合判定部１０から判定結果を受け取り、更に、個別判定ルール記憶部２２から個別判定ルールを取り出し、和集合判定部１０によって正と判定されたコンテンツに各個別判定ルールを適用する。そして、個別判定部１１は、個別判定ルール毎に結果を集計する。

例えば、個別判定ルールが、コンテンツがスパムであるとされる条件を有し、その条件が、個別判定ルール毎に異なっているとする。そして、このような各個別判定ルールが、和集合判定部１０によってスパム（正）と判定されたコンテンツに適用されるとする。個別判定部１１は、和集合判定部１０の判定結果と一致する場合（スパムと判定する場合）と、和集合判定部１０の判定結果と不一致となる場合（非スパムと判定する場合）との両方又は一方について集計を行う。なお、集計は、例えば、該当する個別判定ルールの数をカウントすることによって行われる。

そして、本実施の形態１では、個別判定部１１は、条件に合致する（和集合判定部１０の判定結果と一致する）個別判定ルールの数、又は条件に合致しない（和集合判定部１０の判定結果と一致しない）個別判定ルールの数に基づいて、再度の正否判定を行う。例えば、スパムと判定する個別判別ルールの数が、非スパムと判定する個別判別ルールの数より多い場合は、個別判定部１１は、分類対象コンテンツはスパム（正）であると判定する。そして、個別判定部１１は、この分類対象コンテンツをスパムに分類し、分類結果を分類結果記憶部２３に記憶させる。

次に、図１に示した、実施の形態１における情報分類装置１の動作について図２〜図６を用いて説明する。図２は、実施の形態１における情報分類装置の動作を示すフロー図である。

また、本実施の形態１では、情報分類装置１を動作させることにより、情報分類方法を実施することができる。よって、実施の形態１における情報分類方法の説明は、情報分類装置１の動作の説明に代える。以下の説明では、適宜、図１を参酌する。

更に、以下においては、分類対象コンテンツがＥ−Ｍａｉｌであり、このＥ−Ｍａｉｌをスパム及び非スパムのいずれかに分類する場合を例に挙げて説明する。また、既に述べたように、スパム及び非スパムの定義は、通常、人によって異なるため、複数の判定者の投票によって決めるのが好ましい。以下の説明では、判定者は３人に設定され、各判定者に対応する２つ以上の個別判定ルールによってスパムと判定されたＥ−Ｍａｉｌが、最終的にスパムに分類されることとする。なお、和集合判定ルール及び個別判定ルールは、複数の判定者（人）が別のＥ−Ｍａｉｌに対して既に行っている判定結果から、予め、作成されている。

図２に示すように、先ず、和集合判定部１０が、分類対象データ記憶部２０から１又は２以上の分類対象データを読み出し、和集合判定ルール記憶部２１から和集合判定ルールを読み出す（ステップＳ１）。

ステップＳ１で読み出される分類対象データの具体例としては、図３に示すデータが挙げられる。また、ステップＳ１で読み出される和集合判定ルールの具体例としては、図４に示すルールが挙げられる。図３は、実施の形態１で用いられる分類対象データの一例を示す図である。図４は、実施の形態１で用いられる和集合判定ルールの一例を示す図である。

図３に示すように、本実施の形態１では、各分類対象データは、各データを特定するための識別子「ＩＤ」と、データ本体（Ｅ−Ｍａｉｌの内容）を特定する「データ」とで構成されている。また、図４に示すように、本実施の形態１では、和集合判定ルールは、各ルールを特定するための識別子「ルールＩＤ」と、ルールの条件を特定する「ルール条件」と、各ルール条件に適合した場合に付与されるスコアを特定する「スコア」とで構成されている。更に、図４に示す和集合判定ルールは、分類対象のＥ−Ｍａｉｌがスパムか非スパムかを判定するためのルールである。

次に、和集合判定部１０は、ステップＳ１で読み出した各分類対象データに対して、和集合判定ルールを適用し、正否判定を実行し、正否判定の結果を個別判定部１１に渡す（ステップＳ２）。

具体的には、本実施の形態１におけるステップＳ２では、和集合判定部１０は、分類対象データの「データ」に対して、各和集合判定ルールを適用し、条件に適合したルールの「スコア」の合計を算出する。そして、和集合判定部１０は、例えば、合計値が１を超えたデータをスパム（正）、そうでないデータを非スパム（否）と判定する。

例えば、「ＩＤ」＝１の分類対象データは、本文にＵＲＬを含むため、「ルールＩＤ」＝１の和集合判定ルールが適用されると、条件が適合するため、「スコア」として０．５が付与される。しかし、「スコア」の合計が１を下回るため、「ＩＤ」＝１の分類対象データは非スパム（否）と判定される。一方、「ＩＤ」＝２の分類対象データは、本文にＵＲＬと「秘密情報」の文言とを含んでいる。「ＩＤ」＝２の分類対象データは「ルールＩＤ」＝１及び４の条件に適合するため、これに付与されるスコアの合計は１．５となる。よって、「ＩＤ」＝２の分類対象データはスパム（正）と判定される。なお、判断の基準となる合計値は、分類対象コンテンツの内容、求める分類精度等に応じて適宜設定される。

次に、個別判定部１１は、和集合判定部１０から判定結果を受け取ると、個別判定ルール記憶部２２からの個別判定ルールの読み出しを実行する（ステップＳ３）。ステップＳ３で読み出される個別判定ルールの具体例としては、図５に示すルールが挙げられる。図５は、実施の形態１で用いられる個別判定ルールの一例を示す図である。

図５に示すように、本実施の形態１では、個別判定ルールは、対応する判定者を特定する「判定者ＩＤ」と、ルールの条件を特定する「ルール条件」と、各ルール条件に適合した場合に付与されるスコアを特定する「スコア」とで構成されている。更に、図５に示す各個別判定ルールも、和集合判定ルールと同様に、分類対象のＥ−Ｍａｉｌがスパムか非スパムかを判定するためのルールである。

図５に示す各個別判定ルールは、例えば、対応する判定者のみが「スパム」と判定するコンテンツを正、対応する判定者を含む３人が共通で「スパム」と判定するコンテンツを否に設定した学習によって作成されている。よって、「判定者ＩＤ」＝１の最初の個別判定ルールは、「判定者ＩＤ」＝１の判定者が、特に、ｓｕｂｊｅｃｔに「マガジン」を含むメールをスパムと見なす傾向にあることを表している。また、ｓｕｂｊｅｃｔに「マガジン」を含むメールは、必ずしもスパムとは見なせないため、この個別判定ルールは、「判定者ＩＤ」＝１の判定者の認識における偏りに相当する。

次に、個別判定部１１は、ステップ２での和集合判定部１０の判定結果から、正と判定された分類対象データを特定し、特定した分類対象データに対して各個別判定ルールを適用する（ステップＳ４）。具体的には、個別判定部１１は、先ず、正と判定されなかった分類対象データについては、投票数（図６参照）を「０」に設定する。一方、個別判定部１１は、正と判定された分類対象データに対しては、各個別判定ルールを適用して、ステップＳ２の判定結果と一致する場合（スパムと判定する場合）の数をカウントする。そして、個別判定部１１は、正と判定された分類対象データについては、カウントによって得られた値を投票数に設定する。

次に、個別判定部１１は、ステップＳ４の結果に基づいて、各分類対象データに対して、再度の正否判定を実行し、その結果を用いて情報の分類を行う（ステップＳ５）。本実施の形態１では、ステップＳ５の正否判定は、ステップＳ２の判定結果と一致する場合の数（図６に示す「投票数」）が、閾値以上となる場合を正とし、閾値未満となる場合を否とする。そして、正とされた分類対象データのコンテンツをスパムに分類し、否とされた分類対象データのコンテンツを非スパムに分類する。そして、ステップＳ５の実行により、情報処理装置１における処理は一旦終了する。

ここで、図５及び図６を用いて、ステップＳ４及びＳ５を具体的に説明する。図６は、実施の形態１における分類結果の一例を示す図である。図６の例では、分類対象データのうち「分類対象データＩＤ」＝１及び３は、ステップＳ２において否（非スパム）と判断されている。よって、ステップＳ４では、「分類対象データＩＤ」＝２、４、５、６・・・が適用対象となる。図５に示す個別判定ルールが用いられた場合、個別判定部１１は、ステップＳ４において、分類対象データと各個別判定ルールのルール条件とを対比し、適合するルール条件のスコアを積算する。そして、スコアの積算値が、閾値を超えた場合に、個別判定部１１は、個別判定ルールの適用結果とステップＳ２の判定結果とが一致すると判定することができる。

例えば、閾値が「１」に設定されている場合に、「分類対象データＩＤ」＝５の分類対象データに、「判定者ＩＤ」＝１の個別判定ルールが適用されたとする。「分類対象データＩＤ」＝５の分類対象データは、ｓｕｂｊｅｃｔに「マガジン」を含むため（図３参照）、「判定者ＩＤ」＝１の個別判定ルールのスコアは１となる（図５参照）。よって、スコアは１を越えないため、「判定者ＩＤ」＝１の個別判定ルールの「分類対象データＩＤ」＝５の分類対象データへの適用結果は、非スパムであり、「不一致」となる（後述の図６参照）。同様に、「分類対象データのＩＤ」＝５の分類対象データに、「判定者ＩＤ」＝２の個別判定ルールが適用された場合も、適用結果は「不一致」となる。

そして、「分類対象データのＩＤ」＝５の分類対象データにおいては、二つの個別判定ルールの適用結果が「不一致」となるので、「投票数」は、個別判定ルールの全数である「３」から、不一致となる数「２」を引いて得られた値「１」となる。ステップＳ６において、投票数の閾値が「２」に設定されているとすると、この場合、「分類対象データのＩＤ」＝５の分類対象データは、非スパムと判定される。一方、「分類対象データＩＤ」＝２の分類対象データでは、個別判定ルールの適用結果が全て「一致」となるので、スパムと判定される。同様に、「分類対象データＩＤ」＝４の分類対象データでは、「判定者ＩＤ」＝３の個別判定ルールの適用結果は「不一致」となるが、投票数が「２」となるため、スパムと判定される。

なお、図６の例では、ステップＳ２において、和集合判定部１０によって「否」と判定された分類対象データは、そのまま「非スパム」とされている。また、ステップＳ２において、和集合判定部１０によって「正」と判定された分類対象データのうち、「投票数」が２を上回った「分類対象データのＩＤ」＝２、４、６は「スパム」と判定されている。一方、そうでない「分類対象データのＩＤ」＝５は「非スパム」と判定されている。

以上のように、本実施の形態１では、複数の判定者から得られたデータに基づいて、判定者全体による判定に相当する和集合判定と、各判定者による判定に相当する個別判定とが行われる。また、和集合判定は、正か、否かのみを判定し、個別判定は、正と判断されたコンテンツに対して、個別判定の結果を用いて多数決判定を実行し、コンテンツを最終的に分類する。このように、本実施の形態１は、個人の認識の偏りが強く出過ぎてしまうのを抑制しつつ、個人の認識を情報分類に反映できるので、情報分類における分類精度の向上を図ることができる。

（実施の形態２）
次に、本発明の実施の形態２における情報分類装置及び情報分類方法について、図７〜図９を参照しながら説明する。最初に、本実施の形態１における情報分類装置の構成について図７を用いて説明する。図７は、実施の形態２における情報分類装置の構成を示すブロック図である。なお、本実施の形態２においても、実施の形態１と同様に、各分類対象コンテンツが、あるカテゴリに属すか否かの２クラス分類が実行される例が挙げられている。

図７に示す本実施の形態２における情報分類装置４は、和集合判定ルールと個別判定ルールとを機械学習によって自動的に取得する機能を備えており、この点で、図１に示した実施の形態１における情報分類装置１と異なっている。

図７に示すように、情報分類装置４は、情報分類装置１と異なり、和集合判定部１０及び個別判定部１１に加え、ルール学習部１２を備えている。また、記憶装置５は、図１に示した記憶装置２と異なり、更に、訓練データ記憶部２４を備えている。

これらの点以外については、情報分類装置４及び記憶装置５は、実施の形態１において図１に示した情報分類装置１及び記憶装置２と同様に構成されている。以下に、相違点について具体的に説明する。なお、本実施の形態２においても、情報分類装置４は、記憶装置５と共に情報分類システム６を構成している。

本実施の形態２において、記憶装置５に構築された訓練データ記憶部２４は、和集合判定ルール及び個別判定ルールの学習に用いる訓練データを記憶している。訓練データは、分類対象となるコンテンツとは異なる複数のコンテンツ（ルール作成用コンテンツ）から作成されたデータである。訓練データは、各ルール作成用コンテンツに対して予め二人以上の人によって実行された正否判定の結果と、各ルール作成用コンテンツの特徴量とを含んでいる。

また、本実施の形態２では、訓練データ記憶部２４は、分類対象データ記憶部２０等と共通の記憶装置の記憶領域に構築されているが、この例に限定されるものではない。訓練データ記憶部２４は、分類対象データ記憶部２０等が構築された記憶装置とは別の記憶装置の記憶領域に構築されていても良い。

ルール学習部１２は、訓練データ記憶部２４に記憶されている訓練データに基づいて学習を行うことによって、和集合判定ルール及び個別判定ルールを作成する。また、ルール学習部１２は、和集合判定ルールを学習する和集合判定ルール学習部１３と、各個別判定ルールを学習する個別判定ルール学習部１４とを備えている。

本実施の形態２において学習される和集合判定ルール及び各個別判定ルールのそれぞれの例としては、実施の形態１に示した和集合判定ルール及び各個別判定ルールが挙げられる。例えば、和集合判定ルール学習部１３は、複数のルール作成用コンテンツのうち、少なくとも一人が正と判定するコンテンツを正のデータに設定し、それ以外のコンテンツを否のデータに設定して学習を行い、和集合判定ルールを作成する。

また、個別判定ルール学習部１４は、複数のルール作成用コンテンツのうち、一の判定者を含むｊ人以下が賛同するコンテンツを正のデータに設定し、当該一の判定者を含むｋ人以上が賛同するコンテンツを否のデータに設定して学習を行い、個別判定ルールを作成する。実施の形態１と同様に、ｊ及びｋは共に１以上の整数であり、「ｋ＞ｊ」の関係にある。ｊ及びｋの値は、適宜設定することができる。

更に、本実施の形態２において、和集合判定ルール学習部１３及び個別判定ルール学習部１４による具体的な学習の方法は、特に限定されるものではない。具体的な学習方法としては、例えば、サポートベクターマシン（Support Vector Machines）、及び決定木等といった、任意の教師パタンが付与された（教師有り）学習アルゴリズムを用いた学習方法が挙げられる。

例えば、サポートベクターマシンが用いられる場合は、各学習部は、正解データ群及びそれぞれの特徴量と、不正解データ群及びそれぞれの特徴量とを用いて学習を行い、学習結果として、分類に有効な特徴量を出力する。出力される特徴量が、和集合判定ルール又は個別判定ルールとなる。なお、サポートベクターマシンでの学習の結果によって出力されるルールは、通常、人間が可読できるものではなく、コンピュータ等の機械によって読み取り可能な形式で作成されている。但し、これらルールは、概念的には、図４及び図５に示されたルールと同様のものである。

また、和集合判定ルール学習部１３は、作成した和集合判定ルールを和集合判定ルール記憶部２１に記憶させる。個別判定ルール学習部１４は、作成した個別判定ルールを個別判定ルール記憶部２２に記憶させる。

次に、図７に示した、実施の形態２における情報分類装置４の動作について図８及び図９を用いて説明する。図８は、実施の形態２における情報分類装置の動作を示すフロー図である。図９は、実施の形態２で用いられる訓練データの一例を示す図である。

また、本実施の形態２においても、実施の形態１と同様に、情報分類装置４を動作させることにより、情報分類方法を実施することができる。よって、実施の形態２における情報分類方法の説明は、情報分類装置４の動作の説明に代える。また、以下の説明では、適宜、図７を参酌する。

なお、本実施の形態２においても、分類対象コンテンツはＥ−Ｍａｉｌであり、このＥ−Ｍａｉｌをスパム及び非スパムのいずれかに分類する場合を例に挙げて説明する。また、訓練データは、３人の判定者が、分類対象とは別のＥ−Ｍａｉｌに対して既に行っている判定結果を含んでいる。本実施の形態２では、各判定者に対応する２つ以上の個別判定ルールによってスパムと判定されたＥ−Ｍａｉｌが、最終的にスパムに分類される。

図８に示すように、最初に、ルール学習部１２が、訓練データ記憶部２４から訓練データを読み出し、そして、和集合判定ルール学習部１３による和集合判定ルールの学習と、個別判定ルール学習部１４による個別判定ルールの学習とが実行される（ステップＳ１１）。ステップＳ１１の実行後、和集合判定ルールは、和集合判定ルール記憶部２１に記憶され、個別判定ルールは、個別判定ルール記憶部２２に記憶される。

ここで、図９を用いて、和集合判定ルール学習部１３及び個別判定ルール学習部１４によるルールの学習について説明する。図９に示すように、訓練データは、訓練データを構成している各構成データを特定する「ＩＤ」によって管理されている。各構成データは、ルール訓練用コンテンツのデータである。訓練データは、ＩＤで特定される構成データ毎に、ルール学習に用いられる特徴量と、判定者による正否判定の結果とを含んでいる。

図９に示された正否判定の結果において、「○」は、各判定者がルール作成用コンテンツを正（スパム：正解）と判定した場合を示し、「×」は、各判定者がルール作成用コンテンツを否（非スパム：不正解）と判定した場合を示している。

また、図９において、「特徴量」は、学習対象となるルール作成用コンテンツ（構成データ）の特性を表している。図９に示された例では、各構成データのｓｕｂｊｅｃｔ、コンテンツの本文に含まれる自立語（名詞、動詞、形容詞、形容動詞等）の表層文字列等が、特徴量として用いられている。

例えば、「ＩＤ」＝１の構成データの特徴量に含まれる、「ｓｕｂｊｅｃｔ:送別会」、「ｓｕｂｊｅｃｔ：連絡」は、各ｓｕｂｊｅｃｔに、送別会又は連絡といった単語が含まれていることを表している。また、「ＩＤ」＝１の構成データの特徴量に含まれる、「明日」、「集合」、「１９時」は、コンテンツの本文に含まれる単語を表している。

なお、図９に示された特徴量は一例に過ぎず、特徴量は、図９の例に限定されるものではない。例えば、特徴量は、自立語の表層文字列以外を含んでいても良いし、名詞以外の品詞の表層文字列を含んでいても良い。また、特徴量は、品詞、係り受け関係の単語の組合せ、係り受けの単語の品詞の組合せ、それぞれの頻度等を含んでいても良い。

また、和集合判定ルール学習部１３は、例えば、いずれかの判定者が正と判定した構成データを正解に設定し、それ以外のデータを不正解に設定して、正解を判定することが可能なルールを学習することができる。この場合、和集合判定ルールは、図９の例では、ＩＤ＝１、３、４、５、７・・・といった構成データを正解に設定し、ＩＤ＝２、６・・・といった構成データを不正解に設定して学習される。

更に、個別判定ルール学習部１４は、例えば、ある判定者を含む１人以上ｊ人以下が正と判定した構成データを正解、当該判定者を含むｋ人以上が正と判定した構成データを不正解として、正解を判定することが可能なルールを学習することができる。例えば、ｊ＝２、ｋ＝３とする。この場合、判定者ＩＤが１の判定者に対応する個別判定ルールは、ＩＤ＝１、・・・といった構成データを不正解に設定し、ＩＤ＝４、５、・・・といった構成データを正解に設定して学習される。

なお、ステップＳ１１における、和集合判定ルール学習部１３及び個別判定ルール学習部１４による学習のアルゴリズムとしては、上述したサポートベクターマシン及び決定木等といった、教師有り学習アルゴリズムが挙げられる。

ステップＳ１１の実行後、和集合判定部１０は、分類対象データ記憶部２０から１又は２以上の分類対象データを読み出し、和集合判定ルール記憶部２１から和集合判定ルールを読み出す（ステップＳ１２）。更に、和集合判定部１０は、ステップＳ１２で読み出した各分類対象データに対して、和集合判定ルールを適用し、正否判定を実行し、正否判定の結果を個別判定部１１に渡す（ステップＳ１３）。

次に、個別判定部１１は、和集合判定部１０から判定結果を受け取ると、個別判定ルール記憶部２２から個別判定ルールの読み出し（ステップＳ１４）、ステップＳ１３で正と判定された分類対象データに各個別判定ルールを適用する（ステップＳ１５）。その後、個別判定部１１は、ステップＳ１５の結果に基づいて、各分類対象データに対して、再度の正否判定を実行し、その結果を用いて情報の分類を行う（ステップＳ１６）。そして、ステップＳ１６の実行により、情報処理装置４における処理は一旦終了する。なお、ステップＳ１２〜Ｓ１６は、それぞれ、実施の形態１において図２に示したステップＳ１〜Ｓ５と同様のステップである。ステップＳ１２〜Ｓ１６は、図２に示したステップＳ１〜Ｓ５に準じて実行される。

このように、本実施の形態２においては、和集合判定ルールと個別判定ルールとが、訓練データから自動的に取得されて、情報分類が実行される。このため、本実施の形態２によれば、和集合判定ルールと個別判定ルールとを予め作成しておく場合、特にこれらを人手で作成しておく場合に比べて、ルール作成のためのコストを低減することができる。また、本実施の形態２においても、実施の形態１で述べた効果を得ることができる。

また、本発明の実施の形態１及び２においては、情報分類装置及び情報分類方法について説明したが、本発明は、更に、コンピュータソフトウェアとしても実現可能である。ここで、実施の形態１及び２におけるプログラムについて説明する。図１０は、本発明の実施の形態１または２におけるプログラムを実行可能なコンピュータを示すブロック図である。

図１０に示すコンピュータは、本発明による情報分類装置をインプリメントした情報処理装置として機能する。図１０に示すように、コンピュータ（情報処理装置）は、プロセッサ３００と、プログラムメモリ３０１と、記憶媒体３０２と、外部機器に接続されるインターフェイス３０３と、表示データを出力するためのビデオカード３０４とを備えている。記憶媒体３０２としては、ＲＡＭといった各種メモリや、ハードディスク等の磁気記憶媒体を用いることができる。なお、コンピュータには、キーボード等の入力装置３０５と、液晶表示装置等の表示装置３０６とが接続されている。

プログラムメモリ３０１には、実施の形態１または２の情報分類装置で行われる処理ステップを実行するプログラムが格納されており、このプログラムによってプロセッサ３００が動作する。

そして、プログラムメモリ３０１に、例えば、図２に示すステップＳ１〜Ｓ５を具現化させるプログラムを格納し、このプログラムを実行すれば、実施の形態１における情報処理装置１が実現される。この場合、プロセッサ３００は、和集合判定部１０及び個別判定部１１として機能する。記憶媒体３０２は、記憶装置２として機能する。

また、同様に、プログラムメモリ３０１に、図８に示すステップＳ１１〜Ｓ１６を具現化させるプログラムを格納し、このプログラムを実行すれば、実施の形態２における情報分類装置４が実現される。この場合、プロセッサ３００は、和集合判定部１０、個別判定部１１、和集合ルール学習部１３、及び個別判定ルール学習部１４として機能する。記憶媒体３０２は、この場合、記憶装置５として機能する。

また、プログラムは、コンピュータ読み取り可能な記録媒体３０７に格納された状態で提供される。なお、プログラムは、通信インターフェイス１１７を介して接続されたインターネット上で流通するものであっても良い。記録媒体３０７の具体例としては、ＣＦ（Compact Flash）及びＳＤ（Secure Digital）等の汎用的な半導体記憶デバイス、フレキシブルディスク（Flexible Disk）等の磁気記憶媒体、又はＣＤ−ＲＯＭ（Compact Disk
Read Only Memory）等の光学記憶媒体が挙げられる。

なお、実施の形態１における記憶装置２、及び実施の形態２における記憶装置５は、図１０に示すコンピュータとネットワーク等を介して接続されたコンピュータの記憶媒体、又はネットワーク上に存在する記憶装置であっても良い。

以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施の形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

この出願は、２００９年８月１１日に出願された日本出願特願２００９−１８６７４３を基礎とする優先権を主張し、その開示の全てをここに取り込む。

本願発明における、情報分類装置、情報分類方法、及びコンピュータ読み取り可能な記録媒体は、以下の特徴を有する。

（１）分類対象となるコンテンツをカテゴリに分類するための情報分類装置であって、
第１のルールを用いて、前記分類対象となるコンテンツに対する正否判定を行う、第１の判定部と、
互いに条件が異なる複数の第２のルールそれぞれを、前記第１の判定部によって正と判定されたコンテンツに適用して、前記条件に合致するかどうかの判定を行い、前記複数の第２のルールそれぞれの判定結果に基づいて、前記第１の判定部によって正と判定されたコンテンツに対して再度の正否判定を行う、第２の判定部とを備え、
前記第１のルールは、前記分類対象となるコンテンツとは異なる複数のコンテンツそれぞれに対して予め二人以上の人によって実行された正否判定の結果と、前記異なる複数のコンテンツそれぞれの特徴量とを用いて作成され、
前記複数の第２のルールそれぞれは、前記二人以上の人それぞれに対応し、且つ、前記予め二人以上の人によって実行された正否判定の結果と、前記特徴量とを用いて作成されている、
ことを特徴とする情報分類装置。

（２）前記第１のルールが、前記異なる複数のコンテンツのうち、少なくとも一人が正と判定するコンテンツを正のデータとし、それ以外のコンテンツを否のデータとする、ルールとなるように作成されている、上記（１）に記載の情報分類装置。

（３）前記複数の第２のルールそれぞれが、前記異なる複数のコンテンツのうち、対応する人を含むｊ人以下が賛同するコンテンツを正のデータとし、前記対応する人を含むｋ（ｋ＞ｊ）人以上が賛同するコンテンツを否のデータとする、ルールとなるように作成されている、上記（１）に記載の情報分類装置。

（４）前記第１のルールが、前記正否判定の結果と、前記特徴量とを用いて、前記二人以上の人の正否判定を学習することによって作成され、
前記複数の第２のルールそれぞれが、前記正否判定の結果と、前記特徴量とを用いて、各人の正否判定を学習することによって作成されている、上記（１）に記載の情報分類装置。

（５）前記第１のルールが、前記異なる複数のコンテンツのうち、少なくとも一人が正と判定するコンテンツを正のデータに設定し、それ以外のコンテンツを否のデータに設定して学習される、上記（４）に記載の情報分類装置。

（６）前記複数の第２のルールそれぞれが、前記異なる複数のコンテンツのうち、対応する人を含むｊ人以下が賛同するコンテンツを正のデータに設定し、前記対応する人を含むｋ（ｋ＞ｊ）人以上が賛同するコンテンツを否のデータに設定して学習される、上記（４）に記載の情報分類装置。

（７）前記第２の判定部が、前記条件に合致している第２のルールの数、又は前記条件に合致していない第２のルールの数に基づいて、前記再度の正否判定を行う、上記（１）に記載の情報分類装置。

（８）前記予め二人以上の人によって実行された正否判定の結果と、前記特徴量とを、訓練データとして記憶する訓練データ記憶部と、
前記訓練データを用いた学習によって、前記第１のルール及び前記第２のルールを作成する、ルール学習部と、
を更に備えている、上記（４）に記載の情報分類装置。

（９）分類対象となるコンテンツをカテゴリに分類するための情報分類方法であって、
（ａ）第１のルールを用いて、前記分類対象となるコンテンツに対する正否判定を行う、ステップと、
（ｂ）互いに条件が異なる複数の第２のルールそれぞれを、前記（ａ）のステップによって正と判定されたコンテンツに適用して、前記条件に合致するかどうかの判定を行い、前記複数の第２のルールそれぞれの判定結果に基づいて、前記（ａ）のステップで正と判定されたコンテンツに対して再度の正否判定を行う、ステップとを有し、
前記第１のルールは、前記分類対象となるコンテンツとは異なる複数のコンテンツそれぞれに対して予め二人以上の人によって実行された正否判定の結果と、前記異なる複数のコンテンツそれぞれの特徴量とを用いて作成され、
前記複数の第２のルールそれぞれは、前記二人以上の人それぞれに対応し、且つ、前記予め二人以上の人によって実行された正否判定の結果と、前記特徴量とを用いて作成されている、ことを特徴とする情報分類方法。

（１０）前記第１のルールが、前記異なる複数のコンテンツのうち、少なくとも一人が正と判定するコンテンツを正のデータとし、それ以外のコンテンツを否のデータとする、ルールとなるように作成されている、上記（９）に記載の情報分類方法。

（１１）前記複数の第２のルールそれぞれが、前記異なる複数のコンテンツのうち、対応する人を含むｊ人以下が賛同するコンテンツを正のデータとし、前記対応する人を含むｋ（ｋ＞ｊ）人以上が賛同するコンテンツを否のデータとする、ルールとなるように作成されている、上記（９）に記載の情報分類方法。

（１２）前記第１のルールが、前記正否判定の結果と、前記特徴量とを用いて、前記二人以上の人の正否判定を学習することによって作成され、
前記複数の第２のルールそれぞれが、前記正否判定の結果と、前記特徴量とを用いて、各人の正否判定を学習することによって作成されている、上記（９）に記載の情報分類方法。

（１３）前記第１のルールが、前記異なる複数のコンテンツのうち、少なくとも一人が正と判定するコンテンツを正のデータに設定し、それ以外のコンテンツを否のデータに設定して学習される、上記（１２）に記載の情報分類方法。

（１４）前記複数の第２のルールそれぞれが、前記異なる複数のコンテンツのうち、対応する人を含むｊ人以下が賛同するコンテンツを正のデータに設定し、前記対応する人を含むｋ（ｋ＞ｊ）人以上が賛同するコンテンツを否のデータに設定して学習される、上記（１２）に記載の情報分類方法。

（１５）前記（ｂ）のステップにおいて、前記条件に合致している第２のルールの数、又は前記条件に合致していない第２のルールの数に基づいて、前記再度の正否判定を行う、上記（９）に記載の情報分類方法。

（１６）（ｃ）前記（ａ）及び（ｂ）のステップの実行前に、予め訓練データとして記憶されている、前記予め二人以上の人によって実行された正否判定の結果と、前記特徴量とを用いた学習を実行し、前記第１のルール及び前記第２のルールを作成する、ステップを更に有する、上記（１２）に記載の情報分類方法。

（１７）分類対象となるコンテンツのカテゴリへの分類をコンピュータに実行させるためのプログラムを記録した、コンピュータ読み取り可能な記録媒体であって、
前記コンピュータに、
（ａ）第１のルールを用いて、前記分類対象となるコンテンツに対する正否判定を行う、ステップと、
（ｂ）互いに条件が異なる複数の第２のルールそれぞれを、前記（ａ）のステップによって正と判定されたコンテンツに適用して、前記条件に合致するかどうかの判定を行い、前記複数の第２のルールそれぞれの判定結果に基づいて、前記（ａ）のステップで正と判定されたコンテンツに対して再度の正否判定を行う、ステップとを実行させる、命令を含むプログラムを記録しており、
前記第１のルールは、前記分類対象となるコンテンツとは異なる複数のコンテンツそれぞれに対して予め二人以上の人によって実行された正否判定の結果と、前記異なる複数のコンテンツそれぞれの特徴量とを用いて作成され、
前記複数の第２のルールそれぞれは、前記二人以上の人それぞれに対応し、且つ、前記予め二人以上の人によって実行された正否判定の結果と、前記特徴量とを用いて作成されている、ことを特徴とするコンピュータ読み取り可能な記録媒体。

（１８）前記第１のルールが、前記異なる複数のコンテンツのうち、少なくとも一人が正と判定するコンテンツを正のデータとし、それ以外のコンテンツを否のデータとする、ルールとなるように作成されている、上記（１７）に記載のコンピュータ読み取り可能な記録媒体。

（１９）前記複数の第２のルールそれぞれが、前記異なる複数のコンテンツのうち、対応する人を含むｊ人以下が賛同するコンテンツを正のデータとし、前記対応する人を含むｋ（ｋ＞ｊ）人以上が賛同するコンテンツを否のデータとする、ルールとなるように作成されている、上記（１７）に記載のコンピュータ読み取り可能な記録媒体。

（２０）前記第１のルールが、前記正否判定の結果と、前記特徴量とを用いて、前記二人以上の人の正否判定を学習することによって作成され、
前記複数の第２のルールそれぞれが、前記正否判定の結果と、前記特徴量とを用いて、各人の正否判定を学習することによって作成されている、上記（１７）に記載のコンピュータ読み取り可能な記録媒体。

（２１）前記第１のルールが、前記異なる複数のコンテンツのうち、少なくとも一人が正と判定するコンテンツを正のデータに設定し、それ以外のコンテンツを否のデータに設定して学習される、上記（２０）に記載のコンピュータ読み取り可能な記録媒体。

（２２）前記複数の第２のルールそれぞれが、前記異なる複数のコンテンツのうち、対応する人を含むｊ人以下が賛同するコンテンツを正のデータに設定し、前記対応する人を含むｋ（ｋ＞ｊ）人以上が賛同するコンテンツを否のデータに設定して学習される、上記（２０）に記載のコンピュータ読み取り可能な記録媒体。

（２３）前記（ｂ）のステップにおいて、前記条件に合致している第２のルールの数、又は前記条件に合致していない第２のルールの数に基づいて、前記再度の正否判定を行う、上記（１７）に記載のコンピュータ読み取り可能な記録媒体。

（２４）前記プログラムが、前記コンピュータに、更に、
（ｃ）前記（ａ）及び（ｂ）のステップの実行前に、予め訓練データとして記憶されている、前記予め二人以上の人によって実行された正否判定の結果と、前記特徴量とを用いた学習を実行し、前記第１のルール及び前記第２のルールを作成する、ステップを実行させる、命令を含む、上記（２０）に記載のコンピュータ読み取り可能な記録媒体。

以上のように、本発明によれば、情報分類における分類精度の向上を図ることができる。よって、本発明は、テキストから特定の情報の抽出するための情報抽出装置や、特定の情報のみに絞って検索を実行する特化型の検索装置のデータ収集部、等の用途に有用である。

１ 情報分類装置（実施の形態１）
２ 記憶装置（実施の形態１）
３ 情報処理システム（実施の形態１）
４ 情報分類装置（実施の形態２）
５ 記憶装置（実施の形態２）
６ 情報処理システム（実施の形態２）
１０ 和集合判定部（第１の判定部）
１１ 個別判定部（第２の判定部）
１２ ルール学習部
１３ 和集合判定ルール学習部
１４ 個別判定ルール学習部
２０ 分類対象データ記憶部
２１ 和集合判定ルール記憶部
２２ 個別判定ルール記憶部
２３ 分類結果記憶部
２４ 訓練データ記憶部
３００ プロセッサ
３０１ プログラムメモリ
３０２ 記憶媒体
３０３ インターフェイス
３０４ ビデオカード
３０５ 入力装置
３０６ 表示装置
３０７ コンピュータ読み取り可能な記録媒体

本発明は、コンテンツをカテゴリに分類するための情報分類装置、情報分類方法、及びプログラムに関する。

本発明の目的は、上記問題を解消し、個人の認識における偏りを認識し、これを情報分類に反映させて分類精度の向上を図り得る、情報分類装置、情報分類方法、及びプログラムを提供することにある。

更に、上記目的を達成するため、本発明におけるコンピュータ読み取り可能な記録媒体は、分類対象となるコンテンツのカテゴリへの分類をコンピュータに実行させるためのプログラムであって、
前記コンピュータに、
（ａ）第１のルールを用いて、前記分類対象となるコンテンツに対する正否判定を行う、ステップと、
（ｂ）互いに条件が異なる複数の第２のルールそれぞれを、前記（ａ）のステップによって正と判定されたコンテンツに適用して、前記条件に合致するかどうかの判定を行い、前記複数の第２のルールそれぞれの判定結果に基づいて、前記（ａ）のステップで正と判定されたコンテンツに対して再度の正否判定を行う、ステップとを実行させ、
前記第１のルールは、前記分類対象となるコンテンツとは異なる複数のコンテンツそれぞれに対して予め二人以上の人によって実行された正否判定の結果と、前記異なる複数のコンテンツそれぞれの特徴量とを用いて作成され、
前記複数の第２のルールそれぞれは、前記二人以上の人それぞれに対応し、且つ、前記予め二人以上の人によって実行された正否判定の結果と、前記特徴量とを用いて作成されている、ことを特徴とする。

次に、個別判定部１１は、ステップＳ２での和集合判定部１０の判定結果から、正と判定された分類対象データを特定し、特定した分類対象データに対して各個別判定ルールを適用する（ステップＳ４）。具体的には、個別判定部１１は、先ず、正と判定されなかった分類対象データについては、投票数（図６参照）を「０」に設定する。一方、個別判定部１１は、正と判定された分類対象データに対しては、各個別判定ルールを適用して、ステップＳ２の判定結果と一致する場合（スパムと判定する場合）の数をカウントする。そして、個別判定部１１は、正と判定された分類対象データについては、カウントによって得られた値を投票数に設定する。

そして、「分類対象データのＩＤ」＝５の分類対象データにおいては、二つの個別判定ルールの適用結果が「不一致」となるので、「投票数」は、個別判定ルールの全数である「３」から、不一致となる数「２」を引いて得られた値「１」となる。ステップＳ５において、投票数の閾値が「２」に設定されているとすると、この場合、「分類対象データのＩＤ」＝５の分類対象データは、非スパムと判定される。一方、「分類対象データＩＤ」＝２の分類対象データでは、個別判定ルールの適用結果が全て「一致」となるので、スパムと判定される。同様に、「分類対象データＩＤ」＝４の分類対象データでは、「判定者ＩＤ」＝３の個別判定ルールの適用結果は「不一致」となるが、投票数が「２」となるため、スパムと判定される。

（実施の形態２）
次に、本発明の実施の形態２における情報分類装置及び情報分類方法について、図７〜図９を参照しながら説明する。最初に、本実施の形態２における情報分類装置の構成について図７を用いて説明する。図７は、実施の形態２における情報分類装置の構成を示すブロック図である。なお、本実施の形態２においても、実施の形態１と同様に、各分類対象コンテンツが、あるカテゴリに属すか否かの２クラス分類が実行される例が挙げられている。

（１７）分類対象となるコンテンツのカテゴリへの分類をコンピュータに実行させるためのプログラムであって、
前記コンピュータに、
（ａ）第１のルールを用いて、前記分類対象となるコンテンツに対する正否判定を行う、ステップと、
（ｂ）互いに条件が異なる複数の第２のルールそれぞれを、前記（ａ）のステップによって正と判定されたコンテンツに適用して、前記条件に合致するかどうかの判定を行い、前記複数の第２のルールそれぞれの判定結果に基づいて、前記（ａ）のステップで正と判定されたコンテンツに対して再度の正否判定を行う、ステップとを実行させ、
前記第１のルールは、前記分類対象となるコンテンツとは異なる複数のコンテンツそれぞれに対して予め二人以上の人によって実行された正否判定の結果と、前記異なる複数のコンテンツそれぞれの特徴量とを用いて作成され、
前記複数の第２のルールそれぞれは、前記二人以上の人それぞれに対応し、且つ、前記予め二人以上の人によって実行された正否判定の結果と、前記特徴量とを用いて作成されている、ことを特徴とするプログラム。

（１８）前記第１のルールが、前記異なる複数のコンテンツのうち、少なくとも一人が正と判定するコンテンツを正のデータとし、それ以外のコンテンツを否のデータとする、ルールとなるように作成されている、上記（１７）に記載のプログラム。

（１９）前記複数の第２のルールそれぞれが、前記異なる複数のコンテンツのうち、対応する人を含むｊ人以下が賛同するコンテンツを正のデータとし、前記対応する人を含むｋ（ｋ＞ｊ）人以上が賛同するコンテンツを否のデータとする、ルールとなるように作成されている、上記（１７）に記載のプログラム。

（２０）前記第１のルールが、前記正否判定の結果と、前記特徴量とを用いて、前記二人以上の人の正否判定を学習することによって作成され、
前記複数の第２のルールそれぞれが、前記正否判定の結果と、前記特徴量とを用いて、各人の正否判定を学習することによって作成されている、上記（１７）に記載のプログラム。

（２１）前記第１のルールが、前記異なる複数のコンテンツのうち、少なくとも一人が正と判定するコンテンツを正のデータに設定し、それ以外のコンテンツを否のデータに設定して学習される、上記（２０）に記載のプログラム。

（２２）前記複数の第２のルールそれぞれが、前記異なる複数のコンテンツのうち、対応する人を含むｊ人以下が賛同するコンテンツを正のデータに設定し、前記対応する人を含むｋ（ｋ＞ｊ）人以上が賛同するコンテンツを否のデータに設定して学習される、上記（２０）に記載のプログラム。

（２３）前記（ｂ）のステップにおいて、前記条件に合致している第２のルールの数、又は前記条件に合致していない第２のルールの数に基づいて、前記再度の正否判定を行う、上記（１７）に記載のプログラム。

（２４）前記コンピュータに、更に、
（ｃ）前記（ａ）及び（ｂ）のステップの実行前に、予め訓練データとして記憶されている、前記予め二人以上の人によって実行された正否判定の結果と、前記特徴量とを用いた学習を実行し、前記第１のルール及び前記第２のルールを作成する、ステップを実行させる、上記（２０）に記載のプログラム。

Claims (24)

1. 分類対象となるコンテンツをカテゴリに分類するための情報分類装置であって、
   第１のルールを用いて、前記分類対象となるコンテンツに対する正否判定を行う、第１の判定部と、
   互いに条件が異なる複数の第２のルールそれぞれを、前記第１の判定部によって正と判定されたコンテンツに適用して、前記条件に合致するかどうかの判定を行い、前記複数の第２のルールそれぞれの判定結果に基づいて、前記第１の判定部によって正と判定されたコンテンツに対して再度の正否判定を行う、第２の判定部とを備え、
   前記第１のルールは、前記分類対象となるコンテンツとは異なる複数のコンテンツそれぞれに対して予め二人以上の人によって実行された正否判定の結果と、前記異なる複数のコンテンツそれぞれの特徴量とを用いて作成され、
   前記複数の第２のルールそれぞれは、前記二人以上の人それぞれに対応し、且つ、前記予め二人以上の人によって実行された正否判定の結果と、前記特徴量とを用いて作成されている、
   ことを特徴とする情報分類装置。
2. 前記第１のルールが、前記異なる複数のコンテンツのうち、少なくとも一人が正と判定するコンテンツを正のデータとし、それ以外のコンテンツを否のデータとする、ルールとなるように作成されている、請求項１に記載の情報分類装置。
3. 前記複数の第２のルールそれぞれが、前記異なる複数のコンテンツのうち、対応する人を含むｊ人以下が賛同するコンテンツを正のデータとし、前記対応する人を含むｋ（ｋ＞ｊ）人以上が賛同するコンテンツを否のデータとする、ルールとなるように作成されている、請求項１または２に記載の情報分類装置。
4. 前記第１のルールが、前記正否判定の結果と、前記特徴量とを用いて、前記二人以上の人の正否判定を学習することによって作成され、
   前記複数の第２のルールそれぞれが、前記正否判定の結果と、前記特徴量とを用いて、各人の正否判定を学習することによって作成されている、請求項１に記載の情報分類装置。
5. 前記第１のルールが、前記異なる複数のコンテンツのうち、少なくとも一人が正と判定するコンテンツを正のデータに設定し、それ以外のコンテンツを否のデータに設定して学習される、請求項４に記載の情報分類装置。
6. 前記複数の第２のルールそれぞれが、前記異なる複数のコンテンツのうち、対応する人を含むｊ人以下が賛同するコンテンツを正のデータに設定し、前記対応する人を含むｋ（ｋ＞ｊ）人以上が賛同するコンテンツを否のデータに設定して学習される、請求項４または５に記載の情報分類装置。
7. 前記第２の判定部が、前記条件に合致している第２のルールの数、又は前記条件に合致していない第２のルールの数に基づいて、前記再度の正否判定を行う、請求項１から６のいずれかに記載の情報分類装置。
8. 前記予め二人以上の人によって実行された正否判定の結果と、前記特徴量とを、訓練データとして記憶する訓練データ記憶部と、
   前記訓練データを用いた学習によって、前記第１のルール及び前記第２のルールを作成する、ルール学習部と、
   を更に備えている、請求項４から６のいずれかに記載の情報分類装置。
9. 分類対象となるコンテンツをカテゴリに分類するための情報分類方法であって、
   （ａ）第１のルールを用いて、前記分類対象となるコンテンツに対する正否判定を行う、ステップと、
   （ｂ）互いに条件が異なる複数の第２のルールそれぞれを、前記（ａ）のステップによって正と判定されたコンテンツに適用して、前記条件に合致するかどうかの判定を行い、前記複数の第２のルールそれぞれの判定結果に基づいて、前記（ａ）のステップで正と判定されたコンテンツに対して再度の正否判定を行う、ステップとを有し、
   前記第１のルールは、前記分類対象となるコンテンツとは異なる複数のコンテンツそれぞれに対して予め二人以上の人によって実行された正否判定の結果と、前記異なる複数のコンテンツそれぞれの特徴量とを用いて作成され、
   前記複数の第２のルールそれぞれは、前記二人以上の人それぞれに対応し、且つ、前記予め二人以上の人によって実行された正否判定の結果と、前記特徴量とを用いて作成されている、ことを特徴とする情報分類方法。
10. 前記第１のルールが、前記異なる複数のコンテンツのうち、少なくとも一人が正と判定するコンテンツを正のデータとし、それ以外のコンテンツを否のデータとする、ルールとなるように作成されている、請求項９に記載の情報分類方法。
11. 前記複数の第２のルールそれぞれが、前記異なる複数のコンテンツのうち、対応する人を含むｊ人以下が賛同するコンテンツを正のデータとし、前記対応する人を含むｋ（ｋ＞ｊ）人以上が賛同するコンテンツを否のデータとする、ルールとなるように作成されている、請求項９または１０に記載の情報分類方法。
12. 前記第１のルールが、前記正否判定の結果と、前記特徴量とを用いて、前記二人以上の人の正否判定を学習することによって作成され、
    前記複数の第２のルールそれぞれが、前記正否判定の結果と、前記特徴量とを用いて、各人の正否判定を学習することによって作成されている、請求項９に記載の情報分類方法。
13. 前記第１のルールが、前記異なる複数のコンテンツのうち、少なくとも一人が正と判定するコンテンツを正のデータに設定し、それ以外のコンテンツを否のデータに設定して学習される、請求項１２に記載の情報分類方法。
14. 前記複数の第２のルールそれぞれが、前記異なる複数のコンテンツのうち、対応する人を含むｊ人以下が賛同するコンテンツを正のデータに設定し、前記対応する人を含むｋ（ｋ＞ｊ）人以上が賛同するコンテンツを否のデータに設定して学習される、請求項１２または１３に記載の情報分類方法。
15. 前記（ｂ）のステップにおいて、前記条件に合致している第２のルールの数、又は前記条件に合致していない第２のルールの数に基づいて、前記再度の正否判定を行う、請求項９から１４のいずれかに記載の情報分類方法。
16. （ｃ）前記（ａ）及び（ｂ）のステップの実行前に、予め訓練データとして記憶されている、前記予め二人以上の人によって実行された正否判定の結果と、前記特徴量とを用いた学習を実行し、前記第１のルール及び前記第２のルールを作成する、ステップを更に有する、請求項１２から１４のいずれかに記載の情報分類方法。
17. 分類対象となるコンテンツのカテゴリへの分類をコンピュータに実行させるためのプログラムを記録した、コンピュータ読み取り可能な記録媒体であって、
    前記コンピュータに、
    （ａ）第１のルールを用いて、前記分類対象となるコンテンツに対する正否判定を行う、ステップと、
    （ｂ）互いに条件が異なる複数の第２のルールそれぞれを、前記（ａ）のステップによって正と判定されたコンテンツに適用して、前記条件に合致するかどうかの判定を行い、前記複数の第２のルールそれぞれの判定結果に基づいて、前記（ａ）のステップで正と判定されたコンテンツに対して再度の正否判定を行う、ステップとを実行させる、命令を含むプログラムを記録しており、
    前記第１のルールは、前記分類対象となるコンテンツとは異なる複数のコンテンツそれぞれに対して予め二人以上の人によって実行された正否判定の結果と、前記異なる複数のコンテンツそれぞれの特徴量とを用いて作成され、
    前記複数の第２のルールそれぞれは、前記二人以上の人それぞれに対応し、且つ、前記予め二人以上の人によって実行された正否判定の結果と、前記特徴量とを用いて作成されている、ことを特徴とするコンピュータ読み取り可能な記録媒体。
18. 前記第１のルールが、前記異なる複数のコンテンツのうち、少なくとも一人が正と判定するコンテンツを正のデータとし、それ以外のコンテンツを否のデータとする、ルールとなるように作成されている、請求項１７に記載のコンピュータ読み取り可能な記録媒体。
19. 前記複数の第２のルールそれぞれが、前記異なる複数のコンテンツのうち、対応する人を含むｊ人以下が賛同するコンテンツを正のデータとし、前記対応する人を含むｋ（ｋ＞ｊ）人以上が賛同するコンテンツを否のデータとする、ルールとなるように作成されている、請求項１７または１８に記載のコンピュータ読み取り可能な記録媒体。
20. 前記第１のルールが、前記正否判定の結果と、前記特徴量とを用いて、前記二人以上の人の正否判定を学習することによって作成され、
    前記複数の第２のルールそれぞれが、前記正否判定の結果と、前記特徴量とを用いて、各人の正否判定を学習することによって作成されている、請求項１７に記載のコンピュータ読み取り可能な記録媒体。
21. 前記第１のルールが、前記異なる複数のコンテンツのうち、少なくとも一人が正と判定するコンテンツを正のデータに設定し、それ以外のコンテンツを否のデータに設定して学習される、請求項２０に記載のコンピュータ読み取り可能な記録媒体。
22. 前記複数の第２のルールそれぞれが、前記異なる複数のコンテンツのうち、対応する人を含むｊ人以下が賛同するコンテンツを正のデータに設定し、前記対応する人を含むｋ（ｋ＞ｊ）人以上が賛同するコンテンツを否のデータに設定して学習される、請求項２０または２１に記載のコンピュータ読み取り可能な記録媒体。
23. 前記（ｂ）のステップにおいて、前記条件に合致している第２のルールの数、又は前記条件に合致していない第２のルールの数に基づいて、前記再度の正否判定を行う、請求項１７から２２のいずれかに記載のコンピュータ読み取り可能な記録媒体。
24. 前記プログラムが、前記コンピュータに、更に、
    （ｃ）前記（ａ）及び（ｂ）のステップの実行前に、予め訓練データとして記憶されている、前記予め二人以上の人によって実行された正否判定の結果と、前記特徴量とを用いた学習を実行し、前記第１のルール及び前記第２のルールを作成する、ステップを実行させる、命令を含む、請求項２０から２２のいずれかに記載のコンピュータ読み取り可能な記録媒体。

Images