JP5075566B2 - 文書分類装置およびプログラム - Google Patents
文書分類装置およびプログラム Download PDFInfo
- Publication number
- JP5075566B2 JP5075566B2 JP2007268288A JP2007268288A JP5075566B2 JP 5075566 B2 JP5075566 B2 JP 5075566B2 JP 2007268288 A JP2007268288 A JP 2007268288A JP 2007268288 A JP2007268288 A JP 2007268288A JP 5075566 B2 JP5075566 B2 JP 5075566B2
- Authority
- JP
- Japan
- Prior art keywords
- document
- word
- category
- bayesian network
- document data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
本発明は、文書を分類するための、文書処理装置およびプログラムに関する。
従来の文書を分類する方法には、様々な方法がある。その中の一つが、ベイジアンネット
ワークを用いたものである(例えば、非特許文献1参照)。そこでは、あらかじめカテゴリ
が付与された文書(以下、訓練データと呼ぶ)に基づき、ベイジアンネットワークの条件付
き確率表を作成し、分類対象となる文書が与えあられているという条件の下で、事後確率
が最大となるカテゴリを、分類先のカテゴリとする。
ワークを用いたものである(例えば、非特許文献1参照)。そこでは、あらかじめカテゴリ
が付与された文書(以下、訓練データと呼ぶ)に基づき、ベイジアンネットワークの条件付
き確率表を作成し、分類対象となる文書が与えあられているという条件の下で、事後確率
が最大となるカテゴリを、分類先のカテゴリとする。
ベイジアンネットワークを用いた文書分類においては、分類対象の文書を分類する際、訓
練データに付与されたカテゴリの中から、事後確率が最大となるカテゴリを選択する。し
たがって、訓練データに含まれていないカテゴリに属する文書が分類対象と文書として入
力されても、事後確率が最大となるカテゴリが文書のカテゴリとして出力される。
Daphne Koller, Mehran Sahami, Hierarchically Classifying Documents Using Very Few Words, Proceedings of ICML-97, 14th International Conference on Machine Learning
練データに付与されたカテゴリの中から、事後確率が最大となるカテゴリを選択する。し
たがって、訓練データに含まれていないカテゴリに属する文書が分類対象と文書として入
力されても、事後確率が最大となるカテゴリが文書のカテゴリとして出力される。
以上に述べたように、ベイジアンネットワークを用いた文書分類において、事前に与えら
れたカテゴリ以外に属する文書が入力されても、事前に与えられたカテゴリのいずれかに
分類されてしまい、事前に与えられたカテゴリのいずれにも属さないという出力を得るこ
とができない。
れたカテゴリ以外に属する文書が入力されても、事前に与えられたカテゴリのいずれかに
分類されてしまい、事前に与えられたカテゴリのいずれにも属さないという出力を得るこ
とができない。
したがって、訓練データを作成する際に、全てのカテゴリに関するデータを網羅的に用意
できない状況においては、分類結果が不正確なものとなる。また、時間の経過により、新
たなカテゴリが生じた場合にも、既存のカテゴリのいずれかに分類されてしまい、新規の
カテゴリに属する文書かどうかの判定ができない。
できない状況においては、分類結果が不正確なものとなる。また、時間の経過により、新
たなカテゴリが生じた場合にも、既存のカテゴリのいずれかに分類されてしまい、新規の
カテゴリに属する文書かどうかの判定ができない。
本発明は、上記の課題を解決するためのものであり、ベイジアンネットワークを用いた文
書分類において、訓練データに付与されたカテゴリ以外のカテゴリに属する文書かどうか
を判別できるようにするものである。
書分類において、訓練データに付与されたカテゴリ以外のカテゴリに属する文書かどうか
を判別できるようにするものである。
上記課題を解決するために、本発明の第１の発明は、あらかじめカテゴリが付与されている複数の文書データを取得する文書データ取得手段と、この文書データ取得手段により取得した文書データに基づいてベイジアンネットワークを構成するベイジアンネットワーク構成手段と、前記文書データ取得手段により取得した文書データに基づいてカテゴリ毎の単語重要度を算出する算出手段と、分類対象の文書を取得する分類対象データ取得手段と、この分類対象データ取得手段により取得した文書データを前記ベイジアンネットワークにより分類する分類手段と、前記分類対象データ取得手段により取得した文書に含まれている単語を取得する単語取得手段と、前記ベイジアンネットワークにより分類されたカテゴリにおける、前記算出された単語重要度に基づき得られる、前記含まれている単語に対する単語重要度の値に基づいて、前記ベイジアンネットワークにより分類されたカテゴリに属するか否かを判断する判断手段とを備えたことを特徴とする。
次に、本発明の第２の発明は、コンピュータに、あらかじめカテゴリが付与されている複数の文書データを取得する文書データ取得機能と、この文書データ取得機能により取得した文書データに基づいてベイジアンネットワークを構成するベイジアンネットワーク構成機能と、前記文書データ取得機能により取得した文書データに基づいてカテゴリ毎の単語重要度を算出する算出機能と、分類対象の文書を取得する分類対象データ取得機能と、この分類対象データ取得機能により取得した文書データを前記ベイジアンネットワークにより分類する分類機能と、前記分類対象データ取得機能により取得した文書に含まれている単語を取得する単語取得機能と、前記ベイジアンネットワークにより分類されたカテゴリにおける、前記算出された単語重要度に基づき得られる、前記含まれている単語に対する単語重要度の値に基づいて、前記ベイジアンネットワークにより分類されたカテゴリに属するか否かを判断する判断機能とを実現させることを特徴とする。
本発明によれば、ベイジアンネットワークを用いた文書分類において、分類対象の文書が
、訓練データに付与されていないカテゴリに属していた場合にも、正しく分類できるので
、訓練データを作成する際に、全てのカテゴリを網羅する必要がなく、精度の高い文書分
類が効率的にできる。また、時間の経過により、既存のカテゴリに属さない文書ができて
きた場合にも、精度の高い分類ができる。
、訓練データに付与されていないカテゴリに属していた場合にも、正しく分類できるので
、訓練データを作成する際に、全てのカテゴリを網羅する必要がなく、精度の高い文書分
類が効率的にできる。また、時間の経過により、既存のカテゴリに属さない文書ができて
きた場合にも、精度の高い分類ができる。
以下、本発明の各実施形態について図面を用いて説明する。なお、以下の各装置は、それ
ぞれハードウェア構成、又はハードウェア資源とソフトウェアとの組み合わせ構成のいず
れでも実施可能となっている。組合せ構成のソフトウェアとしては、予めネットワーク又
は記憶媒体から対応する装置のコンピュータにインストールされ、対応する装置の機能を
実現させるためのプログラムが用いられる。
ぞれハードウェア構成、又はハードウェア資源とソフトウェアとの組み合わせ構成のいず
れでも実施可能となっている。組合せ構成のソフトウェアとしては、予めネットワーク又
は記憶媒体から対応する装置のコンピュータにインストールされ、対応する装置の機能を
実現させるためのプログラムが用いられる。
〔第一の実施例〕
以下、図面を参照し、この発明の実施例を説明する。
以下、図面を参照し、この発明の実施例を説明する。
図１はこの文書処理装置１００の実施例の全体構成を示したものである。
この実施例に置ける文書処理装置は、訓練データ入力部１０１、単語頻度算出部１０２、
単語重要度算出部１０３、ベイジアンネットワーク記憶部１０４、単語重要度記憶部１０
５、分類対象データ入力部１０６、文書ベクトル算出部１０７、事後確率算出部１０８、
単語重要度チェック部１０９、分類結果出力部１１０から構成される。
単語重要度算出部１０３、ベイジアンネットワーク記憶部１０４、単語重要度記憶部１０
５、分類対象データ入力部１０６、文書ベクトル算出部１０７、事後確率算出部１０８、
単語重要度チェック部１０９、分類結果出力部１１０から構成される。
訓練データ入力部１０１は、訓練データの入力を受け付け、単語頻度算出部１０２に渡す
。訓練データは、前述のように、あらかじめカテゴリが付与された複数の文書である。
。訓練データは、前述のように、あらかじめカテゴリが付与された複数の文書である。
単語頻度算出部１０２は、訓練データに対し形態素解析等の自然言語解析を行い、単語に
分解し、頻度を算出する。この算出された頻度は、単語重要度算出部１０３に渡されると
ともに、ベイジアンネットワーク記憶部１０４に保持される。
分解し、頻度を算出する。この算出された頻度は、単語重要度算出部１０３に渡されると
ともに、ベイジアンネットワーク記憶部１０４に保持される。
単語重要度算出部１０３は単語頻度データに基づき、カテゴリ毎の単語重要度を算出し、
単語重要度記憶部１０５に保持する。
単語重要度記憶部１０５に保持する。
分類対象データ入力部１０６は、分類対象となる文書を受け取り、文書ベクトル算出部１
０７に渡す。分類対象データは、カテゴリが未知の文書であるとする。
０７に渡す。分類対象データは、カテゴリが未知の文書であるとする。
文書ベクトル算出部１０７は、分類対象データに対し形態素解析等の自然言語解析を行い
、文書ベクトルに変換し、事後確率計算部１０８に渡す。
、文書ベクトルに変換し、事後確率計算部１０８に渡す。
事後確率計算部１０８は、文書ベクトル、および、ベイジアンネットワーク記憶部１０４
に保持されているデータを参照し、分類対象データが属するカテゴリの事後確率を算出し
、当該事後確率が最大のカテゴリを算出する。
に保持されているデータを参照し、分類対象データが属するカテゴリの事後確率を算出し
、当該事後確率が最大のカテゴリを算出する。
単語重要度チェック部１０９は、分類対象データに含まれている単語のうち、事後確率が
最大のカテゴリに対する単語重要度を、単語重要度記憶部１０５のデータから取得し、ユ
ーザにより設定されている閾値と比較することにより、事後確率が最大となったカテゴリ
に対する分類の妥当性をチェックする。
最大のカテゴリに対する単語重要度を、単語重要度記憶部１０５のデータから取得し、ユ
ーザにより設定されている閾値と比較することにより、事後確率が最大となったカテゴリ
に対する分類の妥当性をチェックする。
分類結果出力部１１０は、分類対象データの属するカテゴリを出力する。
以下、具体例に基づき、文書処理装置の動作を詳細に説明する。
文書処理装置１００の動作は、学習フェーズと、分類フェーズに分けられる。学習フェー
ズは、訓練データに基づき、ベイジアンネットワークおよび単語重要度を算出するフェー
ズである。分類フェーズは、分類対象データの属するカテゴリを推定するフェーズである
。
ズは、訓練データに基づき、ベイジアンネットワークおよび単語重要度を算出するフェー
ズである。分類フェーズは、分類対象データの属するカテゴリを推定するフェーズである
。
（学習フェーズ）
訓練データ入力部１０１に入力される訓練データは、カテゴリが付与された文書の集合で
ある。カテゴリとは例えば「報告書」、「申請書」、「会議資料」など文書の種別を示す
ものである。以下の説明において、カテゴリは「A」「B」「C」の3種類であるとして説明
する。
訓練データ入力部１０１に入力される訓練データは、カテゴリが付与された文書の集合で
ある。カテゴリとは例えば「報告書」、「申請書」、「会議資料」など文書の種別を示す
ものである。以下の説明において、カテゴリは「A」「B」「C」の3種類であるとして説明
する。
図2は、訓練データ入力部１０１に入力される文書データとカテゴリの対応の例を示す図
である。
である。
単語頻度算出部１０２は、訓練データ入力部１０１に入力された各文書に対して、必要に
応じて形態素解析を行い、この文書の単語を切り出す。たとえば、ここでは形態素解析を
実行しているが、意味解析や構文解析などの他の自然言語解析の処理を行っても構わない
ものとする。
応じて形態素解析を行い、この文書の単語を切り出す。たとえば、ここでは形態素解析を
実行しているが、意味解析や構文解析などの他の自然言語解析の処理を行っても構わない
ものとする。
一つの文書毎に、その文書に含まれている単語とその頻度が計算され、単語頻度データが
更新される。
更新される。
図3、図4、図5、は単語頻度データの一例を示す図である。
単語頻度データには、それぞれのカテゴリにおいて、それぞれの単語を含む文書の数が含
まれている。また、これとは別に、それぞれのカテゴリに属する文書数、および、それぞ
れの単語を含む文書数が収められている。なお、文書数の代わりに、単語の出現頻度を用
いてもよい。あるいは、単語の出現頻度の代わりに文書毎に単語の出現頻度と文書のサイ
ズの比率を用いてもよい。
まれている。また、これとは別に、それぞれのカテゴリに属する文書数、および、それぞ
れの単語を含む文書数が収められている。なお、文書数の代わりに、単語の出現頻度を用
いてもよい。あるいは、単語の出現頻度の代わりに文書毎に単語の出現頻度と文書のサイ
ズの比率を用いてもよい。
図3に示した例では、3つのカテゴリA、B、Cのそれぞれに対して、単語Waから単語Wmまで
のそれぞれを含む文書の数、3つのカテゴリのそれぞれに属する文書の数、および、単語W
aから単語Wmまでのそれぞれを含む文書の数を示している。
のそれぞれを含む文書の数、3つのカテゴリのそれぞれに属する文書の数、および、単語W
aから単語Wmまでのそれぞれを含む文書の数を示している。
例えば、カテゴリAに属し、単語aを含む文書の数は10であり、カテゴリAに属する文書の
数は10、単語Waを含む文書の数は30である。
数は10、単語Waを含む文書の数は30である。
次に、単語重要度算出部１０３の動作を説明する。
単語重要度算出部１０３は、単語頻度テーブルを参照し以下で定義される単語重要度を算
出する。単語重要度は、Ｐ（ｔ，ｃ）Ｌｏｇ｛Ｐ（ｔ，ｃ）／Ｐ（ｔ）Ｐ（ｃ）｝で表す
ものとする。ここで、Ｐ（ｔ，ｃ）＝（カテゴリｃに属し、単語ｔを含む文書数）／全文
書数、Ｐ（ｔ）＝単語ｔを含む文書数／全文書数、Ｐ（ｃ）＝カテゴリｃに属する文書数
／全文書数である。なお、Ｐ（ｔ，ｃ）＝０の場合は、単語重要度は０とする。
出する。単語重要度は、Ｐ（ｔ，ｃ）Ｌｏｇ｛Ｐ（ｔ，ｃ）／Ｐ（ｔ）Ｐ（ｃ）｝で表す
ものとする。ここで、Ｐ（ｔ，ｃ）＝（カテゴリｃに属し、単語ｔを含む文書数）／全文
書数、Ｐ（ｔ）＝単語ｔを含む文書数／全文書数、Ｐ（ｃ）＝カテゴリｃに属する文書数
／全文書数である。なお、Ｐ（ｔ，ｃ）＝０の場合は、単語重要度は０とする。
例えば、図3の例において、カテゴリAに置ける単語aの単語重要度は、P(a,A)=10/30=1/3
、P(a)=30/30=1、P(A)=10/30=1/3なので、1/3×log(1/3/1×3)=0となる。
、P(a)=30/30=1、P(A)=10/30=1/3なので、1/3×log(1/3/1×3)=0となる。
同様に、カテゴリAにおける単語bの単語重要度は、P(b,A)=10/30=1/3、P(b)=10/30=1/3、
P(A)=1/3なので、1/3×log(1/3×3×3)=0.3662となる。
P(A)=1/3なので、1/3×log(1/3×3×3)=0.3662となる。
図4は、図3の例において、全ての単語に関して単語重要度を計算した結果である。上記で
定義された単語重要度の代わりに、公知文献（Fabrizio Sebastiani, Machine Learning
in Automated Text Categorization, ACM Computing Surveys, Vol.34, No. 1, March 20
02, pp.1-47）に述べられているχ2乗値やその他のカテゴリ毎の単語の重要度を意味する
量を用いてもよい。
定義された単語重要度の代わりに、公知文献（Fabrizio Sebastiani, Machine Learning
in Automated Text Categorization, ACM Computing Surveys, Vol.34, No. 1, March 20
02, pp.1-47）に述べられているχ2乗値やその他のカテゴリ毎の単語の重要度を意味する
量を用いてもよい。
単語重要度記憶部１０５は、単語重要度算出部１０３が算出した、単語重要度を保持する
。以上が学習フェーズにおける、本発明の本実施形態にかかる文書処理装置の動作である
。
。以上が学習フェーズにおける、本発明の本実施形態にかかる文書処理装置の動作である
。
（分類フェーズ）
次に、分類フェーズにおける、本実施形態の文書処理装置の動作を説明する。
次に、分類フェーズにおける、本実施形態の文書処理装置の動作を説明する。
分類対象データ入力部１０６は、分類対象となる文書データを受け取り、文書ベクトル算
出部１０７に渡す。
出部１０７に渡す。
文書ベクトル算出部１０７は、必要に応じて形態素解析などを行い、入力された文書デー
タを単語に切り分け、出現する単語の頻度を算出し、事後確率算出部１０８に渡す。たと
えば、ここでは形態素解析を実行しているが、意味解析や構文解析などの他の自然言語解
析の処理を行っても構わないものとする。
タを単語に切り分け、出現する単語の頻度を算出し、事後確率算出部１０８に渡す。たと
えば、ここでは形態素解析を実行しているが、意味解析や構文解析などの他の自然言語解
析の処理を行っても構わないものとする。
文書ベクトルとして、分類対象データに含まれている単語の頻度を並べたものとしてもよ
いし、分類対象データに含まれている単語を1、含まれていない単語を0とした2値データ
のベクトルとしてもよい。
いし、分類対象データに含まれている単語を1、含まれていない単語を0とした2値データ
のベクトルとしてもよい。
事後確率算出部１０８は、入力された文書ベクトルに基づき、ベイジアンネットワーク記
憶部１０４のデータを参照し、カテゴリ毎の事後確率を計算する。文書ベクトルの算出お
よびカテゴリ毎の事後確率の算出には、ベイジアンネットワークに関する公知の手法を用
いることができる。
憶部１０４のデータを参照し、カテゴリ毎の事後確率を計算する。文書ベクトルの算出お
よびカテゴリ毎の事後確率の算出には、ベイジアンネットワークに関する公知の手法を用
いることができる。
事後確率算出部１０８は、事後確率が最大となったカテゴリを算出し、単語重要度チェッ
ク部１０９に渡す。
ク部１０９に渡す。
単語重要度チェック部１０９は、事後確率算出部１０８から入力されたカテゴリにおける
、単語重要度の高い単語とその単語重要度の値を取り出す。この実施例では、単語重要度
の値が正の単語を取り出すとしているが、ユーザにより設定された閾値より大きい単語を
取り出すとしてもよいし、全ての単語を取り出すとしてもよい。
、単語重要度の高い単語とその単語重要度の値を取り出す。この実施例では、単語重要度
の値が正の単語を取り出すとしているが、ユーザにより設定された閾値より大きい単語を
取り出すとしてもよいし、全ての単語を取り出すとしてもよい。
ここでは、事後確率が最大となったカテゴリがBであったとする。図7に取り出された単語
と単語重要度の一例を示す。
と単語重要度の一例を示す。
次に、単語重要度チェック部１０９は、上記の取り出された単語が分類対象データに含ま
れているかどうかを調べる。
れているかどうかを調べる。
例えば、分類対象データに含まれている単語が、Wa、Wh、Wkの3種類だったとする。この
場合、図7で示された単語と共通するのは、WhとWkである。この結果を図9に示す。このう
ち、単語重要度の値が一番大きいのはWkでその値は、0.13879であり、2番目に大きいのは
Whであり、その値は0.0115である。
場合、図7で示された単語と共通するのは、WhとWkである。この結果を図9に示す。このう
ち、単語重要度の値が一番大きいのはWkでその値は、0.13879であり、2番目に大きいのは
Whであり、その値は0.0115である。
単語重要度チェック部１０９は、このうち、単語重要度が一番大きい単語の値が閾値より
小さい場合に、分類対象データのカテゴリを、事後確率算出部１０８で算出されたカテゴ
リではなく、未定義カテゴリに属すると推測する。本実施例では、閾値を0.15としている
ので、分類対象データのカテゴリはBではなく「未定義カテゴリ」とされる。もし、閾値
が0.1の場合は、「未定義カテゴリ」ではなく、事後確率が最大のカテゴリであるBとされ
る。
小さい場合に、分類対象データのカテゴリを、事後確率算出部１０８で算出されたカテゴ
リではなく、未定義カテゴリに属すると推測する。本実施例では、閾値を0.15としている
ので、分類対象データのカテゴリはBではなく「未定義カテゴリ」とされる。もし、閾値
が0.1の場合は、「未定義カテゴリ」ではなく、事後確率が最大のカテゴリであるBとされ
る。
ここでは、閾値との比較を、事後確率が最大となったカテゴリに関して、単語重要度が一
番大きい単語の単語重要度の値と比較したが、2番目に単語重要度の値が大きい単語と比
較するとしてもよい。この場合、閾値が0.1とすると、「未定義カテゴリ」となる。
番大きい単語の単語重要度の値と比較したが、2番目に単語重要度の値が大きい単語と比
較するとしてもよい。この場合、閾値が0.1とすると、「未定義カテゴリ」となる。
分類結果出力部１１０は、単語重要度チェック部により判定されたカテゴリを出力する。
以上のように、単語重要度の値をみて、事後確率が最大となったカテゴリに属するかどう
かを判定するので、訓練データを作成する際に把握できていなかったカテゴリに属する文
書が分類対象データとして入力された場合でも、「未定義カテゴリ」として、適切に分類
することができる。
かを判定するので、訓練データを作成する際に把握できていなかったカテゴリに属する文
書が分類対象データとして入力された場合でも、「未定義カテゴリ」として、適切に分類
することができる。
また、単語重要度の値は、ベイジアンネットワークを構成する際に必要なデータである、
訓練データに含まれている単語の頻度から、容易に計算できるので、学習フェーズにおけ
る計算量も、通常のベイジアンネットワークを利用した文書分類と大差なく、効率的に文
書分類が実行できる。
訓練データに含まれている単語の頻度から、容易に計算できるので、学習フェーズにおけ
る計算量も、通常のベイジアンネットワークを利用した文書分類と大差なく、効率的に文
書分類が実行できる。
このように本発明によれば、ベイジアンネットワークを用いた文書分類において、分類対
象の文書が、訓練データに付与されていないカテゴリに属していた場合にも、正しく分類
できるので、訓練データを作成する際に、全てのカテゴリを網羅する必要がなく、精度の
高い文書分類が効率的にできる。また、時間の経過により、既存のカテゴリに属さない文
書ができてきた場合にも、精度の高い分類ができる。
象の文書が、訓練データに付与されていないカテゴリに属していた場合にも、正しく分類
できるので、訓練データを作成する際に、全てのカテゴリを網羅する必要がなく、精度の
高い文書分類が効率的にできる。また、時間の経過により、既存のカテゴリに属さない文
書ができてきた場合にも、精度の高い分類ができる。
なお、上記実施形態に記載した手法は、コンピュータに実行させることのできるプログラ
ムとして、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスクなど）、光
ディスク（ＣＤ−ＲＯＭ、ＤＶＤなど）、光磁気ディスク（ＭＯ）、半導体メモリなどの
記憶媒体に格納して頒布することもできる。
ムとして、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスクなど）、光
ディスク（ＣＤ−ＲＯＭ、ＤＶＤなど）、光磁気ディスク（ＭＯ）、半導体メモリなどの
記憶媒体に格納して頒布することもできる。
また、この記憶媒体としては、プログラムを記憶でき、かつコンピュータが読み取り可能
な記憶媒体であれば、その記憶形式は何れの形態であっても良い。
な記憶媒体であれば、その記憶形式は何れの形態であっても良い。
また、記憶媒体からコンピュータにインストールされたプログラムの指示に基づきコンピ
ュータ上で稼働しているＯＳ（オペレーティングシステム）や、データベース管理ソフト
、ネットワークソフト等のＭＷ（ミドルウェア）等が上記実施形態を実現するための各処
理の一部を実行しても良い。
ュータ上で稼働しているＯＳ（オペレーティングシステム）や、データベース管理ソフト
、ネットワークソフト等のＭＷ（ミドルウェア）等が上記実施形態を実現するための各処
理の一部を実行しても良い。
さらに、本発明における記憶媒体は、コンピュータと独立した媒体に限らず、ＬＡＮやイ
ンターネット等により伝送されたプログラムをダウンロードして記憶又は一時記憶した記
憶媒体も含まれる。
ンターネット等により伝送されたプログラムをダウンロードして記憶又は一時記憶した記
憶媒体も含まれる。
また、記憶媒体は１つに限らず、複数の媒体から上記実施形態における処理が実行される
場合も本発明における記憶媒体に含まれ、媒体構成は何れの構成であっても良い。
場合も本発明における記憶媒体に含まれ、媒体構成は何れの構成であっても良い。
尚、本発明におけるコンピュータは、記憶媒体に記憶されたプログラムに基づき、上記実
施形態における各処理を実行するものであって、パソコン等の１つからなる装置、複数の
装置がネットワーク接続されたシステム等の何れの構成であっても良い。
施形態における各処理を実行するものであって、パソコン等の１つからなる装置、複数の
装置がネットワーク接続されたシステム等の何れの構成であっても良い。
また、本発明におけるコンピュータとは、パソコンに限らず、情報処理機器に含まれる演
算処理装置、マイコン等も含み、プログラムによって本発明の機能を実現することが可能
な機器、装置を総称している。
算処理装置、マイコン等も含み、プログラムによって本発明の機能を実現することが可能
な機器、装置を総称している。
なお、本願発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその
要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示さ
れている複数の構成要素の適宜な組合せにより種々の発明を形成できる。例えば、実施形
態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態
に亘る構成要素を適宜組合せてもよい。
要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示さ
れている複数の構成要素の適宜な組合せにより種々の発明を形成できる。例えば、実施形
態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態
に亘る構成要素を適宜組合せてもよい。
１００…文書分類装置，１０１…訓練データ入力部，１０２…単語頻度算出部，１０３
…単語重要度算出部，１０４…ベイジアンネットワーク記憶部，１０５…単語重要度記憶
部，１０６…分類対象データ入力部，１０７…文書ベクトル算出部，１０８…事後確率算
出部、１０９…単語重要度チェック部，１１０…分類結果出力部。
…単語重要度算出部，１０４…ベイジアンネットワーク記憶部，１０５…単語重要度記憶
部，１０６…分類対象データ入力部，１０７…文書ベクトル算出部，１０８…事後確率算
出部、１０９…単語重要度チェック部，１１０…分類結果出力部。
Claims (2)
- あらかじめカテゴリが付与されている複数の文書データを取得する文書データ取得手段と、
この文書データ取得手段により取得した文書データに基づいて、ベイジアンネットワークを構成するベイジアンネットワーク構成手段と、
前記文書データ取得手段により取得した文書データに基づいてカテゴリ毎の単語重要度を算出する算出手段と、
分類対象の文書を取得する分類対象データ取得手段と、
この分類対象データ取得手段により取得した文書データを前記ベイジアンネットワークにより分類する分類手段と、
前記分類対象データ取得手段により取得した文書に含まれている単語を取得する単語取得手段と、
前記ベイジアンネットワークにより分類されたカテゴリにおける、前記算出された単語重要度に基づき得られる、前記含まれている単語に対する単語重要度の値に基づいて、前記ベイジアンネットワークにより分類されたカテゴリに属するか否かを判断する判断手段とを
備えたことを特徴とする文書分類装置。 - コンピュータに、
あらかじめカテゴリが付与されている複数の文書データを取得する文書データ取得機能と、
この文書データ取得機能により取得した文書データに基づいてベイジアンネットワークを構成するベイジアンネットワーク構成機能と、
前記文書データ取得機能により取得した文書データに基づいてカテゴリ毎の単語重要度を算出する算出機能と、
分類対象の文書を取得する分類対象データ取得機能と、
この分類対象データ取得機能により取得した文書データを前記ベイジアンネットワークにより分類する分類機能と、
前記分類対象データ取得機能により取得した文書に含まれている単語を取得する単語取得機能と、
前記ベイジアンネットワークにより分類されたカテゴリにおける、前記算出された単語重要度に基づき得られる、前記含まれている単語に対する単語重要度の値に基づいて、前記ベイジアンネットワークにより分類されたカテゴリに属するか否かを判断する判断機能とを
実現させるためのプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007268288A JP5075566B2 (ja) | 2007-10-15 | 2007-10-15 | 文書分類装置およびプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007268288A JP5075566B2 (ja) | 2007-10-15 | 2007-10-15 | 文書分類装置およびプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2009098810A JP2009098810A (ja) | 2009-05-07 |
| JP5075566B2 true JP5075566B2 (ja) | 2012-11-21 |
Family
ID=40701775
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007268288A Expired - Fee Related JP5075566B2 (ja) | 2007-10-15 | 2007-10-15 | 文書分類装置およびプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5075566B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5305241B2 (ja) * | 2009-06-05 | 2013-10-02 | 株式会社リコー | 分類パラメータ生成装置、生成方法及び生成プログラム |
| JP6040138B2 (ja) * | 2013-10-17 | 2016-12-07 | 日本電信電話株式会社 | 文書分類装置、文書分類方法および文書分類プログラム |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH113350A (ja) * | 1997-06-12 | 1999-01-06 | Fujitsu Ltd | ベイズ分類規則生成方法及び装置並びにプログラム記憶媒体 |
| JP2002222083A (ja) * | 2001-01-29 | 2002-08-09 | Fujitsu Ltd | 事例蓄積装置および方法 |
| JP4088167B2 (ja) * | 2003-02-03 | 2008-05-21 | 株式会社東芝 | テキスト分類ルール作成装置 |
| JP4170296B2 (ja) * | 2003-03-19 | 2008-10-22 | 富士通株式会社 | 事例分類装置および方法 |
| JP2005158010A (ja) * | 2003-10-31 | 2005-06-16 | Hewlett-Packard Development Co Lp | 分類評価装置・方法及びプログラム |
| JP4346531B2 (ja) * | 2004-09-17 | 2009-10-21 | 株式会社東芝 | テキストデータ学習分析システム、テキストデータ学習装置、テキストデータ分析装置、方法及びプログラム |
| JP2006293767A (ja) * | 2005-04-12 | 2006-10-26 | Nomura Research Institute Ltd | 文章分類装置、文章分類方法および分類辞書作成装置 |
-
2007
- 2007-10-15 JP JP2007268288A patent/JP5075566B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2009098810A (ja) | 2009-05-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10296307B2 (en) | Method and system for template extraction based on source code similarity | |
| EP1090275B1 (en) | A computer system and process for explaining behaviour of a model that maps input data to output data | |
| Sariyar et al. | The RecordLinkage package: detecting errors in data. | |
| US10915820B2 (en) | Generating data associated with underrepresented data based on a received data input | |
| CN113449099B (zh) | 文本分类方法和文本分类设备 | |
| US11256712B2 (en) | Rapid design, development, and reuse of blockchain environment and smart contracts | |
| US20190130030A1 (en) | Generation method, generation device, and recording medium | |
| US11727704B2 (en) | Systems and methods for processing a table of information in a document | |
| KR20200071877A (ko) | 자율 증강형 반복 학습을 이용한 정보 추출 방법 및 시스템 | |
| US20190026650A1 (en) | Bootstrapping multiple varieties of ground truth for a cognitive system | |
| KR102088357B1 (ko) | 기계독해기반 질의응답방법 및 기기 | |
| US20160132809A1 (en) | Identifying and amalgamating conditional actions in business processes | |
| JP2021060800A (ja) | データ抽出方法、及びデータ抽出装置 | |
| JP5075566B2 (ja) | 文書分類装置およびプログラム | |
| US9286036B2 (en) | Computer-readable recording medium storing program for managing scripts, script management device, and script management method | |
| CN112685374B (zh) | 日志分类方法、装置及电子设备 | |
| JP2020038514A (ja) | 学習データ生成装置、学習データ生成方法、及びプログラム | |
| CN111737371B (zh) | 可动态预测的数据流量检测分类方法及装置 | |
| CN113420127A (zh) | 威胁情报处理方法、装置、计算设备及存储介质 | |
| KR20220041336A (ko) | 중요 키워드 추천 및 핵심 문서를 추출하기 위한 그래프 생성 시스템 및 이를 이용한 그래프 생성 방법 | |
| US20230281275A1 (en) | Identification method and information processing device | |
| US11841897B2 (en) | Identifying content items in response to a text-based request | |
| US20230237150A1 (en) | Structured data flow identification for proactive issue detection | |
| CN116502140B (zh) | 一种基于控制流图相似性的加密算法识别方法及装置 | |
| CN112767022B (zh) | 移动应用功能演化趋势预测方法、装置及计算机设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100315 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20111128 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20111206 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120302 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120427 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120803 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120827 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150831 Year of fee payment: 3 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |