JP6201779B2

JP6201779B2 - 情報処理装置及び情報処理プログラム

Info

Publication number: JP6201779B2
Application number: JP2014007371A
Authority: JP
Inventors: 誓哉稲木; 宏梅基; 雅夫渡部; 鈴木　星児; 星児鈴木; 大樹杉渕
Original assignee: Fuji Xerox Co Ltd; Fujifilm Business Innovation Corp
Current assignee: Fujifilm Business Innovation Corp
Priority date: 2014-01-20
Filing date: 2014-01-20
Publication date: 2017-09-27
Anticipated expiration: 2034-01-20
Also published as: JP2015135640A

Description

本発明は、情報処理装置及び情報処理プログラムに関する。

特許文献１には、細かい分類に対しても精度のよい分類を行うことができる文書自動分類方法を提供することを課題とし、学習時には、単語分割／頻度抽出部は各分類済み文書から出現単語の情報を収集し、この情報に基づき関連度演算部が各単語と各分類との関連度を求め、関連度テーブルを作成し、複数分野語処理部は、この関連度テーブルから複数の分野に対して関連の強い複数分野語を検出し、各複数分野語を関連の強い各分野毎に分割して別々の単語とみなして、詳細化関連度テーブルなどの分類用情報を作成し、文書を分類する際には、まず単語分割／頻度抽出処理部が、当該文書の出現単語の頻度等の情報を収集し、分類先決定部は、この情報に基づき当該分類対象文書の出現単語の傾向を表す文書ベクトルを作成し、このベクトルと詳細化関連度テーブルとに基づき当該文書の分類先を決定することが開示されている。

特許文献２には、人手による文書データの分類作業負担を軽減するために、複数の分類の文書データとを利用し、分類別のキーワードを抽出し分類用辞書を作成し、分類用辞書を利用して文書データを自動的に分類する方法及びシステムを提供することを目的とし、文書データ単語分割部は、分類済文書データを参照し、分類済文書データを単語分割し、分類済単語分割テーブルに登録し、また、文書データ単語分割部は分類対象文書データを参照し、分類対象文書データを単語分割し、分類対象文書単語分割テーブルに登録し、分類用辞書作成部は、分類済単語分割テーブルを参照し、分類別のキーワードを検出し、分類用辞書に登録し、文書分類部は、分類対象文書単語分割テーブルと分類用辞書を参照し、分類対象文書を分類し、文書分類結果に登録し、従来は人手により分類されていた文書データを自動的に分類することが可能となり、人手による文書データの分類作業に費やす膨大な作業を省くことができるようになるという効果があることが開示されている。

特許文献３には、文書から自動的に単語の特徴ベクトルを抽出し、その特徴ベクトルをもとに文書を分類することで、意味的な異なりを用いた自動分類を可能にすることを目的とし、文書分類装置において、文書データを記憶する記憶部と、文書データを解析する文書解析部と、文書中の単語間の共起関係を用いて各単語の特徴を表現する特徴ベクトルを自動的に生成する単語ベクトル生成部と、その特徴ベクトルを記憶する単語ベクトル記憶部と、文書内に含まれている単語の特徴ベクトルから文書の特徴ベクトルを生成する文書ベクトル生成部と、その特徴ベクトルを記憶する文書ベクトル記憶部と、文書の特徴ベクトル間の類似度を利用して文書を分類する分類部と、その分類した結果を記憶する結果記憶部と、特徴ベクトル生成時に使用する単語が登録されている特徴ベクトル生成用辞書を備えることが開示されている。

特開平１０−２５４８８３号公報特開平０６−３４８７５５号公報特開平０７−１１４５７２号公報

本発明は、文書を分類する処理において、誤分類された文書に付与された分類情報を付与した基準のままで、文書を分類してしまうことを抑制するようにした情報処理装置及び情報処理プログラムを提供することを目的としている。

かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。
請求項１の発明は、誤分類された文書に付与された誤分類である第１の分類情報と該文書に本来付与されるべき第２の分類情報との上下関係に基づいて、文書を分類するための基準を生成する基準生成手段と、前記基準に基づいて、対象とする文書に分類情報を付与することによって分類する分類手段を具備し、前記基準生成手段は、前記第１の分類情報が上位の場合と下位の場合とで前記基準を変更することを特徴とする情報処理装置である。

請求項２の発明は、予め定められた概念体系又は文書内で用いられる単語の共起関係に基づいて、前記第１の分類情報と前記第２の分類情報との上下関係を判定する判定手段をさらに具備し、前記基準生成手段は、前記判定手段によって判定された上下関係を用いることを特徴とする請求項１に記載の情報処理装置である。

請求項３の発明は、前記判定手段は、既に分類情報が付与された文書を用いて、前記第１の分類情報と前記第２の分類情報との組み合わせの割合が、予め定められた値より多い若しくは以上である組み合わせ、又は該割合を昇順に並べた場合に予め定められた順位より高い若しくは以内である組み合わせを抽出し、該抽出した第１の分類情報と第２の分類情報との組み合わせにおける上下関係を判定することを特徴とする請求項２に記載の情報処理装置である。

請求項４の発明は、コンピュータを、誤分類された文書に付与された誤分類である第１の分類情報と該文書に本来付与されるべき第２の分類情報との上下関係に基づいて、文書を分類するための基準を生成する基準生成手段と、前記基準に基づいて、対象とする文書に分類情報を付与することによって分類する分類手段として機能させ、前記基準生成手段は、前記第１の分類情報が上位の場合と下位の場合とで前記基準を変更することを特徴とする情報処理プログラムである。

請求項１の情報処理装置によれば、文書を分類する処理において、誤分類された文書に付与された分類情報を付与した基準のままで、文書を分類してしまうことを抑制することができる。

請求項２の情報処理装置によれば、概念体系又は共起関係に基づいて、第１の分類情報と第２の分類情報との上下関係を判定することができる。

請求項３の情報処理装置によれば、既に分類情報が付与された文書を用いて、第１の分類情報と第２の分類情報との組み合わせにおける上下関係を判定することができる。

請求項４の情報処理プログラムによれば、文書を分類する処理において、誤分類された文書に付与された分類情報を付与した基準のままで、文書を分類してしまうことを抑制することができる。

本実施の形態の構成例についての概念的なモジュール構成図である。本実施の形態による処理例を示す説明図である。分類処理の例を示す説明図である。本実施の形態による処理例を示すフローチャートである。本実施の形態による処理例を示す説明図である。本実施の形態によるオントロジーの例を示す説明図である。本実施の形態による処理例を示すフローチャートである。本実施の形態を実現するコンピュータのハードウェア構成例を示すブロック図である。

以下、図面に基づき本発明を実現するにあたっての好適な一実施の形態の例を説明する。
図１は、本実施の形態の構成例についての概念的なモジュール構成図を示している。
なお、モジュールとは、一般的に論理的に分離可能なソフトウェア（コンピュータ・プログラム）、ハードウェア等の部品を指す。したがって、本実施の形態におけるモジュールはコンピュータ・プログラムにおけるモジュールのことだけでなく、ハードウェア構成におけるモジュールも指す。それゆえ、本実施の形態は、それらのモジュールとして機能させるためのコンピュータ・プログラム（コンピュータにそれぞれの手順を実行させるためのプログラム、コンピュータをそれぞれの手段として機能させるためのプログラム、コンピュータにそれぞれの機能を実現させるためのプログラム）、システム及び方法の説明をも兼ねている。ただし、説明の都合上、「記憶する」、「記憶させる」、これらと同等の文言を用いるが、これらの文言は、実施の形態がコンピュータ・プログラムの場合は、記憶装置に記憶させる、又は記憶装置に記憶させるように制御するの意である。また、モジュールは機能に一対一に対応していてもよいが、実装においては、１モジュールを１プログラムで構成してもよいし、複数モジュールを１プログラムで構成してもよく、逆に１モジュールを複数プログラムで構成してもよい。また、複数モジュールは１コンピュータによって実行されてもよいし、分散又は並列環境におけるコンピュータによって１モジュールが複数コンピュータで実行されてもよい。なお、１つのモジュールに他のモジュールが含まれていてもよい。また、以下、「接続」とは物理的な接続の他、論理的な接続（データの授受、指示、データ間の参照関係等）の場合にも用いる。「予め定められた」とは、対象としている処理の前に定まっていることをいい、本実施の形態による処理が始まる前はもちろんのこと、本実施の形態による処理が始まった後であっても、対象としている処理の前であれば、そのときの状況・状態に応じて、又はそれまでの状況・状態に応じて定まることの意を含めて用いる。「予め定められた値」が複数ある場合は、それぞれ異なった値であってもよいし、２以上の値（もちろんのことながら、全ての値も含む）が同じであってもよい。また、「Ａである場合、Ｂをする」という意味を有する記載は、「Ａであるか否かを判断し、Ａであると判断した場合はＢをする」の意味で用いる。ただし、Ａであるか否かの判断が不要である場合を除く。
また、システム又は装置とは、複数のコンピュータ、ハードウェア、装置等がネットワーク（一対一対応の通信接続を含む）等の通信手段で接続されて構成されるほか、１つのコンピュータ、ハードウェア、装置等によって実現される場合も含まれる。「装置」と「システム」とは、互いに同義の用語として用いる。もちろんのことながら、「システム」には、人為的な取り決めである社会的な「仕組み」（社会システム）にすぎないものは含まない。
また、各モジュールによる処理毎に又はモジュール内で複数の処理を行う場合はその処理毎に、対象となる情報を記憶装置から読み込み、その処理を行った後に、処理結果を記憶装置に書き出すものである。したがって、処理前の記憶装置からの読み込み、処理後の記憶装置への書き出しについては、説明を省略する場合がある。なお、ここでの記憶装置としては、ハードディスク、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）、外部記憶媒体、通信回線を介した記憶装置、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）内のレジスタ等を含んでいてもよい。

本実施の形態である情報処理装置１００は、文書を分類するものであって、図１の例に示すように、分類済み文書記憶モジュール１０５、素性抽出モジュール１１０、素性情報記憶モジュール１１５、素性ベクトル生成モジュール１２０、初期パラメータ記憶モジュール１２５、素性ベクトル記憶モジュール１３０、分類処理モジュール１３５、誤分類文書記憶モジュール１４０、上下関係判定モジュール１４５、属性の上下関係情報記憶モジュール１５０、上位概念文書記憶モジュール１５５、下位概念文書記憶モジュール１６０、パラメータ処理モジュール１７０、分類対象文書記憶モジュール１８５、分類処理モジュール１９０、分類結果記憶モジュール１９５を有している。なお、文書を分類するとは、その文書に分類情報（以下、タグ、属性ともいう）を付与することである。

分類済み文書記憶モジュール１０５は、素性抽出モジュール１１０と接続されている。分類済み文書記憶モジュール１０５は、分類済みの文書を記憶している。ここでの分類は、主に人手で行われたもの（つまり、操作者の判断によってタグが付与されたもの）であるが、分類装置によって自動的に分類が行われたものであってもよい。また、複数人がそれぞれ分類を行ったものであってもよい。また、分類は、文書毎にタグを付与することであるが、１つの文書に複数のタグを付与してもよい。タグは、予め定められた複数の単語のなかから選択されたものであってもよいし、その文書から抽出した語であってもよい。

素性抽出モジュール１１０は、分類済み文書記憶モジュール１０５、素性情報記憶モジュール１１５と接続されている。素性抽出モジュール１１０は、分類済み文書記憶モジュール１０５内に記憶されている分類済み文書の素性を抽出する。なお、素性の抽出処理は、既存の技術を用いればよい。ここで素性とは、その文書の特徴を示すものであって、一般的には、語（単語等の形態素）を指す。この他に、文、品詞の情報等を含めてもよい。文書クラスタリングのための素性（語）ベクトルを構成するには、一般的にベクトル空間モデルが用いられる。文書の特徴として、文書集合中に現れた語を各次元とし、データをｎ次元のベクトルで表現する。ベクトルを構成するために語を選択することを素性選択という。文書に含まれる全ての情報が有用というわけでないため、有効な素性を選択する。素性選択は文書分類の分野で広く提案され、利用されている。全ての語が同じ重みで扱われてしまっては有効な素性選択を行うことはできない。単語のなかには、特定の分野にだけ出現するものと、どのような分野にも出現するものがある。例えば、前者の語の重みを重く、後者の語の重みを軽くすれば、ベクトル間の位置関係が実際のデータの位置関係により近づくことができる。語の重み付けには一般的にｔｆ−ｉｄｆが用いられる。ｔｆ（ｔｅｒｍｆｒｅｑｕｅｎｃｙ）は文書内での語の出現回数である。ｉｄｆ（ｉｎｖｅｒｓｅｄｏｃｕｍｅｎｔｆｒｅｑｕｅｎｃｙ）は語が全文書中にどれくらい出現するかの逆数を表す。ｔｆはそれぞれの文書毎に算出されるが、ｉｄｆは各語のみについて計算される。これら２つの値を掛け合わせたｔｆ−ｉｄｆを用いるようにしてもよい。
素性情報記憶モジュール１１５は、素性抽出モジュール１１０、素性ベクトル生成モジュール１２０と接続されている。素性情報記憶モジュール１１５は、素性抽出モジュール１１０によって抽出された文書の素性を記憶する。

素性ベクトル生成モジュール１２０は、素性情報記憶モジュール１１５、素性ベクトル記憶モジュール１３０と接続されている。素性ベクトル生成モジュール１２０は、素性情報記憶モジュール１１５内に記憶されている文書の素性を用いて、前述の素性ベクトルを生成する。
初期パラメータ記憶モジュール１２５は、分類処理モジュール１３５と接続されている。初期パラメータ記憶モジュール１２５は、分類のための初期パラメータを記憶している。初期パラメータとして、例えば、後述するＳＶＭでは、既存の手法におけるペナルティ値である。
素性ベクトル記憶モジュール１３０は、素性ベクトル生成モジュール１２０、分類処理モジュール１３５と接続されている。素性ベクトル記憶モジュール１３０は、素性ベクトル生成モジュール１２０によって生成された素性ベクトルを記憶する。
分類処理モジュール１３５は、初期パラメータ記憶モジュール１２５、素性ベクトル記憶モジュール１３０、誤分類文書記憶モジュール１４０と接続されている。分類処理モジュール１３５は、初期パラメータ記憶モジュール１２５内に記憶されている初期パラメータと素性ベクトル記憶モジュール１３０内に記憶されている素性ベクトルを用いて、文書の分類処理を行う。

誤分類文書記憶モジュール１４０は、分類処理モジュール１３５、上下関係判定モジュール１４５と接続されている。誤分類文書記憶モジュール１４０は、分類処理モジュール１３５によって分類された文書のうち、分類が誤って行われた文書を記憶する。そして、その文書が本来付与されるべきタグを記憶する。したがって、文書に対して、誤って付与された第１のタグと本来付与されるべき第２のタグの組（ペア）が記憶されている。なお、操作者によって、分類が誤っているか否かの判断が行われ、本来のタグの判定が行われる。また、分類処理モジュール１３５で分類を行った文書が分類済み文書記憶モジュール１０５に記憶されている文書であった場合、分類が誤っているか否かの判断は分類処理モジュール１３５が付与したタグと分類済み文書記憶モジュール１０５に記憶されているタグとの比較によって自動的に行われてもよい。
上下関係判定モジュール１４５は、誤分類文書記憶モジュール１４０、属性の上下関係情報記憶モジュール１５０、上位概念文書記憶モジュール１５５、下位概念文書記憶モジュール１６０と接続されている。上下関係判定モジュール１４５は、属性の上下関係情報記憶モジュール１５０内に記憶されている予め定められた概念体系（以下、オントロジーともいう）又は文書内で用いられる単語の共起関係に基づいて、誤分類文書記憶モジュール１４０内に記憶されている誤分類された文書に付与された第１のタグとその文書に本来付与されるべき第２のタグとの上下関係を判定する。ここで、概念体系は、あるドメイン内の概念とそれらの概念間の関係のセットとしての知識の形式的な表現である。
また、上下関係判定モジュール１４５は、既に分類情報が付与された文書を用いて、第１のタグと第２のタグとの組み合わせの割合が、予め定められた値より多い若しくは以上である組み合わせ、又はその割合を昇順に並べた場合に予め定められた順位よりも高い若しくは以内である組み合わせを抽出し、その抽出した第１のタグと第２のタグとの組み合わせにおける上下関係を判定するようにしてもよい。
属性の上下関係情報記憶モジュール１５０は、上下関係判定モジュール１４５と接続されている。属性の上下関係情報記憶モジュール１５０は、タグ間の上下関係を示すオントロジー（概念体系）等を記憶している。

上位概念文書記憶モジュール１５５は、上下関係判定モジュール１４５、パラメータ処理モジュール１７０のパラメータ生成モジュール１７５と接続されている。上位概念文書記憶モジュール１５５は、上下関係判定モジュール１４５によって上下関係における上と判定されたタグが付されている文書を記憶する。
下位概念文書記憶モジュール１６０は、上下関係判定モジュール１４５、パラメータ処理モジュール１７０のパラメータ生成モジュール１７５と接続されている。下位概念文書記憶モジュール１６０は、上下関係判定モジュール１４５によって上下関係における下と判定されたタグが付されている文書を記憶する。
パラメータ処理モジュール１７０は、パラメータ生成モジュール１７５、上下関係反映パラメータ記憶モジュール１８０を有している。パラメータ処理モジュール１７０は、文書を分類するための閾値（以下、パラメータともいう）を生成する。なお、本実施の形態においては、文書を分類するための基準として、閾値を用いるがこれに限らない。文書を分類する基準であればよい。
パラメータ生成モジュール１７５は、上位概念文書記憶モジュール１５５、下位概念文書記憶モジュール１６０、上下関係反映パラメータ記憶モジュール１８０と接続されている。パラメータ生成モジュール１７５は、誤分類文書記憶モジュール１４０内に記憶されている誤分類された文書に付与された第１のタグとその文書に本来付与されるべき第２のタグとの上下関係に基づいて、文書を分類するための閾値を生成する。パラメータ生成モジュール１７５は、上下関係判定モジュール１４５によって判定された上下関係を用いるようにしてもよい。
上下関係反映パラメータ記憶モジュール１８０は、パラメータ生成モジュール１７５、分類処理モジュール１９０と接続されている。上下関係反映パラメータ記憶モジュール１８０は、パラメータ生成モジュール１７５によって生成された閾値を記憶する。

分類対象文書記憶モジュール１８５は、分類処理モジュール１９０と接続されている。分類対象文書記憶モジュール１８５は、パラメータ生成モジュール１７５によって生成された新たな閾値を用いて分類が行われる対象である文書を記憶している。
分類処理モジュール１９０は、パラメータ処理モジュール１７０の上下関係反映パラメータ記憶モジュール１８０、分類対象文書記憶モジュール１８５、分類結果記憶モジュール１９５と接続されている。分類処理モジュール１９０は、上下関係反映パラメータ記憶モジュール１８０内に記憶されている閾値（パラメータ生成モジュール１７５によって生成された閾値）に基づいて、対象とする文書に分類情報を付与することによって分類する。
分類結果記憶モジュール１９５は、分類処理モジュール１９０と接続されている。分類結果記憶モジュール１９５は、分類処理モジュール１９０によって分類された結果を記憶している。

図２は、本実施の形態による処理例を示す説明図である。操作者の操作によってタグを付与された文書が多数ある場合、それらの文書データを解析し、未だタグ付与されていない文書２００に対して、内容に応じた適切なタグを付けることができる。
タグが付与されていない文書２００として、複数の文書（文書２０２〜２１４）がある。そして、既にタグ付与された文書２２０として、例えば、タグ「技術」が付与された文書２２２、タグ「顧客」が付与された文書２２４、タグ「生産」が付与された文書２２６、タグ「商品」が付与された文書２２８がある。タグ付与された文書２２０は、いわゆる学習データである。
そして、タグ付与された文書２２０内の各タグが付与された文書に対してｔｆ−ｉｄｆ技術を用いて、タグが付与されていない文書２００内の文書２０２〜２１４内に含まれる単語の有無から付与すべきタグを推測し、そのタグを各文書に付与することによって分類する。例えば、タグ付与処理結果２４０として、タグ「技術」が付与された文書２４２、タグ「顧客」が付与された文書２４４、タグ「生産」が付与された文書２４６、タグ「商品」が付与された文書２４８がある。タグ「技術」が付与された文書２４２として、文書２０２、文書２０８があり、タグ「顧客」が付与された文書２４４として、文書２１０、文書２１４があり、タグ「生産」が付与された文書２４６として、文書２０６があり、タグ「商品」が付与された文書２４８として、文書２０４、文書２１２がある。
なお、この処理だけで正しい結果を得るためには、タグ付与された文書２２０は、その文書の内容が示している意味に基づいて、正しく分類されている必要がある。
しかしこの場合、ある特定のタグ間において文書の分類（タグ付与された文書２２０）に間違いが多くあった場合、そのタグ間においては、分類対象文書をその内容が含む意味に基づいて正しく分類することができない。

図３は、分類処理モジュール１３５による分類処理の例を示す説明図である。前述のように、文書に付与されたタグ間に上下関係がある場合、分類精度が低下する。ここで、上下関係として、木構造等の階層関係、集合における包含関係を含む。
例えば、画像印刷における画質劣化の原因を示すタグである「色点」、「黒点」、「白点」のように意味的な階層（包含）関係がある場合である。この場合、「色点」に「黒点」と「白点」が含まれることになり、「色点」が上、「黒点」と「白点」が下という上下関係である。
このような場合、人手で分類を行ったとしても、属性間の境界があいまいになり、特に上位概念のタグにノイズが混じりやすくなる。したがって、これらの属性間での誤分類が多くなってしまう。特に、複数人で分類作業が行われた場合に顕著である。
図３（ａ）はタグの階層関係がない場合、図３（ｂ）は階層関係がある場合を示している。タグ「技術」が付与された文書３１０には、タグ付文書３１２、タグ付文書３１４、タグ付文書３１６が含まれている。タグ「顧客」が付与された文書３２０には、タグ付文書３２２、タグ付文書３２４、タグ付文書３２６が含まれている。このように、タグ「技術」、タグ「顧客」という概念には、上下関係がないので、各文書には本来のタグが付与されている。
一方、前述したように、「色点」、「黒点」、「白点」というタグが付されて分類が行われた場合、タグ「黒点」が付与された文書３４０には、タグ付文書３４２、タグ付文書３４４、タグ付文書３４６が含まれて、上下関係の下のタグ「黒点」については、各文書には本来のタグが付与されている。しかし、タグ「色点」が付与された文書３３０には、タグ付文書３３２、タグ付文書３３４、タグ付文書３３６が含まれて、上下関係の上のタグ「色点」については、本来「黒点」（タグ付文書３３６）、「白点」（タグ付文書３３２）というタグが付与されるべき文書であるが、「色点」というタグが付与されてしまっている。このような場合が、誤分類された一例である。つまり、上下関係があるタグにおいて、本来下位（又は上位）のタグが付与されるべきであるにもかかわらず、上位（又は下位）のタグが付与されている場合があり、これは起こりやすい。
本実施の形態の上下関係判定モジュール１４５は、これらの誤分類された文書を対象として誤分類されたタグと本来のタグとの上下関係を判定し、その誤分類を起こさないようにパラメータ生成モジュール１７５がパラメータを変更し、変更されたパラメータを用いて分類処理モジュール１９０が分類処理を行う。

図４は、本実施の形態による処理例を示すフローチャートである。
ステップＳ４０２では、素性抽出モジュール１１０が、分類済み文書記憶モジュール１０５から文書の素性を抽出し、素性情報記憶モジュール１１５に格納する。
ステップＳ４０４では、素性ベクトル生成モジュール１２０が、素性情報記憶モジュール１１５から素性ベクトルを生成し、素性ベクトル記憶モジュール１３０に格納する。
ステップＳ４０６では、分類処理モジュール１３５が、初期パラメータ記憶モジュール１２５内の初期パラメータと素性ベクトル記憶モジュール１３０内の素性ベクトルを用いて、分類処理を行う。そして、誤分類の文書を誤分類文書記憶モジュール１４０に格納する。誤分類されたか否かの判断は、操作者の判断によって行われる。また、分類処理モジュール１３５が分類処理を行った文書が分類済み文書記憶モジュール１０５に記憶されている文書であった場合は、誤分類されたか否かの判断は、分類処理モジュール１３５が付与したタグと分類済み文書記憶モジュール１０５に記憶されているタグとの比較によって自動的に行われてもよい。
例えば、前述したように「色点」、「黒点」、「白点」には上下関係があるので、図５（ａ）の例に示すように、分類処理モジュール１３５による分類処理の結果であるタグ「色点」が付与された文書５１０として、本来「黒点」、「白点」のタグが付与されるべき文書が含まれており、タグ「黒点」が付与された文書５２０として、本来「色点」のタグが付与されるべき文書が含まれており、タグ「白点」が付与された文書５３０として、本来「色点」のタグが付与されるべき文書が含まれている。なお、タグ「しわ」が付与された文書５４０には、タグ「しわ」は他のタグと上下関係がないので、本来「しわ」のタグが付与されるべき文書だけが含まれている。
ここで、操作者によって（または自動的に）各文書のタグが正しく付与されているか否かの判断が行われ、図５（ｂ）の例に示すような分類対応テーブル５５０の結果となる。分類対応テーブル５５０は、縦軸に操作者によって行われた分類、横軸に分類処理モジュール１３５による分類結果を示している。本来のタグ「色点」が付与される文書において、タグ「色点」が付与された文書数が７４、タグ「黒点」が付与された文書数が１１、タグ「白点」が付与された文書数が１３、タグ「しわ」が付与された文書数が２である。同様に、本来のタグ「黒点」が付与される文書において、タグ「色点」が付与された文書数が１３、タグ「黒点」が付与された文書数が８１、タグ「白点」が付与された文書数が５、タグ「しわ」が付与された文書数が１である。本来のタグ「白点」が付与される文書において、タグ「色点」が付与された文書数が１７、タグ「黒点」が付与された文書数が４、タグ「白点」が付与された文書数が７７、タグ「しわ」が付与された文書数が２である。本来のタグ「しわ」が付与される文書において、タグ「色点」が付与された文書数が０、タグ「黒点」が付与された文書数が０、タグ「白点」が付与された文書数が１、タグ「しわ」が付与された文書数が９９である。

ステップＳ４０８では、上下関係判定モジュール１４５が、誤分類文書記憶モジュール１４０内の文書に付与されているタグについて、属性の上下関係情報記憶モジュール１５０を用いて、上下関係を判定する。
図５の例を用いて説明する。ステップＳ４０６による操作者によって判断された結果から、上下関係判定モジュール１４５は、誤分類が起こる割合の高いタグのペアを抽出する。ここで、「割合」とは、全文書数に対して、操作者による判断と分類処理モジュール１３５による処理結果が異なった場合（誤分類の場合）の文書数の比である。また、「割合の高い」とは、予め定められた値より多い又は以上の割合となることであってもよいし、割合を昇順に並べて予め定められた順位より高い又は以内としてもよい。図５（ｂ）の例においては、図５（ｃ）の例に示すように、誤分類タグペア（色点、黒点）５６０（本来のタグ「色点」をタグ「黒点」又は本来のタグ「黒点」をタグ「色点」としたものの両方）、誤分類タグペア（色点、白点）５７０（本来のタグ「色点」をタグ「白点」又は本来のタグ「白点」をタグ「色点」としたものの両方）を抽出する。

そして、上下関係判定モジュール１４５は、誤分類タグペア（色点、黒点）５６０におけるタグ「色点」とタグ「黒点」、誤分類タグペア（色点、白点）５７０におけるタグ「色点」とタグ「白点」の上下関係をそれぞれ判定する。その判定のために、属性の上下関係情報記憶モジュール１５０に記憶されている情報を用いる。属性の上下関係情報記憶モジュール１５０には、図６の例に示す既存オントロジー６００が記憶されている。図６は、本実施の形態によるオントロジーの例を示す説明図である。品質トラブル６１０の下位に、色点６１２、色筋６１８、しわ６２４があり、色点６１２の下位に黒点６１４、白点６１６、色筋６１８の下位に、黒筋６２０、白筋６２２がある。このオントロジーから、前述の抽出した誤分類のタグペア（「色点」と「黒点」、「色点」と「白点」）が、どの位置にあるかを検索する。図６の例の場合、色点６１２の下に黒点６１４、白点６１６がある。つまり、「色点」が上、「黒点」が下という上下関係があり、「色点」が上、「白点」が下という上下関係があることが判明する。
また、上下関係判定モジュール１４５は、オントロジーの他に、共起ベクトルを用いて上下関係を判定してもよい。既存技術を用いて、共起ベクトルによるタグ間の上下関係を判定すればよい。例えば、事典的なコーパス（例えば、百科事典）における見出し語と説明文を用いればよい。ここで見出し語と説明文は、方向性をもつ。例えば、「ライオン」の説明文には、「ネコ科の哺乳類」というように、「ネコ」や「哺乳類」という上位語を含んでいる。しかし、「哺乳類」の説明文には、「犬や猫のような動物」というように、必ずしも「ライオン」という下位語を利用して説明するとはかぎらない。一般に、見出し語に関する説明文を複数集めてきた場合、その上位語は、どの説明文にも共通して含まれる場合が多いが、必ずしも、その下位語が、どの説明文にも共通して含まれているとはかぎらない。なぜなら、説明文における下位語の使用は、見出し語を説明する観点に依存するためである。このような性質を用いて、単語（タグ）間の上下関係を判定すればよい。

ステップＳ４１０では、パラメータ生成モジュール１７５が、上位概念文書記憶モジュール１５５と下位概念文書記憶モジュール１６０に記憶されている文書のタグを用いて、分類のためのパラメータを生成し、上下関係反映パラメータ記憶モジュール１８０に格納する。この処理については、図７を用いて後述する。
ステップＳ４１２では、分類処理モジュール１９０が、上下関係反映パラメータ記憶モジュール１８０内のパラメータを用いて、分類対象文書記憶モジュール１８５内の文書を分類（タグ付与処理）し、分類結果記憶モジュール１９５に格納する。分類対象文書記憶モジュール１８５内の文書は、主に分類処理が行われていない文書であるが、前述した誤分類された文書を含めてもよい。

図７は、本実施の形態による処理（ステップＳ４０８、Ｓ４１０）の具体例を示すフローチャートである。この処理例は、ＳＶＭ（サポートベクタマシン）の識別器を用いる場合の例である。
ステップＳ７０２では、上下関係判定モジュール１４５が、誤分類文書ｉの属性ラベル（タグ）をｔとする。
ステップＳ７０４では、上下関係判定モジュール１４５が、属性ラベルｔの上下関係情報を属性の上下関係情報記憶モジュール１５０から受け付ける。
ステップＳ７０６では、上下関係判定モジュール１４５が、属性ラベルｔが本来の属性ラベルに対して上位概念であるか下位概念であるかを判定し、上位概念である場合はステップＳ７０８へ進み、下位概念である場合はステップＳ７１０へ進む。
ステップＳ７０８では、パラメータ生成モジュール１７５が、Ｃ_ｉ＝ａＣとする。Ｃは分類処理におけるパラメータ（閾値）である。
ステップＳ７１０では、パラメータ生成モジュール１７５が、Ｃ_ｉ＝Ｃ／ｂとする。
ステップＳ７１２では、パラメータ生成モジュール１７５が、全ての文書に対して判定を終えたか否かを判断し、終えた場合はステップＳ７１６へ進み、それ以外の場合はステップＳ７１４へ進む。
ステップＳ７１４では、パラメータ生成モジュール１７５が、ｉ＝ｉ＋１（変数ｉをインクリメント）し、ステップＳ７０２に戻る。
ステップＳ７１６では、パラメータ生成モジュール１７５が、Ｃ＝(Ｃ_１,Ｃ_２,…,Ｃ_ｉ,…,Ｃ_ｎ)を生成する。つまり、全文書におけるパラメータＣを求める。

図７の例に示す分類処理について説明する。
参考文献「ＡＰｒａｃｔｉｃａｌＧｕｉｄｅｔｏＳｕｐｐｏｒｔＶｅｃｔｏｒＣｌａｓｓｉｆｉｃａｔｉｏｎ，Ｃｈｉｈ−ＷｅｉＨｓｕ，Ｃｈｉｈ−ＣｈｕｎｇＣｈａｎｇ，ａｎｄＣｈｉｈ−ＪｅｎＬｉｎ，Ｉｎｉｔｉａｌｖｅｒｓｉｏｎ：２００３Ｌａｓｔｕｐｄａｔｅｄ：Ａｐｒｉｌ１５，２０１０」に示すようなＳＶＭを用いる場合、既存の手法では一定のＣ値（ペナルティ値）を用い、下記の（式１）にしたがって分類モデルｗを生成する。

本実施の形態では、このＣ値（ペナルティ値）を変数とし、下記の（式２）のように誤分類となった文書には異なる値を与える。

この（式２）を用いることで、誤分類となった文書のうち上位概念のタグが付与されたものはＣ値（ペナルティ値）が小さく、下位概念のタグの場合は大きく設定される。

なお、γ（ｉ）は、（式２）に限定されることなく、下記の（式３）のようなものであってもよい。

例えば、図６に示す既存オントロジー６００では、上位属性「色点６１２」に対するｔ_ｃは２（黒点６１４、白点６１６の２個）である。

また、得られた上下関係にしたがって分類器のパラメータを決定し、再分類を行うものとして、ＳＶＭの他に、ナイーブベイズを用いてもよい。
ナイーブベイズを用いる場合、下記の（式４）にしたがって分類すべき属性Ｃ_ｒを決定する。

この（式４）において、属性（タグ）の上下関係情報を用いて下記の（式５）のようにパラメータＰ_ω，Ｃを更新する。

なお、本実施の形態としてのプログラムが実行されるコンピュータのハードウェア構成は、図８に例示するように、一般的なコンピュータであり、具体的にはパーソナルコンピュータ、サーバーとなり得るコンピュータ等である。つまり、具体例として、処理部（演算部）としてＣＰＵ８０１を用い、記憶装置としてＲＡＭ８０２、ＲＯＭ８０３、ＨＤ８０４を用いている。ＨＤ８０４として、例えばハードディスクを用いてもよい。素性抽出モジュール１１０、素性ベクトル生成モジュール１２０、分類処理モジュール１３５、上下関係判定モジュール１４５、パラメータ処理モジュール１７０、パラメータ生成モジュール１７５、分類処理モジュール１９０等のプログラムを実行するＣＰＵ８０１と、そのプログラムやデータを記憶するＲＡＭ８０２と、本コンピュータを起動するためのプログラム等が格納されているＲＯＭ８０３と、補助記憶装置（フラッシュメモリ等であってもよい）であるＨＤ８０４と、キーボード、マウス、タッチパネル等に対する利用者の操作に基づいてデータを受け付ける受付装置８０６と、ＣＲＴ、液晶ディスプレイ等の出力装置８０５と、ネットワークインタフェースカード等の通信ネットワークと接続するための通信回線インタフェース８０７、そして、それらをつないでデータのやりとりをするためのバス８０８により構成されている。これらのコンピュータが複数台互いにネットワークによって接続されていてもよい。

前述の実施の形態のうち、コンピュータ・プログラムによるものについては、本ハードウェア構成のシステムにソフトウェアであるコンピュータ・プログラムを読み込ませ、ソフトウェアとハードウェア資源とが協働して、前述の実施の形態が実現される。
なお、図８に示すハードウェア構成は、１つの構成例を示すものであり、本実施の形態は、図８に示す構成にかぎらず、本実施の形態において説明したモジュールを実行可能な構成であればよい。例えば、一部のモジュールを専用のハードウェア（例えばＡＳＩＣ等）で構成してもよく、一部のモジュールは外部のシステム内にあり通信回線で接続しているような形態でもよく、さらに図８に示すシステムが複数互いに通信回線によって接続されていて互いに協調動作するようにしてもよい。また、特に、パーソナルコンピュータの他、情報家電、複写機、ファックス、スキャナ、プリンタ、複合機（スキャナ、プリンタ、複写機、ファックス等のいずれか２つ以上の機能を有している画像処理装置）などに組み込まれていてもよい。

なお、説明したプログラムについては、記録媒体に格納して提供してもよく、また、そのプログラムを通信手段によって提供してもよい。その場合、例えば、前記説明したプログラムについて、「プログラムを記録したコンピュータ読み取り可能な記録媒体」の発明として捉えてもよい。
「プログラムを記録したコンピュータ読み取り可能な記録媒体」とは、プログラムのインストール、実行、プログラムの流通などのために用いられる、プログラムが記録されたコンピュータで読み取り可能な記録媒体をいう。
なお、記録媒体としては、例えば、デジタル・バーサタイル・ディスク（ＤＶＤ）であって、ＤＶＤフォーラムで策定された規格である「ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ−ＲＡＭ等」、ＤＶＤ＋ＲＷで策定された規格である「ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等」、コンパクトディスク（ＣＤ）であって、読出し専用メモリ（ＣＤ−ＲＯＭ）、ＣＤレコーダブル（ＣＤ−Ｒ）、ＣＤリライタブル（ＣＤ−ＲＷ）等、ブルーレイ・ディスク（Ｂｌｕ−ｒａｙ（登録商標）Ｄｉｓｃ）、光磁気ディスク（ＭＯ）、フレキシブルディスク（ＦＤ）、磁気テープ、ハードディスク、読出し専用メモリ（ＲＯＭ）、電気的消去及び書換可能な読出し専用メモリ（ＥＥＰＲＯＭ（登録商標））、フラッシュ・メモリ、ランダム・アクセス・メモリ（ＲＡＭ）、ＳＤ（ＳｅｃｕｒｅＤｉｇｉｔａｌ）メモリーカード等が含まれる。
そして、前記のプログラム又はその一部は、前記記録媒体に記録して保存や流通等させてもよい。また、通信によって、例えば、ローカル・エリア・ネットワーク（ＬＡＮ）、メトロポリタン・エリア・ネットワーク（ＭＡＮ）、ワイド・エリア・ネットワーク（ＷＡＮ）、インターネット、イントラネット、エクストラネット等に用いられる有線ネットワーク、あるいは無線通信ネットワーク、さらにこれらの組み合わせ等の伝送媒体を用いて伝送させてもよく、また、搬送波に乗せて搬送させてもよい。
さらに、前記のプログラムは、他のプログラムの一部分であってもよく、あるいは別個のプログラムと共に記録媒体に記録されていてもよい。また、複数の記録媒体に分割して
記録されていてもよい。また、圧縮や暗号化など、復元可能であればどのような態様で記録されていてもよい。

１００…情報処理装置
１０５…分類済み文書記憶モジュール
１１０…素性抽出モジュール
１１５…素性情報記憶モジュール
１２０…素性ベクトル生成モジュール
１２５…初期パラメータ記憶モジュール
１３０…素性ベクトル記憶モジュール
１３５…分類処理モジュール
１４０…誤分類文書記憶モジュール
１４５…上下関係判定モジュール
１５０…属性の上下関係情報記憶モジュール
１５５…上位概念文書記憶モジュール
１６０…下位概念文書記憶モジュール
１７０…パラメータ処理モジュール
１７５…パラメータ生成モジュール
１８０…上下関係反映パラメータ記憶モジュール
１８５…分類対象文書記憶モジュール
１９０…分類処理モジュール
１９５…分類結果記憶モジュール

Claims

誤分類された文書に付与された誤分類である第１の分類情報と該文書に本来付与されるべき第２の分類情報との上下関係に基づいて、文書を分類するための基準を生成する基準生成手段と、
前記基準に基づいて、対象とする文書に分類情報を付与することによって分類する分類手段
を具備し、
前記基準生成手段は、前記第１の分類情報が上位の場合と下位の場合とで前記基準を変更する
ことを特徴とする情報処理装置。
予め定められた概念体系又は文書内で用いられる単語の共起関係に基づいて、前記第１の分類情報と前記第２の分類情報との上下関係を判定する判定手段
をさらに具備し、
前記基準生成手段は、前記判定手段によって判定された上下関係を用いる
ことを特徴とする請求項１に記載の情報処理装置。
前記判定手段は、既に分類情報が付与された文書を用いて、前記第１の分類情報と前記第２の分類情報との組み合わせの割合が、予め定められた値より多い若しくは以上である組み合わせ、又は該割合を昇順に並べた場合に予め定められた順位より高い若しくは以内である組み合わせを抽出し、該抽出した第１の分類情報と第２の分類情報との組み合わせにおける上下関係を判定する
ことを特徴とする請求項２に記載の情報処理装置。
コンピュータを、
誤分類された文書に付与された誤分類である第１の分類情報と該文書に本来付与されるべき第２の分類情報との上下関係に基づいて、文書を分類するための基準を生成する基準生成手段と、
前記基準に基づいて、対象とする文書に分類情報を付与することによって分類する分類手段
として機能させ、
前記基準生成手段は、前記第１の分類情報が上位の場合と下位の場合とで前記基準を変更する
ことを特徴とする情報処理プログラム。