JP5746118B2 - Clustering quality improvement method - Google Patents
Clustering quality improvement method Download PDFInfo
- Publication number
- JP5746118B2 JP5746118B2 JP2012207943A JP2012207943A JP5746118B2 JP 5746118 B2 JP5746118 B2 JP 5746118B2 JP 2012207943 A JP2012207943 A JP 2012207943A JP 2012207943 A JP2012207943 A JP 2012207943A JP 5746118 B2 JP5746118 B2 JP 5746118B2
- Authority
- JP
- Japan
- Prior art keywords
- clustering
- data
- cluster
- consistency
- clusters
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
本発明は、情報の検索、抽出、マイニング、整理などの処理を行うクラスタリング装置に関し、特に当該装置においてクラスタリング品質を改善する方法に関する。 The present invention relates to a clustering apparatus that performs processing such as information retrieval, extraction, mining, and organization, and more particularly to a method for improving clustering quality in the apparatus.
(クラスタリング)
クラスタリングは、データの集合をデータ間に定義される距離尺度(以降、データ間尺度と呼ぶ)に基づき分類する(クラスタに分割する)データ解析の重要な一手法であり、データマイニング、情報検索など様々な分野で使われている(非特許文献1)。具体的なクラスタリング手法も、凝集型の階層的手法や分割最適化手法、確率モデルに基づいた手法など、様々なものが開発されてきている。
(Clustering)
Clustering is an important method of data analysis that classifies (divides into clusters) data sets based on distance measures defined between data (hereinafter referred to as inter-data measures). Data mining, information retrieval, etc. It is used in various fields (Non-Patent Document 1). Various concrete clustering methods have been developed, such as an agglomerative hierarchical method, a division optimization method, and a method based on a probability model.
一般に、同一のデータ集合に対して異なるデータ間尺度を導入したり、異なるクラスタリング手法を適用したりすると、その結果も異なってくる。つまり、クラスタリングの結果は当然データの特徴を反映したものであるが、データ間尺度やクラスタリング手法にも依存する。それゆえ、データ間尺度やクラスタリング手法がデータの特徴をうまく捉えきれず、不適切な結果が得られてしまうこともある。そこで、データ間尺度、クラスタリング手法に関する改善方法や、複数のクラスタリング結果を統合してより妥当な結果を導出する手法などが検討されてきた(非特許文献2)。 In general, if different data scales are introduced to the same data set or different clustering methods are applied, the results will also differ. That is, the result of clustering naturally reflects the characteristics of the data, but depends on the inter-data scale and the clustering method. Therefore, the inter-data scale and the clustering technique cannot grasp the characteristics of the data well, and an inappropriate result may be obtained. Therefore, methods for improving the inter-data scale and the clustering method, and a method for deriving a more appropriate result by integrating a plurality of clustering results have been studied (Non-Patent Document 2).
(クラスタリングの適用例)
本発明が解こうとする問題を分かり易くするため、ここで、クラスタリングの適用例として多義語の曖昧性解消を取り上げる。多義語とは「マウス」のように文字通り複数の意味(動物の「マウス」とコンピュータのポインティングデバイスである「マウス」)を有する語である。文書集合の中にそのような語が複数箇所で出現した時、それらは同一の意味で用いられているのか否か、さらには、複数の意味のうちどれを意図してその語が用いられたのかを明らかにするのが曖昧性解消である。
(Application example of clustering)
In order to make it easier to understand the problem to be solved by the present invention, the ambiguity resolution of a polysemy is taken up as an application example of clustering. A polysemy is a word that literally has multiple meanings (such as an “mouse” for an animal and a “mouse” that is a computer pointing device), such as “mouse”. When such a word appears in multiple places in a document set, they are used in the same meaning, and moreover, the meaning was used for which of the multiple meanings It is the disambiguation that makes it clear.
この問題を解く手法として、クラスタリングが以下のように使われることがある。
まず、それぞれの多義語(の出現)に対して、その周辺(例えば、同一文内、あるいは同一文書内)に出現する語を抜き出す。これを周辺語群と呼ぶことにする。周辺語群の集合にクラスタリングを施すと、一般に、複数のクラスタが得られる。このそれぞれのクラスタが個別の意味に対応すると見なす。「マウス」の例で言えば、この手法により動物とポインティングデバイスに対応する2つのクラスタが得られることが期待される。この手法は、語が文脈を与えられることで特定の意味を帯びるようになる、つまり、語の意味と文脈との間に対応関係があるという仮定に基づいたものと考えることができる。周辺語群が文脈を表すものであり、そのクラスタリングにより文脈が分類される。
As a method for solving this problem, clustering may be used as follows.
First, for each ambiguous word (occurrence), words appearing in the vicinity (for example, in the same sentence or the same document) are extracted. This is called a peripheral word group. When clustering is performed on a set of peripheral words, a plurality of clusters are generally obtained. Each of these clusters is considered to correspond to an individual meaning. In the “mouse” example, it is expected that this approach will yield two clusters corresponding to animals and pointing devices. This approach can be thought of as based on the assumption that a word is given a specific meaning when given a context, that is, there is a correspondence between the meaning of the word and the context. Neighboring words represent contexts, and contexts are classified by clustering.
(語義抽出とクラスタリング)
上記の曖昧性解消と類似した問題として、『「マウス」という言葉の意味にどのような種類のものがあるか』という知識を文書集合から抽出するものが考えられる。これを語義抽出と呼ぶことにする。曖昧性解消が個々の語の出現と意味(文脈)との対応関係を把握することを目的としているのに対し、語義抽出の目的は文字通り語義そのものの種類の把握である。クラスタリング適用の例で言えば、曖昧性解消では各周辺語群がどのクラスタに属するかという対応関係を把握することが目的であるのに対し、語義抽出ではクラスタの種類やそれぞれの特徴が興味の対象である。よって、語義抽出においては、各クラスタの特徴を知るためには、それぞれがどのようなデータ(周辺語群)から構成されているかを把握する必要があるが、周辺語群とクラスタの対応を全て把握することは必ずしも必要ではない。例えば、「マウス」の例で、クラスタリングにより以下のようなC1,C2という2つのクラスタが得られたとする。ここで、<>で括られた語は周辺語群を表す。
(数1)
C1={<ヒト,動物,移植>,<飼育,餌,動物>,<がん,遺伝子,移植>}
C2={<USB,設定,識別>,<デバイス,USB,PC>,<投薬,実験,識別>}
(Semantic extraction and clustering)
As a problem similar to the above-mentioned disambiguation, it is possible to extract from the document set the knowledge “what kind of meaning is there for the word“ mouse ””. This is called word sense extraction. While the purpose of disambiguation is to grasp the correspondence between the appearance and meaning (context) of each word, the purpose of word sense extraction is literally to grasp the type of word meaning itself. In the example of clustering application, the purpose of ambiguity resolution is to grasp the correspondence relationship to which cluster each neighboring word group belongs, whereas in the meaning extraction, the type of cluster and the characteristics of each cluster are of interest. It is a target. Therefore, in word sense extraction, in order to know the characteristics of each cluster, it is necessary to grasp what kind of data (peripheral word group) each consists of, but all correspondence between the peripheral word group and the cluster It is not always necessary to grasp. For example, in the example of “mouse”, it is assumed that the following two clusters C 1 and C 2 are obtained by clustering. Here, words enclosed in <> represent a peripheral word group.
(Equation 1)
C 1 = {<human, animal, transplant>, <breding, food, animal>, <cancer, gene, transplant>}
C 2 = {<USB, setting, identification>, <device, USB, PC>, <medication, experiment, identification>}
この結果から、C1は動物の「マウス」に関する記述の集まりであり、C2はデバイスの「マウス」に関わるものであることが推察される。より詳しく見ると、C2の最後の周辺語群<投薬,実験,識別>は間違って分類されたもの(ノイズ)と考えられる。しかし、クラスタ内において周辺語群に意味的な一貫性がおおむね認められるため、<投薬,実験,識別>はノイズとして捉えられ、クラスタに適切な意味付けがなされていると考えられる。 From this result, it is inferred that C 1 is a collection of descriptions related to the animal “mouse”, and C 2 is related to the device “mouse”. Looking in more detail, the last peripheral word group of C 2 <dosing experiments, identification> is considered to have been incorrectly classified (noise). However, since semantic consistency is generally recognized in the surrounding word group in the cluster, <medicine, experiment, identification> is considered as noise, and it is considered that the cluster has an appropriate meaning.
語義抽出の次のステップとして、このクラスタリングの結果を応用可能な知識に変換したい。そのための基本的手段としてクラスタの特徴抽出がある。たとえば、それぞれに高頻度で出現する語を抽出すると次のようになる。
(数2)
C1:{動物,移植}
C2:{USB,識別}
As the next step of word sense extraction, I would like to convert this clustering result into applicable knowledge. There is cluster feature extraction as a basic means for that purpose. For example, extracting words that occur frequently in each case is as follows.
(Equation 2)
C 1 : {Animal, transplantation}
C 2 : {USB, identification}
この結果から、次の知識(仮説)を作り出すことができる。
(i)「マウス」の周辺に「動物」や「移植」という語が出現した場合には、それは動物の「マウス」に関する記述である可能性が高い。
(ii) 「マウス」の周辺に「USB」や「識別」という語が出現した場合にはデバイスに関する記述である確率が高い。
From this result, the following knowledge (hypothesis) can be created.
(I) When the word “animal” or “transplant” appears around “mouse”, it is likely that the description is related to the “mouse” of the animal.
(Ii) If the word “USB” or “identification” appears around “mouse”, there is a high probability that the description is about the device.
ただし、正確には、この手法では『「マウス」の周辺に「動物」や「移植」という語が出現した場合には、それは動物の「マウス」に関する記述である』ということまでは分からず、『「USB」という語が出現した場合とは異なった意味で使われている』らしいということが分かるだけである。 However, to be exact, in this method, it is not understood that "if the word" animal "or" transplant "appears around" mouse ", it is a description of the animal" mouse "" It is only understood that it seems to be “used in a different meaning than when the word“ USB ”appeared”.
このうち、(i)は妥当な知識と考えられる。(ii)については、C2における「識別」の出現回数は2回であり、そのうちの半分はノイズによるものであることから、「識別」をデバイスとしてのマウスの判断基準とするのは適切ではない。この例が示すように、知識の質(信頼性、適用可能性など)はクラスタリングの品質(クラスタを構成する要素の一貫性など)の影響を受ける。クラスタリング品質を向上させるためには、前述のとおり、クラスタリング手法単体の改善や複数のクラスタリング結果の統合などにより、分類をより正確する方法、例えば上記例で言えば、<投薬,実験,識別>をC2ではなくC1に帰属させるアルゴリズムが検討・開発されてきた。 Of these, (i) is considered reasonable knowledge. With regard to (ii), since the number of occurrences of “identification” in C 2 is two, and half of that is due to noise, it is appropriate to use “identification” as a criterion for judging a mouse as a device Absent. As this example shows, the quality of knowledge (reliability, applicability, etc.) is affected by the quality of clustering (consistency of the elements that make up the cluster, etc.). In order to improve the clustering quality, as described above, a method for making classification more accurate by improving a single clustering method or integrating a plurality of clustering results, for example, <medication, experiment, identification> in the above example, Algorithms that belong to C 1 instead of C 2 have been studied and developed.
(クラスタリング品質の定量的評価方法)
ここで、クラスタリング品質を定量的に評価するためによく用いられている尺度について触れておく。クラスタリング品質を評価するうえで、クラスタ内の一貫性は重要であるが、同種のデータが1つのクラスタに集中しているという、いわば凝集性もまた重要な因子である。上の例と同じデータが次のように分類されたとしよう。
(数3)
C1={<ヒト,動物,移植>,<飼育,餌,動物>}
C2={<がん,遺伝子,移植>,<投薬,実験,識別>}
C3={<USB,設定,識別>,<デバイス,USB,PC>}
(Quantitative evaluation method for clustering quality)
Here, a measure often used for quantitatively evaluating the clustering quality is mentioned. In evaluating clustering quality, consistency within a cluster is important, but coherence, that is, the same kind of data is concentrated in one cluster, is also an important factor. Suppose the same data as the above example is classified as follows.
(Equation 3)
C 1 = {<human, animal, transplant>, <bred, food, animal>}
C 2 = {<cancer, gene, transplant>, <medication, experiment, identification>}
C 3 = {<USB, setting, identification>, <device, USB, PC>}
このとき、いずれのクラスタの一貫性も高いが、動物としての「マウス」に関するデータが、C1とC2に分かれてしまっている。よって、このクラスタリング結果は、一貫性については優れているが凝集性に関しては改善の余地があると言える。いま、分類の正解を{Ai}とする。この正解に対するクラスタ{Ci}の一貫性P(Purity)と凝集性IP(Inverse Purity)、そしてそれらを併せて総合的に評価する尺度であるF値(purityとinverse purityの調和平均)は以下のように定義されている(例えば、非特許文献4参照。)。
本発明は、クラスタ内の一貫性を損なう要素を除去することによって、クラスタリング品質を向上させることを目的とする。 An object of the present invention is to improve clustering quality by removing elements that impair consistency in a cluster.
本願発明のクラスタリング品質改善方法は、複数の文書分類部と一貫性阻害要因除去部とを備えるクラスタリング装置が実行するクラスタリング品質改善方法であって、前記複数の文書分類部が、複数種類のクラスタリング方式を用いてデータの集合の分類を行うクラスタリング手順と、前記一貫性阻害要因除去部が、各分類結果のなかから、データの共通する集合を抽出し、抽出した集合同士で共通するデータを抽出し、抽出したデータに基づいて新たな集合を生成する集合生成手順と、を有し、前記クラスタリング手順では、前記複数の文書分類部が、第1のクラスタリング手法によってデータの集合を分類した第1のクラスタの集合と、前記第1のクラスタリング手法とは異なる第2のクラスタリング手法によってデータの集合を分類した第2のクラスタの集合とを求め、前記集合生成手順では、前記一貫性阻害要因除去部が、前記第1のクラスタの各々に対して、前記第2のクラスタの集合から、前記第1のクラスタと共通の要素が最も多いクラスタを選択し、選択した前記第2のクラスタとの積集合を第3のクラスタとして求め、得られた前記第3のクラスタの集合を前記新たな集合として生成する。 The clustering quality improvement method of the present invention is a clustering quality improvement method executed by a clustering apparatus including a plurality of document classification units and a consistency inhibition factor removing unit, wherein the plurality of document classification units include a plurality of types of clustering methods. The clustering procedure for classifying a set of data using, and the consistency inhibiting factor removing unit extracts a common set of data from each classification result, and extracts common data between the extracted sets , based on the extracted data have a, a set generation step of generating a new set, in the clustering procedure, the plurality of document classification unit, first classified the collection of data by the first clustering technique Classifying a data set by a cluster set and a second clustering method different from the first clustering method A second set of clusters, and in the set generation procedure, for each of the first clusters, the consistency-inhibiting factor removing unit, for each of the first clusters, from the set of the second clusters, A cluster having the most elements in common with the cluster is selected, a product set with the selected second cluster is obtained as a third cluster, and the obtained set of the third cluster is generated as the new set .
本願発明のクラスタリング品質改善方法では、前記クラスタリング装置は、データ抽出部をさらに備え、前記データ抽出部が、前記新たな集合に含まれるデータについて、前記新たな集合における出現頻度と、前記クラスタリング手順で分類した前記第1のクラスタの集合の補集合における出現頻度と、を比較し、前記新たな集合におけるデータのなかから出現頻度の高いデータを抽出するデータ抽出手順を、さらに有してもよい。 In the clustering quality improvement method of the present invention, the clustering device further includes a data extraction unit, and the data extraction unit uses the appearance frequency in the new set and the clustering procedure for the data included in the new set. a frequency in the complement of the set of the classified first cluster, and comparing the data extraction procedure for extracting the high frequency of appearance data from among the data in the new set, may be further closed.
本願発明のクラスタリング品質改善方法では、前記データの集合は文書群であり、前記クラスタリング手順では、前記複数の文書分類部が、複数種類のクラスタリング方式を用いて特徴語の共通する文書群の分類を行い、前記集合生成手順では、前記一貫性阻害要因除去部が、クラスタリング方式が異なりかつ特徴語の共通する複数の文書群を抽出し、当該文書群で共通する特徴語を抽出し、抽出した特徴語に基づいて新たな集合を生成してもよい。 Clustering quality improving method of the present invention, said set of data is document group, in the clustering procedure, the plurality of document classification unit, a classification of the common documents feature word by using a plurality of types of clustering methods In the set generation procedure , the consistency inhibiting factor removing unit extracts a plurality of document groups having different clustering methods and common feature words, extracting feature words common to the document groups, and extracted features. A new set may be generated based on the words.
本願発明のクラスタリング装置は、異なるクラスタリング方式を用いてデータの集合の分類を行う複数の文書分類部と、各分類結果のなかから、データの共通する集合を抽出し、抽出した集合同士で共通するデータを抽出し、抽出したデータに基づいて新たな集合を生成する一貫性阻害要因除去部と、を備え、前記複数の文書分類部は、第1のクラスタリング手法によってデータの集合を分類した第1のクラスタの集合と、前記第1のクラスタリング手法とは異なる第2のクラスタリング手法によってデータの集合を分類した第2のクラスタの集合とを求め、前記一貫性阻害要因除去部は、前記第1のクラスタの各々に対して、前記第2のクラスタの集合から、前記第1のクラスタと共通の要素が最も多いクラスタを選択し、選択した前記第2のクラスタとの積集合を第3のクラスタとして求め、得られた前記第3のクラスタの集合を前記新たな集合として生成する。 The clustering device of the present invention extracts a common set of data from a plurality of document classification units that classify a set of data using different clustering methods and each classification result, and the extracted sets are common. A consistency inhibiting factor removing unit that extracts data and generates a new set based on the extracted data , wherein the plurality of document classifying units classify the data set by a first clustering technique. And a second cluster set obtained by classifying the data set by a second clustering method different from the first clustering method, and the consistency inhibiting factor removing unit For each of the clusters, a cluster having the largest number of elements in common with the first cluster is selected from the set of the second clusters, and the selected first Sought product set of the cluster as a third cluster, generating a resulting set of the third cluster as the new set.
本願発明のクラスタリング装置では、前記新たな集合に含まれるデータについて、前記新たな集合における出現頻度と、前記文書分類部で分類した前記第1のクラスタの集合の補集合における出現頻度と、を比較し、前記新たな集合におけるデータのなかから出現頻度の高いデータを抽出するデータ抽出部を、さらに備えてもよい。 In the clustering device of the present invention, for the data included in the new set, the appearance frequency in the new set is compared with the appearance frequency in the complement of the first cluster set classified by the document classification unit. In addition, a data extracting unit that extracts data having a high appearance frequency from the data in the new set may be further provided.
本願発明のクラスタリング品質改善プログラムは、複数の文書分類部が、複数種類のクラスタリング方式を用いてデータの集合の分類を行うクラスタリング手順と、一貫性阻害要因除去部が、各分類結果のなかから、データの共通する集合を抽出し、抽出した集合同士で共通するデータを抽出し、抽出したデータに基づいて新たな集合を生成する集合生成手順と、をコンピュータに実行させるクラスタリング品質改善プログラムであって、前記クラスタリング手順では、前記複数の文書分類部が、第1のクラスタリング手法によってデータの集合を分類した第1のクラスタの集合と、前記第1のクラスタリング手法とは異なる第2のクラスタリング手法によってデータの集合を分類した第2のクラスタの集合とを求め、前記集合生成手順では、前記一貫性阻害要因除去部が、前記第1のクラスタの各々に対して、前記第2のクラスタの集合から、前記第1のクラスタと共通の要素が最も多いクラスタを選択し、選択した前記第2のクラスタとの積集合を第3のクラスタとして求め、得られた前記第3のクラスタの集合を前記新たな集合として生成する。 The clustering quality improvement program of the present invention is a clustering procedure in which a plurality of document classification units classify a set of data using a plurality of types of clustering methods, and a consistency hindrance removing unit is included in each classification result, common extract a set of data extracted and extracted data common to set each other, and set generation step of generating a new set based on the extracted data, the a clustering quality improvement program to be executed by a computer In the clustering procedure, the plurality of document classifying units performs processing using a first cluster set obtained by classifying the data set by the first clustering technique and data obtained by a second clustering technique different from the first clustering technique. A set of second clusters into which the set of The consistency inhibiting factor removing unit selects, for each of the first clusters, a cluster having the largest number of elements in common with the first cluster from the set of the second clusters, and selects the selected first cluster. A product set of two clusters is obtained as a third cluster, and the obtained set of the third clusters is generated as the new set .
本発明によれば、クラスタ内の一貫性を損なう要素を除去することによって、クラスタリング品質を向上させることができる。 According to the present invention, it is possible to improve clustering quality by removing elements that impair consistency in a cluster.
添付の図面を参照して本発明の実施形態を説明する。以下に説明する実施形態は本発明の実施の例であり、本発明は、以下の実施形態に制限されるものではない。なお、本明細書及び図面において符号が同じ構成要素は、相互に同一のものを示すものとする。 Embodiments of the present invention will be described with reference to the accompanying drawings. The embodiments described below are examples of the present invention, and the present invention is not limited to the following embodiments. In the present specification and drawings, the same reference numerals denote the same components.
本発明は、データの集合を第1のクラスタリング手法によって構成された第1のクラスタCiの集合{Ci}と、第1のクラスタリング手法とは異なる第2のクラスタリング手法によって構成された第2のクラスタQiの集合{Qi}とを求め、第1のクラスタCiの各々に対して、第2のクラスタの集合{Qi}から、Ciと共通の要素が最も多いクラスタQkを選択し、第1のクラスタCiとこれに対応する第2のクラスタQkとの積集合Iiを第3のクラスタとして求め、得られた第3のクラスタの集合{Ii}を出力する。 In the present invention, a set of data {C i } of the first cluster C i configured by the first clustering method and a second clustering method different from the first clustering method are used. seeking a set {Q i} cluster Q i of, for each of the first cluster C i, the second set of clusters {Q i}, C i and the common elements are most often cluster Q k , The product set I i of the first cluster C i and the second cluster Q k corresponding thereto is obtained as a third cluster, and the obtained set {I i } of the third cluster is output. To do.
(一貫性阻害要素の除去)
本発明の原理について、具体例を用いて説明する。
いま、ある観点から次に示すような4つのグループA1〜A4に分類されるべき18個の文書d1,...,d18からなる文書集合があるとする。2つの文書が同一のグループに属する場合、これらは同種であると言うことにする。
(数6)
A1={d1,d2,d3,d4,d5}
A2={d6,d7,d8,d9,d10,d11}
A3={d12,d13,d14,d15,d16,d17}
A4={d18}
(Removal of consistency hindering elements)
The principle of the present invention will be described using specific examples.
Now, 18 documents d 1 ,... To be classified into four groups A 1 to A 4 as shown below from a certain point of view. . . , D 18 . If two documents belong to the same group, they are said to be of the same type.
(Equation 6)
A 1 = {d 1 , d 2 , d 3 , d 4 , d 5 }
A 2 = {d 6 , d 7 , d 8 , d 9 , d 10 , d 11 }
A 3 = {d 12 , d 13 , d 14 , d 15 , d 16 , d 17 }
A 4 = {d 18 }
この文書集合に対して、前節で述べたような知識を得る目的であるクラスタリング手法を適用した結果、以下のようなクラスタ{Ci}を得たとする。
(数7)
C1={d1,d2,d3,d9,d10,d15}
C2={d4,d6,d7,d8,d16,d17}
C3={d5,d11,d12,d13,d14,d18}
Assume that the following cluster {C i } is obtained as a result of applying the clustering method for obtaining knowledge as described in the previous section to this document set.
(Equation 7)
C 1 = {d 1 , d 2 , d 3 , d 9 , d 10 , d 15 }
C 2 = {d 4 , d 6 , d 7 , d 8 , d 16 , d 17 }
C 3 = {d 5 , d 11 , d 12 , d 13 , d 14 , d 18 }
それぞれのクラスタにおいて、そのほぼ半分は同種の文書で占められており(例えば、C1では、その半分がA1の文書である)、残りの半分によりクラスタ内の一貫性が阻害されている。この阻害要素を除去することで一貫性を向上させるというのが本発明のポイントである。一貫性阻害要素を除去する方法としては、例えば、
(補助的クラスタリングを利用した一貫性阻害要素の除去)
式(1)にはA1が使われているが、実際にはこれを予め知ることはできない。既知であればクラスタリングの必要がない。そこで、本発明では、{Ci}を導き出したクラスタリング手法とは異なる、もう一つのクラスタリング手法(補助的クラスタリング手法)により別なクラスタ{Qi}を作り出し、これを{Ai}の代わりに用いる。すなわち、次の式により一貫性の高いクラスタ{Ii}の導出を狙う。
Have been used is A 1 in the formula (1), we can not know this beforehand in practice. If known, there is no need for clustering. Therefore, in the present invention, another cluster {Q i } is created by another clustering method (auxiliary clustering method) different from the clustering method from which {C i } is derived, and this is used instead of {A i }. Use. In other words, the aim is to derive a highly consistent cluster {I i } by the following equation.
ここで、この方法の効果を具体的に示すため、以下に示す例を用いて一貫性阻害要因の除去を実際に行ってみる。いま、ある補助的クラスタリング手法により次のような{Qi}が得られたとする。
(数12)
Q1={d1,d2,d3,d9}
Q2={d4,d5}
Q3={d10,d12,d13,d14}
Q4={d6,d7,d8,d16,d18}
Q5={d11,d15}
Q6={d17}
Here, in order to specifically show the effect of this method, the removal of the consistency inhibiting factor is actually performed using the example shown below. Assume that the following {Q i } is obtained by a certain auxiliary clustering method.
(Equation 12)
Q 1 = {d 1 , d 2 , d 3 , d 9 }
Q 2 = {d 4 , d 5 }
Q 3 = {d 10 , d 12 , d 13 , d 14 }
Q 4 = {d 6 , d 7 , d 8 , d 16 , d 18 }
Q 5 = {d 11 , d 15 }
Q 6 = {d 17 }
このとき、式(2)に基づいてIiを計算すると次のようになり、
(数13)
I1=C1∩Q1={d1,d2,d3,d9}
I2=C2∩Q4={d6,d7,d8,d16}
I3=C3∩Q3={d12,d13,d14}
各クラスタの一貫性が向上しているのが分かる。
At this time, if I i is calculated based on Equation (2),
(Equation 13)
I 1 = C 1 ∩Q 1 = {d 1 , d 2 , d 3 , d 9 }
I 2 = C 2 ∩Q 4 = {d 6 , d 7 , d 8 , d 16 }
I 3 = C 3 ∩Q 3 = {d 12 , d 13 , d 14 }
It can be seen that the consistency of each cluster is improved.
定量的に比較すると、{Ii}の一貫性P、凝集性IP及びF値は等しく0.82となった。これは、{Ci}の一貫性P、凝集性IP及びF値がそれぞれ0.5、0.56及び0.53であったのに対して、いずれも1に近い数値となっており、より適切な分類がなされていることが分かる。 When compared quantitatively, the consistency P, cohesive IP and F value of {I i } were equally 0.82. This is a numerical value close to 1 while the consistency P, cohesive IP and F values of {C i } were 0.5, 0.56 and 0.53, respectively. It turns out that a more appropriate classification is made.
なお、どのような補助的クラスタリング手法でも必ず一貫性を向上させられるわけではない。つまり、一般に、それぞれのクラスタリングの結果に対して、一貫性を向上のために適切な補助的クラスタリング手法を選ぶことが好ましい。そのような補助的クラスタリング手法としては、例えば、Latent Dirichlet Allocation(LDA)、階層的凝集型クラスタリング手法(Hierarchical Agglomerative Clustering)、k−means法、ネットワークコミュニティ分割法を応用したものがある。 It is not always possible to improve consistency with any auxiliary clustering method. That is, in general, it is preferable to select an appropriate auxiliary clustering method for improving the consistency for each clustering result. As such an auxiliary clustering method, for example, there is a method in which a latent direc- tion allocation (LDA), a hierarchical aggregation clustering method (Hierarchical Aggregative Clustering), a k-means method, or a network community division method is applied.
(一貫性向上の効果と応用)
文書集合をDとしたとき、D、CiとIiの関係は図1のように模式的に表すことができる。図において、Dは3種類のデータからなり、それぞれが異なる形で表されている。もともとCiでは三角形で表されるデータの占める割合が高いが、一貫性阻害要素除去を経て得られたIiでは、その割合がさらに高くなっている。この状況を利用し、Iiに属するデータどうしの共通性ともに、Iiに属するデータとD−Ci(DからCiの要素を除いたもの)に属するデータとの差異を明らかにすることにより、三角形で表されるデータの特徴をより高い精度で抽出できる。
(Consistency improvement effect and application)
When the document set is D, the relationship between D, C i and I i can be schematically represented as shown in FIG. In the figure, D consists of three types of data, each represented in a different form. Originally, the proportion of data represented by triangles is high in C i , but in I i obtained through the removal of the consistency inhibiting element, the proportion is even higher. Utilizing this situation, the commonality of both data with each other belonging to I i, by clarifying the difference between data belonging to I i belonging data and D-C i (excluding the elements of Ci from D) The characteristics of data represented by triangles can be extracted with higher accuracy.
(実施形態1)
実施形態として、本発明を使ったQ&Aサイトからの知識抽出方法について説明する。
Q&Aサイトとは、ユーザ同士がお互いの質問に答え、疑問を解決するウェブサイトのことであり、それぞれの質問に対する(多くの場合複数の)回答が1つのページにまとめられている(これをQAページと呼ぶことにする)。QAページ自体、有用な知識を提供するものであるが、その知識を必要とする状況ごとに整理しておけば、その知識をより有効に活用できるようになると考えられる。具体的に言えば、それぞれのページを状況ごとにまとめ、それぞれの状況の特徴(たとえば、時間、場所、モノ、人など)を抽出しておけば、状況の特徴から発生し得る問題とその対処方法を(事前に)見つけ出すことが可能になる。
(Embodiment 1)
As an embodiment, a method for extracting knowledge from a Q & A site using the present invention will be described.
The Q & A site is a website where users answer each other's questions and solve the questions. The answers (often multiple) for each question are grouped on one page (this is the QA) I'll call it a page). Although the QA page itself provides useful knowledge, it is considered that the knowledge can be utilized more effectively if the knowledge is arranged for each situation that requires the knowledge. Specifically, if each page is grouped according to the situation and the characteristics of each situation (for example, time, place, things, people, etc.) are extracted, problems that may occur from the situation characteristics and how to deal with them It becomes possible to find a method (in advance).
この具体例としては次のようなシステムが考えられる。本システムに、たとえば「かぼちゃ」を入力すると、システムはかぼちゃが何らかのかたちで関わっている問題・解決方法を、その問題が起こりえる場所ごとに整理して示す。さらに具体的に言えば、本システムは、「台所」「畑」「舞台」という場所ごとに、家庭における調理に関わる問題、栽培関係の問題、そして人前で極度に緊張するという問題と解決策を提示する。(緊張を和らげる目的で「目の前の人をかぼちゃと思え」とよく言われることから、人前で緊張するという問題とかぼちゃが結びつけられる。)このような、特徴語候補y1,y2,...(例では場所を表す語「台所」などの語の集まり)と興味の対象x(例では「かぼちゃ」)を入力とし、特徴語ごとに問題と解決方法を整理して提示するシステムを以下に実施形態として示す。 As a specific example, the following system can be considered. For example, when “pumpkin” is entered in this system, the system shows problems / solutions related to the pumpkin in some form, organized by location where the problem can occur. More specifically, this system solves the problems and solutions of cooking problems at home, cultivation problems, and extreme tension in public for each place of “kitchen”, “field” and “stage”. Present. (Since it is often said that “the person in front of me looks like a pumpkin” for the purpose of relieving tension, the problem of tension in front of people and pumpkin is linked.) Such feature word candidates y 1 , y 2 , . . . The following is a system that organizes and presents problems and solutions for each feature word (in the example, a collection of words such as the word “kitchen” for location) and the object of interest x (in the example, “pumpkin”). Shown as an embodiment.
(処理の流れ)
図2に、本実施形態に係るクラスタリング品質改善装置の一例を示す。本実施形態に係るクラスタリング品質改善装置100は、演算処理部10及び記憶部20を備える。演算処理部10は、変数設定部11と、文書収集部12と、第1文書分類部13と、第2文書分類部14と、一貫性阻害要因除去部15と、特徴語抽出部16と、通信部17と、を備える。記憶部20は、特徴語候補格納領域21と、入力語格納領域22と、文書格納領域23と、分類結果格納領域24−1,24−2,24−3と、特徴語格納領域25を備える。
(Process flow)
FIG. 2 shows an example of the clustering quality improvement apparatus according to this embodiment. The clustering
図3に、本実施形態に係るクラスタリング品質改善方法の一例を示す。本実施形態に係るクラスタリング品質改善方法は、クラスタリング手順と、抽出手順と、を有する。
クラスタリング手順では、ステップS101〜S104を実行し、複数種類のクラスタリング方式を用いてデータの集合の分類を行う。
ステップS101では、特徴語候補y1,y2,...とxを入力として受け付ける。
ステップS102では、xに関連するQAページを収集する(これをDとする)。
ステップS103では、主たるクラスタリング手法によりDを分類し、クラスタ{Ci}を得る。
ステップS104では、補助的クラスタリング手法によりDを分類し、クラスタ{Qi}を得る。
なお、本実施形態では、2種類のクラスタリング方式を用いて分類を行ったが、3種類以上のクラスタリング方式を用いてもよい。
FIG. 3 shows an example of the clustering quality improvement method according to the present embodiment. The clustering quality improvement method according to the present embodiment includes a clustering procedure and an extraction procedure.
In the clustering procedure, steps S101 to S104 are executed, and a set of data is classified using a plurality of types of clustering methods.
In step S101, the feature word candidates y 1 , y 2 ,. . . And x are accepted as inputs.
In step S102, a QA page related to x is collected (this is D).
In step S103, D is classified by the main clustering technique to obtain a cluster {C i }.
In step S104, D is classified by an auxiliary clustering method to obtain a cluster {Q i }.
In this embodiment, classification is performed using two types of clustering methods, but three or more types of clustering methods may be used.
抽出手順では、ステップS105を実行し、各分類結果のなかから、データの共通する集合を抽出し、抽出した集合同士で共通するデータを抽出し、抽出したデータに基づいて新たな集合を生成する。
ステップS105では、{Qi}を用いて{Ci}の一貫性阻害要素を除去し{Ii}を得る。
In the extraction procedure, step S105 is executed, a common set of data is extracted from each classification result, data common to the extracted sets is extracted, and a new set is generated based on the extracted data. .
In step S105, {Q i } is used to remove {C i } consistency-inhibiting elements to obtain {I i }.
本実施形態では、抽出手順において、ステップS106〜S108を実行し、新たな集合に含まれるデータについて、新たな集合におけるデータのなかから出現頻度の高いデータを抽出する。
ステップS106では、各Iiに属するページの集合から、その特徴語を抽出する。
ステップS107では、各Iiごとに、その特徴語やページを提示する。
ステップS108では、グルーピングされた文書群を出力する。
In the present embodiment, in the extraction procedure, steps S106 to S108 are executed, and for the data included in the new set, data having a high appearance frequency is extracted from the data in the new set.
In step S106, the feature word is extracted from the set of pages belonging to each I i .
In step S107, the feature words and pages are presented for each I i .
In step S108, the grouped document group is output.
ステップS102では、まず、xに関連するQAページの(URLの)リストを取得する。そのために検索エンジンを利用する。具体的には、xとともに検索対象とするサイトを指定するオプション(たとえば、“site:”)をクエリに用いて指定Q&Aサイト内でxに関連するページを検索する。その後、検索結果に含まれるそれぞれのページを取得する。 In step S102, first, a (URL) list of QA pages related to x is acquired. For this purpose, a search engine is used. Specifically, a page related to x is searched in the designated Q & A site using an option (for example, “site:”) that specifies a site to be searched together with x in the query. Thereafter, each page included in the search result is acquired.
ステップS103では、クラスタリング手法を1つ選び、それをDに適用する。様々な既存のクラスタリング手法のうち、Latent Dirichlet Allocation(LDA)(非特許文献3)を用いると比較的良好な結果を得られることが実データを使った実験の結果から分かっている。本実施形態でもLDAの使用を仮定して以降の説明を進める。 In step S103, one clustering method is selected and applied to D. Among various existing clustering methods, it is known from the results of experiments using actual data that relatively good results can be obtained by using the patent directory allocation (LDA) (Non-Patent Document 3). In the present embodiment as well, the following description will be made assuming the use of LDA.
ここで、一貫性向上の必要性について事実をもとに明らかにしておきたい。実データを用いて計算した結果、LDAを使用した場合でも、その一貫性は、Pの値が0.5を若干越えた程度であった。つまり、クラスタの半分近くはノイズで占められているということであり、一貫性向上の余地はおおいにある。そこで、本発明では、複数のクラスタリング手法を用いて分類を行う。 Here, I would like to clarify the need for consistency improvement based on the facts. As a result of calculation using actual data, even when LDA was used, the consistency was such that the value of P slightly exceeded 0.5. In other words, nearly half of the cluster is occupied by noise, and there is a lot of room for improving consistency. Therefore, in the present invention, classification is performed using a plurality of clustering methods.
ステップS104では、もう一つのクラスタリング手法を選び、Dに適用する。ここでも選択肢は複数あるが、本実施形態では階層的凝集型クラスタリング手法(Hierarchical Agglomerative Clustering;以下、HACと略記する)を用いた場合を示す。HACにおけるクラスタリングは段階的に行われる。ステップ1では、Dの各要素のみからなる|D|個のクラスタを生成する。ステップkでは、ステップk−1で得られたクラスタの中から最も関連性の高い2つを選び出し、それらをマージして新しいクラスタを生成する。各ステップkにおいて得られるクラスタの集合をHAC(k)と書く事にする。本実施形態では、このHAC(k)を補助的クラスタリング手法として用いる。 In step S104, another clustering method is selected and applied to D. Here, there are a plurality of options, but the present embodiment shows a case where a hierarchical aggregation type clustering method (hereinafter abbreviated as HAC) is used. Clustering in HAC is performed in stages. In Step 1, | D | clusters consisting only of each element of D are generated. In step k, the two most relevant are selected from the clusters obtained in step k-1 and merged to generate a new cluster. A set of clusters obtained in each step k is written as HAC (k). In the present embodiment, this HAC (k) is used as an auxiliary clustering method.
ステップS105では、ステップS103及びS104それぞれで得られたクラスタをもとに、前述の式(2)に従って計算する。 In step S105, calculation is performed according to the above-described equation (2) based on the clusters obtained in steps S103 and S104.
本発明の装置はコンピュータとプログラムによっても実現でき、プログラムを記録媒体に記録することも、ネットワークを通して提供することも可能である。 The apparatus of the present invention can be realized by a computer and a program, and the program can be recorded on a recording medium or provided through a network.
図4は、ステップS103〜S105を実際に行い、この一貫性改善手法を定量的に評価した結果である。本評価では、x=「かぼちゃ」として728文書を収集した。この文書集合に対し、ステップS103〜S105として示した通り、LDAを適用してクラスタリングを行い、HAC(k)を補助的クラスタリング手法として用いて一貫性改善を試みた。図は、その結果の一貫性の度合いP、F(縦軸左目盛り)、それに一貫性改善後の文書数(縦軸右目盛り)をkごとにプロットしたものである。評価に必要な正解(Ai)は人手により作成した。 FIG. 4 is a result of actually performing steps S103 to S105 and quantitatively evaluating this consistency improvement technique. In this evaluation, 728 documents were collected with x = “pumpkin”. As shown in steps S103 to S105, clustering was performed on this document set by applying LDA, and HAC (k) was used as an auxiliary clustering method to improve consistency. The figure plots the degree of consistency P and F of the result (vertical scale on the left scale) and the number of documents after consistency improvement (vertical scale on the right scale) for each k. The correct answer (A i ) necessary for the evaluation was created manually.
本実施形態に係る発明は、クラスタ内の一貫性を損なう要素を除去するという点が特徴的であった。いわば、データの量を犠牲にして質の向上を狙う手法であると言える。図4では実際に、kの値が小さくなるのに従い、文書数は減少し一貫性Pは増加していることが見て取れる。先にも述べたように、LDAによるクラスタリングでは一貫性Pはおよそ0.5であったが、一貫性向上によりPの値が増加している。たとえば、補助的クラスタリングとしてk=500の場合を採用すると、Pの値がおよそ0.8である約200文書からなるデータが得られる。 The invention according to this embodiment is characterized in that elements that impair consistency in the cluster are removed. In other words, it is a technique that aims to improve quality at the expense of data volume. In FIG. 4, it can be seen that, as the value of k actually decreases, the number of documents decreases and the consistency P increases. As described above, in the clustering by LDA, the consistency P is about 0.5, but the value of P increases due to the improvement in consistency. For example, when the case of k = 500 is adopted as auxiliary clustering, data consisting of about 200 documents having a value of P of about 0.8 is obtained.
また、本実施形態に係る発明は、Pの増加に伴いFの値も増加しているのがわかる。これは、本手法により一貫性Pと凝集性IPが総合的に改善されていることを示している。なお、ここで得られた「かぼちゃ」に関する状況としては、ハロウィンや冬至などのイベントに加え、離乳食やダイエットなど食品としての利用に関するもの、かぼちゃの切り方などの調理方法に関するもの、農作物として栽培に関するもの、小動物の飼育に関するもの(種が餌になる)などを挙げることができる。 Further, it can be seen that the invention according to the present embodiment increases the value of F as P increases. This shows that the consistency P and the cohesive IP are comprehensively improved by this method. In addition to the events such as Halloween and the winter solstice, the situation related to the “pumpkin” obtained here relates to use as food such as baby food and diet, related to cooking methods such as how to cut pumpkin, and related to cultivation as crops. And those related to the breeding of small animals (species become food).
ステップS106〜S108では、新たな集合における出現頻度と、クラスタリング手順で分類した集合の補集合における出現頻度と、を比較し、新たな集合におけるデータのなかから出現頻度の高いデータを抽出してもよい。この場合、ステップS101与えられた特徴語の集合y1,y2,...の中から文書集合Iiの特徴を示す語を選出する既存手法を用いる。たとえば、ある語yjのIiとD−Ciそれぞれにおける出現頻度の違いを調べ、統計的に有意差がある場合にyjを特徴語として採用する。 In steps S106 to S108, even if the appearance frequency in the new set is compared with the appearance frequency in the complementary set of the set classified by the clustering procedure, data having a high appearance frequency is extracted from the data in the new set. Good. In this case, the set of feature words y 1 , y 2 ,. . . An existing method for selecting a word indicating the characteristics of the document set I i is used. For example, examine the difference in frequency of occurrence I i and D-C i respectively a word y j, adopting y j as characteristic words if statistically significant difference.
なお、特徴語候補の集合を選ぶ方法は様々あり、目的に応じて適切なものを選択すればよい。たとえば、場所を表す語を特徴語候補としたい場合には、辞書やシソーラスなどから「場所を表す」という条件を満たすものを抜き出すという方法がある。具体的には、シソーラスにおける「区域」や「地域」の下位語を抜き出し、特徴語候補とする。また、本実施形態のバリエーションとして、yjを予め用意する代わりに、Iiに含まれるすべて(あるいは、その一部)の語を特徴語候補とする方法も考えられる。 There are various methods for selecting a set of feature word candidates, and an appropriate one may be selected according to the purpose. For example, when it is desired to use a word representing a place as a feature word candidate, there is a method of extracting words that satisfy the condition of “representing a place” from a dictionary or thesaurus. Specifically, “area” or “region” subordinate terms in the thesaurus are extracted and used as feature word candidates. Further, as a variation of this embodiment, a method may be considered in which all (or part of) words included in I i are used as feature word candidates instead of preparing y j in advance.
以上、実施形態において、「かぼちゃ」が何らかのかたちで関わる問題を状況ごとに分類する場合を紹介した。単一のクラスタリング手法による分類では、50%近くがノイズで占められているという結果であった。これは、たとえば、あるクラスタCiを構成する文書のうちほぼ半分は「バーベキュー」に関するものであるが、残りの半分は「離乳食」や「栽培」あるいは「小動物の飼育」など複数種類の文書が混在しているという結果である。このクラスタに本発明を適用するとノイズが除去され、ほとんどが「バーベキュー」に関する文書からなるクラスタIiを得ることができる。「バーベキュー」に関する文書の集まりから「バーベキュー」に関する知識(どのような場所で、どのような時期に、どのようなものを用いて行われることが多いか)を抽出するのにあたり、文書集合としてノイズが多く含まれるCiを使う代わりにIiを使うことにより、より正確な知識の抽出が可能となる。 As described above, in the embodiment, the case where the problem related to “pumpkin” in some form is classified according to the situation. In the classification by a single clustering method, the result was that nearly 50% was occupied by noise. This, for example, although almost half of the documents that make up a cluster C i is related to "barbecue", the other half has multiple types of documents, such as "baby" or "cultivated" or "rearing small animals" The result is a mix. When the present invention is applied to this cluster, noise is removed, and a cluster I i consisting mostly of documents relating to “barbecue” can be obtained. When extracting knowledge about “barbecue” from a collection of documents related to “barbecue” (what kind of place, at what time, and what is often used), noise as a document set By using I i instead of C i containing a large amount of C i , more accurate knowledge can be extracted.
特徴語候補として場所を表す語を用い、実際に実施形態を適用してみると、「バーベキュー」に関するクラスタCiの特徴語としては「神社」「100円ショップ」「公園」「酒屋」「肉屋」「魚屋」が得られた。ここに「神社」が含まれているのは、「バーベキュー」とは関連しない文書(具体的にはお食い初めなどに関するもの)の影響である。一方、一貫性を向上させたIiから抽出された特徴語は「100円ショップ」「公園」「酒屋」「肉屋」「魚屋」であり、ノイズに由来する「神社」が取り除かれている。 Using a word that represents the location as a characteristic word candidate, and try to apply the actual embodiment, the "shrine", "100 yen shop" as a feature word of cluster C i on "barbecue", "park", "liquor store", "butcher "A fish shop" was obtained. “Shrine” is included here because of the influence of documents that are not related to “barbecue” (specifically, about the beginning of eating). On the other hand, the characteristic words extracted from I i with improved consistency are “100 yen shop”, “park”, “sake shop”, “butcher”, and “fish shop”, and the “shrine” derived from noise is removed.
本発明は情報通信産業に適用することができる。 The present invention can be applied to the information communication industry.
10:演算処理部
11:変数設定部
12:文書収集部
13:第1文書分類部
14:第2文書分類部
15:一貫性阻害要因除去部
16:特徴語抽出部
17:通信部
20:記憶部
21:特徴語候補格納領域
22:入力語格納領域
23:文書格納領域
24−1,24−2,24−3:分類結果格納領域
25:特徴語格納領域
100:クラスタリング品質改善装置
10: arithmetic processing unit 11: variable setting unit 12: document collection unit 13: first document classification unit 14: second document classification unit 15: consistency inhibition factor removal unit 16: feature word extraction unit 17: communication unit 20: storage Unit 21: Feature word candidate storage area 22: Input word storage area 23: Document storage area 24-1, 24-2, 24-3: Classification result storage area 25: Feature word storage area 100: Clustering quality improvement device
Claims (6)
前記複数の文書分類部が、複数種類のクラスタリング方式を用いてデータの集合の分類を行うクラスタリング手順と、
前記一貫性阻害要因除去部が、各分類結果のなかから、データの共通する集合を抽出し、抽出した集合同士で共通するデータを抽出し、抽出したデータに基づいて新たな集合を生成する集合生成手順と、
を有し、
前記クラスタリング手順では、前記複数の文書分類部が、第1のクラスタリング手法によってデータの集合を分類した第1のクラスタの集合と、前記第1のクラスタリング手法とは異なる第2のクラスタリング手法によってデータの集合を分類した第2のクラスタの集合とを求め、
前記集合生成手順では、前記一貫性阻害要因除去部が、前記第1のクラスタの各々に対して、前記第2のクラスタの集合から、前記第1のクラスタと共通の要素が最も多いクラスタを選択し、選択した前記第2のクラスタとの積集合を第3のクラスタとして求め、得られた前記第3のクラスタの集合を前記新たな集合として生成する、
クラスタリング品質改善方法。 A clustering quality improvement method executed by a clustering apparatus including a plurality of document classification units and a consistency hindrance removing unit,
A clustering procedure in which the plurality of document classification units classify a set of data using a plurality of types of clustering methods;
Set the consistency disincentive removal portion, from among the classification results, for extracting the common set of data, extracted and extracted data common to set each other, and generates a new set based on the extracted data Generation procedure,
I have a,
In the clustering procedure, the plurality of document classification units perform a first cluster set obtained by classifying a data set by the first clustering method, and a second clustering method different from the first clustering method. A set of second clusters into which the set is classified, and
In the set generation procedure, the consistency inhibition factor removing unit selects, for each of the first clusters, a cluster having the largest number of elements in common with the first cluster from the set of the second clusters. A product set with the selected second cluster is obtained as a third cluster, and the obtained set of the third cluster is generated as the new set.
Clustering quality improvement method.
前記データ抽出部が、前記新たな集合に含まれるデータについて、前記新たな集合における出現頻度と、前記クラスタリング手順で分類した前記第1のクラスタの集合の補集合における出現頻度と、を比較し、前記新たな集合におけるデータのなかから出現頻度の高いデータを抽出するデータ抽出手順を、
さらに有することを特徴とする請求項1に記載のクラスタリング品質改善方法。 The clustering apparatus further includes a data extraction unit,
The data extraction unit compares the frequency of appearance in the new set with the frequency of appearance in the complementary set of the set of the first cluster classified in the clustering procedure for the data included in the new set, A data extraction procedure for extracting data having a high appearance frequency from the data in the new set ,
The clustering quality improvement method according to claim 1, further comprising:
前記クラスタリング手順では、前記複数の文書分類部が、複数種類のクラスタリング方式を用いて特徴語の共通する文書群の分類を行い、
前記集合生成手順では、前記一貫性阻害要因除去部が、クラスタリング方式が異なりかつ特徴語の共通する複数の文書群を抽出し、当該文書群で共通する特徴語を抽出し、抽出した特徴語に基づいて新たな集合を生成する
ことを特徴とする請求項1又は2に記載のクラスタリング品質改善方法。 The set of data is a group of documents;
In the clustering procedure, the plurality of document classification unit performs the common group of documents classified feature word by using a plurality of types of clustering methods,
In the set generation procedure , the consistency hindrance factor removing unit extracts a plurality of document groups having different clustering methods and common feature words, extracting feature words common to the document groups, and extracting the extracted feature words. A new set is generated based on the clustering quality improvement method according to claim 1 or 2.
各分類結果のなかから、データの共通する集合を抽出し、抽出した集合同士で共通するデータを抽出し、抽出したデータに基づいて新たな集合を生成する一貫性阻害要因除去部と、
を備え、
前記複数の文書分類部は、第1のクラスタリング手法によってデータの集合を分類した第1のクラスタの集合と、前記第1のクラスタリング手法とは異なる第2のクラスタリング手法によってデータの集合を分類した第2のクラスタの集合とを求め、
前記一貫性阻害要因除去部は、前記第1のクラスタの各々に対して、前記第2のクラスタの集合から、前記第1のクラスタと共通の要素が最も多いクラスタを選択し、選択した前記第2のクラスタとの積集合を第3のクラスタとして求め、得られた前記第3のクラスタの集合を前記新たな集合として生成する、
クラスタリング装置。 Multiple document classifiers that classify sets of data using different clustering methods;
A consistency-inhibiting factor removing unit that extracts a common set of data from each classification result, extracts data common to the extracted sets, and generates a new set based on the extracted data;
Equipped with a,
The plurality of document classifying units classify a data set by a first clustering method that classifies a data set by a first clustering method and a second clustering method that is different from the first clustering method. A set of two clusters,
The consistency inhibition factor removing unit selects, for each of the first clusters, a cluster having the largest number of elements in common with the first cluster from the set of the second clusters, and selects the selected first cluster. A product set of two clusters is obtained as a third cluster, and the obtained set of the third cluster is generated as the new set.
Clustering device.
さらに備えることを特徴とする請求項4に記載のクラスタリング装置。 For the data included in the new set, the appearance frequency in the new set is compared with the appearance frequency in the complementary set of the first cluster set classified by the document classification unit, and the new set A data extraction unit that extracts data with high frequency of appearance from the data,
The clustering device according to claim 4, further comprising:
一貫性阻害要因除去部が、各分類結果のなかから、データの共通する集合を抽出し、抽出した集合同士で共通するデータを抽出し、抽出したデータに基づいて新たな集合を生成する集合生成手順と、
をコンピュータに実行させるクラスタリング品質改善プログラムであって、
前記クラスタリング手順では、前記複数の文書分類部が、第1のクラスタリング手法によってデータの集合を分類した第1のクラスタの集合と、前記第1のクラスタリング手法とは異なる第2のクラスタリング手法によってデータの集合を分類した第2のクラスタの集合とを求め、
前記集合生成手順では、前記一貫性阻害要因除去部が、前記第1のクラスタの各々に対して、前記第2のクラスタの集合から、前記第1のクラスタと共通の要素が最も多いクラスタを選択し、選択した前記第2のクラスタとの積集合を第3のクラスタとして求め、得られた前記第3のクラスタの集合を前記新たな集合として生成する、
クラスタリング品質改善プログラム。 A clustering procedure in which a plurality of document classification units classify a set of data using a plurality of types of clustering methods;
Consistency disincentive removal portion, from among the classification results, extracts the common set of data, extracted and extracted data common to set each other, based on the extracted data generating set to generate a new set Procedure and
A clustering quality improvement program that causes a computer to execute
In the clustering procedure, the plurality of document classification units perform a first cluster set obtained by classifying a data set by the first clustering method, and a second clustering method different from the first clustering method. A set of second clusters into which the set is classified, and
In the set generation procedure, the consistency inhibition factor removing unit selects, for each of the first clusters, a cluster having the largest number of elements in common with the first cluster from the set of the second clusters. A product set with the selected second cluster is obtained as a third cluster, and the obtained set of the third cluster is generated as the new set.
Clustering quality improvement program.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012207943A JP5746118B2 (en) | 2012-09-21 | 2012-09-21 | Clustering quality improvement method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012207943A JP5746118B2 (en) | 2012-09-21 | 2012-09-21 | Clustering quality improvement method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014063343A JP2014063343A (en) | 2014-04-10 |
JP5746118B2 true JP5746118B2 (en) | 2015-07-08 |
Family
ID=50618519
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012207943A Expired - Fee Related JP5746118B2 (en) | 2012-09-21 | 2012-09-21 | Clustering quality improvement method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5746118B2 (en) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20150106811A (en) | 2013-11-21 | 2015-09-22 | 삼성에스디아이 주식회사 | Separators and secondary battery using the separator |
US10146874B2 (en) * | 2015-10-28 | 2018-12-04 | Fujitsu Limited | Refining topic representations |
JP7260769B2 (en) * | 2019-04-24 | 2023-04-19 | 富士通株式会社 | SEARCH SUPPORT METHOD AND INFORMATION PROCESSING DEVICE |
WO2023166578A1 (en) * | 2022-03-02 | 2023-09-07 | 日本電気株式会社 | Labeling assistance system, labeling assistance method, and labeling assistance program |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001117930A (en) * | 1999-10-15 | 2001-04-27 | Ricoh Co Ltd | Device and method for sorting documents and recording medium |
KR20060132591A (en) * | 2003-11-25 | 2006-12-21 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | Retrieving information items from a data storage |
JP2008084151A (en) * | 2006-09-28 | 2008-04-10 | Just Syst Corp | Information display device and information display method |
JP5132667B2 (en) * | 2009-12-15 | 2013-01-30 | 株式会社東芝 | Information processing apparatus and program |
-
2012
- 2012-09-21 JP JP2012207943A patent/JP5746118B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2014063343A (en) | 2014-04-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Mac Clay et al. | Analyzing agribusiness value chains: A literature review | |
CN109920540A (en) | Construction method, device and the computer equipment of assisting in diagnosis and treatment decision system | |
US20080235220A1 (en) | Methodologies and analytics tools for identifying white space opportunities in a given industry | |
Ismail et al. | Behavioural features for mushroom classification | |
JP5746118B2 (en) | Clustering quality improvement method | |
JP6316844B2 (en) | User interface for predictive model generation | |
Fall et al. | Automated categorization of German-language patent documents | |
Eickhoff | Crowd-powered experts: Helping surgeons interpret breast cancer images | |
Groen et al. | Is there Really a Need for Using NLP to Elicit Requirements? A Benchmarking Study to Assess Scalability of Manual Analysis. | |
CN117251571A (en) | Mapping method and device for patent data and industry data | |
Sharma et al. | Extracting significant patterns for oral cancer detection using apriori algorithm | |
Vogelgesang et al. | PMCube: a data-warehouse-based approach for multidimensional process mining | |
Jha et al. | Mining novel knowledge from biomedical literature using statistical measures and domain knowledge | |
Kumar | Knowledge discovery practices and emerging applications of data mining: Trends and new domains: Trends and new domains | |
US20080195678A1 (en) | Methodologies and analytics tools for identifying potential partnering relationships in a given industry | |
Bonkra et al. | Scientific landscape and the road ahead for deep learning: apple leaves disease detection | |
KR101839572B1 (en) | Apparatus Analyzing Disease-related Genes and Method thereof | |
Hlaing et al. | Applications, techniques and trends of data mining and knowledge discovery database | |
Tayebati et al. | Process mining case study approach: Extraction of unconventional event logs to improve performance in Hospital Information Systems (HIS) | |
Wang et al. | Group outlying aspects mining | |
Revathy et al. | Classifying agricultural crop pest data using hadoop MapReduce based C5. 0 algorithm | |
Karthikeyan et al. | Text mining | |
CN111986815A (en) | Project combination mining method based on co-occurrence relation and related equipment | |
Vaish et al. | Artificial Intelligence Reducing the Intricacies of Patent Prior Art Search | |
Hamid et al. | Examining the trend of literature on classification modelling: a bibliometric approach |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140730 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150130 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150203 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150401 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150428 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150507 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5746118 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |