WO2020022498A1 - クラスタリング装置、方法、及びプログラム - Google Patents

クラスタリング装置、方法、及びプログラム Download PDF

Info

Publication number
WO2020022498A1
WO2020022498A1 PCT/JP2019/029495 JP2019029495W WO2020022498A1 WO 2020022498 A1 WO2020022498 A1 WO 2020022498A1 JP 2019029495 W JP2019029495 W JP 2019029495W WO 2020022498 A1 WO2020022498 A1 WO 2020022498A1
Authority
WO
WIPO (PCT)
Prior art keywords
matrix
self
data
clustering
expression
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2019/029495
Other languages
English (en)
French (fr)
Inventor
山口　正隆
豪 入江
薫 平松
柏野　邦夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Inc
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to US17/263,110 priority Critical patent/US11520837B2/en
Publication of WO2020022498A1 publication Critical patent/WO2020022498A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/906—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2178—Validation; Performance evaluation; Active pattern learning techniques based on feedback of a supervisor
    • G06F18/2185—Validation; Performance evaluation; Active pattern learning techniques based on feedback of a supervisor the supervisor being an automated module, e.g. intelligent oracle
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques

Definitions

  • the present invention relates to a clustering device, a method, and a program, and more particularly, to a clustering device, a method, and a program for clustering a data set.
  • FIG. 1 shows a conceptual diagram of subspace clustering.
  • Subspace clustering is an important problem used in image clustering and data mining.
  • the data set shown on the left side of FIG. 1 can be grouped into points on the left diagonal line in the same cluster, points on the right diagonal line into the same cluster, and points on the plane into the same cluster. Is the correct answer.
  • spectral clustering-based frameworks are particularly promising in terms of ease of handling and accuracy.
  • a similarity matrix is configured using a criterion such that points belonging to the same subspace have a higher similarity (see FIG. 2).
  • a framework including two steps of performing clustering by spectral clustering based on the obtained similarity matrix is
  • the similarity matrix is M ⁇ R N ⁇ N
  • M ij stores the similarity between the i-th and j-th data.
  • a method of calculating the similarity a method in which the similarity between data points belonging to the same subspace becomes as large as possible and the similarity between points belonging to different subspaces becomes zero or as small as possible should be adopted. is there.
  • a self-expression approach has become mainstream in recent years.
  • a method based on the self-expression approach will be described.
  • each point in the data can be represented by a linear combination of a small number of points belonging to the same subspace. For example, consider a point surrounded by one circle in FIG. If one wishes to reconstruct this point with a linear combination of as few other points as possible, it could for example be represented using only two circled points belonging to the same subspace. As described above, when trying to reconstruct each point with a linear combination of as few points as possible, only points belonging to the same subspace as the point are selected and used for the linear combination. It is a self-expression approach to calculate the similarity using this property.
  • X ⁇ RD ⁇ N is a data matrix having each data of the data set as an element.
  • Z ⁇ R N ⁇ N is a matrix corresponding to the weight of the linear combination, and is called a self-expression matrix.
  • the self-representation matrix uses, as an element, a linear weight when each point of the data in the data set is represented by a linear combination of each point.
  • X-XZ is a residual when X is represented by a linear combination XZ of X
  • h (X-XZ) is a term for penalizing the residual.
  • r (Z) is a regularization term for using as few points as possible when expressing each point of X by a linear combination of other points. In other words, this is a term that prompts as many elements as possible of the elements of Z to become zero.
  • ⁇ is a parameter for balancing the two terms.
  • C is a matrix set that satisfies Z.
  • a similarity matrix M is calculated based on the obtained Z.
  • FIG. 4 shows an example of the flow of the self-expression approach.
  • the present invention has been made in order to solve the above problems, and provides a clustering device, a method, and a program that can perform clustering using a self-representation matrix in which the influence of noise is suppressed. Aim.
  • a clustering apparatus provides a clustering device that expresses, in a matrix included in a predetermined matrix set, each point of data in a data set by a linear combination of the points.
  • a similarity calculation section for calculation which is configured to include a clustering unit to obtain the clustering result of clustering the data set on the basis of the similarity matrix.
  • a clustering method is characterized in that the self-expression matrix calculation unit calculates a linear combination when each point of the data in the data set is represented by a linear combination of the points among the matrices included in the predetermined matrix set.
  • a term for obtaining a residual, a first regularization term for reducing a linear weight of each point of the data having a large Euclidean norm in the self-expression matrix with a predetermined weight, and a second regularization term for the self-expression matrix Calculating the self-expression matrix so as to minimize the objective function represented by the regularization term; and a similarity calculation unit calculates a similarity matrix defined by the calculated self-expression matrix.
  • Calculating, clustering unit, and executes comprise, obtaining a clustering result of clustering the data set on the basis of the similarity matrix.
  • a program according to a third invention is a program for causing a computer to function as each unit of the clustering device according to the first invention.
  • each point of the data in the data set is represented by a linear weight when representing a linear combination of the points.
  • An objective function for obtaining a self-expression matrix which is a term for calculating a residual between each point of data in a data set and each point of data expressed by a linear combination of each point using the self-expression matrix.
  • FIG. 4 is a diagram illustrating an example of clustering of a data set.
  • FIG. 9 is a conceptual diagram showing an example in which similarities increase as points belong to the same subspace.
  • FIG. 9 is a conceptual diagram illustrating an example of a case where points are reconstructed by a linear combination of two points belonging to the same subspace. It is a figure showing an example of a flow of a self-expression approach.
  • FIG. 9 is a conceptual diagram when a linear combination is expressed for a data set in a subspace.
  • 1 is a block diagram illustrating a configuration of a clustering device according to an embodiment of the present invention.
  • 5 is a flowchart illustrating a clustering processing routine in the clustering device according to the embodiment of the present invention.
  • FIG. 5C shows an example in which random sampling is performed from the data shown in FIG. If the number of large noisy data is less than the other data, random sampling allows most of the noisy data to be ignored and each point in the data is It becomes possible to increase the tendency to be represented by data that does not deviate so much from the space.
  • FIG. 5D is an example assuming that data points are represented by linear combinations on the same subspace.
  • P to p (P) are selection matrices for selecting each data with probability ⁇ . If the equation (2) is used as it is, data corresponding to data not selected by P is not selected. Therefore, it is considered that an expected value is obtained in the portion of F.
  • 2 F ] can be modified as follows.
  • diag (x) is an operator that returns a diagonal matrix having a vector x as a diagonal component
  • Diag (X) is an operator that extracts only the diagonal components of a square matrix X and makes it a vector
  • trace (X) is an operator. The trace operator (that is, the sum of diagonal components).
  • Z ′ ⁇ Z.
  • a clustering device 100 is a computer including a CPU, a RAM, and a ROM storing a program for executing a clustering process routine described later and various data. Can be configured.
  • This clustering device 100 functionally includes an input unit 10, a calculation unit 20, and an output unit 50 as shown in FIG.
  • the input unit 10 receives a data set to be processed.
  • the operation unit 20 includes a self-expression matrix calculation unit 30, a similarity calculation unit 32, and a clustering unit 34.
  • the self-expression matrix calculation unit 30 calculates a self-expression matrix that minimizes the objective function of the following equation (6) from the predetermined matrix set C for the received data set.
  • the objective function represented by the above equation (6) is a self-expression that uses, as an element, a linear weight when each point of data in the data set is expressed by a linear combination of the points in the matrix included in the matrix set C. This is an objective function for obtaining the matrix Z.
  • the objective function is represented by the following terms. h (X ⁇ XZ) is a residual between each point of the data of the data matrix X having each data in the data set as an element and each point of the data represented by a linear combination of each point using the self-representation matrix Z. This is the term for calculating the difference.
  • ⁇ is a weight for the second regularization term
  • diag (x) is an operator that returns a diagonal matrix having a vector x as a diagonal component
  • Diag (x) extracts a diagonal component of the matrix x.
  • the first regularization term is an operator that extracts a diagonal component of a matrix from a matrix calculated by transposing a matrix of a data set and a product of a matrix of the data set and forming a vector. It is expressed by using the result of applying the operator diag (x) that returns a diagonal matrix having a vector as a diagonal component with respect to the result of applying Diag (x).
  • Z ⁇ R N ⁇ N , Z ii 0 ⁇ , and h ( ⁇ ) is the following Lp norm to the qth power. p and q are some positive numbers.
  • r (Z) of the second regularization term
  • r (Z) 0
  • Frobenius norm r (Z)
  • squares r (Z) of the Frobenius norm
  • 2 F, or L1-norm It is conceivable to use r (Z)
  • the clustering unit 34 obtains a clustering result obtained by clustering the data set based on the similarity matrix M calculated by the similarity calculation unit 32.
  • the clustering method for example, spectral clustering or a maximum cut method can be used.
  • the clustering device 100 executes a clustering processing routine shown in FIG.
  • a self-expression matrix that minimizes the objective function of the above equation (6) is calculated from a predetermined matrix set C for the received data set.
  • the objective function represented by the above equation (6) is a self-expression that uses, as an element, a linear weight when each point of data in the data set is expressed by a linear combination of the points in the matrix included in the matrix set C. This is an objective function for obtaining the matrix Z.
  • the objective function is represented by the following terms.
  • h (X ⁇ XZ) is a residual between each point of the data of the data matrix X having each data in the data set as an element and each point of the data represented by a linear combination of each point using the self-representation matrix Z. This is the term for calculating the difference.
  • step S102 a similarity matrix M defined by the self-expression matrix Z calculated in step S100 is calculated.
  • step S104 a clustering result obtained by clustering the data set based on the similarity matrix M calculated in step S102 is obtained and output to the output unit 50, and the process ends.
  • each point of the data in the data set is represented by a linear combination of each point.
  • a first regularization term for reducing the linear weight of each point of data having a large Euclidean norm in the self-expression matrix multiplied by a predetermined weight ⁇ , and a second regularization related to the self-expression matrix A self-expression matrix that minimizes the objective function of the above equation (6) expressed by the following expression is calculated, a similarity matrix defined by the calculated self-expression matrix is calculated, and By obtaining the clustering result of clustering the data set, using a self-expression matrix with reduced influence of noise, it is possible to clustering.
  • 2 F Diag to Z (diag (X T X)) Weighting by 0.5 is expected, and as a result, it is expected that a data point having a large Euclidean norm has an effect of preventing a self-expression matrix from being too large.
  • COIL 100 is a 32 ⁇ 32 image data set for 100 categories each including 72 images.
  • MNIST-RB is a data set obtained by adding noise to Random on the background of MNIST, which is a 28 ⁇ 28 handwritten numeral data set from 0 to 9.
  • COIL100 20 sets of evaluation sets were prepared by repeating the selection of 10 classes at random for each of the splits for Validation / Test 20 times.
  • MNIST-RB 20 sets of evaluation sets were created by repeating 20 times randomly selecting 100 pieces of data for each number by Val / Test splitting. Accuracy described in the following equation is used as an evaluation index.

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Complex Calculations (AREA)

Abstract

ノイズの影響を抑えた自己表現行列を用いて、クラスタリングをすることができる。　予め定められた行列集合に含まれる行列のうち、データ集合におけるデータの各点を、各点の線形結合で表現する際の線形重みを要素とする自己表現行列を求めるための目的関数であって、データ集合におけるデータの各点と、自己表現行列を用いた各点の線形結合で表現されたデータの各点との残差を求める項と、所定の重みをかけた、自己表現行列においてユークリッドノルムの大きなデータの各点の線形重みを小さくするための第１正則化項と、自己表現行列に関する第２正則化項とによって表される目的関数を最小化するような自己表現行列を算出し、算出された自己表現行列で定義される類似度行列を計算し、類似度行列に基づいてデータ集合をクラスタリングしたクラスタリング結果を得る。

Description

クラスタリング装置、方法、及びプログラム
　本発明は、クラスタリング装置、方法、及びプログラムに係り、特に、データ集合をクラスタリングするためのクラスタリング装置、方法、及びプログラムに関する。
　音声、音楽などの音響信号や画像信号などディジタル信号を分類する方法に関する技術がある。データ点の集合が複数の部分空間の集合の上に属すると見なせる場面が存在する。そのようなデータ点の集合を、同じ部分空間上のデータ点同士に分類する問題は部分空間クラスタリングと呼ばれる。図１に部分空間クラスタリングの概念図を示す。部分空間クラスタリングは画像クラスタリングやデータマイニングに用いられる重要な問題である。
　図１左に示すデータ集合を、図１右に示すように、左斜線上の点を同一クラスタに、右斜線上の点を同一クラスタに、平面上の点を同一クラスタにまとめ上げることができた場合が正解となる。
　従来、部分空間クラスタリングのために多様な枠組みが提案されてきたが、特にスペクトラルクラスタリングベースの枠組みが扱いやすさや精度の観点から有望視されている。スペクトラルクラスタリングベースの部分空間クラスタリングは、初めに、（１）同一の部分空間に属する点ほど類似度が大きくなるような基準を用いて類似度行列を構成する（図２を参照）。次に、（２）得られた類似度行列を元にスペクトラルクラスタリングによりクラスタリングを実行する、という二段階のステップから構成される枠組みである。
　ここで、（１）の類似度行列を作るステップにおいて、類似度はどのように計算するべきかを検討する。類似度行列をＭ∈ＲＮｘＮとし、Ｍｉｊにはｉ番目とｊ番目のデータの類似度が格納されているものとする。類似度の計算方法としては、同一の部分空間に属するデータの点同士は類似度がなるべく大きくなり、異なる部分空間に属する点同士は類似度がゼロもしくはなるべく小さくなるような方法を採用するべきである。類似度の定義方法としては複数のものが提案されてきたが、近年では自己表現アプローチと呼ばれるアプローチが主流になっており、以下、自己表現アプローチに基づいた手法を説明する。
　自己表現アプローチは、「データの各点は同一の部分空間に属する少数個の点の線形結合で表現することができる」という考えに基づいたアプローチである。例えば、図３において、一つの丸で囲われている点について考える。この点を、なるべく少ない数の他の点の線形結合で再構成したい場合、例えば、同一の部分空間に属する丸で囲われた２点だけを用いて表現することができるだろう。このように、なるべく少ない点の線形結合で各点を再構成しようとすると、その点と同じ部分空間に属する点だけが選択されて線形結合のために用いられるのである。この性質を利用して類似度を計算するのが自己表現アプローチである。
　以下、自己表現アプローチのより具体的な説明を述べる。自己表現アプローチでは、はじめに次の（１）式の目的関数を解く。
Figure JPOXMLDOC01-appb-M000003
                                                 ・・・（１）
　ここでＸ∈ＲＤ×Ｎはデータ集合の各データを要素とするデータ行列である。Ｚ∈ＲＮ×Ｎは線形結合の重みに相当する行列であり、自己表現行列と呼ばれる。自己表現行列は、データ集合におけるデータの各点を、各点の線形結合で表現する際の線形重みを要素とする。Ｘ－ＸＺはＸをＸの線形結合ＸＺで表現した場合の残差であり、ｈ（Ｘ－ＸＺ）は残差に罰則をかける項である。ｒ（Ｚ）は、Ｘの各点を他の点の線形結合で表現する際に、なるべく少ない数の点だけが用いられるようにするための正則化項である。つまりＺの要素のうちなるべく多くの要素がゼロになるように促す項である。λは二つの項のバランスを取るためのパラメータである。ＣはＺの条件となる行列集合である。
　自己表現アプローチでは自己表現行列Ｚを計算した後に、得られたＺを元に類似度行列Ｍを計算する。代表的な類似度行列の定義方法としてはＭｉｊ＝｜Ｚｉｊ｜＋｜Ｚｊｉ｜とすることでＭを定義する方法などが挙げられる。そして、計算した類似度行列Ｍをスペクトラルクラスタリングといったグラフクラスタリングのためアルゴリズムにより分類することでクラスタリング結果を得る。図４に自己表現アプローチのフローの一例を示す。
　非特許文献１に記載の手法では（１）式において、ｈ（Ｘ－ＸＺ）＝｜｜Ｘ－ＸＺ｜｜２ Ｆ、ｒ（Ｚ）＝｜｜Ｚ｜｜２ Ｆを、そして条件集合ＣにはＣ＝ＲＮｘＮもしくはＣ＝｛Ｚ｜Ｚ∈ＲＮｘＮ，Ｚｉｉ＝０｝を用いることを提案している。行列集合Ｃとしてどちらを用いた場合においてもＺに閉じた解が存在するため、（１）式が高速に計算可能である。
Can-Yi Lu, Hai Min, Zhong-Qiu Zhao Lin Zhu, De-Shuang Huang, and Shuicheng Yan. "Robust and Efficient Subspace Segmentation via Least Squares Regression", ECCV2012
　従来技術では、他のデータ全てを線形結合の候補として用いて再構成を行う。実世界データの集合には大きな外乱（例えばスパイクノイズや全く異なるカテゴリのデータ）の乗ったデータが混じることがしばしば起こることが考えられる。そのため、再構成の際にデータ集合中の全てのデータを考慮する場合、大きな外乱の乗ったデータも全て考慮されることになり、これらのデータから結果が悪影響を受ける可能性がある。例えば図５の（ａ）のような１次元部分空間から生成されたデータ集合において、（ａ）の丸で囲われたデータを他の点の線形結合によって表現することを考える。全ての点を線形結合の候補として使う場合、例えば図５（ｂ）に示すように少し１次元部分空間から外れたところにあるデータを用いて表現することができてしまう。このような場合、図５（ｂ）の点線の部分にも１次元部分空間があるのではないかと誤認識してしまう恐れがある。
　本発明は、上記問題点を解決するために成されたものであり、ノイズの影響を抑えた自己表現行列を用いて、クラスタリングをすることができるクラスタリング装置、方法、及びプログラムを提供することを目的とする。
　上記目的を達成するために、第１の発明に係るクラスタリング装置は、予め定められた行列集合に含まれる行列のうち、データ集合におけるデータの各点を、各点の線形結合で表現する際の線形重みを要素とする自己表現行列を求めるための目的関数であって、前記データ集合におけるデータの各点と、前記自己表現行列を用いた各点の線形結合で表現されたデータの各点との残差を求める項と、所定の重みをかけた、前記自己表現行列においてユークリッドノルムの大きな前記データの各点の線形重みを小さくするための第１正則化項と、前記自己表現行列に関する第２正則化項とによって表される目的関数を最小化するような前記自己表現行列を算出する自己表現行列算出部と、算出された前記自己表現行列で定義される類似度行列を計算する類似度計算部と、前記類似度行列に基づいて前記データ集合をクラスタリングしたクラスタリング結果を得るクラスタリング部と、を含んで構成されている。
　第２の発明に係るクラスタリング方法は、自己表現行列算出部が、予め定められた行列集合に含まれる行列のうち、データ集合におけるデータの各点を、各点の線形結合で表現する際の線形重みを要素とする自己表現行列を求めるための目的関数であって、前記データ集合におけるデータの各点と、前記自己表現行列を用いた各点の線形結合で表現されたデータの各点との残差を求める項と、所定の重みをかけた、前記自己表現行列においてユークリッドノルムの大きな前記データの各点の線形重みを小さくするための第１正則化項と、前記自己表現行列に関する第２正則化項とによって表される目的関数を最小化するような前記自己表現行列を算出するステップと、類似度計算部が、算出された前記自己表現行列で定義される類似度行列を計算するステップと、クラスタリング部が、前記類似度行列に基づいて前記データ集合をクラスタリングしたクラスタリング結果を得るステップと、を含んで実行することを特徴とする。
　第３の発明に係るプログラムは、コンピュータを、第１の発明に記載のクラスタリング装置の各部として機能させるためのプログラムである。
　本発明のクラスタリング装置、方法、及びプログラムによれば、予め定められた行列集合に含まれる行列のうち、データ集合におけるデータの各点を、各点の線形結合で表現する際の線形重みを要素とする自己表現行列を求めるための目的関数であって、データ集合におけるデータの各点と、自己表現行列を用いた各点の線形結合で表現されたデータの各点との残差を求める項と、所定の重みをかけた、自己表現行列においてユークリッドノルムの大きなデータの各点の線形重みを小さくするための第１正則化項と、自己表現行列に関する第２正則化項とによって表される目的関数を最小化するような自己表現行列を算出し、算出された自己表現行列で定義される類似度行列を計算し、類似度行列に基づいてデータ集合をクラスタリングしたクラスタリング結果を得ることにより、ノイズの影響を抑えた自己表現行列を用いて、クラスタリングをすることができる、という効果が得られる。
データ集合のクラスタリングの一例を示す図である。 同一の部分空間に属する点ほど類似度が大きくなるようにすることの一例を示す概念図である。 点を同一の部分空間に属する２点の線形結合で再構成する場合の一例を示す概念図である。 自己表現アプローチのフローの一例を示す図である。 部分空間におけるデータ集合について線形結合を表現した場合の概念図である。 本発明の実施の形態に係るクラスタリング装置の構成を示すブロック図である。 本発明の実施の形態に係るクラスタリング装置におけるクラスタリング処理ルーチンを示すフローチャートである。
　以下、図面を参照して本発明の実施の形態を詳細に説明する。
＜本発明の実施の形態に係る概要＞
　まず、本発明の実施の形態における概要を説明する。
　前述の問題を解決するために、データ集合の中から一部のデータをランダムサンプリングし、それだけを用いて（１）式を解く方法を検討する。図５の例を元に説明する。図５（ｃ）は図５（ａ）のデータからランダムサンプリングした場合の一例である。大きなノイズの乗ったデータの数がそうでないデータと比べて少ない場合、ランダムサンプリングをすることでノイズの乗ったデータの大部分を無視することができるようになり、データの各点が実際の部分空間上からあまりずれていないデータによって表現される傾向を強めることができるようになる。図５（ｄ）は同一の部分空間上の線形結合によってデータの点を表すことを想定した一例である。
　まず、本発明の実施の形態の具体的な構成を説明する前に、本発明の実施の形態に係る手法の着想の経緯を述べる。以下では、ｈ（Ｘ－ＸＺ）＝｜｜Ｘ－ＸＺ｜｜２ Ｆを用いることを考える。はじめに各データを確率α∈（０，１）のベルヌーイ分布に従って選択し、その結果選択されたデータだけを用いて（１）式を定義し直すと次の（２）式のようになる。
Figure JPOXMLDOC01-appb-M000004
                                                 ・・・（２）
　ここでＰ～ｐ（Ｐ）は各データを確率αで選択する選択行列である。（２）式をそのまま用いるとＰによって選択されなかったデータに相当する部分のデータは選ばれない。そこでＦの部分で期待値をとることを考える。
Figure JPOXMLDOC01-appb-M000005
                                                 ・・・（３）
　更に、Ｅ［｜｜Ｆ｜｜２ Ｆ］は次のように変形できる。
Figure JPOXMLDOC01-appb-M000006
                                                 ・・・（４）
　ここでｄｉａｇ（ｘ）はベクトルｘを対角成分にもつ対角行列を返す演算子、Ｄｉａｇ（Ｘ）は正方行列Ｘの対角成分だけを抜き出してベクトルとする演算子、ｔｒａｃｅ（Ｘ）はｔｒａｃｅ演算子（つまり対角成分の和）である。そしてＺ’＝αＺである。
　更に、Ｚの条件である行列集合ＣとしてＣ＝｛Ｚ｜Ｚ∈ＲＮ×Ｎ，Ｚｉｉ＝０｝を選択すると（３）式は次のように変形できる。
Figure JPOXMLDOC01-appb-M000007
                                                 ・・・（５）
　（５）式から、新たな正則化項｜｜Ｄｉａｇ（ｄｉａｇ（ＸＴＸ））０．５Ｚ’｜｜２ Ｆが自然と導出できる。この項を導入することにより、Ｚの各要素に重み付けをすることができる。以上の式変形による導出を元に、以下、本発明の実施の形態の構成を説明する。
＜本発明の実施の形態に係るクラスタリング装置の構成＞
　本発明の実施の形態に係るクラスタリング装置の構成について説明する。図６に示すように、本発明の実施の形態に係るクラスタリング装置１００は、ＣＰＵと、ＲＡＭと、後述するクラスタリング処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。このクラスタリング装置１００は、機能的には図６に示すように入力部１０と、演算部２０と、出力部５０とを備えている。
　入力部１０は、処理の対象とするデータ集合を受け付ける。
　演算部２０は、自己表現行列算出部３０と、類似度計算部３２と、クラスタリング部３４とを含んで構成されている。
　自己表現行列算出部３０は、受け付けたデータ集合について、予め定められた行列集合Ｃのうち、以下（６）式の目的関数を最小化するような自己表現行列を算出する。
Figure JPOXMLDOC01-appb-M000008
                                                 ・・・（６）
　上記（６）式によって表される目的関数は、行列集合Ｃに含まれる行列のうち、データ集合におけるデータの各点を、各点の線形結合で表現する際の線形重みを要素とする自己表現行列Ｚを求めるための目的関数である。目的関数は次の各項によって表される。ｈ（Ｘ－ＸＺ）は、データ集合における各データを要素とするデータ行列Ｘのデータの各点と、自己表現行列Ｚを用いた各点の線形結合で表現されたデータの各点との残差を求める項である。｜｜Ｄｉａｇ（ｄｉａｇ（ＸＴＸ））０．５Ｚ｜｜２ Ｆは、自己表現行列Ｚにおいて、ユークリッドノルムの大きなデータの各点の線形重みを小さくするための第１正則化項である。第１正則化項には、所定の重みβをかける。ｒ（Ｚ）は、自己表現行列に関する第２正則化項である。
　ただし、λは第２正則化項に対する重みであり、ｄｉａｇ（ｘ）はベクトルｘを対角成分にもつ対角行列を返す演算子であり、Ｄｉａｇ（ｘ）は行列ｘの対角成分を抜き出してベクトルとする演算子であり、第１正則化項はデータ集合の行列の転置とデータ集合の行列の積により計算される行列に対して、行列の対角成分を抜き出してベクトルとする演算子Ｄｉａｇ（ｘ）を適用した結果に対して、ベクトルを対角成分にもつ対角行列を返す演算子ｄｉａｇ（ｘ）を適用した結果を用いて表される。ＣはＣ＝ＲＮ×Ｎ又はＣ＝｛Ｚ｜Ｚ∈ＲＮ×Ｎ、Ｚｉｉ＝０｝とし、ｈ（・）は、以下のＬｐノルムのｑ乗とする。
Figure JPOXMLDOC01-appb-M000009
　ｐとｑは何らかの正の数である。
　また、第２正則化項のｒ（Ｚ）には様々なものを用いることができる。例えば何も用いないこと、つまりｒ（Ｚ）＝０や、フロベニウスノルムｒ（Ｚ）＝｜｜Ｚ｜｜Ｆ、フロベニウスノルムの二乗ｒ（Ｚ）＝｜｜Ｚ｜｜２ Ｆ、又はＬ１ノルムｒ（Ｚ）＝｜｜Ｚ｜｜１を用いることなどが考えられる。
　類似度計算部３２は、自己表現行列算出部３０で算出された自己表現行列Ｚで定義される類似度行列Ｍを計算する。例えばＭｉｊ＝｜Ｚｉｊ｜＋｜Ｚｊｉ｜としてＭを定義するといった方法などを用いることができる。
　クラスタリング部３４は、類似度計算部３２で計算された類似度行列Ｍに基づいてデータ集合をクラスタリングしたクラスタリング結果を得る。クラスタリング手法には、例えばスペクトラルクラスタリングを用いることや最大カット法を用いることができる。
＜本発明の実施の形態に係るクラスタリング装置の作用＞
　次に、本発明の実施の形態に係るクラスタリング装置１００の作用について説明する。入力部１０において処理の対象とするデータ集合を受け付けると、クラスタリング装置１００は、図７に示すクラスタリング処理ルーチンを実行する。
　まず、ステップＳ１００では、受け付けたデータ集合について、予め定められた行列集合Ｃのうち、上記（６）式の目的関数を最小化するような自己表現行列を算出する。上記（６）式によって表される目的関数は、行列集合Ｃに含まれる行列のうち、データ集合におけるデータの各点を、各点の線形結合で表現する際の線形重みを要素とする自己表現行列Ｚを求めるための目的関数である。目的関数は次の各項によって表される。ｈ（Ｘ－ＸＺ）は、データ集合における各データを要素とするデータ行列Ｘのデータの各点と、自己表現行列Ｚを用いた各点の線形結合で表現されたデータの各点との残差を求める項である。｜｜Ｄｉａｇ（ｄｉａｇ（ＸＴＸ））０．５Ｚ｜｜２ Ｆは、自己表現行列Ｚにおいて、ユークリッドノルムの大きなデータの各点の線形重みを小さくするための第１正則化項である。第１正則化項には、所定の重みβをかける。ｒ（Ｚ）は、自己表現行列に関する第２正則化項である。
　次に、ステップＳ１０２では、ステップＳ１００で算出された自己表現行列Ｚで定義される類似度行列Ｍを計算する。
　ステップＳ１０４では、ステップＳ１０２で計算された類似度行列Ｍに基づいてデータ集合をクラスタリングしたクラスタリング結果を得て出力部５０に出力し、処理を終了する。
　以上説明したように、本発明の実施の形態に係るクラスタリング装置によれば、予め定められた行列集合に含まれる行列のうち、データ集合におけるデータの各点を、各点の線形結合で表現する際の線形重みを要素とする自己表現行列を求めるための目的関数であって、データ集合におけるデータの各点と、自己表現行列を用いた各点の線形結合で表現されたデータの各点との残差を求める項と、所定の重みβをかけた、自己表現行列においてユークリッドノルムの大きなデータの各点の線形重みを小さくするための第１正則化項と、自己表現行列に関する第２正則化項とによって表される上記（６）式の目的関数を最小化するような自己表現行列を算出し、算出された自己表現行列で定義される類似度行列を計算し、類似度行列に基づいてデータ集合をクラスタリングしたクラスタリング結果を得ることにより、ノイズの影響を抑えた自己表現行列を用いて、クラスタリングをすることができる。
［実験例の検証］
　実施の形態の提案手法における正則化項｜｜Ｄｉａｇ（ｄｉａｇ（ＸＴＸ））０．５Ｚ｜｜２ Ｆはｈ（Ｘ－ＸＺ）＝｜｜Ｘ－ＸＺ｜｜２ Ｆとした場合においてランダムサンプリングを適用することにより導出されたものである。そのため、この正則化項はノイズに対する頑健性を有していると予想できる。また、既存研究で用いられている正則化項｜｜Ｚ｜｜２ Ｆと比較すると正則化項｜｜Ｄｉａｇ（ｄｉａｇ（ＸＴＸ））０．５Ｚ｜｜２ ＦはＺにＤｉａｇ（ｄｉａｇ（ＸＴＸ））０．５による重み付けがなされており、この結果ユークリッドノルムの大きいデータ点が自己表現行列に大きすぎる影響を及ぼすことを防ぐ効果があることも期待される。
　また、特定の場合において高速計算が可能である。特に、「ｈ（Ｘ－ＸＺ）＝｜｜Ｘ－ＸＺ｜｜２ Ｆ、ｒ（Ｚ）＝０、Ｃ＝ＲＮ×Ｎ」とした場合、「ｈ（Ｘ－ＸＺ）＝｜｜Ｘ－ＸＺ｜｜２ Ｆ、ｒ（Ｚ）＝０、Ｃ＝｛Ｚ｜Ｚ∈ＲＮ×Ｎ，Ｚｉｉ＝０｝」とした場合、「ｈ（Ｘ－ＸＺ）＝｜｜Ｘ－ＸＺ｜｜２ Ｆ、ｒ（Ｚ）＝｜｜Ｚ｜｜２ Ｆ、Ｃ＝ＲＮ×Ｎ」とした場合、又は「ｈ（Ｘ－ＸＺ）＝｜｜Ｘ－ＸＺ｜｜２ Ｆ、ｒ（Ｚ）＝｜｜Ｚ｜｜２ Ｆ、Ｃ＝｛Ｚ｜Ｚ∈ＲＮ×Ｎ，Ｚｉｉ＝０｝」とした場合に関してはＺに閉じた解が存在し、Ｚを高速に計算することができる。
　以下、本手法が実験的に優れた効果を有していることを示す実験例を述べる。
　本手法の有効性を部分空間クラスタリング研究においてよく用いられる実世界データセットであるＣＯＩＬ１００、ＭＮＩＳＴ－ＲＢを用いたクラスタリング実験を通じて実証する．ＣＯＩＬ１００はそれぞれ７２枚の画像からなる１００種のカテゴリについての３２ｘ３２の画像データセットである。ＭＮＩＳＴ－ＲＢは０から９までの２８×２８の手書き数字データセットであるＭＮＩＳＴの背景にＲａｎｄｏｍにノイズを加えたデータセットである。公平性のためＣＯＩＬ１００、ＭＮＩＳＴ－ＲＢそれぞれのうち半分をパラメータ調整のためのＶａｌｉｄａｔｉｏｎ用、もう半分をＴｅｓｔ用に用いることとした。ＣＯＩＬ１００ではＶａｌｉｄａｔｉｏｎ／Ｔｅｓｔ用のスプリットでそれぞれランダムに１０クラスを選ぶことを２０回繰り返して２０セットの評価セットを作って用いた。ＭＮＩＳＴ－ＲＢではＶａｌ／Ｔｅｓｔ用のスプリットでそれぞれランダムに１００個ずつのデータを数字ごとに選択することを２０回繰り返して２０セットの評価セットを作って用いた。また、評価指標としては次の式に記載されたＡｃｃｕｒａｃｙを用いる。
　Ａｃｃｕｒａｃｙ＝（正しくクラスタリングされた点の数）／（全体の点の数）、とした。
　行列Ｚを計算する場合にｈ（Ｘ－ＸＺ）＝｜｜Ｘ－ＸＺ｜｜２ Ｆ，Ｃ＝｛Ｚ｜Ｚ∈ＲＮ×Ｎ，Ｚｉｉ＝０｝，ｒ（Ｚ）＝０とした場合の結果を次の表１に示す。従来法より本手法が高い精度が出ていることがわかる。
Figure JPOXMLDOC01-appb-T000010
 
　なお、本発明は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
１０ 入力部
２０ 演算部
３０ 自己表現行列算出部
３２ 類似度計算部
３４ クラスタリング部
５０ 出力部
１００ クラスタリング装置

Claims (7)

  1. 　予め定められた行列集合に含まれる行列のうち、データ集合におけるデータの各点を、各点の線形結合で表現する際の線形重みを要素とする自己表現行列を求めるための目的関数であって、
    　前記データ集合におけるデータの各点と、前記自己表現行列を用いた各点の線形結合で表現されたデータの各点との残差を求める項と、所定の重みをかけた、前記自己表現行列においてユークリッドノルムの大きな前記データの各点の線形重みを小さくするための第１正則化項と、前記自己表現行列に関する第２正則化項とによって表される目的関数を最小化するような前記自己表現行列を算出する自己表現行列算出部と、
    　算出された前記自己表現行列で定義される類似度行列を計算する類似度計算部と、
    　前記類似度行列に基づいて前記データ集合をクラスタリングしたクラスタリング結果を得るクラスタリング部と、
    　を含むクラスタリング装置。
  2. 　前記第１正則化項は、データ集合の行列の転置とデータ集合の行列の積により計算される行列に対して、行列の対角成分を抜き出してベクトルとする演算子を適用した結果に対して、ベクトルを対角成分にもつ対角行列を返す演算子を適用した結果を用いて表される請求項１に記載のクラスタリング装置。
  3. 　前記自己表現行列算出部は、予め定められた行列集合Ｃのうち、以下（１）式の前記目的関数を最小化するような前記自己表現行列を算出する請求項１又は請求項２に記載のクラスタリング装置。
    Figure JPOXMLDOC01-appb-M000001
                                                     ・・・（１）
    　ただし、Ｘは前記データ集合の各データを要素とするデータ行列、Ｚは前記自己表現行列、βは前記第１正則化項に対する所定の重み、ｒ（Ｚ）は前記第２正則化項、λは前記第２正則化項に対する重みであり、ｄｉａｇ（ｘ）はベクトルｘを対角成分にもつ対角行列を返す演算子であり、Ｄｉａｇ（ｘ）は行列ｘの対角成分を抜き出してベクトルとする演算子であり、ＣはＣ＝ＲＮ×Ｎ又はＣ＝｛Ｚ｜Ｚ∈ＲＮ×Ｎ、Ｚｉｉ＝０｝とし、ｈ（・）は、Ｌｐノルムのｑ乗とし、ｐとｑは何らかの正の数とする。
  4. 　自己表現行列算出部が、予め定められた行列集合に含まれる行列のうち、データ集合におけるデータの各点を、各点の線形結合で表現する際の線形重みを要素とする自己表現行列を求めるための目的関数であって、
    　前記データ集合におけるデータの各点と、前記自己表現行列を用いた各点の線形結合で表現されたデータの各点との残差を求める項と、所定の重みをかけた、前記自己表現行列においてユークリッドノルムの大きな前記データの各点の線形重みを小さくするための第１正則化項と、前記自己表現行列に関する第２正則化項とによって表される目的関数を最小化するような前記自己表現行列を算出するステップと、
    　類似度計算部が、算出された前記自己表現行列で定義される類似度行列を計算するステップと、
    　クラスタリング部が、前記類似度行列に基づいて前記データ集合をクラスタリングしたクラスタリング結果を得るステップと、
    　を含むクラスタリング方法。
  5. 　前記第１正則化項は、データ集合の行列の転置とデータ集合の行列の積により計算される行列に対して、行列の対角成分を抜き出してベクトルとする演算子を適用した結果に対して、ベクトルを対角成分にもつ対角行列を返す演算子を適用した結果を用いて表される請求項４に記載のクラスタリング方法。
  6. 　前記自己表現行列算出部は、予め定められた行列集合Ｃのうち、以下（１）式の前記目的関数を最小化するような前記自己表現行列を算出する請求項４又は請求項５に記載のクラスタリング方法。
    Figure JPOXMLDOC01-appb-M000002
                                                     ・・・（２）
    　ただし、Ｘは前記データ集合の各データを要素とするデータ行列、Ｚは前記自己表現行列、βは前記第１正則化項に対する所定の重み、ｒ（Ｚ）は前記第２正則化項、λは前記第２正則化項に対する重みであり、ｄｉａｇ（ｘ）はベクトルｘを対角成分にもつ対角行列を返す演算子であり、Ｄｉａｇ（ｘ）は行列ｘの対角成分を抜き出してベクトルとする演算子であり、ＣはＣ＝ＲＮ×Ｎ又はＣ＝｛Ｚ｜Ｚ∈ＲＮ×Ｎ、Ｚｉｉ＝０｝とし、ｈ（・）は、Ｌｐノルムのｑ乗とし、ｐとｑは何らかの正の数とする。
  7. 　コンピュータを、請求項１～請求項３のいずれか１項に記載のクラスタリング装置の各部として機能させるためのプログラム。
PCT/JP2019/029495 2018-07-26 2019-07-26 クラスタリング装置、方法、及びプログラム Ceased WO2020022498A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/263,110 US11520837B2 (en) 2018-07-26 2019-07-26 Clustering device, method and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-140532 2018-07-26
JP2018140532A JP7020331B2 (ja) 2018-07-26 2018-07-26 クラスタリング装置、方法、及びプログラム

Publications (1)

Publication Number Publication Date
WO2020022498A1 true WO2020022498A1 (ja) 2020-01-30

Family

ID=69181612

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/029495 Ceased WO2020022498A1 (ja) 2018-07-26 2019-07-26 クラスタリング装置、方法、及びプログラム

Country Status (3)

Country Link
US (1) US11520837B2 (ja)
JP (1) JP7020331B2 (ja)
WO (1) WO2020022498A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113077012B (zh) * 2021-04-26 2022-10-04 福州大学 一种电压暂降同源检测方法及系统
CN114418652B (zh) * 2022-01-27 2025-05-02 中国农业银行股份有限公司 客户群体的确定方法和相关设备
CN114996362B (zh) * 2022-08-04 2023-03-21 河南云帆电子科技有限公司 一种数据处理和存储方法
CN116579401B (zh) * 2023-05-31 2026-02-24 厦门大学 一种基于自我迭代的深度子空间训练方法及装置
CN118094444B (zh) * 2024-04-23 2024-07-23 北京芯盾时代科技有限公司 异常账户检测模型训练方法、装置、电子设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004044823A2 (en) * 2002-11-07 2004-05-27 Honda Motor Co., Ltd. Clustering appearances of objects under varying illumination conditions
CN103400143A (zh) * 2013-07-12 2013-11-20 中国科学院自动化研究所 一种基于多视角的数据子空间聚类方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9274818B2 (en) * 2013-02-06 2016-03-01 International Business Machines Corporation Reliable and scalable image transfer for data centers with low connectivity using redundancy detection
WO2014197160A1 (en) * 2013-06-06 2014-12-11 Exxonmobil Upstream Research Comapny Method for decomposing complex objects into simpler components
JP6561504B2 (ja) * 2015-03-11 2019-08-21 富士通株式会社 データ配置プログラム、データ配置方法およびデータ配置装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004044823A2 (en) * 2002-11-07 2004-05-27 Honda Motor Co., Ltd. Clustering appearances of objects under varying illumination conditions
CN103400143A (zh) * 2013-07-12 2013-11-20 中国科学院自动化研究所 一种基于多视角的数据子空间聚类方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CAN-YI LU ET AL.: "Robust and Efficient Subspace Segmentation via Least Squares Regression", 12TH EUROPEAN CONFERENCE ON COMPUTER VISION, ECCV 2012;, vol. 26, 27 April 2014 (2014-04-27), pages 347 - 360, XP047531330, Retrieved from the Internet <URL:https://arxiv.org/abs/1404.6736> [retrieved on 20190904] *

Also Published As

Publication number Publication date
US20210303629A1 (en) 2021-09-30
US11520837B2 (en) 2022-12-06
JP2020017135A (ja) 2020-01-30
JP7020331B2 (ja) 2022-02-16

Similar Documents

Publication Publication Date Title
WO2020022498A1 (ja) クラスタリング装置、方法、及びプログラム
US8515956B2 (en) Method and system for clustering datasets
WO2020003533A1 (en) Pattern recognition apparatus, pattern recognition method, and computer-readable recording medium
US20240185025A1 (en) Flexible Parameter Sharing for Multi-Task Learning
JP7800288B2 (ja) 機械学習モデルを訓練するためのデータ要約
US20230123941A1 (en) Multiscale Quantization for Fast Similarity Search
CN106446011B (zh) 数据处理的方法及装置
CN113377909B (zh) 释义分析模型训练方法、装置、终端设备及存储介质
CN103559205A (zh) 基于MapReduce的并行特征选择方法
CN114332500A (zh) 图像处理模型训练方法、装置、计算机设备和存储介质
CN111768803B (zh) 基于卷积神经网络和多任务学习的通用音频隐写分析方法
US12572849B2 (en) Image embeddings via deep learning and adaptive batch normalization
US20250131036A1 (en) Computer systems and methods for manifold learning
DK178764B1 (en) Computer-implemented method for conducting a search without the use of signatures
Adragni et al. ldr: An R software package for likelihood-based sufficient dimension reduction
Prabhakaran et al. Automatic model selection in archetype analysis
WO2020040007A1 (ja) 学習装置、学習方法及び学習プログラム
CN113011476A (zh) 基于自适应滑动窗口gan的用户行为安全检测方法
CN110941542A (zh) 基于弹性网络的序列集成高维数据异常检测系统及方法
CN113868424B (zh) 文本主题的确定方法、装置、计算机设备及存储介质
JP7209378B2 (ja) 分散データ統合装置、分散データ統合解析装置、分散データ統合方法、及びプログラム
US20220375489A1 (en) Restoring apparatus, restoring method, and program
Archana et al. Community detection in complex networks using randomisation
JP2022145033A (ja) 特徴抽出装置およびプログラム
JP6152073B2 (ja) グループ対応付け装置、方法、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19841525

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19841525

Country of ref document: EP

Kind code of ref document: A1