WO2022149240A1 - 解析装置、解析方法及びプログラム - Google Patents

解析装置、解析方法及びプログラム Download PDF

Info

Publication number
WO2022149240A1
WO2022149240A1 PCT/JP2021/000358 JP2021000358W WO2022149240A1 WO 2022149240 A1 WO2022149240 A1 WO 2022149240A1 JP 2021000358 W JP2021000358 W JP 2021000358W WO 2022149240 A1 WO2022149240 A1 WO 2022149240A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
analysis
space
function
rkhm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2021/000358
Other languages
English (en)
French (fr)
Inventor
悠香 橋本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Inc
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2022573860A priority Critical patent/JP7529050B2/ja
Priority to PCT/JP2021/000358 priority patent/WO2022149240A1/ja
Publication of WO2022149240A1 publication Critical patent/WO2022149240A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N99/00—Subject matter not provided for in other groups of this subclass

Definitions

  • the present invention relates to an analysis device, an analysis method and a program.
  • RKHS Since RKHS is higher in dimension than the space that expresses the original data, it has abundant expressive power. Therefore, by copying the original data to the RKHS, the data with complicated behavior is converted into the data with simple behavior, and more accurate analysis becomes possible.
  • RKHS is a space called Hilbert space, which has standard properties in data analysis
  • a standard algorithm such as the steepest descent method (Non-Patent Document 3), which is one of the gradient methods in Hilbert space, is applied. be able to.
  • RKHM reproducing kernel Hilbert C * -module
  • C * -algebra that has a value in the space.
  • C * -algebra is a generalization of the set of all complex numbers and the set of all matrices, and is a space with the concept of conjugate and norm. Since C * -algebra has a more complex mathematical structure than complex numbers, it is expected to be useful for expressing complex data.
  • RKHS is an infinite dimensional space, so if the original data has a simple structure (that is, if the data is represented in a low dimensional space), RKHS has more expressive power than the original space. have.
  • the expressive power of RKHS is insufficient.
  • the closeness (inner product) between data is one numerical value (scalar value), so if the inner product is calculated when the original data is high-dimensional, the information on the closeness between the elements that make up the data will be. Will be lost.
  • RKHM is a generalized space of RKHS, it has abundant expressive power in a space larger than RKHS. Therefore, it is expected that more accurate analysis will be possible by expressing high-dimensional or infinite-dimensional data using RKHM.
  • RKHM there have been few examples of applying RKHM to data analysis, and it is considered that a new framework for applying RKHM to data analysis is necessary.
  • One embodiment of the present invention has been made in view of the above points, and an object thereof is to realize data analysis on RKHM.
  • the analysis device uses an acquisition unit that acquires a set of data having a complicated structure as an analysis target and a RKHM (reproducing kernel Hilbert C * -module) for the set of data. It has an optimization calculation unit that calculates the solution of the optimization problem for a function that is defined on the copied space and takes a C * -algebra value by a method that extends the gradient method in the Hilbert space.
  • RKHM producing kernel Hilbert C * -module
  • an analysis device 10 capable of realizing data analysis on RKHM for data having a complicated structure (for example, multivariate data, function data, etc.) will be described.
  • the analysis device 10 solves this optimization problem by extending the gradient method in the Hilbert space. The case of solving by is described.
  • various data analyzes such as extracting necessary information (for example, extracting information showing relationships between data) and visualizing data while preserving the properties of data having a complicated structure. Can be realized.
  • PCA principal component analysis
  • C * -algebra is a definite value, and is a generalization of an Hermitian matrix (that is, a Hermitian definite value) in which all eigenvalues are 0 or more.
  • This map ⁇ is also called a feature map.
  • M k, 0 be the space composed of the whole.
  • m, m' is a natural number, x 0 , x 1 , ..., x m-1 , y 0 , y 1 , ..., y m'-1 ⁇ X, c 0 , c 1 , ... ⁇ , C m-1 , d 0 , d 1 , ⁇ , d m'-1 ⁇ A, and M k, 0 defines the operation ⁇ , ⁇ > k defined below.
  • the operation ⁇ , ⁇ > k defined in this way has the property of the A value inner product. That is, it has the following four properties for u, v, w ⁇ M k, 0 and c, d ⁇ A.
  • M k can be uniquely configured.
  • k is also included in M k .
  • Procedure 1 Randomly select v 0 ⁇ M. Also, select the parameter ⁇ > 0.
  • FIG. 1 is a diagram showing an example of a hardware configuration of the analysis device 10 according to the present embodiment.
  • the analysis device 10 is realized by a general computer or a computer system, and includes an input device 101, a display device 102, an external I / F 103, a communication I / F 104, and a processor. It has 105 and a memory device 106. Each of these hardware is connected so as to be communicable via the bus 107.
  • the input device 101 is, for example, a keyboard, a mouse, a touch panel, or the like.
  • the display device 102 is, for example, a display or the like.
  • the analysis device 10 does not have to have at least one of the input device 101 and the display device 102.
  • the external I / F 103 is an interface with an external device such as a recording medium 103a.
  • Examples of the recording medium 103a include a CD (Compact Disc), a DVD (Digital Versatile Disk), an SD memory card (Secure Digital memory card), a USB (Universal Serial Bus) memory card, and the like.
  • the communication I / F 104 is an interface for connecting the analysis device 10 to the communication network.
  • the processor 105 is, for example, various arithmetic units such as a CPU (Central Processing Unit) and a GPU (Graphics Processing Unit).
  • the memory device 106 is, for example, various storage devices such as an HDD (Hard Disk Drive), an SSD (Solid State Drive), a RAM (RandomAccessMemory), a ROM (ReadOnlyMemory), and a flash memory.
  • the analysis device 10 By having the hardware configuration shown in FIG. 1, the analysis device 10 according to the present embodiment can realize the analysis process described later.
  • the hardware configuration shown in FIG. 1 is an example, and the analysis device 10 may have another hardware configuration.
  • the analysis device 10 may have a plurality of processors 105 or a plurality of memory devices 106.
  • FIG. 2 is a diagram showing an example of the functional configuration of the analysis device 10 according to the present embodiment.
  • the analysis device 10 has an acquisition unit 201 and an analysis unit 202. Each of these parts is realized, for example, by a process of causing the processor 105 to execute one or more programs installed in the analysis device 10.
  • the analysis device 10 has a storage unit 203.
  • the storage unit 203 is realized by, for example, a memory device 106.
  • the storage unit 203 may be realized by, for example, a storage device (database server or the like) connected to the analysis device 10 via a communication network.
  • the storage unit 203 stores a set of data having a complicated structure (for example, ⁇ x 0 , x 1 , ..., X m-1 ⁇ ⁇ X).
  • the acquisition unit 201 acquires a set of data stored in the storage unit 203 as data to be analyzed.
  • the analysis unit 202 performs various data analysis on RKHM with respect to the set of data acquired by the acquisition unit 201. That is, the analysis unit 202 copies the set of data acquired by the acquisition unit 201 onto the RKHM M k by the mapping ⁇ , and then performs various data analysis on the RKHM M k .
  • the analysis unit 202 includes an optimization calculation unit 210, and solves an optimization problem (that is, an optimization problem related to a function having a value in C * -algebra) required for data analysis.
  • the optimization calculation unit 210 calculates by executing the above procedures 1 and 2. The optimization problem is formulated according to the data analysis depending on what kind of data analysis is performed.
  • the functional configuration of the analysis device 10 shown in FIG. 2 is an example, and may be another functional configuration.
  • the optimization calculation unit 210 may not be included in the analysis unit 202 but may be outside the analysis unit 202.
  • FIG. 3 is a flowchart showing an example of the flow of the analysis process according to the present embodiment.
  • the acquisition unit 201 acquires a set of data stored in the storage unit 203 as data to be analyzed (step S101).
  • the analysis unit 202 analyzes the data acquired in the above step S101 on the RKHM Mk (step S102). At this time, the analysis unit 202 calculates the solution of the optimization problem formulated according to the data analysis by the optimization calculation unit 210 by the above procedures 1 and 2. This makes it possible to analyze data with a complicated structure on RKHM.
  • x 1 , ..., X n be the data acquired by the acquisition unit 201.
  • the data x 1 , ..., X n are high-dimensional data or infinite-dimensional data having a value in a function.
  • the axes p 1 , ..., Pr of the space that best represent the properties of the data and the coordinates ⁇ p of x i on the axis p j .
  • ONS represents an orthonormal system.
  • the data x i can be reduced to ⁇ p j , ⁇ (x i )> k ⁇ A.
  • the multivariable function can be reduced to a one-variable function by selecting A in the space of the one-variable function.
  • c j [c 1, j , ..., c n, j ] T ⁇ A n
  • G n ⁇ n whose (i, j) component is k (x i , x j ) ⁇ A. It is a matrix.
  • ⁇ > 0 is a parameter and I is an identity map.
  • the solutions obtained up to r -1 are c 1 , ..., cr-1, and are orthogonal to ⁇ Gc 1 , ..., ⁇ Gc r-1 in An.
  • the optimization calculation unit 210 solves the optimization problem shown in the above equation (3) by the above procedures 1 and 2 to calculate the solution cr .
  • ⁇ Gcr means ( ⁇ G) ⁇ cr .
  • the solution c 2 is calculated by solving the optimization problem by the optimization calculation unit 210.
  • the optimization calculation unit 210 solves the optimization problem shown in the above equation (3) in the space orthogonal to ⁇ Gc 1 and ⁇ Gc 2 in An. Calculate solution c3 .
  • the optimization calculation unit 210 may solve the above minimization problem by a known steepest descent method in Hilbert space.
  • x 1 , ..., X n be the data defined on the interval [0, 1] and described by a continuous function of two variables taking a value in X. Examples of such data include data continuously distributed in space and data in which observation points change. Further, let the real number or complex numerical data be y 1 , ..., Y n . These data x 1 , ..., X n , y 1 , ..., Y n are acquired by the acquisition unit 201.
  • x i and y i are due to a certain function f.
  • A be a space consisting of all bounded linear operators for a function on [0,1]. Also, for x i ,
  • Dot product defined by. 1 s is a function that takes 1 at the point s and 0 at other points. Also, for x ⁇ X, ⁇ x is a Dirac measure at x.
  • ⁇ be a kernel mean embedding in which the A value measure is copied to RKHM M k .
  • a value measure and kernel mean embedding for example, refer to the reference "Y. Hashimoto, I. Ishikawa, M. Ikeda, F. Komura, and Y. Kawahara," Kernel Mean Embeddings of Von Neumann-Algebra- See Valued Measures, "arXiv: 2007.14698.” Etc.
  • the space is stretched by, and the A linear operator P f on V is defined by the following.
  • the optimization calculation unit 210 calculates the solution by the above procedures 1 and 2 in the same manner as in the principal component analysis described above.
  • Q [p 1 , ..., pr ] is set.
  • An operator that projects P f into a space stretched by p 1 , ..., Pr can be expressed as P f QQ * .
  • v also corresponds to the A value measure. That is, if x i is sampled with the A value measure corresponding to v, y i can be changed most. From this, it is possible to understand how to move x i to greatly affect y i .
  • each sample set i consists of 20 samples in which the function y i is discretized at 11 points on [0, 1] and noise is added.
  • the noise was a random number generated from a Gaussian distribution having an average of 0 and a standard deviation of 0.3.
  • FIG. 4A shows the results of the principal component analysis by the proposed method
  • FIG. 4B shows the results of the principal component analysis by the existing method. Since each sample is expressed as a point in the existing method, the characteristics as a function cannot be captured, and the three types of sample sets cannot be separated well. On the other hand, in the proposed method, each sample is expressed as a function, so it can be seen that the three types of sample sets can be separated well.
  • ⁇ Analysis of interactions between data components ⁇ x 1 , ..., X n is a function defined on the interval [0, 1].
  • n 30, ⁇ 1 , 1, ..., ⁇ n, 1 , ⁇ 1, 2 , ..., ⁇ n, 2 are random numbers that follow a uniform distribution on [-1, 0]. ..
  • Equation 21 was solved by the method described in "Analysis of interaction between data components” in the above application example. That is, the optimization problem shown in Equation 21 was solved by the method described in "When A is commutative" in "Principal component analysis” in the above application example.
  • Analytical device 101 Input device 102 Display device 103 External I / F 103a Recording medium 104 Communication I / F 105 Processor 106 Memory device 107 Bus 201 Acquisition unit 202 Analysis unit 203 Storage unit 210 Optimization calculation unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Complex Calculations (AREA)

Abstract

一実施形態に係る解析装置は、複雑な構造を持つデータの集合を解析対象として取得する取得部と、前記データの集合をRKHM（reproducing kernel Hilbert C*-module）に写した空間上で定義され、かつ、C*-algebra値をとる関数に関する最適化問題の解を、Hilbert空間における勾配法を拡張した手法により計算する最適化計算部と、を有する。

Description

解析装置、解析方法及びプログラム
　本発明は、解析装置、解析方法及びプログラムに関する。
　自然界や人間社会で現れるデータの多くは複雑な構造を持っている。例えば、時空間上の各点における気象データは連続的な関数から生成されているとみなすことができる。また、例えば、ＳＮＳ（social networking service）におけるフォロー関係を表すデータは、複数の構成要素が相互に関係し合っている。このような複雑な構造を持つデータの解析は、統計学、機械学習、物理学、分子動力学等の分野における共通の課題である。これに対して、統計学や機械学習の分野では、元のデータを、RKHS（reproducing kernel Hilbert space）と呼ばれる無限次元の関数空間に写し、RKHS上で解析を行う技術が提案されている（非特許文献１及び２）。RKHSは元のデータを表現する空間よりも高次元であるため、豊富な表現力を持つ。このため、元のデータをRKHSに写すことで、複雑な振る舞いをするデータが単純な振る舞いをするデータに変換され、より高精度な解析が可能となる。また、RKHSはデータ解析における標準的な性質を持つHilbert空間と呼ばれる空間であるため、Hilbert空間における勾配法の１つである最急降下法（非特許文献３）等の標準的なアルゴリズムを適用することができる。
　RKHSの一般化としてRKHM（reproducing kernel Hilbert C*-module）と呼ばれる空間も提案されており、物理学の分野においては、その理論的な解析が行われている（非特許文献４）。RKHMはC*-algebraと呼ばれる空間に値を持つ関数の空間である。C*-algebraとは複素数全体の集合や行列全体の集合等の一般化であり、共役とノルムの概念を持つ空間である。C*-algebraは複素数よりも複雑な数学的構造を持つため、複雑なデータを表現するために有用であると期待されている。
K. Muandet, K. Fukumizu, B. Sriperumbudur, and B. Scholkopf, Kernel Mean Embedding of Distributions: A Review and Beyond. Foundations and Trends in Machine Learning. 10 (1-2), 1-141, 2017. Y. Hashimoto, I. Ishikawa, M. Ikeda, Y. Matsuo, and Y. Kawahara, "Krylov Subspace Method for Nonlinear Dynamical Systems with Random Noise,"JMLR, 21 (172), 1-29, 2020. G. Smyrlis and V. Zisis, "Local convergence of the steepest descent method in Hilbert spaces,"Journal of Mathematical Analysis and Applications, 300(2):436-453, 2004. Jaeseong Heo, "Reproducing kernel Hilbert C*-modules and kernels associated with cocycles," J. Math. Phys. 49, 103507, 2008.
　ところで、RKHSは無限次元の空間であるため、元のデータが単純な構造であれば（つまり、低次元の空間で表現されるデータであれば）、RKHSは元の空間よりも豊富な表現力を持つ。しかしながら、元のデータが複雑な構造を持つ場合（つまり、高次元又は無限次元の空間で表現されるデータの場合）、RKHSの表現力では不十分である。実際、データ間の近さ（内積）は１つの数値（スカラー値）であるため、元のデータが高次元である場合に内積を計算すると、データを構成する各要素同士の近さの情報は失われてしまう。
　そこで、高次元又は無限次元のデータを表現するために、RKHSよりも更に大きな空間が必要となる。RKHMはRKHSを一般化した空間であるため、RKHSよりも大きな空間で豊富な表現力を持つ。このため、高次元又は無限次元のデータはRKHMを用いて表現することで、より高精度な解析が可能になることが期待される。しかしながら、RKHMをデータ解析に応用した例はこれまでにほとんどなく、RKHMをデータ解析に応用する新たな枠組みが必要であると考えられる。
　本発明の一実施形態は、上記の点に鑑みてなされたもので、RKHM上のデータ解析を実現することを目的とする。
　上記目的を達成するため、一実施形態に係る解析装置は、複雑な構造を持つデータの集合を解析対象として取得する取得部と、前記データの集合をRKHM（reproducing kernel Hilbert C*-module）に写した空間上で定義され、かつ、C*-algebra値をとる関数に関する最適化問題の解を、Hilbert空間における勾配法を拡張した手法により計算する最適化計算部と、を有する。
　RKHM上のデータ解析を実現することができる。
本実施形態に係る解析装置のハードウェア構成の一例を示す図である。 本実施形態に係る解析装置の機能構成の一例を示す図である。 本実施形態に係る解析処理の流れの一例を示すフローチャートである。 提案手法による主成分分析の結果を可視化した場合の一例を示す図である。 既存手法による主成分分析の結果を可視化した場合の一例を示す図である。 提案手法により相互作用を解析した場合の密度関数値の一例を示す図である。
　以下、本発明の一実施形態について説明する。本実施形態では、複雑な構造を持つデータ（例えば、多変量データや関数データ等）を対象として、RKHM上のデータ解析を実現することができる解析装置１０について説明する。特に、本実施形態では、C*-algebraに値を持つ関数に関する最適化問題を解く必要があるデータ解析を想定し、Hilbert空間における勾配法を拡張することで、この最適化問題を解析装置１０により解く場合について説明する。これにより、複雑な構造を持つデータの性質を保存しながら必要な情報を抽出（例えば、データ間の関係性を表す情報等を抽出）したり、データを可視化したりする等の様々なデータ解析の実現が可能となる。
　また、本実施形態では、C*-algebraに値を持つ関数に関する最適化問題を解く必要があるデータ解析への応用例として、主成分分析（ＰＣＡ：principal component analysis）とデータの構成要素間の相互作用の解析についても説明する。
　＜理論的構成＞
　まず、本実施形態の理論的構成について説明する。
　　≪準備≫
　データが属する空間をＸとして、｛ｘ０，ｘ１，・・・｝⊆Ｘを与えられたデータの集合とする。ＡをC*-algebraとして、Ａ値positive definite kernel ｋ：Ｘ×Ｘ→Ａを考える。ただし、写像ｋ：Ｘ×Ｘ→ＡがＡ値positive definite kernelであるとは、以下の条件１及び条件２を満たすことをいう。
　（条件１）任意のｘ，ｙ∈Ｘに対して、ｋ（ｘ，ｙ）＝ｋ（ｘ，ｙ）＊　（＊は共役を表す）
　（条件２）ｍを任意の自然数として、任意のｘ０，ｘ１，・・・，ｘｍ－１∈Ｘと任意のｃ０，ｃ１，・・・，ｃｍ－１∈Ａに対して、
Figure JPOXMLDOC01-appb-M000001
 はpositive
　ここで、positiveはC*-algebraで正定値であることを意味し、全ての固有値が０以上であるエルミート行列（つまり、エルミート正定値）等の一般化である。
　Ａ値positive definite kernel ｋが与えられたとき、ＸからＡ値関数への写像φを、φ（ｘ）＝ｋ（・，ｘ）により定義する。この写像φはfeature mapとも呼ばれる。
　自然数ｍと、ｘ０，ｘ１，・・・，ｘｍ－１∈Ｘと、ｃ０，ｃ１，・・・，ｃｍ－１∈Ａに対して、
Figure JPOXMLDOC01-appb-M000002
 全体から構成される空間をＭｋ，０とする。また、ｍ，ｍ'を自然数、ｘ０，ｘ１，・・・，ｘｍ－１，ｙ０，ｙ１，・・・，ｙｍ'－１∈Ｘ、ｃ０，ｃ１，・・・，ｃｍ－１，ｄ０，ｄ１，・・・，ｄｍ'－１∈Ａとして、Ｍｋ，０に以下で定義される演算〈・，・〉ｋを定義する。
Figure JPOXMLDOC01-appb-M000003
 　このように定義された演算〈・，・〉ｋはＡ値内積の性質を持つ。すなわち、ｕ，ｖ，ｗ∈Ｍｋ，０とｃ，ｄ∈Ａに対して、以下の４つの性質を有する。
　・〈ｕ，ｖ〉ｋ＝〈ｖ，ｕ〉ｋ ＊
　・〈ｕ，ｕ〉ｋはpositive
　・〈ｕ，ｕ〉ｋ＝０とｕ＝０は同値
　・〈ｕ，ｖｃ＋ｗｄ〉ｋ＝〈ｕ，ｖ〉ｋｃ＋〈ｕ，ｗ〉ｋｄ
　この内積〈・，・〉ｋを用いて、複素数値のノルム
Figure JPOXMLDOC01-appb-M000004
 を定めることができる。このノルムに関してＭｋ，０を完備化した空間をＭｋと表し、ｋに関するreproducing kernel Hilbert C*-module（RKHM）と呼ぶ。Ｍｋは一意に構成することができる。また、ＭｋにはＡ値の大きさ｜・｜ｋも、
Figure JPOXMLDOC01-appb-M000005
 により定義することができる。
　　≪Ａ値関数に対する最急降下法≫
　Ａを可換なC*-algebraとする。このとき、ｆ：Ｍ→ＡｒをHilbert C*-module ＭからＡｒへの写像（関数）とし、ｆ（ｖ）を最小にするｖ∈Ｍを求めることを考える。ただし、Ａｒ＝｛ｃ－ｄ｜ｃ，ｄ∈Ａ＋｝，Ａ＋はpositiveな要素全体から成る集合である。
　ｆのｖ∈Ｍにおけるｕ∈Ｍ方向の微分Ｄｆｖ（ｕ）は、
Figure JPOXMLDOC01-appb-M000006
 で定義される。ＤｆｖはＭからＡへの写像であるが、もしＤｆｖがＡ線形であれば、あるｗ∈Ｍが一意に存在し、Ｄｆｖ（ｕ）＝〈ｗ，ｕ〉を満たす。このｗ∈Ｍを∇ｆｖと表し、ｆのｖにおける勾配と呼ぶ。ただし、写像Ｌ：Ｍ→ＡがＡ線形とは、ｕ，ｖ∈Ｍ，ｃ∈Ａに対してＬ（ｕ＋ｖ）＝Ｌ（ｕ）＋Ｌ（ｖ）とＬ（ｕｃ）＝Ｌ（ｕ）ｃとが成り立つことである。
　Hilbert C*-module Ｍから可換なC*-algebra Ａへの関数ｆに対する最急降下法のアルゴリズムは以下の手続き１及び２で構成される。
　手続き１：ｖ０∈Ｍをランダムに選ぶ。また、パラメータε＞０を選ぶ。
　手続き２：ｔ＝０，１，・・・に対して、
Figure JPOXMLDOC01-appb-M000007
 によりｖｔの更新を行う。そして、ｖｔ＋１－ｖｔが十分に小さくなったら（例えば、予め決めた閾値未満となったら）更新を終了する。
　εが十分に小さければ、上記の手続き２で求めたｖｔ＋１に対するｆ（ｖｔ＋１）はｆ（ｖｔ）よりも小さくなることが示せる。これにより、ｆ（ｖ）を最小にするｖ∈Ｍが求まる。
　ここで、上記のアルゴリズムに確率的な作用を追加して確率的勾配降下法に拡張する等、一般的な勾配法に関するテクニックは本実施形態でも同様に適用可能である。また、∇ｆｖを低次元の空間に射影して近似的に計算する等の工夫を行えば、計算量を削減することも可能である。
　なお、上記では、ＭはHilbert C*-moduleであるものとして関数ｆに対する最急降下法のアルゴリズムを説明したが、Ｍ＝Ｍｋ、つまりＭはRKHMとしても上記の最急降下法のアルゴリズムは当然に適用可能である。
　＜解析装置１０のハードウェア構成＞
　次に、本実施形態に係る解析装置１０のハードウェア構成について、図１を参照しながら説明する。図１は、本実施形態に係る解析装置１０のハードウェア構成の一例を示す図である。
　図１に示すように、本実施形態に係る解析装置１０は一般的なコンピュータ又はコンピュータシステムで実現され、入力装置１０１と、表示装置１０２と、外部Ｉ／Ｆ１０３と、通信Ｉ／Ｆ１０４と、プロセッサ１０５と、メモリ装置１０６とを有する。これらの各ハードウェアは、それぞれがバス１０７を介して通信可能に接続されている。
　入力装置１０１は、例えば、キーボードやマウス、タッチパネル等である。表示装置１０２は、例えば、ディスプレイ等である。なお、解析装置１０は、入力装置１０１及び表示装置１０２のうちの少なくとも一方を有していなくてもよい。
　外部Ｉ／Ｆ１０３は、記録媒体１０３ａ等の外部装置とのインタフェースである。記録媒体１０３ａとしては、例えば、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disk）、ＳＤメモリカード（Secure Digital memory card）、ＵＳＢ（Universal Serial Bus）メモリカード等がある。
　通信Ｉ／Ｆ１０４は、解析装置１０を通信ネットワークに接続するためのインタフェースである。プロセッサ１０５は、例えば、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等の各種演算装置である。メモリ装置１０６は、例えば、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ等の各種記憶装置である。
　本実施形態に係る解析装置１０は、図１に示すハードウェア構成を有することにより、後述する解析処理を実現することができる。なお、図１に示すハードウェア構成は一例であって、解析装置１０は、他のハードウェア構成を有していてもよい。例えば、解析装置１０は、複数のプロセッサ１０５を有していてもよいし、複数のメモリ装置１０６を有していてもよい。
　＜解析装置１０の機能構成＞
　次に、本実施形態に係る解析装置１０の機能構成について、図２を参照しながら説明する。図２は、本実施形態に係る解析装置１０の機能構成の一例を示す図である。
　図２に示すように、本実施形態に係る解析装置１０は、取得部２０１と、解析部２０２とを有する。これら各部は、例えば、解析装置１０にインストールされた１以上のプログラムがプロセッサ１０５に実行させる処理により実現される。
　また、本実施形態に係る解析装置１０は、記憶部２０３を有する。記憶部２０３は、例えば、メモリ装置１０６により実現される。なお、記憶部２０３は、例えば、解析装置１０と通信ネットワークを介して接続される記憶装置（データベースサーバ等）により実現されていてもよい。
　記憶部２０３には、複雑な構造を持つデータの集合（例えば、｛ｘ０，ｘ１，・・・，ｘｍ－１｝⊆Ｘ）が記憶されている。
　取得部２０１は、記憶部２０３に記憶されているデータの集合を解析対象のデータとして取得する。
　解析部２０２は、取得部２０１により取得されたデータの集合に対してRKHM上で様々なデータ解析を行う。すなわち、解析部２０２は、取得部２０１により取得されたデータの集合を写像φによりRKHM Ｍｋ上に写した上で、RKHM Ｍｋ上で様々なデータ解析を行う。ここで、解析部２０２には最適化計算部２１０が含まれており、データ解析の際に必要となる最適化問題（つまり、C*-algebraに値を持つ関数に関する最適化問題）の解を、最適化計算部２１０が上記の手続き１及び２を実行することで計算する。なお、最適化問題はどのようなデータ解析を行うかによって、そのデータ解析に応じて定式化される。
　なお、図２に示す解析装置１０の機能構成は一例であって、他の機能構成であってもよい。例えば、最適化計算部２１０が解析部２０２に含まれるのではなく、解析部２０２の外にあってもよい。
　＜解析処理の流れ＞
　次に、本実施形態に係る解析処理の流れについて、図３を参照しながら説明する。図３は、本実施形態に係る解析処理の流れの一例を示すフローチャートである。
　まず、取得部２０１は、記憶部２０３に記憶されているデータの集合を解析対象のデータとして取得する（ステップＳ１０１）。
　次に、解析部２０２は、上記のステップＳ１０１で取得したデータをRKHM Ｍｋ上で解析する（ステップＳ１０２）。このとき、解析部２０２は、最適化計算部２１０により、当該データ解析に応じて定式化された最適化問題の解を上記の手続き１及び２によって計算する。これにより、複雑な構造を持つデータの解析をRKHM上で実現することができる。
　＜データ解析への応用例＞
　次に、C*-algebraに値を持つ関数に関する最適化問題を解く必要があるデータ解析への応用例として、主成分分析とデータの構成要素間の相互作用の解析について説明する。
　　≪主成分分析≫
　取得部２０１によって取得されたデータをｘ１，・・・，ｘｎとする。ここでは特に、データｘ１，・・・，ｘｎは高次元又は関数に値をとるような無限次元のデータであるとする。このとき、以下の式（１）に示す最適化問題を解くことにより、データの性質を最もよく表す空間の軸ｐ１，・・・，ｐｒと、軸ｐｊにおけるｘｉの座標〈ｐｊ，φ（ｘｉ）〉ｋとを求める。
Figure JPOXMLDOC01-appb-M000008
 　ただし、ＯＮＳとは正規直交系を表す。
　これにより、データｘｉを、〈ｐｊ，φ（ｘｉ）〉ｋ∈Ａに縮約できる。例えば、ｘｉが多変数関数である場合、Ａを１変数関数の空間に選べば、多変数関数を１変数関数に縮約できる。
　上記の式（１）に示す最適化問題の解が存在するとすれば、その解は、あるｃｉ∈Ａに対して
Figure JPOXMLDOC01-appb-M000009
 と表せることが示せる。これより、上記の式（１）に示す最適化問題の解は、Ａが可換な場合と可換でない場合とのそれぞれで以下のように計算できる。
　・Ａが可換な場合
　Ａが可換な場合、上記の式（１）に示す最適化問題は、以下の式（２）のように変形できる。
Figure JPOXMLDOC01-appb-M000010
 　ただし、ｃｊ＝［ｃ１，ｊ，・・・，ｃｎ，ｊ］Ｔ∈Ａｎであり、Ｇは（ｉ，ｊ）成分がｋ（ｘｉ，ｘｊ）∈Ａのｎ×ｎ行列である。
　そして、ｒ＝１のとき、上記の式（２）に示す最適化問題を以下の式（３）に示す制約付き最適化問題に変換し、最適化計算部２１０が上記の手続き１及び２によって解を計算する。
Figure JPOXMLDOC01-appb-M000011
 　ただし、λ＞０はパラメータ、Ｉは恒等写像である。
　ｒ＞１のときは、ｒ－１までに得られた解をｃ１，・・・，ｃｒ－１とし、Ａｎの中で√Ｇｃ１，・・・，√Ｇｃｒ－１と直交する空間上において、上記の式（３）に示す最適化問題を最適化計算部２１０が上記の手続き１及び２によって解くことで、解ｃｒを計算する。これをｒ＝２，・・・に対して繰り返すことで、解ｃ１，・・・，ｃｓ（ただし、ｓ≦ｒ）を得る。なお、各ｒに対して、√Ｇｃｒは、（√Ｇ）×ｃｒのことを意味する。
　具体的には、ｒ＝２のときは、ｒ＝１のときに得られた解をｃ１とし、Ａｎの中で√Ｇｃ１と直交する空間上において、上記の式（３）に示す最適化問題を最適化計算部２１０が解くことで解ｃ２を計算する。次に、ｒ＝３のときは、Ａｎの中で√Ｇｃ１，√Ｇｃ２と直交する空間上において、上記の式（３）に示す最適化問題を最適化計算部２１０が解くことで解ｃ３を計算する。次に、ｒ＝４のときは、Ａｎの中で√Ｇｃ１，√Ｇｃ２，√Ｇｃ３と直交する空間上において、上記の式（３）に示す最適化問題を最適化計算部２１０が解くことで解ｃ４を計算する。以降も同様に、ｒ＝５，・・・，ｓ－１に対して、これを繰り返す。
　・Ａが可換でない場合
　Ａが可換でない場合は、Ａの要素は、あるHilbert空間Ｗ上の有界線形作用素と同一視できることが知られている。そこで、ｐｊ∈Ｍｋは任意のｘ∈Ｘに対してｐｊ（ｘ）がランクｔの線形作用素になると仮定し、上記の式（１）に示す最適化問題のトレースをとった以下の問題を考える。
Figure JPOXMLDOC01-appb-M000012
 　この問題はHilbert空間Ｗｎ上の実数値関数に対する最小化問題であるため、Hilbert空間における既知の最急降下法を用いて解くことができる。したがって、この場合は、最適化計算部２１０が、Hilbert空間における既知の最急降下法によって上記の最小化問題を解けばよい。
　　≪データの構成要素間の相互作用の解析≫
　区間［０，１］上で定義され、かつ、Ｘに値を取る２変数の連続関数により記述されるデータをｘ１，・・・，ｘｎとする。このようなデータとしては、例えば、空間上に連続的に分布したデータや観測点が変化するデータ等が挙げられる。また、実数又は複素数値のデータをｙ１，・・・，ｙｎとする。これらのデータｘ１，・・・，ｘｎ，ｙ１，・・・，ｙｎは取得部２０１によって取得される。
　また、ｘｉとｙｉはある関数ｆにより、
Figure JPOXMLDOC01-appb-M000013
 と表される関係にあるものとする。
　Ａを、［０，１］上のある関数に対する有界線形作用素全体から成る空間とする。また、ｘｉに対して、
Figure JPOXMLDOC01-appb-M000014
 を、Ａ値測度で、
Figure JPOXMLDOC01-appb-M000015
 を満たすものとする。ただし、
Figure JPOXMLDOC01-appb-M000016
 は、［０，１］上の関数ｕ，ｖに対して
Figure JPOXMLDOC01-appb-M000017
 により定義される内積である。１ｓは点ｓにおいて１、それ以外の点において０をとる関数である。また、ｘ∈Ｘに対して、δｘは、ｘにおけるDirac測度である。
　更に、Φを、Ａ値測度をRKHM Ｍｋに写すkernel mean embeddingとする。なお、Ａ値測度とkernel mean embeddingに関する定義については、例えば、参考文献「Y. Hashimoto, I. Ishikawa, M. Ikeda, F. Komura, and Y. Kawahara, "Kernel Mean Embeddings of Von Neumann-Algebra-Valued Measures,"arXiv: 2007.14698.」等を参照されたい。
　このとき、Ｖを、
Figure JPOXMLDOC01-appb-M000018
 により張られる空間とし、Ｖ上のＡ線形作用素Ｐｆを以下により定める。
Figure JPOXMLDOC01-appb-M000019
 　ただし、Ｉは恒等作用素である。
　通常、与えられたデータｘ１，・・・，ｘｎにはノイズが含まれていたり、類似したデータが含まれていたりするため、実際にはＶの中の低次元の部分空間によってＰｆの振る舞いは決定すると考えられる。そこで、
Figure JPOXMLDOC01-appb-M000020
 に対して、上記で説明した主成分分析と同様に、Ｖの中の低次元の部分空間を求める。具体的には、ｒ＜ｎに対して、以下の最適化問題を考える。
Figure JPOXMLDOC01-appb-M000021
 　この場合、Ａは可換でないため、上記で説明した主成分分析と同様に、最適化計算部２１０が上記の手続き１及び２によって解を計算する。これにより求まった解ｐ１，・・・，ｐｒに対して、Ｑ＝［ｐ１，・・・，ｐｒ］とおく。Ｐｆをｐ１，・・・，ｐｒの張る空間に射影した作用素は、ＰｆＱＱ＊と表せる。
　Ｖ上の作用素ＰｆＱＱ＊により最も大きく変化する方向は、
Figure JPOXMLDOC01-appb-M000022
 であることが示せる。空間ＶはＡ値測度により構成される空間であるため、ｖもＡ値測度に対応する。つまり、ｖに対応するＡ値測度でｘｉをサンプルすれば、ｙｉを最も大きく変化させることができる。これにより、ｘｉをどのように動かせばｙｉへ大きく影響するかがわかる。
　＜実験＞
　次に、上記の応用例で説明した主成分分析とデータの構成要素間の相互作用の解析とを実験した結果について説明する。
　　≪主成分分析≫
　以下の３種類の［０，１］上の２変数関数から、ランダムに３種類のサンプルセットを生成した。
　ｙ１（ｓ，ｔ）＝ｅ１０（ｓ－ｔ）
　ｙ２（ｓ，ｔ）＝１０ｓｔ
　ｙ３（ｓ，ｔ）＝ｃｏｓ（１０（ｓ－ｔ））
　各サンプルセットｉは関数ｙｉを［０，１］上の１１点で離散化してノイズを加えた２０個のサンプルから成るものとする。ただし、ノイズは、平均０、標準偏差０．３のGaussian分布から生成される乱数とした。
　このとき、これらのサンプルに対して、上記の応用例における「主成分分析」の「Ａが可換な場合」で説明した手法（以下、「提案手法」ともいう。）により上記の（３）に示す最適化問題を解いた。ここで、パラメータはλ＝０．１、ε＝０．０１とした。また、ｋは１変数関数に値を持つカーネル
Figure JPOXMLDOC01-appb-M000023
 と設定した。
　また、提案手法との比較のため、上記の離散化した点をベクトル化したデータに対してRKHSを用いた既存手法により主成分分析も行った。
　提案手法による主成分分析の結果を可視化したものを図４Ａに、既存手法による主成分分析の結果を可視化したものを図４Ｂにそれぞれ示す。既存手法では各サンプルを点として表現するため、関数としての特徴を捉えられず、３種類のサンプルセットをうまく分離できていない。一方で、提案手法では各サンプルを関数として表現するため、３種類のサンプルセットをうまく分離できていることがわかる。
　　≪データの構成要素間の相互作用の解析≫
　ｘ１，・・・，ｘｎを、区間［０，１］上で定義された関数
Figure JPOXMLDOC01-appb-M000024
 とする。ただし、ｎ＝３０とし、ω１，１，・・・，ωｎ，１，ω１，２，・・・，ωｎ，２は［－１，０］上の一様分布に従う乱数である。
　また、ｉ＝１，・・・，ｎに対して、
Figure JPOXMLDOC01-appb-M000025
 とする。
　更に、ｋは有界線形作用素を値にとるカーネル
　ｋ（ｘ１，ｘ２）＝（ｘ１ ３＋ｘ１ ２＋ｘ１）（ｘ２ ３＋ｘ２ ２＋ｘ２）Ｉ
と設定した。
　このとき、上記の応用例における「データの構成要素間の相互作用の解析」で説明した手法により上記の数２１を解いた。すなわち、数２１に示す最適化問題を、上記の応用例における「主成分分析」の「Ａが可換な場合」で説明した手法により解いた。ここで、パラメータはλ＝０．１、ε＝０．０１とした。
　このとき、ｙｉを最も大きく変化させるベクトルを求め、それに対応する測度λに対して
Figure JPOXMLDOC01-appb-M000026
 を求めた。ここでは、ｓ＝０．１，ｔ＝０．２，０．３，０．４，０．５，０．６，０．７，０．８とした。
Figure JPOXMLDOC01-appb-M000027
 の定義により、
Figure JPOXMLDOC01-appb-M000028
 によりｘｉ（ｓ，ｔ）をサンプルすれば、ｙｉが大きく動くということを表している。測度
Figure JPOXMLDOC01-appb-M000029
 に対する密度関数ｐを図５に示す。図５に示すように、ｓ＝０．１，ｔ＝０．２のときは、大きな値における密度関数の値は大きくなっている。実際に、２－５｜ｓ－ｔ｜は正になるため、ｘｉ（ｓ，ｔ）が大きい方がｙｉは大きくなる。一方で、ｓ＝０．１，ｔ＝０．８のときは、小さな値における密度関数の値は大きくなっている。実際に、２－５｜ｓ－ｔ｜は負になるため、ｘｉ（ｓ，ｔ）が小さい方がｙｉは大きくなる。
　このように、ｘｉ（ｓ，ｔ）とｙｉの関係性が、ｘｉ及びｙｉの情報のみから抽出できている。
　本発明は、具体的に開示された上記の実施形態に限定されるものではなく、請求の範囲の記載から逸脱することなく、種々の変形や変更、既知の技術との組み合わせ等が可能である。
　１０　　　　解析装置
　１０１　　　入力装置
　１０２　　　表示装置
　１０３　　　外部Ｉ／Ｆ
　１０３ａ　　記録媒体
　１０４　　　通信Ｉ／Ｆ
　１０５　　　プロセッサ
　１０６　　　メモリ装置
　１０７　　　バス
　２０１　　　取得部
　２０２　　　解析部
　２０３　　　記憶部
　２１０　　　最適化計算部

Claims (7)

  1. 　複雑な構造を持つデータの集合を解析対象として取得する取得部と、
    　前記データの集合をRKHM（reproducing kernel Hilbert C*-module）に写した空間上で定義され、かつ、C*-algebra値をとる関数に関する最適化問題の解を、Hilbert空間における勾配法を拡張した手法により計算する最適化計算部と、
    　を有する解析装置。
  2. 　前記データの集合をRKHMに写した空間をＭ、前記関数をｆ、前記関数ｆのｖｔ∈Ｍにおける勾配を∇ｆｖ_ｔとして、
    　前記最適化計算部は、
    　前記Hilbert空間における勾配法を拡張した手法として、ｖ０∈Ｍをランダムに選択すると共にε＞０を予め決められた値に設定した上で、ｔ＝０，１，・・・に対して、ｖｔ＋１－ｖｔが予め決められた閾値未満となるまでｖｔ＋１＝ｖｔ＋ε∇ｆｖ_ｔによりｖｔ∈Ｍを更新することで、前記最適化問題の解を計算する、請求項１に記載の解析装置。
  3. 　前記C*-algebraをＡとして、Ａは可換であり、かつ、前記関数ｆのｖ∈Ｍにおけるｕ∈Ｍ方向の微分Ｄｆｖ（ｕ）がＡ線形である場合、前記勾配∇ｆｖは、〈・，・〉を前記RKHM上の内積として、Ｄｆｖ（ｕ）＝〈ｗ，ｕ〉を満たすｗ∈Ｍである、請求項２に記載の解析装置。
  4. 　前記複雑な構造を持つデータは、高次元若しくは無限次元の空間で表現される多変量データ、又は、複数の変数をとる所定の連続関数により記述されるデータのいずれかである、請求項１乃至３の何れか一項に記載の解析装置。
  5. 　前記最適化計算部により計算された解を用いて、前記データの集合に対する主成分分析、又は、前記データと所定の関係にある他のデータとの相互作用、を前記RKHM上で解析する解析部を有する、請求項１乃至４の何れか一項に記載の解析装置。
  6. 　複雑な構造を持つデータの集合を解析対象として取得する取得手順と、
    　前記データの集合をRKHM（reproducing kernel Hilbert C*-module）に写した空間上で定義され、かつ、C*-algebra値をとる関数に関する最適化問題の解を、Hilbert空間における勾配法を拡張した手法により計算する最適化計算手順と、
    　を実行する解析方法。
  7. 　コンピュータを、請求項１乃至５の何れか一項に記載の解析装置として機能させるプログラム。
PCT/JP2021/000358 2021-01-07 2021-01-07 解析装置、解析方法及びプログラム Ceased WO2022149240A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022573860A JP7529050B2 (ja) 2021-01-07 2021-01-07 解析装置、解析方法及びプログラム
PCT/JP2021/000358 WO2022149240A1 (ja) 2021-01-07 2021-01-07 解析装置、解析方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/000358 WO2022149240A1 (ja) 2021-01-07 2021-01-07 解析装置、解析方法及びプログラム

Publications (1)

Publication Number Publication Date
WO2022149240A1 true WO2022149240A1 (ja) 2022-07-14

Family

ID=82358133

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/000358 Ceased WO2022149240A1 (ja) 2021-01-07 2021-01-07 解析装置、解析方法及びプログラム

Country Status (2)

Country Link
JP (1) JP7529050B2 (ja)
WO (1) WO2022149240A1 (ja)

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YUKA HASHIMOTO; ISAO ISHIKAWA; MASAHIRO IKEDA; FUYUTA KOMURA; TAKESHI KATSURA; YOSHINOBU KAWAHARA: "Analysis via Orthonormal Systems in Reproducing Kernel Hilbert C^*-Modules and Applications", ARXIV.ORG, CORNELL UNIVERSITY LIBRARY, 201 OLIN LIBRARY CORNELL UNIVERSITY ITHACA, NY 14853, 2 March 2020 (2020-03-02), 201 Olin Library Cornell University Ithaca, NY 14853 , XP081612255 *

Also Published As

Publication number Publication date
JP7529050B2 (ja) 2024-08-06
JPWO2022149240A1 (ja) 2022-07-14

Similar Documents

Publication Publication Date Title
Wirtz et al. Surrogate modeling of multiscale models using kernel methods
Jiang et al. HPC AI500: a benchmark suite for HPC AI systems
CN107871166B (zh) 针对机器学习的特征处理方法及特征处理系统
CN113435602A (zh) 确定机器学习样本的特征重要性的方法及系统
CN116109121B (zh) 基于大数据分析的用户需求挖掘方法及系统
Reddi et al. Scale invariant conditional dependence measures
Tirvaudey et al. Non-invasive implementation of nonlinear isogeometric analysis in an industrial FE software
Uribarri et al. The structure of reconstructed flows in latent spaces
Khine et al. Predictive big data analytics using multiple linear regression model
Li et al. Latent neural PDE solver for time-dependent systems
Li et al. A subdomain synthesis method for global analysis of nonlinear dynamical systems based on cell mapping
WO2023037417A1 (ja) 推定装置、推定方法、及びプログラム
JP7529050B2 (ja) 解析装置、解析方法及びプログラム
Salazar et al. Spatial prediction for infinite-dimensional compositional data
Rebala et al. Principal component analysis
Riaz et al. On Approaching Normality Through Rectangular Distribution: Industrial Applications to Monitor Electron Gun and File Server Processes
Lu et al. Sparse convolution-based markov models for nonlinear fluid flows
JP7505555B2 (ja) 学習装置、学習方法及びプログラム
Zhang et al. Towards a statistical understanding of neural networks: Beyond the neural tangent kernel theories
WO2022014657A1 (ja) 解析装置、解析方法及びプログラム
Li et al. Multivariate chaotic time series prediction: Broad learning system based on sparse PCA
Wang et al. Physics-guided deep learning for spatiotemporal forecasting
El Mhouti et al. Using Cloud Services to Improve Weather Forecasting Based on Weather Big Data Scraped From Web Sources
US20250004725A1 (en) Improved transformers using faithful positional encoding
US20230082140A1 (en) Relationship extraction apparatus, relationship extraction method, and program

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21917467

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022573860

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21917467

Country of ref document: EP

Kind code of ref document: A1