WO2020105468A1 - 情報処理装置、情報処理システム、情報処理方法及びプログラムが格納された非一時的なコンピュータ可読媒体 - Google Patents

情報処理装置、情報処理システム、情報処理方法及びプログラムが格納された非一時的なコンピュータ可読媒体

Info

Publication number
WO2020105468A1
WO2020105468A1 PCT/JP2019/043821 JP2019043821W WO2020105468A1 WO 2020105468 A1 WO2020105468 A1 WO 2020105468A1 JP 2019043821 W JP2019043821 W JP 2019043821W WO 2020105468 A1 WO2020105468 A1 WO 2020105468A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
sample
parameter
information processing
distribution
Prior art date
Application number
PCT/JP2019/043821
Other languages
English (en)
French (fr)
Inventor
慶一 木佐森
山崎　啓介
Original Assignee
日本電気株式会社
国立研究開発法人産業技術総合研究所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社, 国立研究開発法人産業技術総合研究所 filed Critical 日本電気株式会社
Priority to US17/295,294 priority Critical patent/US20220004908A1/en
Priority to JP2020558269A priority patent/JP7097541B2/ja
Publication of WO2020105468A1 publication Critical patent/WO2020105468A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Z—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS, NOT OTHERWISE PROVIDED FOR
    • G16Z99/00—Subject matter not provided for in other main groups of this subclass
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/02—Preprocessing
    • G06F2218/04—Denoising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting

Definitions

  • the present invention relates to an information processing device, an information processing system, an information processing method, and a program.
  • Non-Patent Document 1 proposes a method of estimating points of parameters by repeatedly executing kernel ABC (Kernel Approximate Bayesian Computation) and kernel hardening (Kernel Herding).
  • kernel ABC Kernel Approximate Bayesian Computation
  • kernel hardening Kernel Herding
  • Patent Document 1 a computer that operates as an adaptive controller determines a control amount for the state of the physical system when the time evolution of the target physical system is described as a Markov process. Then, this computer adaptively generates a control signal for controlling the state quantity of the physical system to a target value by the stochastic sequential weighted sampling method.
  • Patent Document 2 discloses a wind power generation amount prediction device that predicts the power generation amount by wind power generation.
  • This wind power generation amount predicting apparatus generates a polynomial that approximates data indicating the first wind speed and the first power generation amount at the first wind speed, and calculates the second wind speed and the second wind speed, respectively, based on this polynomial.
  • the maximum likelihood estimation value based on the error variance of the second power generation amount in is calculated.
  • the wind power generation amount prediction device calculates the information amount criterion based on the maximum likelihood estimated value.
  • Patent Document 3 discloses an information processing device capable of performing accurate regression analysis even when the mean and variance of objective variables depend on explanatory variables that take continuous values.
  • Non-Patent Document 1 is a kind of maximum likelihood estimation method
  • point estimation is performed by this method. That is, the distribution is not estimated. Therefore, for example, when estimating the parameters of a singular model, there is a possibility that appropriate estimation may not be possible.
  • Patent Documents 1 to 3 also do not disclose a method for estimating the posterior distribution of model parameters.
  • one of the objects to be achieved by the embodiments disclosed in the present specification is to provide an information processing device or the like capable of estimating the posterior distribution of model parameters.
  • the information processing apparatus is A plurality of pieces of observation information that are observed when an input is given to an observation target, and a simulator that simulates the observation target based on a sample of parameters is created for the plurality of samples and the first type data representing the input.
  • Corresponding data calculation means for determining the importance of each sample according to the difference from the second type of data and the degree of influence of the sample on the distribution of the parameter, and calculating the data corresponding to the distribution of the parameter.
  • New parameter sample generation means for generating a new sample of the parameter according to a predetermined process using data corresponding to the distribution of the parameter
  • the corresponding data calculation unit determines the distribution of the parameters by using the new sample created by the new parameter sample creation unit and the second type data created by the simulator for the first type data.
  • a repetitive control unit that controls to repeat the processes of the corresponding data calculation unit and the new parameter sample generation unit while controlling to calculate corresponding data.
  • the information processing system according to the second aspect, The information processing device and the simulator are provided.
  • the information processing method is Depending on the information processing device, A plurality of pieces of observation information that are observed when an input is given to an observation target, and a simulator that simulates the observation target based on a sample of parameters is created for the plurality of samples and the first type data representing the input.
  • a first process of determining the importance of each sample according to the difference from the second type of data and the degree of influence of the sample on the distribution of the parameter, and calculating data corresponding to the distribution of the parameter Run Performing a second process of generating a new sample of the parameter according to a predetermined process using the data corresponding to the distribution of the parameter, While controlling to execute the first process by using the second sample data created by the simulator with respect to the new sample and the first type data generated by the second process. , The first process and the second process are repeated.
  • the program according to the fourth aspect is A plurality of pieces of observation information that are observed when an input is given to an observation target, and a simulator that simulates the observation target based on a sample of parameters is created for the plurality of samples and the first type data representing the input.
  • a new parameter sample generation step of generating a new sample of the parameter according to a predetermined process using the data corresponding to the distribution of the parameter Control is performed to execute the corresponding data calculation step by using the new sample created in the new parameter sample creation step and the second type data created by the simulator with respect to the first type data.
  • the computer is made to execute the corresponding data calculation step and the repetitive control step for controlling the processing of the new parameter sample generation step to be repeated.
  • FIG. 16 is a block diagram showing an example of a functional configuration of an information processing device according to another embodiment.
  • each term does not necessarily have to be a mathematically defined value.
  • the distance can be mathematically defined such as Euclidean norm and 1-norm. However, the distance may be such a value plus one. That is, the terms used in the following embodiments need not be mathematically defined terms.
  • FIG. 1 is a block diagram showing an example of the configuration of an information processing system 10 according to the embodiment.
  • the information processing system 10 includes an information processing device 100 and a simulator server (simulator) 200.
  • the simulator server 200 is a simulator that receives input of the first type of data and outputs the second type of data. That is, the simulator server 200 performs a simulation process of predicting the second type of data from the first type of data according to the model defined by the parameter ⁇ . For example, the simulator server 200 executes a process of simulating a process (operation) on an observation target based on the sample of the parameter ⁇ . The sample represents the value of the parameter ⁇ . Therefore, the plurality of samples represent a plurality of examples (data) set as the value of the parameter ⁇ .
  • the first type of data will be referred to as data X
  • the second type of data will be referred to as data Y.
  • the number of pieces of observation data is n (n is a positive integer)
  • the observation data of the data X (first type of observation data) is expressed as observation data X n
  • the observation data of the data Y (second type of observation data) Data) is referred to as observation data Y n .
  • the elements of the observation data X n are expressed as X 1 , ..., X n
  • the elements of the observation data Y n are expressed as Y 1 , ..., Y n .
  • the information processing apparatus 100 uses the observation data in which the data X i (i is an integer of 1 ⁇ i ⁇ n) and the data Y i are associated one-to-one (hence, the observation data that can be plotted on the XY plane). To get.
  • observation data may be referred to as observation information.
  • observation data Y n may be represented as a plurality of pieces of observation information.
  • each element Y 1 , ..., Y n may also be referred to as observation information.
  • the observation data X n and Y n are not limited to specific types of data, and can be various actually measured data.
  • the actual measurement method for obtaining the observation data is not limited to a specific method, and various methods such as counting or measurement by a person such as a user or sensing using a sensor can be adopted.
  • the elements of the observation data X n may represent the states of the constituent elements forming the observation target.
  • the element of the observation data Y n may represent the state observed with respect to the observation target using a sensor or the like.
  • the observation data X n may represent the operating status of each facility in the manufacturing factory.
  • the observation data Y n may represent the number of products manufactured on a line configured by a plurality of facilities. Further, the observation data X n may represent a raw material that is a raw material of the product in the manufacturing factory. In this case, the material represented by the observation data X n is processed into a product through one or more processing steps.
  • the product is not limited to one type of product, and may be a plurality of products (for example, product A, product B, and by-product C).
  • the observation data Y n represents, for example, the number of products A, the number of products B, and the number of byproducts C (or the production amount).
  • the observation target and the observation data are not limited to the examples described above, and may be, for example, equipment in a processing factory or a construction system for constructing a certain facility.
  • x) can be expressed as p (y
  • x) represents the probability that the event y will occur when the event x occurs.
  • x) represents “q (x) ⁇ q (y
  • the operator "x" representing multiplication is omitted according to mathematical convention.
  • the regression model r (x, ⁇ ) used by the simulator server 200 receives the setting of the value of the parameter ⁇ and the input of the value of the data X to the variable x, and outputs the value of the data Y. For example, the simulator server 200 outputs a value of data Y by performing an operation including a sample of the parameter ⁇ on the data X (value of x). Note that the model does not necessarily have to use a differentiable function.
  • the simulator server 200 simulates a process or operation in an observation target.
  • the simulator server 200 calculates each data in the manufacturing factory by performing an operation on the value of the data X according to the value represented by the parameter ⁇ . Simulate.
  • the parameter ⁇ represents, for example, the relationship between input and output in each process.
  • the parameter ⁇ can also be said to represent the state in the process.
  • the parameter ⁇ is not limited to one and may be plural. That is, it can be said that the regression model r (x, ⁇ ) generically represents the entire processing executed by the simulator server 200 by using the symbol r.
  • x, ⁇ ) is expressed as the following equation (2).
  • x, ⁇ ) is a model showing statistical properties of the regression model r (x, ⁇ ).
  • this regression model r (x, ⁇ ) is not always expressed explicitly by using a mathematical expression, and for example, x and ⁇ are input and r (x, ⁇ ) is input. ) May be used to represent a process such as a simulation.
  • the coefficients of a mathematical formula are determined so as to fit given data.
  • the regression model r (x, ⁇ ) in the present embodiment may be a case where such a mathematical expression is not given. That is, the regression model r (x, ⁇ ) in the present embodiment may represent information in which the inputs x and ⁇ and the output r (x, ⁇ ) are associated with each other.
  • ⁇ (where ⁇ > 0) is the standard deviation of Gaussian noise. That is, ⁇ is the standard deviation of the Gaussian noise in the model defined by the regression function with Gaussian noise.
  • r (x, ⁇ ) is a value calculated by the simulator server 200 according to the process represented by the regression model.
  • d is the number of dimensions of X (that is, the number of observation data described above).
  • exp represents an exponential function whose base is the number of Napiers.
  • represents that the norm is calculated.
  • ⁇ represents the pi.
  • ⁇ ( ⁇ ) is the prior distribution for the parameter ⁇ .
  • x, y) is the posterior distribution for the parameter ⁇ .
  • ⁇ (where ⁇ > 0) is a parameter called inverse temperature. According to the Bayesian theorem, the posterior distribution of the parameter ⁇ can be calculated based on the prior distribution ⁇ ( ⁇ ) of the parameter ⁇ and the likelihood function p (y
  • a sample according to the posterior distribution can be obtained by the following method, for example.
  • acquisition of sample data of the parameter ⁇ using a kernel ABC (Kernel Approximate Bayesian Computation) and a predetermined process (Kernel Herding, etc.) will be described.
  • Kernel ABC is an algorithm that estimates the posterior distribution by calculating the kernel mean.
  • a posterior distribution is obtained by performing a simulation based on m sample data and determining the weight (importance) of the sample data of m parameters based on the observation data observed for the observation target. Be done. For example, the more similar the simulation result is to the observed data, the more the weight used for the parameter used in the simulation result is calculated. On the contrary, as the simulation result is less similar to the observation data, the weight for disregarding the parameter used in the simulation result is calculated.
  • Kernel kernel hardening is an algorithm that acquires a sample according to the posterior distribution from the kernel mean that shows the posterior distribution. Kernel Harding sequentially determines the sample when it is closest to the calculated kernel average. In the present embodiment, m samples are newly calculated for m samples by the processing in the kernel ABC and kernel harding, so it can be said that the values of the samples are adjusted. ..
  • Kernel-harding is a method of sequentially determining samples, but the predetermined process of acquiring samples according to the posterior distribution (in this embodiment, the estimated posterior distribution) is not limited to kernel-harding. That is, the predetermined process may be a method of creating a sample according to the posterior distribution (in the present embodiment, the estimated posterior distribution).
  • sample data of the parameter ⁇ according to the posterior distribution including the inverse temperature ⁇ is acquired.
  • the information processing apparatus 100 that acquires sample data using the kernel ABC and the kernel harding will be described.
  • the inverse temperature ⁇ represents a value that represents the level at which the distribution calculated based on each sample smoothes the influence on the estimated distribution in the process of estimating the posterior distribution.
  • the higher the reverse temperature ⁇ the lower the leveling level.
  • the higher the inverse temperature ⁇ the more likely the estimated distribution is to be affected by the individual distribution.
  • the lower the reverse temperature ⁇ the higher the leveling level.
  • the lower the inverse temperature ⁇ the less likely the estimated distribution is to be affected by some distributions.
  • the inverse temperature ⁇ represents the degree of influence indicating the degree of influence of the sample on the estimated distribution. That is, it can be said that the inverse temperature ⁇ represents the degree of influence of the sample on the estimated distribution.
  • the sample of the posterior distribution of the parameter ⁇ is acquired by repeatedly executing the parameter estimation processing by the kernel ABC and the kernel harding. That is, in this embodiment, the sample of the posterior distribution of the parameter ⁇ obtained by the parameter estimation process is regarded as the sample from the prior distribution, and the sample of the posterior distribution of the parameter ⁇ is obtained by repeating the parameter estimation process. To do. This will be described using mathematical expressions.
  • the information processing apparatus 100 repeats the above-described processing T times. However, T is an integer of 2 or more.
  • ⁇ (t) the total of ⁇ (t) set in each of the iterative processes. That is, it is assumed that the following expression (4) is established. However, 0 ⁇ (t) ⁇ 1.
  • the degree of influence of each repetition is set so that the total of the degrees of influence for the number of repetitions becomes 1.
  • the posterior distribution represented by the following equation (5) is obtained based on Bayes' theorem (see equation (3)). ..
  • the second predetermined number of parameters is obtained based on the first predetermined number of samples obtained from the prior distribution of the parameter ⁇ .
  • the number of samples obtained from the prior distribution (that is, the first predetermined number) and the number of samples obtained as the parameter estimation processing result (that is, the second predetermined number) are m in this embodiment, but they are different from each other. Good. However, the larger the number of samples, the more appropriate the distribution can be expressed.
  • ⁇ represents a proportional relationship.
  • x, y) obtained by the first iteration is regarded as the prior distribution, and the second iteration is performed. That is, the parameter estimation process is performed again using the sample obtained as the result of the first process of the iterative process.
  • the posterior distribution obtained is expressed by the following equation (6).
  • x, y) obtained by the second iteration is regarded as the prior distribution, and the third iteration is performed. Therefore, the posterior distribution p (T) ( ⁇
  • Formula (8) represents Bayes' theorem that does not include the inverse temperature. That is, it indicates that Bayesian estimation is being performed.
  • the method shown in Non-Patent Document 1 is maximum likelihood estimation, that is, point estimation. However, in the method shown in the present embodiment, distribution estimation is performed by repeating parameter estimation processing using inverse temperature. It is possible.
  • FIG. 2 is a block diagram showing an example of the hardware configuration of the information processing device 100.
  • the information processing device 100 includes an input / output interface 101, a memory 102, and a processor 103.
  • the input / output interface 101 is an interface for inputting / outputting data.
  • the input / output interface 101 is used to communicate with another device.
  • the input / output interface 101 is used to communicate with the simulator server 200.
  • the input / output interface 101 may be used to communicate with an external device such as a sensor device that outputs the observation data X n or the observation data Y n .
  • the input / output interface 101 may further include an interface connected to an input device such as a keyboard and a mouse. In this case, the input / output interface 101 acquires the data input by the user's operation.
  • the input / output interface 101 may further include an interface connected to a display. In this case, for example, the calculation result of the information processing device 100 is displayed on the display via the input / output interface 101.
  • the memory 102 is composed of, for example, a combination of a volatile memory and a non-volatile memory.
  • the memory 102 is used to store various data used for processing of the information processing apparatus 100, software (computer program) including one or more instructions executed by the processor 103, and the like.
  • the processor 103 reads the software (computer program) from the memory 102 and executes the software to perform the process of each configuration illustrated in FIG. 3 described later.
  • the processor 103 may be, for example, a microprocessor, an MPU (Micro Processor Unit), a CPU (Central Processing Unit), or the like.
  • the processor 103 may include a plurality of processors.
  • the above-described program can be stored in various types of non-transitory computer readable mediums and supplied to the computer.
  • Non-transitory computer readable media include various types of tangible storage media.
  • non-transitory computer readable media are magnetic recording media (eg flexible disk, magnetic tape, hard disk drive), magneto-optical recording media (eg magneto-optical disk), CD-ROM (Read Only Memory) CD-R, CD. -R / W, semiconductor memory (for example, mask ROM, PROM (Programmable ROM), EPROM (Erasable PROM), flash ROM, RAM (Random Access Memory)) are included.
  • the program may be supplied to the computer by various types of transitory computer readable mediums. Examples of transitory computer-readable media include electrical signals, optical signals, and electromagnetic waves.
  • the transitory computer-readable medium can supply the program to the computer via a wired communication path such as an electric wire and an optical fiber, or a wireless communication path.
  • FIG. 3 is a block diagram showing an example of the functional configuration of the information processing apparatus 100.
  • the information processing device 100 includes a first parameter sample generation unit 110, a second type sample data acquisition unit 112, a kernel average calculation unit 114, a second parameter sample generation unit 116, and a repetition control unit 118. ..
  • the first parameter sample generation unit 110 is also referred to as a prior parameter sample generation unit
  • the kernel average calculation unit 114 is also referred to as a corresponding data calculation unit
  • the second parameter sample generation unit 116 is a new parameter sample generation unit. Also called.
  • the first parameter sample generation unit 110 receives the input of the first type of data (data X) and outputs the second type of data (data Y), and the prior distribution of the parameter ⁇ of the regression model r (x, ⁇ ).
  • the sample data of the parameter ⁇ is generated based on ⁇ ( ⁇ ).
  • the prior distribution ⁇ ( ⁇ ) is, for example, a uniform distribution. In the case of uniform distribution, sample data is randomly selected from the domain where the value of ⁇ is defined. When a distribution estimated to be close to the posterior distribution to some extent is obtained, the distribution may be set to the prior distribution ⁇ ( ⁇ ). In this case, sample data is selected from the domain according to the prior distribution ⁇ ( ⁇ ).
  • the prior distribution ⁇ ( ⁇ ) is not limited to the example described above, and is not necessarily given explicitly.
  • the prior distribution ⁇ ( ⁇ ) is set to, for example, a uniform distribution. Further, as described later, the user may set the prior distribution ⁇ ( ⁇ ).
  • the sample data of the parameter ⁇ is expressed by the following formula. It is expressed as (9).
  • d ⁇ represents the number of dimensions of the parameter (that is, the number of types of the parameter ⁇ ). That is, Expression (9) represents that the number of sets including d ⁇ types of parameters is m.
  • R represents a real number.
  • the sample data of the parameter ⁇ is shown as a real number in the d ⁇ dimension and follows the prior distribution ⁇ ( ⁇ ).
  • the prior distribution ⁇ ( ⁇ ) is stored in the memory 102 in advance.
  • the prior distribution ⁇ ( ⁇ ) is, for example, set in advance with accuracy according to the knowledge the user has about the simulation target.
  • the second type sample data acquisition unit 112 operates as follows.
  • the second type sample data acquisition unit 112 receives the parameters ⁇ generated by the first parameter sample generation unit 110, and uses the received m parameters ⁇ as the observation data (observation data X n ) of the first type data. To the simulator server 200. Also, after the second and subsequent iterations, the second type sample data acquisition unit 112 operates as follows.
  • the second type sample data acquisition unit 112 receives m samples of the parameter ⁇ generated by the second parameter sample generation unit 116, which will be described later, under the control of the repetition control unit 118, which will be described later.
  • the second type sample data acquisition unit 112 inputs the received m parameters ⁇ to the simulator server 200 together with the observation data (observation data X n ) of the first type of data.
  • the m number of parameters ⁇ and the observation data (observation data X n ) of the first type of data are input to the simulator server 200.
  • the simulator server 200 executes a simulation calculation for each of the m input parameters ⁇ based on the observation data (observation data X n ) of the first type of data. That is, the simulator server 200 executes m kinds of simulation calculations regarding the observation target according to the input m parameters ⁇ . The simulator server 200 executes m kinds of simulation calculations to obtain m kinds of simulation results ( ) Is calculated.
  • the second type sample data acquisition unit 112 acquires m types of simulation results from the simulator server 200 as second type sample data.
  • the above process can be expressed mathematically as follows.
  • the second-kind sample data acquisition unit 112 models the sample data represented by Expression (10), which has n elements (the same number as the number of elements of the observation data X n ) for each sample data of the parameter. (Simulator server 200).
  • the sample data acquired by the second type sample data acquisition unit 112 is represented as an n-dimensional real number, and the likelihood function p (y
  • the kernel average calculation unit 114 estimates the kernel average indicating the posterior distribution of parameters according to the kernel ABC. That is, the kernel average calculation unit 114 calculates the kernel average indicating the posterior distribution of the parameters based on the sample data of the parameters and the sample data of the second type. In particular, the kernel average calculation unit 114 calculates the kernel average using the kernel function including the inverse temperature.
  • the kernel ABC calculates the kernel average represented by the following equation (11) by using the sample data represented by the equation (9) and the sample data represented by the equation (10).
  • the kernel mean corresponds to the posterior distribution expressed by the kernel mean embeddings on the reproducing kernel Hilbert space (RKHS).
  • the kernel mean is an example of data corresponding to the distribution of parameters (posterior distribution).
  • the weight w j is represented by the following Expression (12).
  • H indicates the regenerative kernel Hilbert space. That is, the larger the weight (importance) w j , the more the sample It means that the kernel has a strong influence on the average. The smaller the weight w j , the more samples The kernel has a weak effect on the average.
  • the superscript T indicates the transposition of a matrix or a vector.
  • I represents an identity matrix
  • ⁇ (where ⁇ > 0) is a regularization constant.
  • the vector k y (Y n ) and the Gram matrix (Gramm Matrix) G are represented by the following equations (13) and (14) by the kernel k y for the data vector Y n including real number elements. .. k y (Y n) is the observed data Y n, proximity of the sample data of formula (10) corresponding to the observation data Y n (norm), i.e. a function for calculating the degree of similarity.
  • the kernel average is a weighted average calculated using the calculated similarity to determine the weight of each parameter and according to the processing shown in Expression (11).
  • Formula (13) is a second type of data created by the simulator server 200 for a first type of data representing a plurality of samples and inputs, and a plurality of pieces of observation information observed when an input is given to the observation target. It can be said that the difference is calculated. Further, it can be said that the formula (11) represents a process of calculating a large weight for data similar to the observed data actually observed for the observation target among the m types of simulation results. it can. Similarly, it can be said that, of the m types of simulation results, a process of calculating a small weight is represented for data that is not similar to the observed data actually observed for the observation target. That is, it can be said that the expression (12) calculated using the expression (13) represents a process of calculating a weight according to the degree of similarity between the simulation result and the observation data. It can be said that this is a process using the covariate shift.
  • the ratio is closer to 1, it means that q 0 (x) at the time of training and q 1 (x) at the time of testing occur with the same probability.
  • the index is not limited to the ratio, and may be any index that represents the difference between the distribution during training and the distribution during testing, such as the difference between the two distributions.
  • the kernel function k y can be expressed as the following Expression (15).
  • Expression (15) corresponds to expression (20) described later, except for the difference in whether the inverse temperature depends on the training data (observation data).
  • (Y n , Y n ') on the left side of Expression (15) is expressed by an n-dimensional vector (a data set having n elements (that is, including n elements)) as a kernel function. It is shown that it is a two-variable function for the second type of data (however, the two variables are both vectors). That is, Y n on the left side indicates the first variable in the two-variable function, and Y n ′ on the left side indicates the second variable in the two-variable function. Then, Y i on the right side represents the i-th element of the n-dimensional vector input to the two-variable function as the first variable. In addition, Y i ′ on the right side indicates the i-th element of the n-dimensional vector input to the two-variable function as the second variable.
  • ⁇ is the standard deviation of Gaussian noise for the second type of data. More specifically, in Expression (15), ⁇ is the standard deviation of the distribution of the entire observed data of the second type data used to calculate Expression (15).
  • the meaning of ⁇ in Expression (15) can be a value indicating a scale for measuring the similarity between the distribution of the second type of observation data and the distribution of the second type of sample data.
  • n is the number of data of the second type of data
  • ⁇ i is the reverse temperature
  • Y i and Y i ′ are the values of the second type of data. That is, in the equation (15), each element (for example, the type of observation data) included in the second-type data set is weighted by the inverse temperature ⁇ i . In other words, by setting the reverse temperature ⁇ i appropriately, it is possible to give priority to each type of the second type of data.
  • ⁇ i is the inverse temperature depending on the training data (observation data) ⁇ X i , Y i ⁇ . That is, the reverse temperature value can be set to be different for each data. That is, the reverse temperature ⁇ i can be set for each type of observation data (that is, the elements included in Y n ). For example, a larger value is set for the inverse temperature for the type of observation data having a high importance, and a small value is set for the inverse temperature for the observation data having a low importance.
  • the kernel average is calculated for the inverse temperature that does not depend on the training data (observation data) ⁇ X i , Y i ⁇ .
  • the kernel average calculator 114 calculates the kernel average represented by the following formula (16).
  • (Y n , Y n ') on the left side of Expression (20) is expressed by an n-dimensional vector (data set having n elements (that is, including n elements)) as a kernel function. It is shown that it is a two-variable function for the second type of data (however, the two variables are both vectors). That is, Y n on the left side indicates the first variable in the two-variable function, and Y n ′ on the left side indicates the second variable in the two-variable function. Then, Y i on the right side represents the i-th element of the n-dimensional vector input to the two-variable function as the first variable. In addition, Y i ′ on the right side indicates the i-th element of the n-dimensional vector input to the two-variable function as the second variable.
  • ⁇ is the standard deviation of Gaussian noise for the second type of data. More specifically, in Expression (20), ⁇ is the standard deviation of the distribution of the entire observation data of the second type of data used to calculate Expression (20). In particular, the meaning of ⁇ in Expression (20) can be referred to as a value indicating a scale for measuring the similarity between the distribution of the second type of observation data and the distribution of the second type of sample data. Further, n is the number of data of the second type of data, ⁇ is the reverse temperature, and Y i and Y i ′ are the values of the second type of data.
  • ⁇ is a constant that does not depend on the observation data. ⁇ corresponds to ⁇ (t) described above.
  • ⁇ (1) is used as the value of ⁇ in the first parameter estimation processing
  • ⁇ (2) is used as the value of ⁇ in the second parameter estimation processing
  • ⁇ (T) is used as the value of ⁇ in the T-th parameter estimation process.
  • the second parameter sample generating unit 116 generates sample data of parameters according to the posterior distribution defined by using the inverse temperature, based on the kernel average calculated by the kernel average calculating unit 114.
  • the posterior distribution defined using the inverse temperature is the posterior distribution defined based on Bayes' theorem by the prior distribution and the likelihood function controlled by the inverse temperature. Therefore, the posterior distribution is a distribution according to exp (- ⁇ nL n ( ⁇ ) + log ⁇ ( ⁇ )).
  • the second parameter sample generator 116 uses kernel harding to generate sample data of parameters according to the posterior distribution.
  • kernel harding m pieces of sample data ⁇ 1 , ..., ⁇ m according to the posterior distribution are generated by the update equations shown in the following equations (21) and (22).
  • h j 0, ..., M ⁇ 1.
  • argmax ⁇ h j ( ⁇ ) indicates the value of ⁇ that maximizes the value of h j ( ⁇ ).
  • h j is sequentially shown by Expression (22).
  • the value of the kernel average calculated according to the processing shown in Expression (16) is used. That is, the second parameter sample generation unit 116 uses the kernel average calculated by the kernel average calculation unit 114 and performs a predetermined process such as kernel harding to perform m pieces of sample data ⁇ suitable for representing the kernel average. , 1 , ..., ⁇ m are generated.
  • the information processing apparatus 100 executes a process of calculating m sample data according to the estimated posterior distribution for m sample data according to the prior distribution. Therefore, the process in the information processing device 100 can be said to be a process of adjusting the values of m pieces of sample data.
  • the repetition control unit 118 controls to repeat the parameter estimation processing by the kernel ABC and the kernel harding a predetermined number of times (T times). That is, the repetition control unit 118 controls the second type sample data acquisition unit 112 to use the sample generated by the second parameter sample generation unit 116 in the t-th repetition process in the t + 1-th repetition process. For this reason, the kernel average calculation unit 114 calculates the kernel average using the observation data X n and the sample generated by the second parameter sample generation unit 116 in the t-th iterative process in the t + 1-th process. Will be done. Therefore, the repetitive control unit 118 can also be described as follows.
  • the repetitive control unit 118 calculates the kernel average by using the sample generated by the second parameter sample generation unit 116 and the second type data created by the simulator server 200 for the first type data. Control. Then, the repetition control unit 118 controls such that the parameter estimation process is repeated while performing such control.
  • the repetition control unit 118 may set the value of the reverse temperature ⁇ used in each parameter estimation process. As described above, the total ⁇ set in each of the iterative processes is 1. Specifically, for example, the set reverse temperature may be constant regardless of the repetition of the parameter estimation process, or may change along with the repetition of the parameter estimation process.
  • the inverse temperature may be set to be smaller according to the number of repetitions of the parameter estimation process.
  • a value less than or equal to the previous value may be set as the influence degree
  • a value smaller than the previous value may be set as the influence degree at least once.
  • the reverse temperature may be set to increase according to the number of times the parameter estimation process is repeated.
  • a value greater than or equal to the previous value may be set as the influence degree in the repetition
  • a value larger than the previous value may be set as the influence degree in the repetition at least once.
  • the repetition control unit 118 may set the value of the reverse temperature based on a predetermined geometric progression.
  • the value of each term in the geometric progression may be used in order from the first term as the value of the inverse temperature set in each parameter estimation process.
  • the reverse temperature is set to be small according to the number of times the parameter estimation process is repeated.
  • the repetitive control unit 118 may set the reverse temperature as follows. That is, the iterative control unit 118 sets the value of each term of the geometric progression whose number of terms is T-1 in order from the first term as the value of the inverse temperature of the parameter estimation processing from the first time to the T-1th time. To do.
  • the repetition control unit 118 may determine the reverse temperature of this time so as to be equal to or lower than the previously set reverse temperature at each repetition.
  • the value of each term in the geometric progression may be used in order from the last term as the value of the inverse temperature set in each parameter estimation process.
  • the reverse temperature is set to increase according to the number of times the parameter estimation process is repeated.
  • the following settings may be made so that the sum of geometrical progressions consisting of a finite number of terms becomes one.
  • the iterative control unit 118 first sets the value of the (T-1) th term of the geometric progression having the number of terms of T-1 as the inverse temperature value. Then, the value of each term of this geometric progression is set in order from the last term as the value of the inverse temperature of the parameter estimation processing from the second time to the Tth time. In this way, the repetition control unit 118 may determine the reverse temperature of this time so as to be equal to or higher than the previously set reverse temperature at each time of repetition.
  • the reverse temperature can be set arbitrarily.
  • the posterior distribution is proportional to the product of the likelihood function and the prior distribution, and the inverse temperature is a power of the likelihood function.
  • the setting of the inverse temperature indicates to what extent the influence of the likelihood function is reflected on the posterior distribution. Therefore, how to set the inverse temperature in the repeated parameter estimation process may be determined according to the reliability of the likelihood function used. For example, when the reliability of the likelihood function is high, a value larger than the reverse temperature in the first and subsequent iterations of the parameter estimation process may be set as the reverse temperature.
  • a value smaller than the reverse temperature in the subsequent iterations may be set as the reverse temperature in the first parameter estimation process.
  • how to set the inverse temperature in the repeated parameter estimation process may be determined according to the reliability of the prior distribution used. For example, when the reliability of the prior distribution is high, a value smaller than the reverse temperature in the first and subsequent iterations of the parameter estimation process may be set as the reverse temperature. On the contrary, when the reliability of the prior distribution is low, a value larger than the inverse temperature in the subsequent iterations may be set as the inverse temperature in the first parameter estimation process.
  • FIG. 4 is a flowchart showing an example of the operation of the information processing device 100. The operation will be described below with reference to FIG.
  • step S100 the first parameter sample generation unit 110 generates sample data of the parameter ⁇ based on the prior distribution ⁇ ( ⁇ ).
  • the sample data generated by the first parameter sample generation unit 110 is input to the simulator server 200 in the first parameter estimation process.
  • the generated sample data is input to the simulator server 200 by the second type sample data acquisition unit 112.
  • the second type sample data acquisition unit 112 acquires the second type sample data calculated by the simulator server 200. That is, the second type sample data acquisition unit 112 inputs X n , which is the first type data, from the training data set ⁇ X n , Y n ⁇ acquired in advance to the model and outputs the output from the model. get.
  • the training data set ⁇ X n , Y n ⁇ is information in which the first type data X n and the second type data Y n are associated with each other.
  • the second type of data Y n is, for example, the information observed about the observation target by actually performing processing (operation) on the first type of data X n by the observation target. Represents.
  • the simulator server 200 calculates the data Y by performing the calculation according to the value represented by the parameter ⁇ on the value of the data X. This simulates the process (operation) of the observation target.
  • the parameter ⁇ represents, for example, the relationship between input and output in each process (operation).
  • the second type sample data acquisition unit 112 acquires the second type sample data calculated according to the model in which the sample data generated in step S100 is set as a parameter. To do.
  • the second type sample data acquisition unit 112 sets the sample data generated in step S103 described below as a model parameter. Then, the second type sample data calculated according to the model is acquired.
  • step S101 the simulator server 200 accepts X n , which is the first type of data representing the input given to the observation target, as an input, and performs the processing according to the input parameter ⁇ with the first type of data.
  • the observation target is simulated by applying it to a certain X n .
  • the simulator server 200 displays the simulation result ( ) Is created.
  • the kernel average calculation unit 114 calculates the kernel average indicating the posterior distribution of the parameters by the kernel ABC using the obtained sample data.
  • the posterior distribution is the posterior distribution defined by using the inverse temperature, as described above.
  • the kernel average calculation unit 114 calculates the kernel average using the kernel function including the inverse temperature represented by the equation (20). In other words, the kernel average calculator 114 determines the parameter distribution by determining the importance of each sample of the parameters according to the difference between the observed data and the sample data for the second type of data and the inverse temperature. Calculate the data corresponding to.
  • step S103 the second parameter sample generator 116 generates sample data of the parameters according to the posterior distribution defined using the inverse temperature, based on the kernel average calculated in step S102.
  • step S104 the repetition control unit 118 determines whether or not the number of repetitions of the parameter estimation process has reached a predetermined number (T).
  • the repetition control unit 118 uses the sample data obtained in step S103 and controls again to perform the processing of steps S101 to S103.
  • step S105 the repetition control unit 118 outputs the sample data group obtained in step S103 as a posterior distribution of parameters.
  • the parameter estimation process using the inverse temperature is repeated.
  • Bayesian estimation is performed, and the posterior distribution of parameters can be acquired.
  • it is Bayesian estimation in which the parameter estimation process is repeatedly executed, it is suitable for a model such as a singular model where it is difficult to obtain an appropriate sample of the posterior distribution with one parameter estimation process. You can expect to get a sample.
  • the posterior distribution can be estimated even with respect to a singular model such as a neural network.
  • the parameter estimation process is repeatedly executed, it is possible to expect to obtain an appropriate sample even when the prior distribution is not appropriate.
  • the sample data of the parameters output in step S105 of FIG. 4 may be used for the simulation by the simulator server 200. That is, the repetition control unit 118 may input the sample data (that is, the sample data of the parameter ⁇ ) generated in step S103 at the end of the repeating process to the simulator server 200.
  • the simulator server 200 receives m pieces of the sample data and executes the simulation calculation regarding the observation target based on the received sample data. Specifically, the simulator server 200 executes m types of simulation processing according to the sample data for given data of the first type X n . As a result, the simulator server 200 calculates m types of simulation results for given first type data X n .
  • the m kinds of simulation results are not always different from each other and may include the same result.
  • the information processing apparatus 100 receives m types of simulation results. Then, the information processing apparatus 100 calculates a simulation result that is a total of m types of simulation results. For example, the information processing apparatus 100 calculates the average of m types of simulation results. That is, the information processing apparatus 100 calculates the simulation result for the given first type data X n . The information processing apparatus 100 may calculate the simulation result for a given first type of data X n, for example, by calculating a weighted average of m types of simulation results.
  • the information processing apparatus 100 executes the processing described above with reference to FIG. 4 so that the simulation result calculated by the simulator server 200 and the observation information Y n match (match) with the sample data of the parameter ⁇ .
  • the above-described simulation result calculated by the information processing apparatus 100 is a simulation result according to the sample data according to the posterior distribution.
  • the information processing apparatus 100 can calculate the simulation result that matches the observation information based on the simulation result created by the simulator server 200. Therefore, the information processing apparatus 100 can calculate a simulation result that matches the observation information by creating a value that matches the observation information for the sample data of the parameter ⁇ given to the simulator server 200.
  • FIG. 5 is a block diagram showing the configuration of the information processing device 1.
  • the information processing device 1 includes a correspondence data calculation unit 2, a new parameter sample generation unit 3, and a repetition control unit 4.
  • the correspondence data calculation unit 2 acquires a plurality of pieces of observation information (Y n ) observed when an input (X n ) is given to the observation target, and the second type of data ( ) And the inverse temperature ( ⁇ ), the importance of each sample of the parameters is determined.
  • the second type of data is data created by a simulator for simulating an observation target based on a sample of parameters for a plurality of samples and the first type of data representing the input.
  • the corresponding data calculation unit 2 calculates the data corresponding to the parameter distribution.
  • the new parameter sample generation unit 3 uses the data corresponding to the parameter distribution calculated by the corresponding data calculation unit 2 to generate a new parameter sample according to a predetermined process (for example, kernel harding).
  • the repetition control unit 4 uses the new sample generated by the new parameter sample generation unit 3 and the second type data created by the simulator for the first type data, and the corresponding data calculation unit 2 uses the parameter Control is performed to calculate data corresponding to the distribution of. Then, the repetition control unit 4 controls so that the processes of the corresponding data calculation unit 2 and the new parameter sample generation unit 3 are repeated. With such a configuration, Bayesian estimation is performed. Therefore, the information processing device 1 can acquire the posterior distribution of the parameters.
  • Appendix 1 A plurality of pieces of observation information that are observed when an input is given to an observation target, and a simulator that simulates the observation target based on a sample of parameters is created for the plurality of samples and the first type data representing the input.
  • Corresponding data calculation means for determining the importance of each sample according to the difference from the second type of data and the degree of influence of the sample on the distribution of the parameter, and calculating the data corresponding to the distribution of the parameter.
  • New parameter sample generation means for generating a new sample of the parameter according to a predetermined process using data corresponding to the distribution of the parameter
  • the corresponding data calculation unit determines the distribution of the parameters by using the new sample created by the new parameter sample creation unit and the second type data created by the simulator for the first type data.
  • An information processing apparatus comprising: a control unit that controls to calculate corresponding data, and a repetition control unit that controls to repeat the processes of the corresponding data calculation unit and the new parameter sample generation unit.
  • Appendix 2 The information processing apparatus according to appendix 1, wherein the degree of influence changes as the processes of the corresponding data calculation unit and the new parameter sample generation unit are repeated.
  • Appendix 3 The value less than or equal to the previous value is set in the repetition in the repetition, and the value smaller than the previous value is set in the repetition at least once in the repetition. ..
  • (Appendix 4) The value greater than or equal to the previous value is set in the repetition in the repetition, and the value larger than the previous value is set in the repetition at least once in the repetition. ..
  • Appendix 8 The information processing apparatus according to appendix 7, wherein the correspondence data calculation unit calculates the kernel average by a kernel ABC (Kernel Approximate Bayesian Computation) using the kernel function represented by the following equation.
  • ⁇ is the standard deviation of Gaussian noise for the second type of data
  • n is the number of elements of the second type of data
  • ⁇ is the inverse temperature
  • Y i and Y i ' is the value of the second type data.
  • Appendix 9 9. The information processing device according to any one of appendices 1 to 8, wherein the influence degree of each repetition is set such that the total of the influence degrees for the number of times of repetition is 1.
  • Appendix 10 An information processing system comprising: the information processing device according to any one of appendices 1 to 9; and the simulator.
  • Appendix 11 The information processing system according to appendix 10, wherein the simulator executes processing based on the sample generated by the new parameter sample generation means after repeating the processing of the corresponding data calculation means and the new parameter sample generation means.
  • Appendix 12 Depending on the information processing device, A plurality of pieces of observation information that are observed when an input is given to an observation target, and a simulator that simulates the observation target based on a sample of parameters is created for the plurality of samples and the first type data representing the input.
  • a first process of determining the importance of each sample according to the difference from the second type of data and the degree of influence of the sample on the distribution of the parameter, and calculating data corresponding to the distribution of the parameter Run Performing a second process of generating a new sample of the parameter according to a predetermined process using the data corresponding to the distribution of the parameter, While controlling to execute the first process by using the second sample data created by the simulator with respect to the new sample and the first type data generated by the second process.
  • An information processing method for controlling the first process and the second process to be repeated.
  • a plurality of pieces of observation information that are observed when an input is given to an observation target, and a simulator that simulates the observation target based on a sample of parameters is created for the plurality of samples and the first type data representing the input.
  • Corresponding data calculation step of determining the importance of each sample according to the difference from the second type of data and the degree of influence of the sample on the distribution of the parameter, and calculating data corresponding to the distribution of the parameter.
  • a new parameter sample generation step of generating a new sample of the parameter according to a predetermined process using the data corresponding to the distribution of the parameter; Control is performed to execute the corresponding data calculation step by using the new sample created in the new parameter sample creation step and the second type data created by the simulator with respect to the first type data.
  • a non-transitory computer-readable medium that stores a program that causes a computer to execute a repetitive control step of controlling to repeat the processing of the corresponding data calculation step and the new parameter sample generation step.
  • Information Processing Device 1 Information Processing Device 2 Corresponding Data Calculation Unit 3 New Parameter Sample Generation Unit 4 Repetition Control Unit 10 Information Processing System 100 Information Processing Device 101 Input / Output Interface 102 Memory 103 Processor 110 First Parameter Sample Generation Unit 112 Second Type Sample Data Acquisition Unit 114 kernel average calculation unit 116 second parameter sample generation unit 118 repetition control unit 200 simulator server

Abstract

モデルのパラメータの事後分布を推定する。情報処理装置（１）は、観測対象に入力を与えた場合に観測される複数の観測情報と、前記観測対象をパラメータのサンプルに基づきシミュレーションするシミュレータが複数の前記サンプル及び前記入力を表す第１種類のデータに対して作成した第２種類のデータとの差異と、前記パラメータの分布に対する前記サンプルの影響度とに応じて、各前記サンプルの重要度を決定し、前記パラメータの分布に対応するデータを算出する対応データ算出部（２）と、前記パラメータの分布に対応するデータを用いて、所定の処理に従い、前記パラメータの新たなサンプルを生成する新規パラメータサンプル生成部（３）と、前記対応データ算出部（２）及び前記新規パラメータサンプル生成部（３）の処理を繰り返すよう制御する繰り返し制御部（４）とを備える。

Description

情報処理装置、情報処理システム、情報処理方法及びプログラムが格納された非一時的なコンピュータ可読媒体
　本発明は情報処理装置、情報処理システム、情報処理方法、及びプログラムに関する。
　シミュレーションで用いるモデルのパラメータを求めるための技術が提案されている。例えば、非特許文献１は、カーネルＡＢＣ（Kernel Approximate Bayesian Computation）及びカーネルハーディング（Kernel Herding）を繰り返し実行することにより、パラメータの点推定を行う手法について提案している。
　また、その他の関連技術として、いくつかの文献を挙げる。
　特許文献１に開示された技術では、適応制御器として動作するコンピュータは、対象とする物理システムの時間発展がマルコフ過程として記述される際に、物理システムの状態に対する制御量を決定する。そして、このコンピュータは、物理システムの状態量を目標値に制御するための制御信号を、確率的な逐次的重点サンプリング法により適応的に生成する。
　特許文献２には、風力発電による発電量を予測する風力発電量予測装置が開示されている。この風力発電量予測装置は、第１風速と前記第１風速における第１発電量とを示すデータを近似する多項式を生成し、この多項式に基づいてそれぞれ算出される第２風速及び前記第２風速における第２発電量の誤差分散に基づく最尤推定値を計算する。そして、風力発電量予測装置が、前記最尤推定値に基づいて、情報量規準を算出する。
　特許文献３は、目的変数の平均および分散が、連続値を取る説明変数に依存している場合においても、正確な回帰分析ができる情報処理装置について開示している。
特開２００５－０８４８３４号公報 特開２０１７－１４１７４７号公報 国際公開第２０１１／０７４５０９号
Takafumi Kajihara, Motonobu Kanagawa, Keisuke Yamazaki, Kenji Fukumizu, "Kernel Recursive ABC: Point Estimation with Intractable Likelihood", arXiv:1802.08404v2, 12 June 2018.
　しかし、非特許文献１に開示された手法は、最尤推定法の一種であるため、当該手法では点推定が行なわれる。すなわち、分布の推定が行なわれない。このため、例えば、特異モデル（singular model）のパラメータを推定する場合には、適切な推定ができない恐れがある。このような背景から、モデルのパラメータの事後分布を推定することができる新規な手法の提案が求められている。なお、特許文献１乃至３においても、モデルのパラメータの事後分布を推定する手法については開示されていない。
　そこで、本明細書に開示される実施形態が達成しようとする目的の１つは、モデルのパラメータの事後分布を推定することができる情報処理装置等を提供することにある。
　第１の態様にかかる情報処理装置は、
　観測対象に入力を与えた場合に観測される複数の観測情報と、前記観測対象をパラメータのサンプルに基づきシミュレーションするシミュレータが複数の前記サンプル及び前記入力を表す第１種類のデータに対して作成した第２種類のデータとの差異と、前記パラメータの分布に対する前記サンプルの影響度とに応じて、各前記サンプルの重要度を決定し、前記パラメータの分布に対応するデータを算出する対応データ算出手段と、
　前記パラメータの分布に対応するデータを用いて、所定の処理に従い、前記パラメータの新たなサンプルを生成する新規パラメータサンプル生成手段と、
　前記新規パラメータサンプル生成手段により生成された前記新たなサンプル及び前記第１種類のデータに対して前記シミュレータが作成した前記第２種類のデータを用いて、前記対応データ算出手段が前記パラメータの分布に対応するデータを算出するよう制御しつつ、前記対応データ算出手段及び前記新規パラメータサンプル生成手段の処理を繰り返すよう制御する繰り返し制御手段と
　を備える。
　第２の態様にかかる情報処理システムは、
　前記情報処理装置と
　前記シミュレータと
　を備える。
　第３の態様にかかる情報処理方法は、
　情報処理装置によって、
　観測対象に入力を与えた場合に観測される複数の観測情報と、前記観測対象をパラメータのサンプルに基づきシミュレーションするシミュレータが複数の前記サンプル及び前記入力を表す第１種類のデータに対して作成した第２種類のデータとの差異と、前記パラメータの分布に対する前記サンプルの影響度とに応じて、各前記サンプルの重要度を決定し、前記パラメータの分布に対応するデータを算出する第１の処理を実行し、
　前記パラメータの分布に対応するデータを用いて、所定の処理に従い、前記パラメータの新たなサンプルを生成する第２の処理を実行し、
　前記第２の処理により生成された前記新たなサンプル及び前記第１種類のデータに対して前記シミュレータが作成した前記第２種類のデータを用いて、前記第１の処理を実行するよう制御しつつ、前記第１の処理及び前記第２の処理を繰り返すよう制御する。
　第４の態様にかかるプログラムは、
　観測対象に入力を与えた場合に観測される複数の観測情報と、前記観測対象をパラメータのサンプルに基づきシミュレーションするシミュレータが複数の前記サンプル及び前記入力を表す第１種類のデータに対して作成した第２種類のデータとの差異と、前記パラメータの分布に対する前記サンプルの影響度とに応じて、各前記サンプルの重要度を決定し、前記パラメータの分布に対応するデータを算出する対応データ算出ステップと、
　前記パラメータの分布に対応するデータを用いて、所定の処理に従い、前記パラメータの新たなサンプルを生成する新規パラメータサンプル生成ステップと、
　前記新規パラメータサンプル生成ステップで生成された前記新たなサンプル及び前記第１種類のデータに対して前記シミュレータが作成した前記第２種類のデータを用いて、前記対応データ算出ステップを実行するよう制御しつつ、前記対応データ算出ステップ及び前記新規パラメータサンプル生成ステップの処理を繰り返すよう制御する繰り返し制御ステップと
　をコンピュータに実行させる。
　上述の態様によれば、モデルのパラメータの事後分布を推定することができる情報処理装置等を提供することができる。
実施形態に係る情報処理システムの構成の一例を示すブロック図である。 実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。 実施の形態にかかる情報処理装置の機能構成の一例を示すブロック図である。 実施の形態にかかる情報処理装置の動作の一例を示すフローチャートである。 その他の実施の形態にかかる情報処理装置の機能構成の一例を示すブロック図である。
　以下の各実施形態においては、理解しやすさのため数学的な用語を用いて説明するが、各用語は必ずしも数学的に定義されている値でなくてもよい。たとえば、距離は、ユークリッドノルムや、１ノルム等、数学的に定義することができる。しかし、距離は、そのような値に１を足したような値であってもよい。すなわち、以下の実施形態にて用いられる用語は、数学的に定義されている用語でなくてもよい。
　以下、図面を参照して本発明の実施の形態について説明する。
　図１は、実施形態に係る情報処理システム１０の構成の一例を示すブロック図である。図１に示すように、情報処理システム１０は、情報処理装置１００とシミュレータサーバ（シミュレータ）２００とを備える。
　シミュレータサーバ２００は、第１種類のデータの入力を受けて第２種類のデータを出力するシミュレータである。すなわち、シミュレータサーバ２００は、パラメータθにより規定されるモデルに従って、第１種類のデータから、第２種類のデータを予測するシミュレーション処理を行なう。たとえば、シミュレータサーバ２００は、パラメータθのサンプルに基づき、観測対象における処理（動作）をシミュレーションする処理を実行する。サンプルは、パラメータθの値を表す。したがって、複数のサンプルは、当該パラメータθの値として設定される複数の例（データ）を表している。
　以下では、第１種類のデータをデータＸと称し、第２種類のデータをデータＹと称する。また、観測データの個数をｎ（ｎは正の整数）として、データＸの観測データ（第１種類の観測データ）を観測データＸｎと表記し、データＹの観測データ（第２種類の観測データ）を観測データＹｎと表記する。また、観測データＸｎの要素をＸ１、・・・、Ｘｎと表記し、観測データＹｎの要素をＹ１、・・・、Ｙｎと表記する。情報処理装置１００は、データＸｉ（ｉは、１≦ｉ≦ｎの整数）とデータＹｉとが一対一に対応付けられた観測データ（従って、Ｘ－Ｙ平面にプロット可能な観測データ）を取得する。
　以降においては、観測データを観測情報と表すこともある。また、観測データＹｎを複数の観測情報と表すこともある。この場合に、また、各要素Ｙ１、・・・、Ｙｎを、それぞれ、観測情報と表すこともある。
　観測データＸｎおよびＹｎは特定の種類のデータに限定されず、実測されたいろいろなデータとすることができる。観測データを得るための実測方法は特定の方法に限定されず、ユーザなど人による計数または測定、あるいはセンサを用いたセンシングなど、いろいろな方法を採用可能である。
　例えば、観測データＸｎの要素は、観測対象を構成している構成要素の状態を表すものであってもよい。観測データＹｎの要素は、センサ等を用いて観測対象に関して観測された状態を表すものであってもよい。例えばユーザが、製造工場の生産性を分析したい場合、観測データＸｎは、当該製造工場における各設備の稼働状況を表すものであってもよい。観測データＹｎは、複数の設備によって構成されるラインにて製造される製品の個数を表すものであってもよい。また、観測データＸｎは、製造工場において製品の原材料となる素材を表していてもよい。この場合に、観測データＸｎによって表されている素材は、１つ以上の加工工程を経て製品に加工される。当該製品は、１種類の製品であるとは限らず、複数の製品（たとえば、製品Ａ、製品Ｂ、副産物Ｃ）であってもよい。観測データＹｎは、たとえば、製品Ａの個数、製品Ｂの個数、及び、副産物Ｃの個数（または、生産量等）を表している。
　観測対象、および、観測データは、上述した例に限定されず、たとえば、加工工場における設備であってもよいし、ある施設を建設する場合における建設システムであってもよい。
　ここで、観測データＸｎおよびＹｎは、独立に同一の真の分布ｑ（ｘ，ｙ）＝ｑ（ｘ）ｑ（ｙ｜ｘ）に従って生じる。真のモデルｑ（ｙ｜ｘ）を推測するための統計モデルは、ｐ（ｙ｜ｘ，θ）と表せる。ｑ（ｙ｜ｘ）は、事象ｘが生じたときに、事象ｙが生じる確率を表している。また、「ｑ（ｘ）ｑ（ｙ｜ｘ）」は、「ｑ（ｘ）×ｑ（ｙ｜ｘ）」を表している。以降においては、説明の便宜上、数学的な慣習に倣い、掛け算を表す演算子「×」を省略して表す。
　シミュレータサーバ２００が用いる回帰モデルｒ（ｘ，θ）は、パラメータθの値の設定、および、変数ｘへのデータＸの値の入力を受けて、データＹの値を出力する。たとえば、シミュレータサーバ２００は、データＸ（ｘの値）に対して、パラメータθのサンプルを含む演算を施すことにより、データＹの値を出力する。なお、モデルには、必ずしも微分可能な関数が用いられなくてもよい。シミュレータサーバ２００は、観測対象における処理又は動作をシミュレーションする。
　たとえば、観測対象が製造工場である場合に、シミュレータサーバ２００は、データＸの値に対して、パラメータθが表す値に従った演算を施しデータＹを算出することによって、製造工場における各プロセスをシミュレーションする。この場合に、パラメータθは、たとえば、各プロセスにおける入出力間の関係性を表している。パラメータθは、プロセスにおける状態を表しているともいうことができる。パラメータθは、１つであるとは限らず、複数であってもよい。すなわち、回帰モデルｒ（ｘ，θ）は、シミュレータサーバ２００が実行している全体の処理を、符号ｒを用いて総称的に表しているということもできる。
　ここで、ベイズの統計的推論における表記について定義する。マイナス対数尤度関数(minus log likelihood function)Ｌｎ（θ）は以下の式（１）のように定義される。
＜式（１）＞
Figure JPOXMLDOC01-appb-M000002
　回帰問題がガウスノイズを伴う回帰関数でモデル化される場合、統計モデル（尤度関数）ｐ（ｙ｜ｘ，θ）は、以下の式（２）のように表される。統計モデルｐ（ｙ｜ｘ，θ）は、回帰モデルｒ（ｘ，θ）についての統計的な性質を示すモデルである。ただし、この回帰モデルｒ（ｘ，θ）は、必ずしも、数学的な式を用いて明示的に表されているとは限らず、たとえば、ｘと、θとを入力として、ｒ（ｘ，θ）を出力とするシミュレーション等の処理を表していてもよい。一般的に、回帰モデルでは、与えられたデータに合うように数式の係数が決められる。しかし、本実施形態における回帰モデルｒ（ｘ，θ）は、そのような数式が与えられていない場合であってもよい。すなわち、本実施形態における回帰モデルｒ（ｘ，θ）は、入力ｘ及びθと、出力ｒ（ｘ，θ）とが関連付けされた情報を表していればよい。
＜式（２）＞
Figure JPOXMLDOC01-appb-M000003
　ここで、σ（ただし、σ＞０）は、ガウスノイズの標準偏差である。すなわち、σはガウスノイズを伴う回帰関数で定義されるモデルにおける当該ガウスノイズの標準偏差である。また、ｒ（ｘ，θ）は、シミュレータサーバ２００が、回帰モデルによって表す処理に従い算出する値である。ｄはＸの次元数（すなわち、上述した観測データの個数）である。ｅｘｐは、ネイピア数を底とする指数関数を表す。｜｜は、ノルムを算出することを表す。πは、円周率を表す。
　また、逆温度を含むベイズの定理は、以下の式（３）のように表される。
＜式（３）＞
Figure JPOXMLDOC01-appb-M000004
　ここで、π（θ）は、パラメータθについての事前分布である。また、ｐ（θ｜ｘ，ｙ）は、パラメータθについての事後分布である。β（ただし、β＞０）は、逆温度と呼ばれるパラメータである。上記ベイズの定理によれば、パラメータθの事後分布は、パラメータθの事前分布π（θ）と、尤度関数ｐ（ｙ｜ｘ，θ）とに基づいて、算出することができる。
　尤度関数ｐ（ｙ｜ｘ，θ）が解析的に数式として表現できない場合、すなわち尤度関数ｐ（ｙ｜ｘ，θ）が微分できない場合、パラメータθの事後分布を算出することは困難である。しかしながら、そのような場合であっても、例えば次のような手法により、事後分布に従うサンプルを取得することができる。以下、カーネルＡＢＣ（Kernel Approximate Bayesian Computation）及び所定の処理（カーネルハーディング（Kernel Herding）等）を用いたパラメータθのサンプルデータの取得について説明する。
　カーネルＡＢＣは、カーネル平均を算出することにより、事後分布を推定するアルゴリズムである。カーネルＡＢＣでは、ｍ個のサンプルデータに基づきシミュレーションを行い、ｍ個のパラメータのサンプルデータの重み（重要度）を、観測対象に対して観測された観測データに基づき決定することで事後分布が得られる。たとえば、シミュレーション結果が観測データに類似しているほど、当該シミュレーション結果に用いられたパラメータを重視する重みを算出する。逆に、シミュレーション結果が観測データに類似していないほど、当該シミュレーション結果に用いられたパラメータを軽視する重みを算出する。
　カーネルハーディング（所定の処理の一例）は、事後分布を示すカーネル平均から事後分布に従ったサンプルを取得するアルゴリズムである。カーネルハーディングは、求めたカーネル平均に最も近くなる場合のサンプルを逐次的に決めていく。本実施形態においては、カーネルＡＢＣ、及び、カーネルハーディングにおける処理によって、ｍ個のサンプルに対して、新たにｍ個のサンプルが算出されるため、サンプルの値を調整しているともいうことができる。
　カーネルハーディングは、サンプルを逐次的に決めていく方法であるが、事後分布（本実施形態では、推定された事後分布）に従ったサンプルを取得する所定の処理は、カーネルハーディングに限定されない。すなわち、所定の処理は、事後分布（本実施形態では、推定された事後分布）に従ったサンプルを作成する方法であればよい。
　本実施の形態では、式（３）に示したとおり、逆温度βが含まれる事後分布に従ったパラメータθのサンプルデータを取得する。具体的には、カーネルＡＢＣ及びカーネルハーディングを用いてサンプルデータを取得する情報処理装置１００について示す。
　逆温度βは、事後分布を推定する処理において、各サンプルに基づき算出される分布が当該推定される分布に与える影響を平準化するレベルを表している値を表しているということもできる。この場合に、逆温度βが高い値であるほど、平準化するレベルは低い。言い換えると、逆温度βが高い値であるほど、推定される分布は、個々の分布の影響を受けやすくなる。これに対して、逆温度βが低い値であるほど、平準化するレベルは高い。言い換えると、逆温度βが低い値であるほど、推定される分布は、一部の分布の影響を受けにくくなる。また、逆温度βは、当該推定される分布に対してサンプルが影響している程度を表す影響度を表しているとも言うことができる。すなわち、逆温度βは、当該推定される分布に対するサンプルの影響度を表しているとも言うことができる。
　次に、本実施の形態におけるパラメータθの事後分布の推定方法について説明する。本実施の形態では、カーネルＡＢＣ及びカーネルハーディングによるパラメータ推定処理を繰り返し実行することで、パラメータθの事後分布のサンプルを取得する。すなわち、本実施の形態では、パラメータ推定処理により取得されたパラメータθの事後分布のサンプルを、事前分布からのサンプルとみなして、パラメータ推定処理を繰り返すことにより、パラメータθの事後分布のサンプルを取得する。これについて、数式を用いて説明する。なお、情報処理装置１００は、上述した処理の繰り返しをＴ回、行なう。ただし、Ｔは２以上の整数である。また、ｔ番目の（ただし、ｔ＝１，２，・・・，Ｔ）繰り返し処理で用いられる逆温度の値をβ（ｔ）とする。ここで、繰り返し処理のそれぞれで設定されるβ（ｔ）の合計は１であるとする。すなわち、以下の式（４）が成り立つとする。ただし、０＜β（ｔ）＜１である。
＜式（４）＞
Figure JPOXMLDOC01-appb-M000005
　言い換えると、この場合には、繰り返し回数分の影響度の合計が１となるように、繰り返しの各回の影響度が設定される。
　繰り返し処理の１回目（ｔ＝１）、すなわち、１回のパラメータ推定処理では、ベイズの定理（式（３）参照）に基づいて、以下の式（５）で表される事後分布が得られる。なお、１回のパラメータ推定処理では、パラメータθの事前分布から得られた第１の所定数のサンプルに基づいて、第２の所定数のパラメータが得られる。事前分布から得るサンプル数（すなわち第１の所定数）と、パラメータ推定処理結果として得られるサンプル数（すなわち第２の所定数）は本実施の形態ではいずれもｍ個であるが、互いに異なってもよい。ただし、サンプル数は多いほど分布を適切に表現できる。
＜式（５）＞
Figure JPOXMLDOC01-appb-M000006
　なお、「∝」は、比例関係を表している。ここで、繰り返し処理の１回目により得られた事後分布ｐ（１）（θ｜ｘ，ｙ）を、事前分布とみなし、繰り返し処理の２回目を行なう。すなわち、繰り返し処理の１回目の処理結果として得られたサンプルを用いて、再度、パラメータ推定処理を行なう。その結果、得られる事後分布（繰り返し処理の２回目により得られた事後分布ｐ（２）（θ｜ｘ，ｙ））は、以下の式（６）で表される。
＜式（６）＞
Figure JPOXMLDOC01-appb-M000007
　同様に、繰り返し処理の２回目により得られた事後分布ｐ（２）（θ｜ｘ，ｙ）を、事前分布とみなし、繰り返し処理の３回目を行なう。したがって、繰り返し処理のＴ回目で得られる事後分布ｐ（Ｔ）（θ｜ｘ，ｙ）は、以下の式（７）で表される。
＜式（７）＞
Figure JPOXMLDOC01-appb-M000008
　つまり、式（４）を用いると、事後分布ｐ（Ｔ）（θ｜ｘ，ｙ）は、以下の式（８）で表される。
＜式（８）＞
Figure JPOXMLDOC01-appb-M000009
　式（８）は、逆温度を含まないベイズの定理を表している。つまり、ベイズ推定が行なわれていることを示している。非特許文献１で示された手法は、最尤推定、すなわち、点推定であるが、本実施の形態で示される手法では、逆温度を用いたパラメータ推定処理を繰り返すことにより、分布の推定を可能にしている。
　以下、情報処理装置１００について具体的に説明する。
　図２は、情報処理装置１００のハードウェア構成の一例を示すブロック図である。情報処理装置１００は、入出力インタフェース１０１、メモリ１０２、及びプロセッサ１０３を含む。
　入出力インタフェース１０１は、データの入出力を行うインタフェースである。例えば、入出力インタフェース１０１は、他の装置と通信するために使用される。この場合、例えば、入出力インタフェース１０１は、シミュレータサーバ２００と通信するために使用される。入出力インタフェース１０１は、観測データＸｎ又は観測データＹｎを出力するセンサ装置などの外部装置と通信するために使用されてもよい。また、入出力インタフェース１０１は、さらに、キーボード及びマウスなどの入力デバイスと接続するインタフェースを含んでもよい。この場合、入出力インタフェース１０１は、ユーザの操作により入力されたデータを取得する。また、入出力インタフェース１０１は、さらに、ディスプレイと接続するインタフェースを含んでもよい。この場合、例えば、入出力インタフェース１０１を介して、ディスプレイに、情報処理装置１００の演算結果などが表示される。
　メモリ１０２は、例えば、揮発性メモリ及び不揮発性メモリの組み合わせによって構成される。メモリ１０２は、情報処理装置１００の処理に用いられる各種データの他、プロセッサ１０３により実行される、１以上の命令を含むソフトウェア（コンピュータプログラム）などを格納するために使用される。
　プロセッサ１０３は、メモリ１０２からソフトウェア（コンピュータプログラム）を読み出して実行することで、後述する図３に示される各構成の処理を行う。プロセッサ１０３は、例えば、マイクロプロセッサ、ＭＰＵ(Micro Processor Unit)、又はＣＰＵ(Central Processing Unit)などであってもよい。プロセッサ１０３は、複数のプロセッサを含んでもよい。
　また、上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ　ｃｏｍｐｕｔｅｒ　ｒｅａｄａｂｌｅ　ｍｅｄｉｕｍ）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（ｔａｎｇｉｂｌｅ　ｓｔｏｒａｇｅ　ｍｅｄｉｕｍ）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ　ＲＯＭ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ　ＰＲＯＭ）、フラッシュＲＯＭ、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（ｔｒａｎｓｉｔｏｒｙ　ｃｏｍｐｕｔｅｒ　ｒｅａｄａｂｌｅ　ｍｅｄｉｕｍ）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
　図３は、情報処理装置１００の機能構成の一例を示すブロック図である。情報処理装置１００は、第１のパラメータサンプル生成部１１０と、第２種類サンプルデータ取得部１１２と、カーネル平均算出部１１４と、第２のパラメータサンプル生成部１１６と、繰り返し制御部１１８とを有する。なお、第１のパラメータサンプル生成部１１０は、事前パラメータサンプル生成部とも称され、カーネル平均算出部１１４は対応データ算出部とも称され、第２のパラメータサンプル生成部１１６は、新規パラメータサンプル生成部とも称される。
　第１のパラメータサンプル生成部１１０は、第１種類のデータ（データＸ）の入力を受けて第２種類のデータ（データＹ）を出力する回帰モデルｒ（ｘ，θ）のパラメータθの事前分布π（θ）に基づいて、パラメータθのサンプルデータを生成する。事前分布π（θ）は、たとえば、一様分布である。一様分布である場合には、θの値が定義されている定義域からランダムにサンプルデータが選ばれる。ある程度事後分布に近いと推定される分布が得られている場合には、当該分布を事前分布π（θ）に設定してもよい。この場合には、当該定義域から、事前分布π（θ）に従いサンプルデータが選ばれる。事前分布π（θ）は、上述した例に限定されず、また、陽に与えられているとも限らない。事前分布π（θ）が陽に与えられていない場合には、事前分布π（θ）を、たとえば、一様分布に設定する。また、後述するように、事前分布π（θ）をユーザが設定してもよい。
　すなわち、第１のパラメータサンプル生成部１１０が生成するサンプルデータの数をｍ（ｍは正の整数）とし、ｊを１≦ｊ≦ｍの整数とすると、パラメータθのサンプルデータは、以下の式（９）のように表される。ここで、ｄθは、パラメータの次元数（すなわち、パラメータθの種類の個数）を示す。すなわち、式（９）は、ｄθ種類のパラメータを含むセットが、ｍ個であること表す。Ｒは、実数を示す。
　式（９）に示されるように、パラメータθのサンプルデータは、ｄθ次元の実数として示され、事前分布π（θ）に従う。なお、事前分布π（θ）は、予めメモリ１０２に記憶されている。事前分布π（θ）は、例えば、ユーザが、シミュレーション対象に関して有する知識に応じた精度で予め設定されている。
＜式（９）＞
Figure JPOXMLDOC01-appb-M000010
　上述した繰り返し処理の１回目において、第２種類サンプルデータ取得部１１２は、次のように動作する。第２種類サンプルデータ取得部１１２は、第１のパラメータサンプル生成部１１０が生成したパラメータθを受け取り、受け取ったｍ個のパラメータθを第１種類のデータの観測データ（観測データＸｎ）と供にシミュレータサーバ２００に入力する。また、繰り返し処理の２回目以降においては、第２種類サンプルデータ取得部１１２は、次のように動作する。第２種類サンプルデータ取得部１１２は、後述する第２のパラメータサンプル生成部１１６が生成したパラメータθについてのｍ個のサンプルを、後述する繰り返し制御部１１８の制御にしたがって受け取る。そして、第２種類サンプルデータ取得部１１２は、受け取ったｍ個のパラメータθを第１種類のデータの観測データ（観測データＸｎ）と供にシミュレータサーバ２００に入力する。
　これにより、シミュレータサーバ２００には、当該ｍ個のパラメータθと、第１種類のデータの観測データ（観測データＸｎ）とが入力される。
　シミュレータサーバ２００は、入力された当該ｍ個のパラメータθのそれぞれに関して、第１種類のデータの観測データ（観測データＸｎ）に基づき、シミュレーション計算を実行する。すなわち、シミュレータサーバ２００は、入力した当該ｍ個のパラメータθに応じて、観測対象に関するｍ種類のシミュレーション計算を実行する。シミュレータサーバ２００は、ｍ種類のシミュレーション計算を実行することによって、ｍ種類のシミュレーション結果（
Figure JPOXMLDOC01-appb-M000011
 ）を算出する。
　第２種類サンプルデータ取得部１１２は、シミュレータサーバ２００からｍ種類のシミュレーション結果を、第２種類のサンプルデータとして取得する。上述した処理を数学的に表せば、以下のように表すことができる。
　第２種類サンプルデータ取得部１１２は、パラメータのサンプルデータ毎に、ｎ個（観測データＸｎの要素数と同数）の要素を有する、式（１０）のように表されるサンプルデータを、モデル（シミュレータサーバ２００）から取得する。
＜式（１０）＞
Figure JPOXMLDOC01-appb-M000012
　式（１０）に示されるように、第２種類サンプルデータ取得部１１２が取得するサンプルデータは、ｎ次元の実数として示され、回帰モデルｒ（ｘ，θ）の尤度関数ｐ（ｙ｜θ）に、パラメータのサンプルデータを入力した分布に従う。
　カーネル平均算出部１１４は、カーネルＡＢＣに従い、パラメータの事後分布を示すカーネル平均を推定する。すなわち、カーネル平均算出部１１４は、パラメータのサンプルデータと第２種類のサンプルデータとに基づいて、パラメータの事後分布を示すカーネル平均を算出する。特に、カーネル平均算出部１１４は、逆温度が含まれるカーネル関数を用いてカーネル平均を算出する。
　ここで、カーネルＡＢＣについて説明する。式（９）で示されるサンプルデータと、式（１０）で示されるサンプルデータを用いて、カーネルＡＢＣでは、以下の式（１１）で示されるカーネル平均を算出する。カーネル平均は、事後分布をカーネル平均埋め込み（Kernel Mean Embeddings）により再生核ヒルベルト空間（Reproducing Kernel Hilbert Space；ＲＫＨＳ）上で表現したものに該当する。カーネル平均は、パラメータの分布（事後分布）に対応するデータの一例である。
＜式（１１）＞
Figure JPOXMLDOC01-appb-M000013
　ここで、重みｗｊは、以下の式（１２）のように示される。Ｈは、再生核ヒルベルト空間を示す。すなわち、重み（重要度）ｗｊが大きな値であるほど、サンプル
Figure JPOXMLDOC01-appb-M000014
 に関するカーネルが平均に与える影響が強いことを表す。重みｗｊが小さな値であるほど、サンプル
Figure JPOXMLDOC01-appb-M000015
 に関するカーネルが平均に与える影響が弱いことを表す。
＜式（１２）＞
Figure JPOXMLDOC01-appb-M000016
　なお、上付きのＴは、行列またはベクトルの転置を示す。また、Ｉは、単位行列を示し、δ（ただし、δ＞０）は、正則化定数（regularization constant）である。また，ベクトルｋｙ（Ｙｎ）及びグラム行列（Gramm Matrix）Ｇは、実数の要素からなるデータベクトルＹｎに対するカーネルｋｙにより、以下の式（１３）、式（１４）のように示される。ｋｙ（Ｙｎ）は、観測データＹｎと、当該観測データＹｎに対応する式（１０）のサンプルデータの近さ（ノルム）、すなわち類似度を算出する関数である。言い換えると、式（１３）により、観測データ（観測データＸｎ）に対してシミュレータサーバ２００が出力したｍ種類のシミュレーション結果のそれぞれと、当該観測データに対して観測対象が実際に出力した観測データとの類似度が算出される。カーネル平均は、算出された類似度を用いて各パラメータの重みを決定し、式（１１）に示す処理に従い算出される重み付き平均である。
＜式（１３）＞
Figure JPOXMLDOC01-appb-M000017
＜式（１４）＞
Figure JPOXMLDOC01-appb-M000018
　式（１３）は、観測対象に入力を与えた場合に観測される複数の観測情報と、シミュレータサーバ２００が複数のサンプル及び入力を表す第１種類のデータに対して作成した第２種類のデータとの差異を算出しているともいえる。また、式（１１）は、ｍ種類のシミュレーション結果のうち、観測対象に関して実際に観測された観測データに類似しているデータに対しては、大きい重みを算出する処理を表しているということもできる。同様に、ｍ種類のシミュレーション結果のうち、観測対象に関して実際に観測された観測データに類似していないデータに対しては、小さい重みを算出する処理を表しているということもできる。すなわち、式（１３）を用いて算出される式（１２）は、シミュレーション結果と、観測データとが類似している程度に応じた重みを算出する処理を表しているということもできる。これは、共変量シフトを用いた処理であるともいうことができる。
　共変量シフト（Covariate Shift）に対するカーネルＡＢＣでは、訓練データセット｛Ｘｎ，Ｙｎ｝が従う分布ｑ０（ｘ）は、テスト又は予測用のデータセットが従う分布ｑ１（ｘ）と異なるが、真の関数関係ｐ（ｙ｜ｘ）は同じである。すなわち、共変量シフトは、与えられたｘに対してｙを算出する処理自体は、複数のｘに対しても一定であるものの、入力である分布が、訓練時とテスト時とでは異なっていることを表している。ここで、確率密度ｑ０（ｘ）及びｑ１（ｘ）が既知、もしくはそれらの比ｑ０（ｘ）／ｑ１（ｘ）が既知であるとする。この場合に、当該比が１に近いほど、訓練時のｑ０（ｘ）と、テスト時のｑ１（ｘ）とは同じような確率で生じることを表す。当該比が１よりも大きな値であるほど、テスト時よりも訓練時の確率が高いことを表す。また、当該比が１よりも小さな値であるほど、訓練時よりもテスト時の確率が高いことを表す。すなわち、当該比は、データｘが訓練時の分布と、テスト時の分布とのいずれに近いかを表す指標である。当該指標は、比に限定されず、たとえば両分布の差といった、訓練時の分布と、テスト時の分布との差異を表す指標であればよい。確率密度ｑ０（ｘ）及びｑ１（ｘ）が既知、もしくはそれらの比ｑ０（ｘ）／ｑ１（ｘ）が既知である場合、上記式（１３）及び式（１４）の右辺におけるカーネル関数ｋｙは、以下の式（１５）のように表すことができる。式（１５）は逆温度が訓練データ（観測データ）に依存しているか否かという点での違いを除き、後述する式（２０）に対応している。
＜式（１５）＞
Figure JPOXMLDOC01-appb-M000019
　なお、式（１５）の左辺における（Ｙｎ，Ｙｎ’）は、カーネル関数が、ｎ次元ベクトル（要素数がｎである（すなわち、ｎ個の要素を含む）データセット）で表された第２種類のデータについての２変数関数（ただし、２つの変数はいずれもベクトル）であることを示している。すなわち、左辺におけるＹｎは、２変数関数における第１の変数を示し、左辺におけるＹｎ’は、２変数関数における第２の変数を示している。そして、右辺のＹｉは、第１の変数として２変数関数に入力されたｎ次元ベクトルのｉ番目の要素を示している。また、右辺のＹｉ’は、第２の変数として２変数関数に入力されたｎ次元ベクトルのｉ番目の要素を示している。
　式（１５）において、σは第２種類のデータについてのガウスノイズの標準偏差である。より、詳細には、式（１５）において、σは、式（１５）を算出するために用いられる第２種類のデータの観測データ全体からなる分布の標準偏差である。特に、式（１５）におけるσの意味としては、第２種類の観測データの分布と第２種類のサンプルデータの分布の類似度を測るためのスケールを示す値ということができる。また、ｎは第２種類のデータのデータ数であり、βｉは逆温度であり、Ｙｉ及びＹｉ’は第２種類のデータの値である。すなわち、式（１５）においては、第２種類のデータセットに含まれている要素（たとえば、観測データの種類）ごとにβｉなる逆温度にて重み付けされている。言い換えると、当該逆温度であるβｉを適切に設定することによって、第２種類のデータの種類ごとに優先度をつけることが可能である。
　式（１５）において、βｉは、訓練データ（観測データ）｛Ｘｉ，Ｙｉ｝に依存した逆温度である。すなわち、データ毎に逆温度の値が相互に異なるよう設定することができる。すなわち、観測データの種類（すなわち、Ｙｎに含まれている要素）ごとに、逆温度βｉを設定することができる。たとえば、重要度が高い観測データの種類に関しては逆温度に、より大きな値を設定し、重要度が低い観測データに対しては逆温度に小さな値を設定する。
　本実施の形態では、訓練データ（観測データ）｛Ｘｉ，Ｙｉ｝に依存しない逆温度について、カーネル平均を算出する。具体的には、カーネル平均算出部１１４は以下の式（１６）で示されるカーネル平均を算出する。
＜式（１６）＞
Figure JPOXMLDOC01-appb-M000020
　ここで、重み
Figure JPOXMLDOC01-appb-M000021
 は、以下の式（１７）のように示される。
＜式（１７）＞
Figure JPOXMLDOC01-appb-M000022
　ベクトル
Figure JPOXMLDOC01-appb-M000023
 及びグラム行列
Figure JPOXMLDOC01-appb-M000024
 は、実数の要素からなるデータベクトルＹｎに対するカーネル
Figure JPOXMLDOC01-appb-M000025
 により、以下の式（１８）、式（１９）のように示される。
＜式（１８）＞
Figure JPOXMLDOC01-appb-M000026
＜式（１９）＞
Figure JPOXMLDOC01-appb-M000027
　ここで、式（１８）及び式（１９）における右辺のカーネル関数
Figure JPOXMLDOC01-appb-M000028
 は、以下の式（２０）のように表すことができる。
＜式（２０）＞
Figure JPOXMLDOC01-appb-M000029
　なお、式（２０）の左辺における（Ｙｎ，Ｙｎ’）は、カーネル関数が、ｎ次元ベクトル（要素数がｎである（すなわち、ｎ個の要素を含む）データセット）で表された第２種類のデータについての２変数関数（ただし、２つの変数はいずれもベクトル）であることを示している。すなわち、左辺におけるＹｎは、２変数関数における第１の変数を示し、左辺におけるＹｎ’は、２変数関数における第２の変数を示している。そして、右辺のＹｉは、第１の変数として２変数関数に入力されたｎ次元ベクトルのｉ番目の要素を示している。また、右辺のＹｉ’は、第２の変数として２変数関数に入力されたｎ次元ベクトルのｉ番目の要素を示している。
　式（１５）に示された処理と、式（２０）に示された処理とを比較すると、式（１５）においては、第２種類のデータセットに含まれている要素（たとえば、観測データの種類）ごとにβｉなる逆温度にて重み付けされている。これに対して、式（２０）においては、第２種類のデータセットに含まれている要素（たとえば、観測データの種類）は、同じ逆温度にて重み付けされている。
　式（２０）において、σは第２種類のデータについてのガウスノイズの標準偏差である。より、詳細には、式（２０）において、σは、式（２０）を算出するために用いられる第２種類のデータの観測データ全体からなる分布の標準偏差である。特に、式（２０）におけるσの意味としては、第２種類の観測データの分布と第２種類のサンプルデータの分布の類似度を測るためのスケールを示す値ということができる。また、ｎは第２種類のデータのデータ数であり、βは逆温度であり、Ｙｉ及びＹｉ’は第２種類のデータの値である。ここで、βは、観測データに依存しない定数である。βは、上述したβ（ｔ）に相当する。したがって、具体的には、１回目のパラメータ推定処理においてはβの値としてβ（１）が用いられ、２回目のパラメータ推定処理においてはβの値としてβ（２）が用いられる。同様に、Ｔ回目のパラメータ推定処理においてはβの値としてβ（Ｔ）が用いられる。
　第２のパラメータサンプル生成部１１６は、カーネル平均算出部１１４が算出したカーネル平均に基づいて、逆温度を用いて定義される事後分布に従ったパラメータのサンプルデータを生成する。ここで、逆温度を用いて定義される事後分布とは、事前分布と、逆温度により制御される尤度関数とにより、ベイズの定理に基づいて定義される事後分布である。したがって、事後分布は、ｅｘｐ（－βｎＬｎ（θ）＋ｌｏｇπ（θ））に従う分布である。
　具体的には、第２のパラメータサンプル生成部１１６は、カーネルハーディングを用いて、事後分布に従ったパラメータのサンプルデータを生成する。カーネルハーディングでは、以下の式（２１）及び式（２２）に示す更新式により、事後分布に従うｍ個のサンプルデータθ１，・・・，θｍを生成する。
＜式（２１）＞
Figure JPOXMLDOC01-appb-M000030
＜式（２２）＞
Figure JPOXMLDOC01-appb-M000031
　ここで、ｊ＝０，・・・，ｍ－１である。また、ａｒｇｍａｘθｈｊ（θ）は、ｈｊ（θ）の値を最大にするθの値を示す。ｈｊは、式（２２）により逐次的に示される。ｈｊの初期値ｈ０及びμには、式（１６）に示された処理に従い算出されたカーネル平均の値が使われる。すなわち、第２のパラメータサンプル生成部１１６は、カーネル平均算出部１１４が算出したカーネル平均を用いて、カーネルハーディング等の所定の処理により、当該カーネル平均を表すのに適したｍ個のサンプルデータθ１，・・・，θｍを生成する。言い換えると、情報処理装置１００は、事前分布に従ったｍ個のサンプルデータに対して、推定された事後分布に従ったｍ個のサンプルデータを算出する処理を実行する。したがって、情報処理装置１００における処理は、ｍ個のサンプルデータの値を調整している処理であるともいうことができる。
　繰り返し制御部１１８は、カーネルＡＢＣ及びカーネルハーディングによるパラメータ推定処理を所定の回数（Ｔ回）、繰り返すよう制御する。つまり、繰り返し制御部１１８は、ｔ回目の繰り返し処理で第２のパラメータサンプル生成部１１６により生成されたサンプルを、第２種類サンプルデータ取得部１１２がｔ＋１回目の繰り返し処理において用いるように制御する。このため、カーネル平均算出部１１４は、ｔ＋１回目の処理において、観測データＸｎと、ｔ回目の繰り返し処理で第２のパラメータサンプル生成部１１６により生成されたサンプルとを用いて、カーネル平均を算出することとなる。よって、繰り返し制御部１１８は次のように説明することもできる。すなわち、繰り返し制御部１１８は、第２のパラメータサンプル生成部１１６により生成されたサンプル及び第１種のデータに対してシミュレータサーバ２００が作成した第２種類のデータを用いて、カーネル平均を算出するよう制御する。そして、繰り返し制御部１１８は、そのような制御を行いつつ、パラメータ推定処理を繰り返すよう制御する。
　なお、繰り返し制御部１１８は、各パラメータ推定処理において用いられる逆温度βの値を設定してもよい。なお、上述した通り、繰り返し処理のそれぞれで設定されるβの合計は１である。具体的は、例えば、設定される逆温度は、パラメータ推定処理の繰り返しによらず一定であってもよいし、パラメータ推定処理の繰り返しに伴い変化してもよい。
　パラメータ推定処理の繰り返しによらず一定の逆温度を設定する場合、繰り返し制御部１１８は、逆温度の値としてβ（ｔ）＝１／Ｔを設定する。
　パラメータ推定処理の繰り返しに伴い変化する逆温度を設定する場合、例えば、パラメータ推定処理の繰り返し回数に応じて逆温度が小さくなるように設定してもよい。換言すると、繰り返しにおいて、前回の値以下の値が影響度に設定され、かつ、繰り返しにおいて、少なくとも１回は、前回の値よりも小さい値が影響度に設定されてもよい。また、パラメータ推定処理の繰り返し回数に応じて逆温度が大きくなるように設定してもよい。換言すると、繰り返しにおいて、前回の値以上の値が影響度に設定され、かつ、繰り返しにおいて、少なくとも１回は、前回の値よりも大きい値が影響度に設定されてもよい。
　パラメータ推定処理の繰り返しに伴い変化する逆温度を設定する場合、繰り返し制御部１１８は、所定の等比数列に基づいて、逆温度の値を設定してもよい。初項ａ、公比ｒ（ただし－１＜ｒ＜１）の等比数列の無限の項の総和である無限等比級数は、ａ／（１－ｒ）に収束する。したがって、繰り返し制御部１１８は、式（４）を満たすよう、例えば、ａ／（１－ｒ）＝１を満たす任意のａ，ｒで表される等比数列を用いてもよい。
　例えば、等比数列の各項の値を、初項から順に、パラメータ推定処理のそれぞれにおいて設定される逆温度の値として用いてもよい。この場合、パラメータ推定処理の繰り返し回数に応じて逆温度が小さくなるように設定される。ただし、現実的には、パラメータ推定処理の繰り返し回数は有限回である。したがって、例えば、繰り返し制御部１１８は、次のように逆温度の設定を行なってもよい。すなわち、繰り返し制御部１１８は、項数がＴ－１である等比数列の各項の値を、初項から順に、１回目からＴ－１回目までのパラメータ推定処理の逆温度の値として設定する。そして、Ｔ回目のパラメータ推定処理では、この等比数列のＴ－１番目の項の値を再度逆温度の値として設定する。このように、繰り返し制御部１１８は、繰り返しの各回において、前回設定した逆温度以下になるように、今回の逆温度を決定してもよい。
　また、等比数列の各項の値を、末項から順に、パラメータ推定処理のそれぞれにおいて設定される逆温度の値として用いてもよい。この場合、パラメータ推定処理の繰り返し回数に応じて逆温度が大きくなるように設定される。この場合も、有限個の項からなる等比数列の総和が１となるように、次のように設定が行なわれてもよい。例えば、繰り返し制御部１１８は、まず、１回目のパラメータ推定処理では、項数がＴ－１である等比数列のＴ－１番目の項の値を逆温度の値として設定する。そして、２回目からＴ回目までのパラメータ推定処理の逆温度の値として、この等比数列の各項の値を、終項から順に、設定する。このように、繰り返し制御部１１８は、繰り返しの各回において、前回設定した逆温度以上になるように、今回の逆温度を決定してもよい。
　このように、逆温度は任意に設定することができる。式（５）、式（６）、又は式（７）に示されるように、事後分布は尤度関数と事前分布の積に比例しており、逆温度は尤度関数に対する冪数となっている。したがって、逆温度の設定は、事後分布に対し、どの程度、尤度関数の影響を反映させるかを示している。このため、繰り返されるパラメータ推定処理において逆温度をどのように設定するかは、用いる尤度関数の信頼性に応じて定められてもよい。例えば、尤度関数の信頼性が高い場合には、パラメータ推定処理の１回目に以降の繰り返しにおける逆温度よりも大きな値を逆温度に設定してもよい。逆に、尤度関数の信頼性が低い場合には、パラメータ推定処理の１回目では以降の繰り返しにおける逆温度よりも小さな値を逆温度に設定してもよい。また、繰り返されるパラメータ推定処理において逆温度をどのように設定するかは、用いる事前分布の信頼性に応じて定められてもよい。例えば、事前分布の信頼性が高い場合には、パラメータ推定処理の１回目に以降の繰り返しにおける逆温度よりも小さな値を逆温度に設定してもよい。逆に、事前分布の信頼性が低い場合には、パラメータ推定処理の１回目では以降の繰り返しにおける逆温度よりも大きな値を逆温度に設定してもよい。
　次に、情報処理装置１００の動作についてフローチャートに基づいて説明する。図４は、情報処理装置１００の動作の一例を示すフローチャートである。以下、図４に沿って、動作を説明する。
　ステップＳ１００において、第１のパラメータサンプル生成部１１０が、事前分布π（θ）に基づいて、パラメータθのサンプルデータを生成する。第１のパラメータサンプル生成部１１０が生成したサンプルデータは、１回目のパラメータ推定処理において、シミュレータサーバ２００に入力される。本実施の形態では、生成したサンプルデータは、一例として、第２種類サンプルデータ取得部１１２によりシミュレータサーバ２００に入力される。
　次に、ステップＳ１０１において、第２種類サンプルデータ取得部１１２が、シミュレータサーバ２００によって算出された第２種類のサンプルデータを取得する。すなわち、第２種類サンプルデータ取得部１１２は、予め取得されている訓練データセット｛Ｘｎ，Ｙｎ｝のうち、第１種類のデータであるＸｎをモデルに入力し、モデルからの出力を取得する。訓練データセット｛Ｘｎ，Ｙｎ｝は、第１種類のデータであるＸｎと第２種類のデータであるＹｎとが関連付けされた情報である。この場合に、第２種類のデータであるＹｎは、たとえば、第１種類のデータであるＸｎに対して観測対象が実際に処理（動作）を施すことによって、観測対象に関して観測された情報を表す。
　上述したように、シミュレータサーバ２００は、パラメータθが表す値に従った演算をデータＸの値に対して施すことによってデータＹを算出する。これによって、観測対象における処理（動作）をシミュレーションする。この場合に、パラメータθは、たとえば、各処理（動作）における入出力間の関係性を表している。
　１回目のパラメータ推定処理の場合、ステップＳ１０１において、第２種類サンプルデータ取得部１１２は、ステップＳ１００で生成されたサンプルデータがパラメータとして設定されたモデルに従い算出された第２種類のサンプルデータを取得する。これに対し、２回目以降のパラメータ推定処理の場合、第２種類サンプルデータ取得部１１２は、後述するステップＳ１０３で生成されたサンプルデータをモデルのパラメータとして設定する。そして、そのモデルに従い算出された第２種類のサンプルデータを取得する。
　ステップＳ１０１では、シミュレータサーバ２００は、観測対象に対して与えられた入力を表す第１種類のデータであるＸｎを入力として受け付け、入力されたパラメータθに従った処理を第１種類のデータであるＸｎに対して施すことによって当該観測対象をシミュレーションする。この結果、シミュレータサーバ２００は、当該シミュレーションした結果を表すシミュレーション結果（
Figure JPOXMLDOC01-appb-M000032
 ）を作成する。
　次に、ステップＳ１０２において、カーネル平均算出部１１４は、得られたサンプルデータを用いて、カーネルＡＢＣにより、パラメータの事後分布を示すカーネル平均を算出する。なお、この事後分布は、上述の通り、逆温度を用いて定義される事後分布である。カーネル平均算出部１１４は、式（２０）で示される逆温度が含まれるカーネル関数を用いてカーネル平均を算出する。言い換えると、カーネル平均算出部１１４は、第２種類のデータについての観測データとサンプルデータとの差異と、逆温度とに応じて、パラメータの各サンプルの重要度を決定することにより、パラメータの分布に対応するデータを算出する。
　次に、ステップＳ１０３において、第２のパラメータサンプル生成部１１６が、ステップＳ１０２で算出されたカーネル平均に基づいて、逆温度を用いて定義される事後分布に従ったパラメータのサンプルデータを生成する。
　次に、ステップＳ１０４において、繰り返し制御部１１８は、パラメータ推定処理の繰り返し回数が所定の回数（Ｔ）に達したか否かを判定する。繰り返し回数が所定の回数に達していない場合、繰り返し制御部１１８は、ステップＳ１０３で得られたサンプルデータを用いて、再度、ステップＳ１０１からステップＳ１０３の処理が行なわれるよう制御する。繰り返し回数が所定の回数に達している場合、ステップＳ１０５において、繰り返し制御部１１８は、ステップＳ１０３で得られたサンプルデータ群を、パラメータの事後分布として出力する。
　以上、実施の形態について説明した。本実施の形態では、逆温度を用いたパラメータ推定処理を繰り返す。これにより、ベイズ推定が行なわれ、パラメータの事後分布を取得することができる。特に、パラメータ推定処理が繰り返し実行されるベイズ推定であるため、特異モデルなどのように、１回のパラメータ推定処理では事後分布の適切なサンプルの取得が難しいようなモデルに対しても、適切なサンプルを取得することが期待できる。例えば、ニューラルネットワークなどのような特異モデルについても、事後分布を推定すること可能となる。また、パラメータ推定処理が繰り返し実行されるため、事前分布が適切ではない場合であっても、適切なサンプルを取得することが期待できる。
　なお、図４のステップＳ１０５にて出力されたパラメータのサンプルデータは、シミュレータサーバ２００によるシミュレーションに用いてもよい。すなわち、繰り返し制御部１１８は、繰り返し処理の最後にステップＳ１０３にて生成したサンプルデータ（すなわち、パラメータθのサンプルデータ）をシミュレータサーバ２００に入力してもよい。この場合に、シミュレータサーバ２００は、ｍ個の当該サンプルデータを受け取り、受け取った当該サンプルデータに基づき、観測対象に関するシミュレーション計算を実行する。具体的には、シミュレータサーバ２００は、所与の第１種類のデータであるＸｎに対して、当該サンプルデータに従ったｍ種類のシミュレーション処理を実行する。この結果、シミュレータサーバ２００は、所与の第１種類のデータであるＸｎに対してｍ種類のシミュレーション結果を算出する。ｍ種類のシミュレーション結果は、必ずしも相互に異なっているとは限らず、同じ結果を含んでいてもよい。
　その後、情報処理装置１００は、ｍ種類のシミュレーション結果を受け取る。そして、情報処理装置１００は、ｍ種類のシミュレーション結果を総合したシミュレーション結果を算出する。たとえば、情報処理装置１００は、ｍ種類のシミュレーション結果の平均を算出する。すなわち、情報処理装置１００は、所与の第１種類のデータであるＸｎに対するシミュレーション結果を算出する。情報処理装置１００は、たとえば、ｍ種類のシミュレーション結果の重み付き平均を算出することによって、所与の第１種類のデータであるＸｎに対するシミュレーション結果を算出してもよい。
　情報処理装置１００は、図４を参照しながら上述した処理を実行することによって、シミュレータサーバ２００が算出するシミュレーション結果と、観測情報Ｙｎとが合う（適合する）ように、パラメータθのサンプルデータを算出する。算出されたサンプルデータは、事後分布に従ったデータであるので、情報処理装置１００が算出する上述したシミュレーション結果は、事後分布に従ったサンプルデータに従ったシミュレーション結果である。言い換えると、情報処理装置１００は、シミュレータサーバ２００によって作成されるシミュレーション結果に基づき、観測情報に合うようなシミュレーション結果を算出することができる。よって、シミュレータサーバ２００に対して与えるパラメータθのサンプルデータに関して、観測情報に合うような値を作成することによって、情報処理装置１００は、当該観測情報に適合したシミュレーション結果を算出することができる。
　なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。たとえば、次のような情報処理装置１も実施の形態の一つである。図５は、情報処理装置１の構成を示すブロック図である。情報処理装置１は、対応データ算出部２と、新規パラメータサンプル生成部３と、繰り返し制御部４とを有する。
　対応データ算出部２は、観測対象に入力（Ｘｎ）を与えた場合に観測される複数の観測情報（Ｙｎ）と、第２種類のデータ（
Figure JPOXMLDOC01-appb-M000033
 ）との差異と、逆温度（β）とに応じて、パラメータの各サンプルの重要度を決定する。なお、第２種類のデータとは、観測対象をパラメータのサンプルに基づきシミュレーションするシミュレータが複数のサンプル及び前記入力を表す第１種類のデータに対して作成したデータである。そして、対応データ算出部２は、パラメータの分布に対応するデータを算出する。
　新規パラメータサンプル生成部３は、対応データ算出部２が算出したパラメータの分布に対応するデータを用いて、所定の処理（たとえば、カーネルハーディングなど）に従い、パラメータの新たなサンプルを生成する。
　また、繰り返し制御部４は新規パラメータサンプル生成部３により生成された新たなサンプル及び第１種のデータに対してシミュレータが作成した第２種類のデータを用いて、対応データ算出部２が前記パラメータの分布に対応するデータを算出するよう制御する。そして、繰り返し制御部４は対応データ算出部２及び新規パラメータサンプル生成部３の処理を繰り返すよう制御する。
　このような構成によれば、ベイズ推定が行なわれる。このため、情報処理装置１は、パラメータの事後分布を取得することができる。
　また、上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
　観測対象に入力を与えた場合に観測される複数の観測情報と、前記観測対象をパラメータのサンプルに基づきシミュレーションするシミュレータが複数の前記サンプル及び前記入力を表す第１種類のデータに対して作成した第２種類のデータとの差異と、前記パラメータの分布に対する前記サンプルの影響度とに応じて、各前記サンプルの重要度を決定し、前記パラメータの分布に対応するデータを算出する対応データ算出手段と、
　前記パラメータの分布に対応するデータを用いて、所定の処理に従い、前記パラメータの新たなサンプルを生成する新規パラメータサンプル生成手段と、
　前記新規パラメータサンプル生成手段により生成された前記新たなサンプル及び前記第１種類のデータに対して前記シミュレータが作成した前記第２種類のデータを用いて、前記対応データ算出手段が前記パラメータの分布に対応するデータを算出するよう制御しつつ、前記対応データ算出手段及び前記新規パラメータサンプル生成手段の処理を繰り返すよう制御する繰り返し制御手段と
　を備える情報処理装置。
（付記２）
　前記影響度が前記対応データ算出手段及び前記新規パラメータサンプル生成手段の処理の繰り返しに伴い変化する
　付記１に記載の情報処理装置。
（付記３）
　繰り返しにおいて、前回の値以下の値が前記影響度に設定され、かつ、繰り返しにおいて、少なくとも１回は、前回の値よりも小さい値が前記影響度に設定される
　付記２に記載の情報処理装置。
（付記４）
　繰り返しにおいて、前回の値以上の値が前記影響度に設定され、かつ、繰り返しにおいて、少なくとも１回は、前回の値よりも大きい値が前記影響度に設定される
　付記２に記載の情報処理装置。
（付記５）
　前記影響度が、所定の等比数列に基づいて変化する
　付記３又は４に記載の情報処理装置。
（付記６）
　前記影響度が前記対応データ算出手段及び前記新規パラメータサンプル生成手段の処理の繰り返しによらず一定である
　付記１に記載の情報処理装置。
（付記７）
　前記パラメータの分布に対応するデータは、カーネル平均であり、
　前記対応データ算出手段は、前記影響度を逆温度として含むカーネル関数を用いて、前記カーネル平均を算出し、
　前記新規パラメータサンプル生成手段は、前記対応データ算出手段によって算出された前記カーネル平均を用いて前記サンプルを生成する
　付記１乃至付記６のいずれか１項に記載の情報処理装置。
（付記８）
　前記対応データ算出手段は、下記の式で示される前記カーネル関数を用いたカーネルＡＢＣ（Kernel Approximate Bayesian Computation）により、前記カーネル平均を算出する
　付記７に記載の情報処理装置。
　ただし、下記の式において、σは前記第２種類のデータについてのガウスノイズの標準偏差であり、ｎは前記第２種類のデータの要素数であり、βは前記逆温度であり、Ｙｉ及びＹｉ’は前記第２種類のデータの値である。
Figure JPOXMLDOC01-appb-M000034
 （付記９）
　繰り返し回数分の前記影響度の合計が１となるように繰り返しの各回の前記影響度が設定される
　付記１乃至８のいずれか１項に記載の情報処理装置。
（付記１０）
　付記１乃至付記９のいずれか１項に記載の情報処理装置と
　前記シミュレータと
　を備える情報処理システム。
（付記１１）
　前記シミュレータが、前記対応データ算出手段及び前記新規パラメータサンプル生成手段の処理の繰り返し後に、前記新規パラメータサンプル生成手段が生成した前記サンプルに基づき処理を実行する
　付記１０に記載の情報処理システム。
（付記１２）
　情報処理装置によって、
　観測対象に入力を与えた場合に観測される複数の観測情報と、前記観測対象をパラメータのサンプルに基づきシミュレーションするシミュレータが複数の前記サンプル及び前記入力を表す第１種類のデータに対して作成した第２種類のデータとの差異と、前記パラメータの分布に対する前記サンプルの影響度とに応じて、各前記サンプルの重要度を決定し、前記パラメータの分布に対応するデータを算出する第１の処理を実行し、
　前記パラメータの分布に対応するデータを用いて、所定の処理に従い、前記パラメータの新たなサンプルを生成する第２の処理を実行し、
　前記第２の処理により生成された前記新たなサンプル及び前記第１種類のデータに対して前記シミュレータが作成した前記第２種類のデータを用いて、前記第１の処理を実行するよう制御しつつ、前記第１の処理及び前記第２の処理を繰り返すよう制御する
　情報処理方法。
（付記１３）
　観測対象に入力を与えた場合に観測される複数の観測情報と、前記観測対象をパラメータのサンプルに基づきシミュレーションするシミュレータが複数の前記サンプル及び前記入力を表す第１種類のデータに対して作成した第２種類のデータとの差異と、前記パラメータの分布に対する前記サンプルの影響度とに応じて、各前記サンプルの重要度を決定し、前記パラメータの分布に対応するデータを算出する対応データ算出ステップと、
　前記パラメータの分布に対応するデータを用いて、所定の処理に従い、前記パラメータの新たなサンプルを生成する新規パラメータサンプル生成ステップと、
　前記新規パラメータサンプル生成ステップで生成された前記新たなサンプル及び前記第１種類のデータに対して前記シミュレータが作成した前記第２種類のデータを用いて、前記対応データ算出ステップを実行するよう制御しつつ、前記対応データ算出ステップ及び前記新規パラメータサンプル生成ステップの処理を繰り返すよう制御する繰り返し制御ステップと
　をコンピュータに実行させる
　プログラムが格納された非一時的なコンピュータ可読媒体。
　以上、実施の形態を参照して本願発明を説明したが、本願発明は上記によって限定されるものではない。本願発明の構成や詳細には、発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　この出願は、２０１８年１１月２２日に出願された日本出願特願２０１８－２１９５２７を基礎とする優先権を主張し、その開示の全てをここに取り込む。
１　　情報処理装置
２　　対応データ算出部
３　　新規パラメータサンプル生成部
４　　繰り返し制御部
１０　　情報処理システム
１００　　情報処理装置
１０１　　入出力インタフェース
１０２　　メモリ
１０３　　プロセッサ
１１０　　第１のパラメータサンプル生成部
１１２　　第２種類サンプルデータ取得部
１１４　　カーネル平均算出部
１１６　　第２のパラメータサンプル生成部
１１８　　繰り返し制御部
２００　　シミュレータサーバ

Claims (13)

  1. 　観測対象に入力を与えた場合に観測される複数の観測情報と、前記観測対象をパラメータのサンプルに基づきシミュレーションするシミュレータが複数の前記サンプル及び前記入力を表す第１種類のデータに対して作成した第２種類のデータとの差異と、前記パラメータの分布に対する前記サンプルの影響度とに応じて、各前記サンプルの重要度を決定し、前記パラメータの分布に対応するデータを算出する対応データ算出手段と、
    　前記パラメータの分布に対応するデータを用いて、所定の処理に従い、前記パラメータの新たなサンプルを生成する新規パラメータサンプル生成手段と、
    　前記新規パラメータサンプル生成手段により生成された前記新たなサンプル及び前記第１種類のデータに対して前記シミュレータが作成した前記第２種類のデータを用いて、前記対応データ算出手段が前記パラメータの分布に対応するデータを算出するよう制御しつつ、前記対応データ算出手段及び前記新規パラメータサンプル生成手段の処理を繰り返すよう制御する繰り返し制御手段と
    　を備える情報処理装置。
  2. 　前記影響度が前記対応データ算出手段及び前記新規パラメータサンプル生成手段の処理の繰り返しに伴い変化する
    　請求項１に記載の情報処理装置。
  3. 　繰り返しにおいて、前回の値以下の値が前記影響度に設定され、かつ、繰り返しにおいて、少なくとも１回は、前回の値よりも小さい値が前記影響度に設定される
    　請求項２に記載の情報処理装置。
  4. 　繰り返しにおいて、前回の値以上の値が前記影響度に設定され、かつ、繰り返しにおいて、少なくとも１回は、前回の値よりも大きい値が前記影響度に設定される
    　請求項２に記載の情報処理装置。
  5. 　前記影響度が、所定の等比数列に基づいて変化する
    　請求項３又は請求項４に記載の情報処理装置。
  6. 　前記影響度が前記対応データ算出手段及び前記新規パラメータサンプル生成手段の処理の繰り返しによらず一定である
    　請求項１に記載の情報処理装置。
  7. 　前記パラメータの分布に対応するデータは、カーネル平均であり、
    　前記対応データ算出手段は、前記影響度を逆温度として含むカーネル関数を用いて、前記カーネル平均を算出し、
    　前記新規パラメータサンプル生成手段は、前記対応データ算出手段によって算出された前記カーネル平均を用いて前記サンプルを生成する
    　請求項１乃至請求項６のいずれか１項に記載の情報処理装置。
  8. 　前記対応データ算出手段は、下記の式で示される前記カーネル関数を用いたカーネルＡＢＣ（Kernel Approximate Bayesian Computation）により、前記カーネル平均を算出する
    　請求項７に記載の情報処理装置。
    　ただし、下記の式において、σは前記第２種類のデータについてのガウスノイズの標準偏差であり、ｎは前記第２種類のデータの要素数であり、βは前記逆温度であり、Ｙｉ及びＹｉ’は前記第２種類のデータの値である。
    Figure JPOXMLDOC01-appb-M000001
  9. 　繰り返し回数分の前記影響度の合計が１となるように繰り返しの各回の前記影響度が設定される
    　請求項１乃至請求項８のいずれか１項に記載の情報処理装置。
  10. 　請求項１乃至請求項９のいずれか１項に記載の情報処理装置と
    　前記シミュレータと
    　を備える情報処理システム。
  11. 　前記シミュレータが、前記対応データ算出手段及び前記新規パラメータサンプル生成手段の処理の繰り返し後に、前記新規パラメータサンプル生成手段が生成した前記サンプルに基づき処理を実行する
    　請求項１０に記載の情報処理システム。
  12. 　情報処理装置によって、
    　観測対象に入力を与えた場合に観測される複数の観測情報と、前記観測対象をパラメータのサンプルに基づきシミュレーションするシミュレータが複数の前記サンプル及び前記入力を表す第１種類のデータに対して作成した第２種類のデータとの差異と、前記パラメータの分布に対する前記サンプルの影響度とに応じて、各前記サンプルの重要度を決定し、前記パラメータの分布に対応するデータを算出する第１の処理を実行し、
    　前記パラメータの分布に対応するデータを用いて、所定の処理に従い、前記パラメータの新たなサンプルを生成する第２の処理を実行し、
    　前記第２の処理により生成された前記新たなサンプル及び前記第１種類のデータに対して前記シミュレータが作成した前記第２種類のデータを用いて、前記第１の処理を実行するよう制御しつつ、前記第１の処理及び前記第２の処理を繰り返すよう制御する
    　情報処理方法。
  13. 　観測対象に入力を与えた場合に観測される複数の観測情報と、前記観測対象をパラメータのサンプルに基づきシミュレーションするシミュレータが複数の前記サンプル及び前記入力を表す第１種類のデータに対して作成した第２種類のデータとの差異と、前記パラメータの分布に対する前記サンプルの影響度とに応じて、各前記サンプルの重要度を決定し、前記パラメータの分布に対応するデータを算出する対応データ算出ステップと、
    　前記パラメータの分布に対応するデータを用いて、所定の処理に従い、前記パラメータの新たなサンプルを生成する新規パラメータサンプル生成ステップと、
    　前記新規パラメータサンプル生成ステップで生成された前記新たなサンプル及び前記第１種類のデータに対して前記シミュレータが作成した前記第２種類のデータを用いて、前記対応データ算出ステップを実行するよう制御しつつ、前記対応データ算出ステップ及び前記新規パラメータサンプル生成ステップの処理を繰り返すよう制御する繰り返し制御ステップと
    　をコンピュータに実行させる
    　プログラムが格納された非一時的なコンピュータ可読媒体。
PCT/JP2019/043821 2018-11-22 2019-11-08 情報処理装置、情報処理システム、情報処理方法及びプログラムが格納された非一時的なコンピュータ可読媒体 WO2020105468A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US17/295,294 US20220004908A1 (en) 2018-11-22 2019-11-08 Information processing apparatus, information processing system, information processing method, and non-transitory computer readable medium storing program
JP2020558269A JP7097541B2 (ja) 2018-11-22 2019-11-08 情報処理装置、情報処理システム、情報処理方法及びプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-219527 2018-11-22
JP2018219527 2018-11-22

Publications (1)

Publication Number Publication Date
WO2020105468A1 true WO2020105468A1 (ja) 2020-05-28

Family

ID=70773422

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/043821 WO2020105468A1 (ja) 2018-11-22 2019-11-08 情報処理装置、情報処理システム、情報処理方法及びプログラムが格納された非一時的なコンピュータ可読媒体

Country Status (3)

Country Link
US (1) US20220004908A1 (ja)
JP (1) JP7097541B2 (ja)
WO (1) WO2020105468A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113779875A (zh) * 2021-08-31 2021-12-10 润联软件系统(深圳)有限公司 基于图神经模型的风力发电量预测方法及其相关设备
WO2022059189A1 (ja) * 2020-09-18 2022-03-24 日本電気株式会社 データ算出装置、データ算出方法および記録媒体
CN114766023A (zh) * 2020-10-30 2022-07-19 京东方科技集团股份有限公司 数据处理方法、装置及系统、电子设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180210413A1 (en) * 2015-07-31 2018-07-26 Schlumberger Technology Corporation Method and apparatus of determining a state of a system

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8781782B2 (en) * 2010-09-30 2014-07-15 Siemens Aktiengesellschaft System and method for conditional multi-output regression for machine condition monitoring
EP3000053A4 (en) * 2013-05-30 2017-10-04 President and Fellows of Harvard College Systems and methods for performing bayesian optimization
WO2017173489A1 (en) * 2016-04-05 2017-10-12 Deakin University Systems and methods for making a product
WO2018013247A2 (en) * 2016-06-02 2018-01-18 Brown University Physics informed learning machine
CA3137428A1 (en) * 2019-05-23 2020-11-26 Xin Qiu Quantifying the predictive uncertainty of neural networks via residual estimation with i/o kernel

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180210413A1 (en) * 2015-07-31 2018-07-26 Schlumberger Technology Corporation Method and apparatus of determining a state of a system

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HASEGAWA, TAKANORI: "Time-series filtering for replicated observations via a kernel approximate bayesian computation", IEEE TRANSACTIONS ON SIGNAL PROCESSING, vol. 66, no. 23, 1 October 2018 (2018-10-01), pages 6148 - 6161, XP011703588, DOI: 10.1109/TSP.2018.2872864 *
KAJIHARA, TAKAFUMI: "Kernel recursive ABC: Point estimation with intractable likelihood", ARXIV: 1802.08404V2, 12 June 2018 (2018-06-12), XP081235860, Retrieved from the Internet <URL:https://arxiv.org/pdf/1802.08404.pdf> [retrieved on 20191126] *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022059189A1 (ja) * 2020-09-18 2022-03-24 日本電気株式会社 データ算出装置、データ算出方法および記録媒体
CN114766023A (zh) * 2020-10-30 2022-07-19 京东方科技集团股份有限公司 数据处理方法、装置及系统、电子设备
CN114766023B (zh) * 2020-10-30 2023-05-16 京东方科技集团股份有限公司 数据处理方法、装置及系统、电子设备
CN113779875A (zh) * 2021-08-31 2021-12-10 润联软件系统(深圳)有限公司 基于图神经模型的风力发电量预测方法及其相关设备

Also Published As

Publication number Publication date
US20220004908A1 (en) 2022-01-06
JP7097541B2 (ja) 2022-07-08
JPWO2020105468A1 (ja) 2021-09-30

Similar Documents

Publication Publication Date Title
WO2020105468A1 (ja) 情報処理装置、情報処理システム、情報処理方法及びプログラムが格納された非一時的なコンピュータ可読媒体
EP3716160A1 (en) Learning parameters of a probabilistic model comprising gaussian processes
US20210232957A1 (en) Relationship analysis device, relationship analysis method, and recording medium
CN113534679A (zh) 系统监测模型生成方法、处理器芯片以及工业系统
JP6853955B2 (ja) 人流パターン推定システム、人流パターン推定方法および人流パターン推定プログラム
US20210224664A1 (en) Relationship analysis device, relationship analysis method, and recording medium
Deveney et al. A deep surrogate approach to efficient Bayesian inversion in PDE and integral equation models
JPWO2019069865A1 (ja) パラメータ推定システム、パラメータ推定方法およびパラメータ推定プログラム
Ferrie et al. Likelihood-free methods for quantum parameter estimation
Sadia et al. Bayesian change-point modeling with segmented ARMA model
JP6919856B2 (ja) 強化学習プログラム、強化学習方法、および強化学習装置
JP2020086778A (ja) 機械学習モデル構築装置および機械学習モデル構築方法
WO2020071430A1 (ja) 情報処理装置、情報処理システム、情報処理方法及びプログラムが格納された非一時的なコンピュータ可読媒体
CN114692529A (zh) 一种cfd高维响应的不确定度量化方法、装置、计算机设备
Kocijan et al. System identification with GP models
Al-Behadili et al. Semi-supervised learning using incremental support vector machine and extreme value theory in gesture data
Seleznev et al. Simulation of complex systems using the observed data based on recurrent artificial neural networks
Gralla et al. Inverting prediction models in micro production for process design
JP6740193B2 (ja) パラメータ推定装置、パラメータ推定方法及びパラメータ推定プログラム
JP5713877B2 (ja) 入出力モデル推定装置、方法、及びプログラム
Warner et al. A computationally-efficient inverse approach to probabilistic strain-based damage diagnosis
Sadr et al. Improving the neural network method for finite element model updating using homogenous distribution of design points
JP7444426B2 (ja) 状態推定評価装置、方法、及び、プログラム
Surjanovic et al. Adaptive partitioning design and analysis for emulation of a complex computer code
JP6837953B2 (ja) パラメータ推定装置、パラメータ推定方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19886749

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020558269

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19886749

Country of ref document: EP

Kind code of ref document: A1