WO2020116211A1 - 推定装置、最適化装置、推定方法、最適化方法、及びプログラム - Google Patents

推定装置、最適化装置、推定方法、最適化方法、及びプログラム Download PDF

Info

Publication number
WO2020116211A1
WO2020116211A1 PCT/JP2019/045849 JP2019045849W WO2020116211A1 WO 2020116211 A1 WO2020116211 A1 WO 2020116211A1 JP 2019045849 W JP2019045849 W JP 2019045849W WO 2020116211 A1 WO2020116211 A1 WO 2020116211A1
Authority
WO
WIPO (PCT)
Prior art keywords
optimization
function
estimation
unit
optimized
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2019/045849
Other languages
English (en)
French (fr)
Inventor
具治 岩田
琢馬 大塚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Inc
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to US17/299,712 priority Critical patent/US20220058312A1/en
Publication of WO2020116211A1 publication Critical patent/WO2020116211A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/11—Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2111/00—Details relating to CAD techniques
    • G06F2111/10—Numerical modelling

Definitions

  • the present invention relates to an estimation device, an optimization device, an estimation method, an optimization method, and a program.
  • the optimization problem is the problem of finding the point that takes the maximum value or the minimum value of a certain function.
  • multiple related optimization problems may be given. For example, the problem of finding the optimum machine learning device in each of a plurality of data sets, the problem of finding the optimum human flow guidance in each of different situations, the problem of finding the optimum parameters of the simulator in each of different situations, and the like.
  • Bayesian optimization is known as one of the optimization methods for solving the optimization problem (see Non-Patent Document 1, for example).
  • Bayesian optimization is an optimization method for finding a point having a maximum value or a minimum value of a function (black box function) whose shape is unknown.
  • Bayesian optimization could not utilize the knowledge of other related optimization problems.
  • information about other optimization problems could not be utilized. Therefore, there are cases where these optimization problems cannot be efficiently solved.
  • the present invention has been made in view of the above points, and an object thereof is to efficiently solve a plurality of optimization problems.
  • the estimation apparatus models an input means for inputting data relating to a plurality of optimization problems and a function to be optimized in each of the plurality of optimization problems.
  • Estimating means for estimating the parameters of the function model.
  • the optimization apparatus uses the input means for inputting a function model obtained by modeling a function to be optimized in each of a plurality of optimization problems, and the function model, The optimization function for optimizing the objective function by repeatedly evaluating the objective function to be optimized by an optimization problem different from each of the optimization problems of 1.
  • f d ( ⁇ ) is the function to be optimized in problem d
  • ⁇ is the observation noise
  • N d is the number of observation data of problem d
  • the parameter of the model of the function f d to be optimized (hereinafter, also referred to as “function model”) is estimated by the estimation device 10 using the original problem data. Then, using the functional model in which this parameter is set, the target problem is optimized by the optimizing device 20 based on the framework of Bayesian estimation. As a result, the target problem can be optimized with a smaller number of evaluations, and the original problem and the target problem, that is, a plurality of optimization problems can be efficiently solved.
  • the embodiment of the present invention mainly describes the case where the feature quantity of the optimization problem (the above-mentioned r d and r d* ) is given, but the feature quantity may not be given. Further, in the embodiment of the present invention, a case of optimizing a target problem in a situation where an original problem is given will be described. However, for example, the same applies to a case of simultaneously optimizing a plurality of given optimization problems. Can be applied to.
  • the case of obtaining the minimum value of the target function f d * (i.e., the target problem if a maximization problem) will be described, the case of obtaining the minimum value of the target function f d * The same can be applied to (that is, when the goal problem is a minimization problem).
  • FIG. 1 is a diagram showing an example of functional configurations of an estimation device 10 and an optimization device 20 according to an embodiment of the present invention.
  • the estimation device 10 includes a parameter estimation processing unit 101 and a storage unit 102.
  • the parameter estimation processing unit 101 executes processing for estimating parameters of the functional model (hereinafter also referred to as “parameter estimation processing”).
  • the storage unit 102 stores various data (for example, original problem data) used in the parameter estimation process and processing results (for example, parameters of a functional model) of the parameter estimation process.
  • the parameter estimation processing unit 101 models the function f d ( ⁇ ) of each problem d by the neural Gaussian process shown in the following formula (1) (that is, the neural Gaussian shown in the following formula (1)).
  • the process is a functional model.
  • Is a Gaussian process of mean function m, kernel function k, m( ⁇ ; ⁇ ) is mean function defined by neural network with parameter ⁇ , k( ⁇ , ⁇ ; ⁇ ) is kernel function with parameter ⁇ , g( ⁇ ; •; ⁇ ) represents a neural network with parameter ⁇ .
  • the parameters ⁇ , ⁇ , ⁇ are represented by vectors, and are shared among all problems d. Note that instead of the Gaussian process, any model that generates a function, such as Student's t process, may be used.
  • any neural network such as feed-forward type, convolutional type, recursive type can be used.
  • Other models may be used instead of the neural network.
  • the parameter estimation processing unit 101 estimates the parameters ⁇ , ⁇ , ⁇ so that the original problem data can be explained by the function model shown in the above equation (1).
  • the parameter estimation processing unit 101 estimates the parameters ⁇ , ⁇ , ⁇ by maximizing the objective function using the likelihood shown in the following equation (2) as the objective function.
  • K d is a kernel matrix of problem d of N d ⁇ N d , whose (n,n') elements are
  • the input that does not take the feature amount r d may be used as the input of the neural network. That is, m(x; ⁇ ) may be used instead of m(x, r d ; ⁇ ), and g(x, ; ⁇ ) may be used instead of g(x, r d ; ⁇ ).
  • the parameter estimation processing unit 101 includes an input unit 111, an initialization unit 112, a gradient calculation unit 113, a parameter update unit 114, an end condition determination unit 115, and an output unit. 116 and are included.
  • the input unit 111 inputs the original question data.
  • the input unit 111 may input the original question data stored in the storage unit 102, or may receive and input the original question data from another device connected via the communication network.
  • the initialization unit 112 initializes the parameters of the functional model (for example, the above parameters ⁇ , ⁇ , ⁇ ).
  • the gradient calculator 113 calculates the gradient of the objective function (for example, the likelihood shown in the above equation (2)).
  • the parameter updating unit 114 uses the gradient calculated by the gradient calculating unit 113 to update the parameter of the function model so that the value of the objective function becomes high.
  • the calculation of the gradient by the gradient calculation unit 113 and the updating of the parameter by the parameter updating unit 114 are repeatedly executed until a predetermined end condition is satisfied. Note that, hereinafter, this predetermined termination condition will be referred to as a “first termination condition”.
  • the termination condition determination unit 115 determines whether or not the first termination condition is satisfied.
  • the first termination condition may be, for example, that the number of repetitions has reached a predetermined number, that the change amount of the objective function value has become equal to or less than a predetermined threshold value, or that the change amount of the parameter before and after the update is predetermined. For example, it may be equal to or less than the threshold value.
  • the output unit 116 outputs the parameter of the functional model when the end condition determination unit 115 determines that the first end condition is satisfied.
  • the output unit 116 may output (store) the parameters of the function model to the storage unit 102, or may output them to another device (for example, the optimization device 20 or the like) connected via the communication network. Good.
  • the parameter output by the output unit 116 is also referred to as “estimated parameter”.
  • the optimization device 20 includes an optimization processing unit 201 and a storage unit 202.
  • the optimization processing unit 201 executes processing for optimizing the target problem (hereinafter, also referred to as “optimization processing”) based on the Bayesian optimization framework.
  • the storage unit 202 stores various data used in the optimization process of the target problem (for example, a function model in which estimated parameters are set) and the processing result of the optimization process of the target problem (for example, the maximum value of the target function and this). The point giving the maximum value, etc.) is stored.
  • the optimization processing unit 201 uses, for example, the expected improvement amount shown in the following Expression (3) as the acquisition function.
  • ⁇ ( ⁇ ) and ⁇ ( ⁇ ) are the density function and cumulative density function of the standard normal distribution
  • y ⁇ is the maximum value obtained so far (that is, of the target function values evaluated so far.
  • ⁇ (x) represents the average
  • ⁇ (x) represents the standard deviation.
  • the optimization processing unit 201 may use any acquisition function other than the expected improvement amount.
  • the optimization processing unit 201 can calculate the distribution of the target function by the following equations (4) to (5). ..
  • the optimization processing unit 201 includes an input unit 211, a distribution estimation unit 212, an acquisition function calculation unit 213, a function evaluation unit 214, an end condition determination unit 215, and an output. And section 216.
  • the input unit 211 inputs a functional model in which estimated parameters are set.
  • the input unit 211 may input the function model stored in the storage unit 202, or may receive and input the function model from another device connected via the communication network.
  • the distribution estimation unit 212 estimates the distribution of the target function, for example, using the above equation (4).
  • the acquisition function calculation unit 213 uses the distribution estimated by the distribution estimation unit 212 to calculate an acquisition function (for example, the expected improvement amount shown in Expression (3) above).
  • the function evaluation unit 214 evaluates the target function at the point where the value of the acquisition function calculated by the acquisition function calculation unit 213 is maximum (that is, the target function value at that point is obtained).
  • the estimation of the distribution by the distribution estimation unit 212, the calculation of the acquisition function by the acquisition function calculation unit 213, and the evaluation of the function by the function evaluation unit 214 are repeatedly executed until a predetermined end condition is satisfied. Note that, hereinafter, this predetermined termination condition will be referred to as a "second termination condition".
  • the termination condition determination unit 215 determines whether or not the second termination condition is satisfied.
  • the second end condition may be, for example, that the number of repetitions has reached a predetermined number, that the maximum value of the target function has exceeded a predetermined threshold value, or that the amount of change in the maximum value of the target function has a predetermined threshold value. The following can be mentioned.
  • the output unit 216 determines the processing result of the optimization process (for example, the maximum value of the evaluation value (target function value) or the point that gives this maximum value). ) Is output.
  • the output unit 216 may output (save) the processing result of the optimization processing to the storage unit 202, or may output it to another device connected via the communication network.
  • the estimation device 10 and the optimization device 20 are different devices, but the estimation device 10 and the optimization device 20 are realized by one device.
  • the device may be configured to include the parameter estimation processing unit 101, the optimization processing unit 201, and the storage unit.
  • FIG. 2 is a diagram showing an example of a hardware configuration of the estimation device 10 and the optimization device 20 according to the embodiment of the present invention. Since the estimation device 10 and the optimization device 20 can be realized with the same hardware configuration, the hardware configuration of the estimation device 10 will be mainly described below.
  • the estimation device 10 includes an input device 301, a display device 302, an external I/F 303, a RAM (Random Access Memory) 304, and a ROM (Read Only Memory). 305, a processor 306, a communication I/F 307, and an auxiliary storage device 308. These pieces of hardware are connected to each other via a bus B so that they can communicate with each other.
  • the input device 301 is, for example, a keyboard, a mouse, a touch panel, etc., and is used by the user to input various operations.
  • the display device 302 is, for example, a display, and displays the processing result of the estimation device 10 and the like.
  • the estimation device 10 and the optimization device 20 may not include at least one of the input device 301 and the display device 302.
  • the external I/F 303 is an interface with an external device.
  • the external device includes a recording medium 303a and the like.
  • the estimation apparatus 10 can read or write the recording medium 303a via the external I/F 303.
  • the recording medium 303a may store, for example, one or more programs that realize the parameter estimation processing unit 101 or one or more programs that realize the optimization processing unit 201.
  • Examples of the recording medium 303a include a flexible disk, a CD (Compact Disc), a DVD (Digital Versatile Disk), an SD memory card (Secure Digital memory card), and a USB (Universal Serial Bus) memory card.
  • a flexible disk a CD (Compact Disc), a DVD (Digital Versatile Disk), an SD memory card (Secure Digital memory card), and a USB (Universal Serial Bus) memory card.
  • RAM 304 is a volatile semiconductor memory that temporarily holds programs and data.
  • the ROM 305 is a non-volatile semiconductor memory that can retain programs and data even when the power is turned off.
  • the ROM 305 stores, for example, OS (Operating System) setting information, communication network setting information, and the like.
  • the processor 306 is, for example, a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), or the like, and is an arithmetic device that reads programs and data from the ROM 305, the auxiliary storage device 308, and the like onto the RAM 304 and executes processing.
  • the parameter estimation processing unit 101 is realized by reading one or more programs stored in the ROM 305, the auxiliary storage device 308, or the like onto the RAM 304 and causing the processor 306 to execute processing.
  • the optimization processing unit 201 is realized by reading one or more programs stored in the ROM 305, the auxiliary storage device 308, or the like onto the RAM 304 and causing the processor 306 to execute the processing.
  • the communication I/F 307 is an interface for connecting the estimation device 10 to a communication network.
  • the one or more programs that realize the parameter estimation processing unit 101 and the one or more programs that realize the optimization processing unit 201 may be acquired (downloaded) from a predetermined server device or the like via the communication I/F 307.
  • the auxiliary storage device 308 is, for example, a HDD (Hard Disk Drive) or an SSD (Solid State Drive), and is a non-volatile storage device that stores programs and data.
  • the programs and data stored in the auxiliary storage device 308 include, for example, an OS and application programs that implement various functions on the OS.
  • the auxiliary storage device 308 of the estimation device 10 stores one or more programs that implement the parameter estimation processing unit 101.
  • the auxiliary storage device 308 of the optimization device 20 stores one or more programs that realize the optimization processing unit 201.
  • the storage unit 102 included in the estimation device 10 can be realized by using, for example, the auxiliary storage device 308.
  • the storage unit 202 included in the optimization device 20 can be realized by using, for example, the auxiliary storage device 308.
  • the estimation device 10 according to the embodiment of the present invention can realize various processes described later by having the hardware configuration shown in FIG.
  • the optimization device 20 according to the embodiment of the present invention can realize various processes described later by having the hardware configuration shown in FIG.
  • the estimation device 10 and the optimization device 20 according to the embodiment of the present invention are each realized by one device (computer), but the present invention is not limited to this. At least one of the estimation device 10 and the optimization device 20 according to the embodiment of the present invention may be realized by a plurality of devices (computers). Further, one device (computer) may include a plurality of processors 306 and a plurality of memories (RAM 304, ROM 305, auxiliary storage device 308, etc.).
  • FIG. 3 is a flowchart showing an example of parameter estimation processing according to the embodiment of the present invention.
  • the input unit 111 inputs the original question data (step S101).
  • the initialization unit 112 initializes the parameters of the functional model (for example, the above parameters ⁇ , ⁇ , ⁇ ) (step S102).
  • the initialization unit 112 initializes the above parameters to appropriate values according to the problem d to be optimized.
  • the gradient calculator 113 calculates the gradient of the objective function (for example, the likelihood shown in the above equation (2)) (step S103).
  • the parameter updating unit 114 uses the gradient calculated by the gradient calculating unit 113 to update the parameter of the function model so that the value of the objective function becomes high (step S104).
  • the end condition determination unit 115 determines whether or not the first end condition is satisfied (step S105).
  • step S105 If it is determined in step S105 that the first termination condition is not satisfied, the parameter estimation processing unit 101 returns to step S103. As a result, steps S103 to S104 are repeatedly executed until the first end condition is satisfied.
  • step S105 when it is determined in step S105 that the first end condition is satisfied, the output unit 116 outputs the parameter of the functional model (that is, the estimated parameter) (step S106).
  • FIG. 4 is a flowchart showing an example of the optimization processing in the embodiment of the present invention.
  • the input unit 211 inputs a functional model in which estimated parameters are set (step S201).
  • the distribution estimation unit 212 estimates the distribution of the target function (step S202). Note that, for example, when the neural Gaussian process shown in the above equation (1) is used as the function model, the distribution estimation unit 212 estimates the distribution of the target function by the above equations (4) to (5).
  • the acquisition function calculation unit 213 uses the distribution estimated by the distribution estimation unit 212 to calculate an acquisition function (for example, the expected improvement amount shown in Expression (3) above) (step S203).
  • the function evaluation unit 214 evaluates the target function at the point where the value of the acquisition function calculated by the acquisition function calculation unit 213 becomes maximum (step S204).
  • the end condition determination unit 215 determines whether or not the second end condition is satisfied (step S205).
  • step S205 When it is determined in step S205 that the second end condition is not satisfied, the optimization processing unit 201 returns to step S202. As a result, steps S202 to S204 are repeatedly executed until the second end condition is satisfied.
  • the output unit 216 when it is determined in step S205 that the second end condition is satisfied, the output unit 216 outputs the processing result of the optimization processing (for example, the maximum value of the target function or the point that gives this maximum value) (Ste S206). It should be noted that the output unit 216 may output only the maximum value of the evaluation values, may output only the point giving the maximum value, or may output both of them.
  • the processing result of the optimization processing for example, the maximum value of the target function or the point that gives this maximum value
  • R is the one that uses the feature quantity (that is, the feature quantity is given to each optimization problem and that feature quantity is used)
  • M is the average function that uses the neural network
  • K is the kernel function. Represents one using a neural network.
  • present invention-RMK is a case where an optimization problem is solved by the method of the present invention using a feature amount and using a neural network as an average function m and a neural network as an input of a kernel function k. Show. Similarly, for example, “present invention-RM” uses the feature quantity, and uses a neural network as the average function m and a function other than the neural network as the kernel function k to solve the optimization problem by the method of the present invention. The case when solved is shown. The same applies to “present invention-RK” and “present invention-MK”.
  • Gaussian process GP
  • Gaussian process TGP
  • NP neural process
  • NN neural network
  • N-R neural network
  • the method of the present invention can find the optimum value with a smaller number of evaluations than other conventional techniques (that is, more efficiently than conventional techniques).
  • the method with the best average number of evaluations that is, the present invention-RMK
  • an asterisk "*" is given to those that have no statistically significant difference from the best method.
  • estimation device 20 optimization device 101 parameter estimation processing unit 111 input unit 112 initialization unit 113 gradient calculation unit 114 parameter update unit 115 end condition determination unit 116 output unit 102 storage unit 201 optimization processing unit 202 storage unit 211 input unit 212 Distribution estimation unit 213 Acquisition function calculation unit 214 Function evaluation unit 215 End condition determination unit 216 Output unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computational Mathematics (AREA)
  • Algebra (AREA)
  • Artificial Intelligence (AREA)
  • Computer Hardware Design (AREA)
  • Databases & Information Systems (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Operations Research (AREA)
  • Probability & Statistics with Applications (AREA)
  • Complex Calculations (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

推定装置は、複数の最適化問題に関するデータを入力する入力手段と、前記複数の最適化問題のそれぞれで最適化対象となる関数をモデル化した関数モデルのパラメータを推定する推定手段と、を有することを特徴とする。また、最適化装置は、複数の最適化問題のそれぞれで最適化対象となる関数をモデル化した関数モデルを入力する入力手段と、前記関数モデルを用いて、前記複数の最適化問題のそれぞれとは異なる最適化問題で最適化対象となる目標関数を繰り返し評価することで、前記目標関数を最適化する最適化手段と、を有することを特徴とする。

Description

推定装置、最適化装置、推定方法、最適化方法、及びプログラム
　本発明は、推定装置、最適化装置、推定方法、最適化方法、及びプログラムに関する。
　最適化問題とは、或る関数の最大値をとる点又は最小値をとる点を見つける問題である。ここで、複数の関連する最適化問題が与えられる場合がある。例えば、複数のデータセットのそれぞれで最適な機械学習器を見つける問題や、異なる状況のそれぞれで最適な人流の誘導を見つける問題、異なる状況のそれぞれでシミュレータの最適なパラメータを見つける問題等である。
　また、最適化問題を解くための最適化手法の１つとしてベイズ最適化が知られている（例えば非特許文献１参照）。ベイズ最適化とは、形状がわからない関数（ブラックボックス関数）の最大値をとる点又は最小値を取る点を見つけるための最適化手法である。
Jasper Snoek, Hugo Larochelle, and Ryan P. Adams. "Practical Bayesian optimization of machine learning algorithms." Advances in Neural Information Processing Systems. 2012.
　しかしながら、複数の関連する最適化問題が与えられている場合に、ベイズ最適化では、他の関連する最適化問題の知見を活用することができなかった。言い換えると、或る最適化問題をベイズ最適化により解く場合に、他の最適化問題に関する情報を活用することができなかった。このため、これらの最適化問題を効率的に解くことができない場合があった。
　本発明は、上記の点に鑑みてなされたもので、複数の最適化問題を効率的に解くことを目的とする。
　上記目的を達成するため、本発明の実施の形態における推定装置は、複数の最適化問題に関するデータを入力する入力手段と、前記複数の最適化問題のそれぞれで最適化対象となる関数をモデル化した関数モデルのパラメータを推定する推定手段と、を有することを特徴とする。
　また、本発明の実施の形態における最適化装置は、複数の最適化問題のそれぞれで最適化対象となる関数をモデル化した関数モデルを入力する入力手段と、前記関数モデルを用いて、前記複数の最適化問題のそれぞれとは異なる最適化問題で最適化対象となる目標関数を繰り返し評価することで、前記目標関数を最適化する最適化手段と、を有することを特徴とする。
　複数の最適化問題を効率的に解くことができる。
本発明の実施の形態における推定装置及び最適化装置の機能構成の一例を示す図である。 本発明の実施の形態における推定装置及び最適化装置のハードウェア構成の一例を示す図である。 本発明の実施の形態におけるパラメータ推定処理の一例を示すフローチャートである。 本発明の実施の形態における最適化処理の一例を示すフローチャートである。
　以下、本発明の実施の形態について説明する。本発明の実施の形態では、複数の最適化問題が与えられた場合に、これらの最適化問題を効率的に解くための推定装置１０及び最適化装置２０について説明する。
　本発明の実施の形態では、D個の最適化問題に関するデータ
Figure JPOXMLDOC01-appb-M000001
 が与えられたとする。以降では、これらD個の最適化問題を「元問題」とも表す。また、元問題の各々を「問題d」（d=1,・・・,D）、元問題に関するデータを「元問題データ」とも表す。ここで、
Figure JPOXMLDOC01-appb-M000002
 は問題dのn番目の入力ベクトル、
Figure JPOXMLDOC01-appb-M000003
 はその出力値、fd(・)は問題dで最適化したい関数、εは観測ノイズ、Ndは問題dの観測データ数、
Figure JPOXMLDOC01-appb-M000004
 は問題dの特徴量を表す。なお、以降では、便宜上、明細書のテキストでは、ベクトルを太字ではなく、通常の書体で表す。例えば、上記の数４に示す特徴量は、明細書のテキストでは「rd」と表す。
　このとき、元問題の各々とは異なる最適化問題（この最適化問題を「目標問題d*」とも表す。）の特徴量rd*が与えられた場合に、ベイズ最適化の枠組みに基づいて、より少ない評価回数で、目標問題d*の関数fd*(x)の最大値を求めること、すなわち、この最大値を取る点（ベクトル）
Figure JPOXMLDOC01-appb-M000005
 を求めることである。なお、以降では、ベイズ最適化の枠組みにおいて評価対象となる関数（つまり、上記の関数fd*）を「目標関数」と表す。
　本発明の実施の形態では、元問題データを用いて、最適化したい関数fdのモデル（以降、「関数モデル」とも表す。）のパラメータを推定装置１０により推定する。そして、このパラメータを設定した関数モデルを用いて、ベイズ推定の枠組みに基づき、目標問題を最適化装置２０により最適化する。これにより、より少ない評価回数で目標問題を最適化することができ、元問題及び目標問題、すなわち複数の最適化問題を効率的に解くことができる。
　なお、本発明の実施の形態では、主に、最適化問題の特徴量（上記のrdやrd*）が与えられる場合について説明するが、特徴量は与えられないこともある。また、本発明の実施の形態では、元問題が与えられている状況で目標問題を最適化する場合について説明するが、例えば、与えられた複数の最適化問題を同時に最適化する場合についても同様に適用することができる。
　また、本発明の実施の形態では、目標関数fd*の最大値を求める場合（つまり、目標問題が最大化問題である場合）について説明するが、目標関数fd*の最小値を求める場合（つまり、目標問題が最小化問題である場合）についても同様に適用することができる。
　＜推定装置１０及び最適化装置２０の機能構成＞
　まず、本発明の実施の形態における推定装置１０及び最適化装置２０の機能構成について、図１を参照しながら説明する。図１は、本発明の実施の形態における推定装置１０及び最適化装置２０の機能構成の一例を示す図である。
　　《推定装置１０》
　図１に示すように、本発明の実施の形態における推定装置１０は、パラメータ推定処理部１０１と、記憶部１０２とを有する。
　パラメータ推定処理部１０１は、関数モデルのパラメータを推定するための処理（以降、「パラメータ推定処理」とも表す。）を実行する。記憶部１０２は、パラメータ推定処理に用いられる各種データ（例えば、元問題データ等）やパラメータ推定処理の処理結果（例えば、関数モデルのパラメータ等）を記憶する。
　ここで、パラメータ推定処理部１０１は、各問題dの関数fd(・)をそれぞれ以下の式（１）に示すニューラルガウス過程でモデル化する（つまり、以下の式（１）に示すニューラルガウス過程を関数モデルとする。）。
Figure JPOXMLDOC01-appb-M000006
 　ここで、
Figure JPOXMLDOC01-appb-M000007
 は平均関数m、カーネル関数kのガウス過程、m(・;ξ)はパラメータξを持つニューラルネットワークで定義される平均関数、k(・,・;θ)はパラメータθを持つカーネル関数、g(・;ψ)はパラメータψを持つニューラルネットワークを表す。パラメータξ，θ，ψはそれぞれベクトルで表現され、全ての問題dの間で共有される。なお、ガウス過程の代わりに、例えば、スチューデントt過程等、関数を生成する任意のモデルを利用してもよい。
　ニューラルネットワークとしては、例えば、フィードフォワード型、畳み込み型、再帰型等、任意のニューラルネットワークを利用することができる。また、ニューラルネットワークの代わりに、他のモデルが用いられてもよい。
　このとき、パラメータ推定処理部１０１は、上記の式（１）に示す関数モデルによって元問題データが説明できるようにパラメータξ，θ，ψを推定する。パラメータ推定処理部１０１は、例えば、以下の式（２）に示す尤度を目的関数として、この目的関数を最大することによってパラメータξ，θ，ψを推定する。
Figure JPOXMLDOC01-appb-M000008
 　ここで、
Figure JPOXMLDOC01-appb-M000009
 は問題dのNd次元の出力値のベクトル、
Figure JPOXMLDOC01-appb-M000010
 は問題dのNd次元の平均関数値のベクトル、KdはNd×Ndの問題dのカーネル行列であり、その(n,n')要素が
Figure JPOXMLDOC01-appb-M000011
 で与えられる行列である。
　なお、各問題dに特徴量rdが与えられない場合は、ニューラルネットワークの入力として特徴量rdをとらないものを用いればよい。すなわち、m(x, rd;ξ)の代わりにm(x;ξ)、g(x, rd;ψ)の代わりにg(x,;ψ)を用いればよい。
　ここで、図１に示すように、パラメータ推定処理部１０１には、入力部１１１と、初期化部１１２と、勾配計算部１１３と、パラメータ更新部１１４と、終了条件判定部１１５と、出力部１１６とが含まれる。
　入力部１１１は、元問題データを入力する。なお、入力部１１１は、記憶部１０２に記憶されている元問題データを入力してもよいし、通信ネットワークを介して接続される他の装置から元問題データを受信及び入力してもよい。
　初期化部１１２は、関数モデルのパラメータ（例えば、上記のパラメータξ，θ，ψ）を初期化する。勾配計算部１１３は、目的関数（例えば、上記の式（２）に示す尤度）の勾配を計算する。パラメータ更新部１１４は、勾配計算部１１３により計算された勾配を用いて、目的関数の値が高くなるように、関数モデルのパラメータを更新する。
　勾配計算部１１３による勾配の計算と、パラメータ更新部１１４によるパラメータの更新とは、所定の終了条件を満たすまで繰り返し実行される。なお、以降では、この所定の終了条件を「第１の終了条件」と表す。
　終了条件判定部１１５は、第１の終了条件を満たすか否かを判定する。第１の終了条件としては、例えば、上記の繰り返し回数が所定の回数に達したこと、目的関数値の変化量が所定の閾値以下になったこと、更新の前後でパラメータの変化量が所定の閾値以下になったこと等が挙げられる。
　出力部１１６は、終了条件判定部１１５により第１の終了条件を満たすと判定された場合、関数モデルのパラメータを出力する。なお、出力部１１６は、関数モデルのパラメータを記憶部１０２に出力（保存）してもよいし、通信ネットワークを介して接続される他の装置（例えば、最適化装置２０等）に出力してもよい。以降では、出力部１１６により出力されるパラメータを「推定済パラメータ」とも表す。
　　《最適化装置２０》
　図１に示すように、本発明の実施の形態における最適化装置２０は、最適化処理部２０１と、記憶部２０２とを有する。
　最適化処理部２０１は、ベイズ最適化の枠組みに基づいて、目標問題を最適化するための処理（以降、「最適化処理」とも表す。）を実行する。記憶部２０２は、目標問題の最適化処理に用いられる各種データ（例えば、推定済パラメータが設定された関数モデル等）や目標問題の最適化処理の処理結果（例えば、目標関数の最大値やこの最大値を与える点等）を記憶する。
　ここで、ベイズ最適化では、次の評価に用いられる入力を獲得関数によって選択する。そこで、最適化処理部２０１は、例えば、以下の式（３）に示す期待改善量を獲得関数として用いる。
Figure JPOXMLDOC01-appb-M000012
 　ここで、φ(・)及びΦ(・)はそれぞれ標準正規分布の密度関数及び累積密度関数、y★はこれまでに得られている最大値（つまり、これまで評価した目標関数値のうちの最大の目標関数値）、μ(x)は平均、σ(x)は標準偏差を表す。なお、最適化処理部２０１は、期待改善量以外の任意の獲得関数を用いてもよい。
　これまでにNd*回の目標関数fd*の評価を行っているとした場合に、これまでの入力を
Figure JPOXMLDOC01-appb-M000013
 、これまでの評価値（つまり、目標関数値）を
Figure JPOXMLDOC01-appb-M000014
 とする。このとき、上記の式（１）に示すニューラルガウス過程を関数モデルとして用いた場合、最適化処理部２０１は、目標関数の分布を以下の式（４）～（５）により計算することができる。
Figure JPOXMLDOC01-appb-M000015
 　ここで、
Figure JPOXMLDOC01-appb-M000016
 はxでのカーネル関数値、
Figure JPOXMLDOC01-appb-M000017
 はxとX*との間のカーネル関数値のNd*次元ベクトル、
Figure JPOXMLDOC01-appb-M000018
 はX*のカーネル行列、
Figure JPOXMLDOC01-appb-M000019
 はパラメータ推定処理部１０１によって推定された関数モデルのパラメータ（つまり、推定済パラメータ）である。
　ここで、図１に示すように、最適化処理部２０１には、入力部２１１と、分布推定部２１２と、獲得関数計算部２１３と、関数評価部２１４と、終了条件判定部２１５と、出力部２１６とが含まれる。
　入力部２１１は、推定済パラメータが設定された関数モデルを入力する。なお、入力部２１１は、記憶部２０２に記憶されている関数モデルを入力してもよいし、通信ネットワークを介して接続される他の装置から関数モデルを受信及び入力してもよい。
　分布推定部２１２は、例えば上記の式（４）により、目標関数の分布を推定する。獲得関数計算部２１３は、分布推定部２１２により推定された分布を用いて、獲得関数（例えば、上記の式（３）に示す期待改善量）を計算する。関数評価部２１４は、獲得関数計算部２１３により計算された獲得関数の値が最大となる点で目標関数を評価する（つまり、当該点における目標関数値を得る。）。
　分布推定部２１２による分布の推定と、獲得関数計算部２１３による獲得関数の計算と、関数評価部２１４による関数の評価とは、所定の終了条件を満たすまで繰り返し実行される。なお、以降では、この所定の終了条件を「第２の終了条件」と表す。
　終了条件判定部２１５は、第２の終了条件を満たすか否かを判定する。第２の終了条件としては、例えば、上記の繰り返し回数が所定の回数に達したこと、目標関数の最大値が所定の閾値以上になったこと、目標関数の最大値の変化量が所定の閾値以下になったこと等が挙げられる。
　出力部２１６は、終了条件判定部２１５により第２の終了条件を満たすと判定された場合、最適化処理の処理結果（例えば、評価値（目標関数値）の最大値やこの最大値を与える点）を出力する。なお、出力部２１６は、最適化処理の処理結果を記憶部２０２に出力（保存）してもよいし、通信ネットワークを介して接続される他の装置に出力してもよい。
　ここで、本発明の実施の形態では、推定装置１０と最適化装置２０とが異なる装置である場合について説明するが、推定装置１０と最適化装置２０とが１台の装置で実現されていてもよい。この場合、当該装置は、パラメータ推定処理部１０１と、最適化処理部２０１と、記憶部とを有するように構成されていればよい。
　＜推定装置１０及び最適化装置２０のハードウェア構成＞
　次に、本発明の実施の形態における推定装置１０及び最適化装置２０のハードウェア構成について、図２を参照しながら説明する。図２は、本発明の実施の形態における推定装置１０及び最適化装置２０のハードウェア構成の一例を示す図である。なお、推定装置１０及び最適化装置２０は同様のハードウェア構成で実現可能であるため、以降では、主に、推定装置１０のハードウェア構成について説明する。
　図２に示すように、本発明の実施の形態における推定装置１０は、入力装置３０１と、表示装置３０２と、外部Ｉ／Ｆ３０３と、ＲＡＭ（Random Access Memory）３０４と、ＲＯＭ（Read Only Memory）３０５と、プロセッサ３０６と、通信Ｉ／Ｆ３０７と、補助記憶装置３０８とを有する。これら各ハードウェアは、それぞれがバスＢを介して通信可能に接続されている。
　入力装置３０１は、例えばキーボードやマウス、タッチパネル等であり、ユーザが各種操作を入力するのに用いられる。表示装置３０２は、例えばディスプレイ等であり、推定装置１０の処理結果等を表示する。なお、推定装置１０及び最適化装置２０は、入力装置３０１及び表示装置３０２の少なくとも一方を有していなくてもよい。
　外部Ｉ／Ｆ３０３は、外部装置とのインタフェースである。外部装置には、記録媒体３０３ａ等がある。推定装置１０は、外部Ｉ／Ｆ３０３を介して、記録媒体３０３ａの読み取りや書き込み等を行うことができる。記録媒体３０３ａには、例えば、パラメータ推定処理部１０１を実現する１以上のプログラムや最適化処理部２０１を実現する１以上のプログラム等が記録されていてもよい。
　記録媒体３０３ａとしては、例えば、フレキシブルディスク、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disk）、ＳＤメモリカード（Secure Digital memory card）、ＵＳＢ（Universal Serial Bus）メモリカード等がある。
　ＲＡＭ３０４は、プログラムやデータを一時保持する揮発性の半導体メモリである。ＲＯＭ３０５は、電源を切ってもプログラムやデータを保持することができる不揮発性の半導体メモリである。ＲＯＭ３０５には、例えば、ＯＳ（Operating System）に関する設定情報や通信ネットワークに関する設定情報等が格納されている。
　プロセッサ３０６は、例えばＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等であり、ＲＯＭ３０５や補助記憶装置３０８等からプログラムやデータをＲＡＭ３０４上に読み出して処理を実行する演算装置である。パラメータ推定処理部１０１は、ＲＯＭ３０５や補助記憶装置３０８等に格納されている１以上のプログラムをＲＡＭ３０４上に読み出してプロセッサ３０６が処理を実行することで実現される。同様に、最適化処理部２０１は、ＲＯＭ３０５や補助記憶装置３０８等に格納されている１以上のプログラムをＲＡＭ３０４上に読み出してプロセッサ３０６が処理を実行することで実現される。
　通信Ｉ／Ｆ３０７は、推定装置１０を通信ネットワークに接続するためのインタフェースである。パラメータ推定処理部１０１を実現する１以上のプログラムや最適化処理部２０１を実現する１以上のプログラムは、通信Ｉ／Ｆ３０７を介して、所定のサーバ装置等から取得（ダウンロード）されてもよい。
　補助記憶装置３０８は、例えばＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等であり、プログラムやデータを格納している不揮発性の記憶装置である。補助記憶装置３０８に格納されているプログラムやデータには、例えば、ＯＳ、当該ＯＳ上で各種機能を実現するアプリケーションプログラム等がある。また、推定装置１０の補助記憶装置３０８にはパラメータ推定処理部１０１を実現する１以上のプログラムが格納されている。同様に、最適化装置２０の補助記憶装置３０８には最適化処理部２０１を実現する１以上のプログラムが格納されている。
　また、推定装置１０が有する記憶部１０２は、例えば補助記憶装置３０８を用いて実現可能である。同様に、最適化装置２０が有する記憶部２０２は、例えば補助記憶装置３０８を用いて実現可能である。
　本発明の実施の形態における推定装置１０は、図２に示すハードウェア構成を有することにより、後述する各種処理を実現することができる。同様に、本発明の実施の形態における最適化装置２０は、図２に示すハードウェア構成を有することにより、後述する各種処理を実現することができる。
　なお、図２に示す例では、本発明の実施の形態における推定装置１０及び最適化装置２０がそれぞれ１台の装置（コンピュータ）で実現されている場合を示したが、これに限られない。本発明の実施の形態における推定装置１０及び最適化装置２０の少なくとも一方が、複数台の装置（コンピュータ）で実現されていてもよい。また、１台の装置（コンピュータ）には、複数のプロセッサ３０６や複数のメモリ（ＲＡＭ３０４やＲＯＭ３０５、補助記憶装置３０８等）が含まれていてもよい。
　＜パラメータ推定処理＞
　次に、本発明の実施の形態におけるパラメータ推定処理について、図３を参照しながら説明する。図３は、本発明の実施の形態におけるパラメータ推定処理の一例を示すフローチャートである。
　まず、入力部１１１は、元問題データを入力する（ステップＳ１０１）。
　次に、初期化部１１２は、関数モデルのパラメータ（例えば、上記のパラメータξ，θ，ψ）を初期化する（ステップＳ１０２）。なお、初期化部１１２は、最適化の対象となる問題dに応じて、上記のパラメータを適切な値に初期化する。
　次に、勾配計算部１１３は、目的関数（例えば、上記の式（２）に示す尤度）の勾配を計算する（ステップＳ１０３）。
　次に、パラメータ更新部１１４は、勾配計算部１１３により計算された勾配を用いて、目的関数の値が高くなるように、関数モデルのパラメータを更新する（ステップＳ１０４）。
　次に、終了条件判定部１１５は、第１の終了条件を満たすか否かを判定する（ステップＳ１０５）。
　ステップＳ１０５で第１の終了条件を満たさないと判定された場合、パラメータ推定処理部１０１は、ステップＳ１０３に戻る。これにより、第１の終了条件を満たすまで、ステップＳ１０３～ステップＳ１０４が繰り返し実行される。
　一方で、ステップＳ１０５で第１の終了条件を満たすと判定された場合、出力部１１６は、関数モデルのパラメータ（つまり、推定済パラメータ）を出力する（ステップＳ１０６）。
　＜最適化処理＞
　次に、本発明の実施の形態における最適化処理（目標問題の最適化処理）について、図４を参照しながら説明する。図４は、本発明の実施の形態における最適化処理の一例を示すフローチャートである。
　まず、入力部２１１は、推定済パラメータが設定された関数モデルを入力する（ステップＳ２０１）。
　次に、分布推定部２１２は、目標関数の分布を推定する（ステップＳ２０２）。なお、例えば、上記の式（１）に示すニューラルガウス過程を関数モデルとして用いた場合、分布推定部２１２は、上記の式（４）～（５）により目標関数の分布を推定する。
　次に、獲得関数計算部２１３は、分布推定部２１２により推定された分布を用いて、獲得関数（例えば、上記の式（３）に示す期待改善量）を計算する（ステップＳ２０３）。
　次に、関数評価部２１４は、獲得関数計算部２１３により計算された獲得関数の値が最大となる点で目標関数を評価する（ステップＳ２０４）。
　次に、終了条件判定部２１５は、第２の終了条件を満たすか否かを判定する（ステップＳ２０５）。
　ステップＳ２０５で第２の終了条件を満たさないと判定された場合、最適化処理部２０１は、ステップＳ２０２に戻る。これにより、第２の終了条件を満たすまで、ステップＳ２０２～ステップＳ２０４が繰り返し実行される。
　一方で、ステップＳ２０５で第２の終了条件を満たすと判定された場合、出力部２１６は、最適化処理の処理結果（例えば、目標関数の最大値やこの最大値を与える点）を出力する（ステップＳ２０６）。なお、出力部２１６は、評価値の最大値のみを出力してもよいし、この最大値を与える点のみを出力してもよいし、これらの両方を出力してもよい。
　＜従来技術との比較結果＞
　次に、本発明と従来技術との比較結果について説明する。ここで、比較に用いる最適化問題としては、「人工最適化問題」、「最適人流誘導探索」、「最適機械学習器探索」の３種類を用いた。この３種類の最適化問題を解いた場合に、最適値（最大値又は最小値）を見つけるまでの平均評価回数と標準誤差とを以下の表１に示す。
Figure JPOXMLDOC01-appb-T000020
 　ここで、本発明としては、RMK、RM、RK、MKの４種類のバージョンを用いた。Rは特徴量を利用したもの（つまり、各最適化問題に特徴量が与えられており、その特徴量を利用したもの）、Mは平均関数でニューラルネットワークを用いたもの、Kはカーネル関数でニューラルネットワークを用いたものを表す。
　例えば、「本発明-RMK」は、特徴量を利用し、かつ、平均関数mとしてニューラルネットワーク、カーネル関数kの入力としてニューラルネットワークを用いて、本発明の手法により最適化問題を解いた場合を示す。同様に、例えば、「本発明-RM」は、特徴量を利用し、かつ、平均関数mとしてニューラルネットワーク、カーネル関数kとしてニューラルネットワーク以外の関数を用いて、本発明の手法により最適化問題を解いた場合を示す。「本発明-RK」や「本発明-MK」についても同様である。
　また、従来技術としては、ガウス過程（GP）、元問題でカーネルパラメータを学習するガウス過程（TGP）、ニューラル過程（NP）、ニューラルネットワーク（NN）、特徴量を利用するニューラルネットワーク（NN-R）、次の評価に用いる点をランダムに選ぶ手法（Random）を用いた。
　上記の表１に示すように、本発明の手法が他の従来技術よりも少ない評価回数で（すなわち、従来技術よりも効率的に）最適値を見つけることができていることがわかる。なお、上記の表１では、平均評価回数が最も良い手法（つまり、本発明-RMK）を太字としている。また、最も良い手法と統計的有意差がなかったものにはアスタリスク「＊」を付与している。
　本発明は、具体的に開示された上記の実施形態に限定されるものではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。
　１０　　　　推定装置
　２０　　　　最適化装置
　１０１　　　パラメータ推定処理部
　１１１　　　入力部
　１１２　　　初期化部
　１１３　　　勾配計算部
　１１４　　　パラメータ更新部
　１１５　　　終了条件判定部
　１１６　　　出力部
　１０２　　　記憶部
　２０１　　　最適化処理部
　２０２　　　記憶部
　２１１　　　入力部
　２１２　　　分布推定部
　２１３　　　獲得関数計算部
　２１４　　　関数評価部
　２１５　　　終了条件判定部
　２１６　　　出力部

Claims (8)

  1. 　複数の最適化問題に関するデータを入力する入力手段と、
    　前記複数の最適化問題のそれぞれで最適化対象となる関数をモデル化した関数モデルのパラメータを推定する推定手段と、
    　を有することを特徴とする推定装置。
  2. 　前記推定手段は、
    　前記関数モデルと前記データとに応じた目的関数の勾配を計算し、該勾配を用いて、前記目的関数の値が最大又は最小となるように、前記関数モデルのパラメータを推定する、ことを特徴とする請求項１に記載の推定装置。
  3. 　複数の最適化問題のそれぞれで最適化対象となる関数をモデル化した関数モデルを入力する入力手段と、
    　前記関数モデルを用いて、前記複数の最適化問題のそれぞれとは異なる最適化問題で最適化対象となる目標関数を繰り返し評価することで、前記目標関数を最適化する最適化手段と、
    　を有することを特徴とする最適化装置。
  4. 　前記最適化手段は、
    　前記関数モデルのパラメータを用いて、前記目標関数の分布を計算し、
    　前記分布を用いて、所定の獲得関数により決定される値で前記目標関数を評価する、ことを特徴とする請求項３に記載の最適化装置。
  5. 　複数の最適化問題に関するデータを入力する入力手段と、
    　前記複数の最適化問題のそれぞれで最適化対象となる関数をモデル化した関数モデルのパラメータを推定する推定手段と、
    　前記推定したパラメータが設定された関数モデルを用いて、前記複数の最適化問題のそれぞれとは異なる最適化問題で最適化対象となる目標関数を繰り返し評価することで、前記目標関数を最適化する最適化手段と、
    　を有することを特徴とする最適化装置。
  6. 　複数の最適化問題に関するデータを入力する入力手順と、
    　前記複数の最適化問題のそれぞれで最適化対象となる関数をモデル化した関数モデルのパラメータを推定する推定手順と、
    　をコンピュータが実行することを特徴とする推定方法。
  7. 　複数の最適化問題のそれぞれで最適化対象となる関数をモデル化した関数モデルを入力する入力手順と、
    　前記関数モデルを用いて、前記複数の最適化問題のそれぞれとは異なる最適化問題で最適化対象となる目標関数を繰り返し評価することで、前記目標関数を最適化する最適化手順と、
    　をコンピュータが実行することを特徴とする最適化方法。
  8. 　コンピュータを、請求項１又は２に記載の推定装置、又は、請求項３乃至５の何れか一項に記載の最適化装置として機能させるためのプログラム。
PCT/JP2019/045849 2018-12-07 2019-11-22 推定装置、最適化装置、推定方法、最適化方法、及びプログラム Ceased WO2020116211A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/299,712 US20220058312A1 (en) 2018-12-07 2019-11-22 Estimation apparatus, optimization apparatus, estimation method, optimization method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018229988A JP7283065B2 (ja) 2018-12-07 2018-12-07 推定装置、最適化装置、推定方法、最適化方法、及びプログラム
JP2018-229988 2018-12-07

Publications (1)

Publication Number Publication Date
WO2020116211A1 true WO2020116211A1 (ja) 2020-06-11

Family

ID=70975452

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/045849 Ceased WO2020116211A1 (ja) 2018-12-07 2019-11-22 推定装置、最適化装置、推定方法、最適化方法、及びプログラム

Country Status (3)

Country Link
US (1) US20220058312A1 (ja)
JP (1) JP7283065B2 (ja)
WO (1) WO2020116211A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7508798B2 (ja) * 2020-02-10 2024-07-02 富士通株式会社 最適化装置、最適化プログラム、及び最適化方法
JP7476977B2 (ja) * 2020-11-05 2024-05-01 日本電信電話株式会社 予測方法、予測装置及びプログラム
KR20230015100A (ko) * 2021-07-22 2023-01-31 재단법인대구경북과학기술원 입출력 데이터 기반 제어 시스템 외란 추정 방법 및 장치
JP7709052B2 (ja) * 2022-02-22 2025-07-16 日本製鉄株式会社 パラメータ算出装置、パラメータ算出プログラムおよびパラメータ算出方法
CN116029409A (zh) * 2022-09-21 2023-04-28 中广核研究院有限公司 核反应堆多参数优化方法、装置、计算机设备和存储介质
CN116540543B (zh) * 2023-05-17 2025-12-02 清华大学 一种核蒸汽供应系统的多目标控制优化方法和装置
WO2026033582A1 (ja) * 2024-08-05 2026-02-12 株式会社日立ハイテク 荷電粒子ビーム装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05197705A (ja) * 1991-07-09 1993-08-06 Fujitsu Ltd ニューラルネットワークの学習システム
US6233310B1 (en) * 1999-07-12 2001-05-15 General Electric Company Exposure management and control system and method
EP3000053A4 (en) * 2013-05-30 2017-10-04 President and Fellows of Harvard College Systems and methods for performing bayesian optimization
US10572800B2 (en) * 2016-02-05 2020-02-25 Nec Corporation Accelerating deep neural network training with inconsistent stochastic gradient descent

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
ARIIZUMI, RYO ET AL.: "Multiobjective Optimization Based on Expensive Robotic Experiments under Heteroscedastic Noise", IEEE TRANSACTIONS ON ROBOTICS, vol. 33, no. 2, 28 December 2016 (2016-12-28), pages 468 - 483, XP011645023, ISSN: 1552-3098, DOI: 10.1109/TRO.2016.2632739 *
NAKAYAMA, HIROTAKA ET AL.: "Sequential Approximate Multiobjective Optimization using Computational Intelligence", PROCEEDINGS OF THE NINTH INTERNATIONAL SYMPOSIUM ON OPERATIONS RESEARCH AND ITS APPLICATIONS (ISORA'10, 23 August 2010 (2010-08-23), pages 1 - 12, ISBN: 978-7-5100-2406-1, Retrieved from the Internet <URL:http://www.aporc.org/LNOR/12/IS0RA2010F01.pdf> [retrieved on 20200116] *
YUN, YEBOON.: "Meta-Heuristic Methods and MultiObjective Optimization. Systems, Control and Information.)", vol. 55, no. 9, 15 September 2011 (2011-09-15), pages 367 - 373 *
ZHONG-HUA HAN ET AL.: "Surrogate-Based Optimization", REAL-WORLD APPLICATIONS OF GENETIC ALGORITHMS, 7 March 2012 (2012-03-07), pages 343 - 362, XP055663544, ISBN: 978-953-51-0146-8, Retrieved from the Internet <URL:https://api.intechopen.com/chapter/pdf-download/30305> [retrieved on 20200116] *

Also Published As

Publication number Publication date
US20220058312A1 (en) 2022-02-24
JP7283065B2 (ja) 2023-05-30
JP2020091791A (ja) 2020-06-11

Similar Documents

Publication Publication Date Title
JP7283065B2 (ja) 推定装置、最適化装置、推定方法、最適化方法、及びプログラム
Doran et al. A Permutation-Based Kernel Conditional Independence Test.
CN106547515B (zh) 用于执行算术运算的方法和处理设备
JP7421475B2 (ja) 学習方法、混合率予測方法及び学習装置
CN104182268B (zh) 仿真系统及其方法和包括所述仿真系统的计算系统
US11295050B2 (en) Structural analysis method and structural analysis apparatus
JP7172816B2 (ja) データ分析装置、データ分析方法及びデータ分析プログラム
JP7655446B2 (ja) 解析装置及びプログラム
JP7359206B2 (ja) 学習装置、学習方法、及びプログラム
JP7176371B2 (ja) 推定装置、推定方法及びプログラム
Giribone et al. Option pricing via radial basis functions: Performance comparison with traditional numerical integration scheme and parameters choice for a reliable pricing
WO2018198298A1 (ja) パラメータ推定装置、パラメータ推定方法、及びコンピュータ読み取り可能な記録媒体
CN119203917A (zh) 一种集成电路最差性能处理方法及装置、电子设备、介质
US20220405561A1 (en) Electronic device and controlling method of electronic device
JP7575008B2 (ja) 制御方法、制御装置、及びプログラム
JP6831307B2 (ja) 解算出装置、解算出方法及び解算出プログラム
JP7852576B2 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
CN113688995B (zh) 一种量子系统控制方法和装置
JP2019053349A (ja) パラメータ推定装置、パラメータ推定方法及びパラメータ推定プログラム
JP7548440B2 (ja) 最適化方法、最適化装置、及びプログラム
WO2024214153A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP7732592B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP7226568B2 (ja) ニューラルネットワーク学習装置、ニューラルネットワーク学習方法、プログラム
JP6721533B2 (ja) ｇｒａｐｈｉｃａｌ ｌａｓｓｏ計算装置、ｇｒａｐｈｉｃａｌ ｌａｓｓｏ計算方法及びｇｒａｐｈｉｃａｌ ｌａｓｓｏ計算プログラム
Rocci et al. Penalized Estimation of a Finite Mixture of Linear Regression Models

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19893148

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19893148

Country of ref document: EP

Kind code of ref document: A1