WO2022244547A1 - 情報処理システムおよび処理条件決定システム - Google Patents

情報処理システムおよび処理条件決定システム Download PDF

Info

Publication number
WO2022244547A1
WO2022244547A1 PCT/JP2022/017395 JP2022017395W WO2022244547A1 WO 2022244547 A1 WO2022244547 A1 WO 2022244547A1 JP 2022017395 W JP2022017395 W JP 2022017395W WO 2022244547 A1 WO2022244547 A1 WO 2022244547A1
Authority
WO
WIPO (PCT)
Prior art keywords
function
unit
processing
kernel
objective
Prior art date
Application number
PCT/JP2022/017395
Other languages
English (en)
French (fr)
Inventor
百科 中田
Original Assignee
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立製作所 filed Critical 株式会社日立製作所
Priority to KR1020237036991A priority Critical patent/KR20230162065A/ko
Priority to CN202280029029.5A priority patent/CN117178277A/zh
Publication of WO2022244547A1 publication Critical patent/WO2022244547A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N99/00—Subject matter not provided for in other groups of this subclass

Definitions

  • the present invention relates to an information processing system and a processing condition determination system.
  • annealing machine As an effective analysis device for efficiently solving combinatorial optimization problems, there is an annealing machine (or Ising machine) that converts the objective function into an Ising model and searches for a global solution using the annealing method.
  • annealing methods mainly include simulated annealing and quantum annealing.
  • An Ising model is a model that considers up to a first-order term and a second-order term for multiple spin variables that take the value of -1 or 1, and is part of combinatorial optimization problems such as the traveling salesman problem. It is known that the objective function of can be represented by an Ising model. However, the objective function in many actual combinatorial optimization problems is generally not formulated in advance, and the Ising model is not defined.
  • Patent document 1 is a conventional technique for finding an optimum combination using an annealing machine in such a case.
  • Patent Document 1 describes formulating an objective function from data and optimizing conditions for minimizing or maximizing it using annealing such as quantum annealing.
  • Cited Document 1 does not disclose a specific mapping method for converting the objective function into the Ising model.
  • the purpose of the present invention is to provide an information processing system that enables the search for optimal solutions by means of an arraying, etc., by converting a strongly nonlinear objective function derived by machine learning into an Ising model.
  • the present invention analyzes a learning database consisting of sample data regarding one or more explanatory variables and one or more objective variables, and generates an unconstrained quadratic function or a linear function with linear constraints.
  • an objective function deriving system for deriving an objective function from the learning database by machine learning; a function conversion system for converting to a linear formal function, wherein the objective function derivation system includes a machine learning setting unit for setting details of a machine learning method, and a machine learning method set by the machine learning setting unit.
  • a learning unit for deriving the objective function using the A dummy variable generation unit that generates the dummy variables based on the generation method set by the dummy variable setting unit; , the dimension of the nonlinear term of the explanatory variable higher than the second order is reduced to the second order or less, and the objective function is converted into the unconstrained quadratic function or the linearly constrained linear function with respect to the dummy variable and the objective variable. and a function conversion unit for converting.
  • an objective function with strong nonlinearity higher than quadratic is transformed into an unconstrained quadratic function or a linearly constrained linear function, and then subjected to annealing, linear programming, integer programming, or the like. It becomes possible to search for the optimum solution.
  • FIG. 1 is a configuration example of an information processing system in Example 1;
  • FIG. 4 is a diagram illustrating a typical objective function derived using machine learning;
  • 2B is a diagram illustrating an unconstrained quadratic function obtained by generating dummy variables for the objective function shown in FIG. 2A;
  • FIG. 4 is a flow chart of the information processing system according to the first embodiment; It is an example of a learning database. It is an example of a learning database. This is an example of true regression with explanatory and objective variables.
  • FIG. 10 is a diagram showing how to estimate a regression and search for the value of an explanatory variable that gives the maximum value.
  • FIG. 10 is a diagram showing how to estimate an acquisition function using Bayesian optimization and search for the value of an explanatory variable that gives the maximum value.
  • FIG. 6B shows an example output of an unconstrained quadratic function for the variables in FIG. 6A.
  • FIG. 6B shows an example of the output result (coefficient vector) of the linear-constrained linear function for the variables in FIG. 6A.
  • FIG. 6B shows an example of the output result (constraint matrix, constraint constant vector) of the linearly constrained linear function with respect to the variables in FIG. 6A.
  • FIG. 11 is a configuration example of an information processing system according to a second embodiment;
  • FIG. 10 is a flowchart of an information processing system in Example 2;
  • FIG. 11 is a configuration example of a processing condition determination system in Example 3;
  • FIG. 11 is a flow chart of a processing condition determination system in Example 3;
  • It is an example of GUI for input.
  • GUI for output It is an example of GUI for output.
  • the Ising model is a model that considers up to the quadratic terms of variables, in order to convert a general combinatorial optimization problem to the Ising model, terms higher than quadratic are defined as additional spin variables. Therefore, a transformation that drops the dimension is required.
  • the cubic term X 1 X 2 X 3 can be transformed into the quadratic term Y 12 X 3 by putting the product of the two spin variables X 1 X 2 with the new spin variable Y 12 .
  • the objective function obtained using machine learning generally has many high-order nonlinear terms, if it is converted to an Ising model by the above method, a large-scale additional spin variable is required. For example, consider the case where the highest degree of the objective function is 10.
  • the present embodiment provides a technique for converting a strongly nonlinear objective function derived by machine learning into an Ising model at high speed and with high accuracy so that the number of dummy variables does not become enormous. As a result, it becomes possible to perform optimization using an annealing machine or the like by converting a complex problem in the real world into an objective function by machine learning and further converting it into an Ising model.
  • This embodiment converts an objective function obtained using machine learning, especially the kernel method, into an Ising model.
  • the Ising model is known to be equivalent to an unconstrained quadratic function (Quadratic Unconstrained Binary Optimization model) for variables that can align binary variables that take only 0 or 1 by a predetermined transformation. Therefore, a method of converting an objective function f(X) related to a binary explanatory variable X into an unconstrained quadratic function by appropriately generating dummy variables will be described below.
  • the unconstrained quadratic function on the variable vector x is a function of at most quadratic on x, and using a symmetric matrix Q with the same number of rows and columns as the number of dimensions of x, the following (Equation 1 ) is a function expressed as
  • the superscript T indicates a transpose operation on a matrix.
  • This matrix Q is hereinafter referred to as a coefficient matrix.
  • the objective function is represented by a linear sum of kernel functions according to the Representer theorem. Since the objective function itself is generally a highly nonlinear function, the above method requires a large number of additional binary variables, ie dummy variables, to convert to an unconstrained quadratic function. However, the kernel function is weaker in nonlinearity than the objective function, and can be converted or approximated to an unconstrained quadratic function using a small number of dummy variables as described later.
  • a linearly constrained linear function with respect to the variable vector x is a vector a whose dimension is equal to the number of dimensions of x, a matrix A whose number of columns is equal to the number of dimensions of x, and a number of dimensions which is equal to the number of rows of A. It is a function represented by the following (Equation 2) using a vector c having
  • the vector a is called a coefficient vector
  • the matrix A is called a constraint matrix
  • the vector c is called a constraint constant vector.
  • FIG. 1 is a diagram showing a configuration example of an information processing system according to the first embodiment.
  • the information processing system of the first embodiment uses machine learning to derive an objective function from data of explanatory variables and objective variables. Convert to linear form function and output.
  • the information processing system 100 includes an objective function derivation system 200 that derives an objective function from sample data relating to one or more explanatory variables X and one or more objective variables Y using machine learning, and an additional a function transformation system 300 that generates a dummy variable X' and transforms the objective function into an unconstrained quadratic form function or a linearly constrained linear form function with respect to X and X'.
  • FIG. 2A illustrates an example of the objective function obtained by the objective function derivation system 200
  • FIG. 2B illustrates an unconstrained quadratic function as an example of the Ising model obtained by the function conversion system 300. is.
  • the objective function derivation system 200 includes a learning database 210 that stores sample data of the explanatory variable X and the objective variable Y, a machine learning setting unit 220 that sets the details of the machine learning method (type, specification, etc.), and a machine learning setting and a learning unit 230 that derives an objective function using the machine learning method set in the unit 220 .
  • the learning database 210 stores, as structured data, values of explanatory variables and objective variables for the number of samples.
  • the number of objective variables may be two or more as shown in FIG. 4B.
  • FIG. 5A shows an example of a true regression function
  • FIG. 5B shows a regression function obtained by estimating this true regression from the sample data shown in FIG. 4 .
  • an acquisition function by Bayesian optimization shown in FIG. 5C is also conceivable.
  • the acquisition function is the regression function estimated in FIG. 5B modified using the prediction variance.
  • the function conversion system 300 includes a dummy variable setting unit 310 that sets a dummy variable generation method, a dummy variable generation unit 320 that generates dummy variables based on the generation method set in the dummy variable setting unit 310, and a learning unit 230. and a function conversion unit 330 that converts the objective function obtained in (1) into an unconstrained quadratic function or a linear constraint linear function and outputs the result.
  • the function transforming unit 330 eliminates one or more explanatory variables that explicitly appear in the objective function using dummy variables, so that the The nonlinear term of is reduced to the second or lower dimension.
  • FIG. 6A shows a list of variables possessed by the quadratic form function without constraints or the linear form function with linear constraints, in which the original explanatory variables and the dummy variables generated by the dummy variable generation unit 320 are displayed.
  • FIG. 6B When converted into an unrestricted quadratic function, each element of the coefficient matrix of (Formula 1) is output as shown in FIG. 6B.
  • FIGS. 6C and 6D When converted to a linear form function with linear constraints, each element of the coefficient vector, constraint matrix, and constraint constant vector of (Equation 2) is output as shown in FIGS. 6C and 6D.
  • FIG. 3 is a flowchart for outputting a quadratic function without constraints or a linear function with linear constraints by the information processing system 100 from a state in which sample data of the explanatory variable X and the objective variable Y are stored in the learning database 210.
  • a method for the information processing system 100 of this embodiment to output a quadratic function without constraints or a linear function with linear constraints will be described below with reference to FIG.
  • the machine learning setting unit 220 sets the details of the machine learning method for deriving the objective function (step S101). For example, a learning type such as a kernel method, neural network, or decision tree is selected. In step S101, learning hyperparameters such as the type of kernel function and activation function, the depth of the tree, and the learning rate during error backpropagation are also set.
  • a learning type such as a kernel method, neural network, or decision tree is selected.
  • learning hyperparameters such as the type of kernel function and activation function, the depth of the tree, and the learning rate during error backpropagation are also set.
  • the learning unit 230 uses the data stored in the learning database 210 to learn the objective function by machine learning under various conditions set by the machine learning setting unit 220, and outputs the objective function to the function conversion unit 330. (step S102).
  • the user determines the dummy variable generation method and inputs it to the dummy variable setting unit 310 (step S103).
  • the generation method can be set by giving a constraint formula such as (Equation 3) below that some function related to the dummy variable X' and the explanatory variable X is identically established.
  • the dummy variable generation unit 320 generates dummy variables by the dummy variable generation interpolation method set in step S103 (step S104). That is, the dummy variable generator 320 generates a dummy variable X' that satisfies (Formula 3).
  • K By setting K to be smaller than the order of the objective function, it is possible to suppress the number of dummy variables, and even if the objective function obtained by machine learning is highly nonlinear, the objective function can be converted into an Ising model. become.
  • a dummy variable generation method described in step S204 of the second embodiment may be set.
  • the function conversion unit 330 converts the objective function derived by the learning unit 230 into an unconstrained quadratic function or a linear constraint linear function and outputs it (step S105).
  • the unconstrained quadratic function or the linear function with linear constraints is a function related to explanatory variables and dummy variables.
  • the function conversion unit 330 performs the above conversion by eliminating one or more explanatory variables appearing in one or more terms of the objective function with the dummy variables generated by the dummy variable generation unit 320. do.
  • the function conversion unit 330 when the function conversion unit 330 outputs a linear-form function with linear constraints, it is limited only when the constraint equation of (Equation 3) is linear, and there is a linear constraint shown in (Equation 2).
  • the constraints that the linear form function has are given by (Equation 3).
  • the converted objective function when outputting a non-restricted quadratic function from the function transforming unit 330, the converted objective function is output by adding a penalty term related to the constraint expression of (Equation 3). However, the penalty term is limited to quadratic form.
  • FIG. 7 is a diagram showing a configuration example of an information processing system according to the second embodiment.
  • the information processing system 100 of the second embodiment derives an objective function from the data of explanatory variables and objective variables using the kernel method, converts the objective function into an unconstrained quadratic function or a linearly constrained linear function, and outputs it. do.
  • Information processing system 100, objective function derivation system 200, learning database 210, machine learning setting unit 220, learning unit 230, function conversion system 300, dummy variable setting unit 310, dummy variable generation unit 320, and function conversion unit 330 are defined as follows: It is common with Example 1.
  • the machine learning setting unit 220 in this embodiment includes a kernel method selection unit 221 and a kernel function selection unit 222 .
  • a kernel method selection unit 221 selects a kernel method to be used for deriving the objective function.
  • the kernel function selection unit 222 selects the type of kernel function used in the kernel method.
  • FIG. 8 is a flowchart for the information processing system 100 to output a quadratic function without constraints or a linear function with linear constraints from the state in which the learning database 210 stores sample data of the explanatory variable X and the objective variable Y.
  • a method of outputting an unconstrained quadratic function or a linearly constrained linear function will be described below with reference to FIG.
  • the user selects one of kernel regression, Bayesian optimization, and multi-objective optimization by kernel regression in the kernel method selection unit 221 (step S201).
  • the Bayesian optimization method is selected to efficiently determine the next search data when there is a sparse learning area with little data.
  • a method of multi-objective optimization using kernel regression is selected.
  • kernel function type in the kernel method selected in step S201 in the kernel function selection unit 222 (step S202).
  • Types of kernel functions include functions such as RBF (Radial Basis Function) kernels, polynomial kernels, and sigmoid kernels.
  • the learning unit 230 uses the kernel method selected by the kernel method selection unit 221 and the kernel function selected by the kernel function selection unit 222 to learn and derive the objective function (step S203).
  • the derived objective function is the regression function if kernel regression is selected, the acquisition function if Bayesian optimization is selected, or the linear regression function for each objective variable for multi-objective optimization with kernel regression. Harmony.
  • the kernel method selection unit 221 selects the kernel regression
  • the kernel function selected by the kernel function selection unit 222 is approximated by adding one or more basis functions to obtain a new kernel function for learning.
  • the objective function is derived by kernel regression using the new kernel function.
  • the user determines the dummy variable generation method and inputs it to the dummy variable setting unit 310 (step S204).
  • the following two generation methods are particularly exemplified.
  • the first generation method is to generate dummy variables by applying one-hot encoding to possible values of the kernel function.
  • the one-hot encoding for the variable x with M-level values ⁇ 1 , ⁇ 2 ,.., ⁇ M ⁇ means that several levels are is a method of generating dummy variables x'1 , x'2 , .. , x'M .
  • This generation method assumes a vector of binary variables as explanatory variables. Since the number of possible values of the kernel function obtained by substituting the explanatory variables, ie, the level, is proportional to the dimension of the explanatory variables, it is possible to prevent the number of dummy variables from becoming enormous. As a result, even if the objective function obtained by machine learning is highly nonlinear, the objective function can be converted into an Ising model, and the objective function can be optimized using an annealing machine or the like. (Equation 5) and (Equation 6) can be easily transformed into the form of (Equation 3). From (Formula 5) and (Formula 6), the kernel function can be represented by a linear form function with linear constraints on explanatory variables and dummy variables.
  • the second generation method is a method of approximating the kernel function by performing fitting with the addition of one or more basis functions, and defining the conjugate variable in the dual transformation of this basis function as a dummy variable.
  • a dual problem consider one of Lagrange dual problem, Fenchel dual problem, Wolfe dual problem, and Legendre dual problem.
  • a vector of binary variables was assumed as explanatory variables, but the second generation method is not limited to this assumption.
  • the basis functions used here are expressed in quadratic form with respect to the conjugate variable of the dual problem and the explanatory variables.
  • the kernel function can be approximated by a quadratic function with respect to the explanatory variables and the dummy variables by using dummy variables as the conjugate variables of the above dual problem.
  • the constraint condition of the conjugate variable required in the dual problem may be the constraint expression (Equation 3) satisfied by the dummy variable.
  • the kernel function is expressed as an unconstrained quadratic form function.
  • Steps S205 and S206 that follow have the same definitions as steps S104 and S105 in the first embodiment, respectively.
  • step S201 when the kernel method selection unit 221 selects kernel regression or multi-objective optimization by kernel regression, the function conversion unit 330 converts the objective function into a linear function related to dummy variables, By imposing restrictions on the dummy variables generated by the variable generation unit 320, a constrained linear form function is derived. At this time, the function conversion unit 330 can also derive an unconstrained quadratic function by adding a quadratic form penalty term for the constraint to the converted linear form function. Also, in step S201, when the kernel method selection unit 221 selects Bayesian optimization, the function conversion unit 330 converts the objective function into a quadratic function related to dummy variables, and derives an unconstrained quadratic function. .
  • FIG. 9 is a diagram showing a configuration example of a processing condition determination system according to the third embodiment.
  • Information processing system 100 objective function derivation system 200, learning database 210, machine learning setting unit 220, kernel method selection unit 221, kernel function selection unit 222, learning unit 230, function conversion system 300, dummy variable setting unit 310, dummy variables Definitions of the generator 320 and the function converter 330 are common to the second embodiment.
  • the processing condition determination system 400 includes an objective function derivation system 200, a function conversion system 300, a processing device 500, a learning data generation unit 600, and a processing condition analysis system 700. It is a system that decides.
  • the processing device 500 is a device that processes a target sample by some process.
  • the processing equipment 500 includes semiconductor processing equipment.
  • Semiconductor processing equipment includes lithography equipment, film deposition equipment, patterning equipment, ion implantation equipment, heating equipment, cleaning equipment, and the like.
  • the lithographic apparatus includes an exposure apparatus, an electron beam lithography apparatus, an X-ray lithography apparatus, and the like.
  • the film forming apparatus includes a CVD (Chemical Vapor Deposition) apparatus, a PVD (Physical Vapor Deposition) apparatus, a vapor deposition apparatus, a sputtering apparatus, a thermal oxidation apparatus, and the like.
  • Pattern processing devices include wet etching devices, dry etching devices, electron beam processing devices, laser processing devices, and the like.
  • Ion implanters include plasma doping devices and ion beam doping devices.
  • Heating devices include resistance heating devices, lamp heating devices, and laser heating devices.
  • the processing device 500 may also be an additive manufacturing device.
  • Additive manufacturing equipment includes each type of additive manufacturing equipment such as liquid bath photopolymerization, material extrusion, powder bed fusion bonding, binder injection, sheet lamination, material injection, and directed energy deposition. Note that the processing apparatus 500 is not limited to a semiconductor processing apparatus or an additive manufacturing apparatus.
  • the processing device 500 includes a processing condition input unit 510 for inputting processing conditions output from the processing condition analysis system 700, and a processing unit 520 for performing processing of the processing device 500 using the processing conditions input by the processing condition input unit 510. and have In FIG. 9, the processing result acquisition unit 530 that acquires the processing result of the processing unit 520 is installed in the processing device 500, but it may be a stand-alone device separate from the processing device 500. In the processing unit 520, a sample is placed inside and processed.
  • the learning data generation unit 600 processes (converts) the processing conditions input to the processing condition input unit 510 into explanatory variable data and the processing results acquired by the processing result acquisition unit 530 into target variable data, and then Store in learning database 210 .
  • the processing condition analysis system 700 uses an analysis method selection unit 710 that selects an analysis method for the value of the explanatory variable according to the type of function derived by the function conversion system 300, and the analysis method selected by the analysis method selection unit. Then, the processing condition analysis unit 720 calculates the value of the explanatory variable that gives the minimum value or maximum value of the input function, and the value of the explanatory variable obtained by the processing condition analysis unit 720 is processed (converted) into the processing condition. and a processing condition output unit 730 for outputting to the processing device 500.
  • FIG. 10 is a flowchart for determining the processing conditions of the processing device 500.
  • FIG. A method for determining the processing conditions of the processing device 500 by the processing condition determining system 400 will be described below with reference to FIG.
  • the user inputs arbitrary processing conditions in the processing condition input unit 510 (step S301).
  • the processing conditions input here are called initial processing conditions, and there may be a plurality of them.
  • the processing unit 520 processes the sample (step S302). However, if the processed sample remains in the processing section 520, it is removed and a new unprocessed sample is placed in the processing section 520 before processing. When there are multiple processing conditions, the sample is replaced each time and processed.
  • the processing result acquisition unit 530 acquires the processing result (step S303). If the processing result satisfies the user, the process ends; otherwise, the process proceeds to step S305 (step S304).
  • the learning data generation unit 600 converts the processing conditions input by the processing condition input unit 510 into explanatory variable data, and converts the processing results acquired by the processing result acquisition unit 530 into objective variable data. Then, it is stored in the learning database 210 and the learning database is updated (step S305).
  • the learning data generating unit 600 can convert the processing condition data into explanatory variable data represented by binary variables by performing binary conversion or one-hot encoding.
  • the learning data generation unit 600 may perform normalization or the like, or may perform a combination of two or more of these conversion methods.
  • step S306, step S307, step S308, step S309, step S310 and step S311 are common to step S201, step S202, step S203, step S204, step S205 and step S206 of the second embodiment, respectively. be.
  • the function conversion unit 330 of the function conversion system 300 converts the objective function for the explanatory variable and the objective variable into an unconstrained quadratic function or a linear constraint linear function, and outputs the result. 710 selects how to parse this function (step S312). That is, if the function output in S311 is an unconstrained quadratic function, annealing is selected. If the function output in S311 is a linear-form function with linear constraints, integer programming or linear programming is selected.
  • the processing condition determination system 400 of this embodiment can handle not only unconstrained quadratic functions but also linear functions with linear constraints by selecting an appropriate analysis method according to the objective function. , can be used properly by the user.
  • the processing condition analysis unit 720 analyzes the function output in S311 using the analysis method selected by the analysis method selection unit 710 (step S313).
  • the analysis in step S313 it is possible to search for the value x opt of the variable x that maximizes or minimizes this function.
  • such X opt is searched for and output.
  • the processing condition output unit 730 converts the explanatory variable value data obtained in step S313 into processing conditions (step S314). A plurality of processing conditions may be obtained. Next, based on the processing conditions obtained in step S314, the user determines whether or not the processing of the processing device 500 can be executed. Input to the processing condition input unit 510 . If execution is not possible, the process returns to step S305 and subsequent steps, and the kernel method, kernel function, dummy variable generation method, and analysis method are reset. By repeating a series of steps from step S302 to step S315 until a processing result satisfying the user is obtained in step S304, it is possible to determine good processing conditions.
  • FIG. 11 shows an input GUI 1200, which is an example of an input screen for inputting settings for the processing condition determination system 400 of the third embodiment. It is assumed that this input screen is presented during the procedure of step S301.
  • the input GUI 1200 includes an initial processing condition setting box 1210, a learning data setting box 1220, a machine learning setting box 1230, a dummy variable setting box 1240, an analysis method setting box 1250, a valid/invalid display section 1260, A determination button 1270 is provided.
  • the initial processing condition setting box 1210 has a condition input section 1211.
  • the condition input unit 1211 for example, the data number, the name of each factor of the processing condition, and the value of each factor of each data can be input to a structure such as a csv file as the initial processing condition.
  • These factors are the control factors of the processing device 500, and in the example of FIG. 11 the factors are power and pressure.
  • the initial processing conditions can be input to the processing condition input unit 510 of the processing device 500 .
  • the learning data setting box 1220 has a conversion method input section 1221.
  • the conversion method input unit 1221 for example, one or more of one-hot encoding, binary conversion, and normalization are used to select a method of converting the processing conditions into explanatory variable data. Although only one method is selected in FIG. 11, multiple methods may be selected. Learning data generation in the learning data generation unit 600 is performed using the input method.
  • the machine learning setting box 1230 has a kernel method input section 1231 and a kernel function input section 1232.
  • Kernel method input unit 1231 selects, for example, kernel regression, Bayesian optimization, or multi-objective optimization by kernel regression. With the above inputs, the kernel method selection unit 221 selects a kernel method. In FIG. 11, multi-objective optimization by kernel regression is simply abbreviated as multi-objective optimization.
  • a kernel function input unit 1232 selects an RBF kernel, a polynomial kernel, a Sigmoid kernel, or the like. Kernel function selection in the kernel function selection unit 222 is performed by the input here.
  • the dummy variable setting box 1240 has a generation method input section 1241.
  • the generation method input unit 1241 can select, for example, three dummy variable generation methods (abbreviated as one-hot, basis function expansion, and approximation up to K-th order). It's like One-hot is the first generation method described in Example 2, and is a method by one-hot encoding for kernel functions.
  • Basis function expansion is the second generation method described in the second embodiment, and is a method of approximating a kernel function by summing basis functions and defining conjugate variables in the dual problem of these basis functions as dummy variables.
  • the approximation up to the K order is the generation method described in Example 1.
  • the analysis method setting box 1250 has an analysis method input section 1251. Annealing, integer programming, linear programming, etc. are selected as analysis methods. By the input here, the analysis method setting in the analysis method selection unit 710 is performed.
  • Whether or not the above inputs are valid is displayed by the valid/invalid display section 1260 provided in each of the above setting boxes.
  • the decision button 1270 of the input GUI 1200 is pressed, the procedure of FIG. 10 is executed, and the processing result output GUI 1300 is shown in FIG. 12A as an output GUI presented after step S303.
  • This GUI displays the current status and allows the user to choose whether or not to proceed to the next step.
  • the processing result output GUI 1300 includes a processing result display section 1310 , a completion/continue selection section 1320 and an enter button 1330 .
  • the processing result display unit 1310 has a sample display unit 1311 and a processing result display unit 1312.
  • the sample display section 1311 shows the state of the sample after the processing in step S302 is completed.
  • the processing result display unit 1312 displays the processing result obtained in step S303.
  • FIG. 12A shows the processing result output GUI 1300 when assuming an additional manufacturing device as the processing device 500 and a screw-shaped molded object as the target sample.
  • the sample display area 1311 shows the appearance of the screw-shaped molded object after the molding process
  • the processing result display area 1312 shows the height of the molded object and the defect rate.
  • the user can select whether to complete or continue in the completion/continuation selection section 1320 based on the information displayed in the processing result display section 1310. That is, the user can perform the work of step S304 on this GUI. If the user is satisfied with the results of the processing, he selects Done and presses the OK button 1330, thereby ending the steps as shown in FIG. If the user decides that he/she is not satisfied, he/she selects continuation and presses the determination button 1330, and the process proceeds to step S305.
  • the decision button 1330 of the processing result output GUI 1300 is pressed, the procedure of FIG. 10 is executed, and the analysis result output GUI 1400 is shown in FIG. 12B as the output GUI presented after step S314.
  • This GUI displays the current status and allows the user to choose whether or not to proceed to the next step.
  • the analysis result output GUI 1400 includes an analysis result display section 1410 , a continuation/reset selection section 1420 and an enter button 1430 .
  • the analysis result display unit 1410 has an objective function display unit 1411, a function conversion result display unit 1412, and a processing condition analysis result display unit 1413.
  • the objective function display unit 1411 displays information on the objective function derived in step S308.
  • the function conversion result display unit 1412 displays information on the unconstrained quadratic function or the linearly constrained linear function derived in step S311.
  • the processing condition analysis result display unit 1413 displays the processing conditions obtained in step S314.
  • the objective function display section 1411 displays values of hyperparameters, training errors, generalization errors, etc. when deriving the objective function in the learning section 230 .
  • the function conversion result display section 1412 the information shown in FIG. 7 output from the function conversion section 330 is displayed.
  • items such as explanatory variables and dummy variables, coefficient vectors, constraint matrices, and constrained constant vectors in linear form with linear constraints, coefficient matrices in quadratic form functions without constraints, and the like are displayed.
  • the processing condition analysis result display section 1413 the processing conditions output from the processing condition output section 730 are displayed.
  • the user can select continuation or resetting in the continuation/resetting selection section 1420. That is, the user can perform the work of step S315 on this GUI.
  • the user determines that the processing conditions displayed in the processing condition analysis result display unit 1413 can be used to perform the processing of the processing device 500, continuation is selected, and by pressing the decision button 1430, the A processing condition is input to the processing condition input unit 510, and the process proceeds to step S302.
  • the process proceeds to step S306.
  • resetting may be selected when it is determined that the numerical value of a specific factor of the processing condition displayed in the processing condition analysis result display unit 1413 is not preferable for the operation of the processing apparatus 500 . Further, when it is expected that the objective function is over-learning based on the objective function information displayed in the objective function display section 1411, resetting may be selected. Furthermore, resetting may be selected when the number of dummy variables of the function displayed in the function conversion result display section 1412 exceeds the user's reference value.
  • 100 information processing system, 210: learning database, 220: machine learning setting unit, 221: kernel method selection unit, 222: kernel function selection unit, 230: learning unit, 300: function conversion system, 310: dummy variable setting unit, 320: dummy variable generation unit, 330: function conversion unit, 400: processing condition determination system, 500: processing device, 510: processing condition input unit, 520: processing unit, 530: processing result acquisition unit, 600: learning data generation unit , 700: processing condition analysis system, 710: analysis method selection unit, 720: processing condition analysis unit, 730: processing condition output unit, 1200: input GUI, 1210: initial processing condition setting box, 1211: condition input unit, 1220 : learning data setting box, 1221: conversion method input section, 1230: machine learning setting box, 1231: kernel method input section, 1232: kernel function input section, 1240: dummy variable setting box, 1241: generation method input section, 1250: Analysis method setting box, 1251: analysis method input section, 1260: valid/invalid display section,

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Algebra (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Complex Calculations (AREA)

Abstract

機械学習で導出する非線形性の強い目的関数をイジングモデルへ変換することで、アリーリング等による最適解の探索を可能とする情報処理システムを提供する。本発明は、学習データベースに対して機械学習により目的関数を導出する目的関数導出システムと、前記目的関数を変換する関数変換システムと、を備え、前記目的関数導出システムは、機械学習の手法を設定する機械学習設定部と、前記目的関数を導出する学習部と、を有し、前記関数変換システムは、ダミー変数の生成方法を設定するダミー変数設定部と、前記ダミー変数を生成するダミー変数生成部と、前記目的関数に陽に現れる説明変数を前記ダミー変数を用いて消去することで、前記説明変数の二次より高次の非線形項を二次以下に次元を落とし、前記目的関数を前記ダミー変数および目的変数に関する前記制約なし二次形式関数または前記線形制約あり一次形式関数へ変換する関数変換部と、を有する。

Description

情報処理システムおよび処理条件決定システム
　本発明は、情報処理システムおよび処理条件決定システムに関する。
　組み合わせ最適化問題を効率的に解く有効な解析装置として、目的関数をイジングモデルに変換してアニーリング法を用いて大局解を探索するアニーリングマシン（あるいはイジングマシン）がある。ここで、アニーリングの方式には、主にシミュレーティッドアニーリング（Simulated Annealing）、量子アニーリング（Quantum Annealing）がある。また、イジングモデルとは、－１もしくは１の値をとる複数のスピン変数に関して、一次の項と二次の項までを考慮したモデルであり、巡回セールスマン問題など、組み合わせ最適化問題の一部の目的関数は、イジングモデルで表すことができることが知られている。しかし、現実の多くの組み合わせ最適化問題における目的関数は、一般には予め定式化されておらず、イジングモデルが定義されていない。このような場合にアニーリングマシンを用いて最適な組み合わせを求める従来技術として、特許文献１がある。
　特許文献１には、データから目的関数を定式化し、それを最小化あるいは最大化するような条件を、量子アニーリング等のアニーリングを用いて最適化することが記載されている。
特開2019-96334号公報
　特許文献１に示した発明のように、アニーリングマシンを用いて目的関数を最適化するには、目的関数をイジングモデルに変換しておく必要がある。しかし、引用文献１には、目的関数をイジングモデルに変換するための具体的なマッピング方法が開示されていない。
　本発明の目的は、機械学習で導出する非線形性の強い目的関数をイジングモデルへ変換することで、アリーリング等による最適解の探索を可能とする情報処理システムを提供することにある。
　上記課題を解決するために、本発明は、１つ以上の説明変数および１つ以上の目的変数に関する標本データからなる学習データベースを解析し、制約なし二次形式関数または線形制約あり一次形式関数を導出する情報処理システムであって、前記情報処理システムは、前記学習データベースに対して機械学習により目的関数を導出する目的関数導出システムと、前記目的関数を前記制約なし二次形式関数または前記制約あり一次形式関数に変換する関数変換システムと、を備え、前記目的関数導出システムは、機械学習の手法の詳細を設定する機械学習設定部と、前記機械学習設定部で設定された機械学習の手法を用いて前記目的関数を導出する学習部と、を有し、前記関数変換システムは、０か１の値のみを成分とするベクトルであるダミー変数の生成方法を設定するダミー変数設定部と、前記ダミー変数設定部で設定された生成方法に基づいて前記ダミー変数を生成するダミー変数生成部と、前記目的関数に陽に現れる１つ以上の前記説明変数を前記ダミー変数を用いて消去することで、前記説明変数の二次より高次の非線形項を二次以下に次元を落とし、前記目的関数を前記ダミー変数および前記目的変数に関する前記制約なし二次形式関数または前記線形制約あり一次形式関数へ変換する関数変換部と、を有する。
　本発明によれば、二次より高次の非線形性の強い目的関数が、制約なし二次形式関数または線形制約あり一次形式関数に変換され、アニーリング、線形計画法、整数計画法などを用いた最適解の探索が可能となる。
　その他の課題と新規な特徴は、本明細書の記述および添付図面から明らかになるであろう。
実施例１における情報処理システムの構成例である。 機械学習を用いて導出した典型的な目的関数を例示した図である。 図２Ａに示した目的関数に対し、ダミー変数を生成することで得られた制約なし二次形式関数を例示した図である。 実施例１における情報処理システムによるフローチャートである。 学習データベースの一例である。 学習データベースの一例である。 説明変数と目的変数が満たす、真の回帰の一例である。 回帰を推定し、最大値を与える説明変数の値を探索する様子を示した図である。 ベイズ最適化を用いて獲得関数を推定し、最大値を与える説明変数の値を探索する様子を示した図である。 説明変数と、生成されたダミー変数とのリストを示す図である。 図６Ａの変数に関する、制約なし二次形式関数の出力結果の一例を示す。 図６Ａの変数に関する、線形制約あり一次形式関数の出力結果（係数ベクトル）の一例を示す。 図６Ａの変数に関する、線形制約あり一次形式関数の出力結果（制約行列、制約定数ベクトル）の一例を示す。 実施例２における情報処理システムの構成例である。 実施例２における情報処理システムによるフローチャートである。 実施例３における処理条件決定システムの構成例である。 実施例３における処理条件決定システムによるフローチャートである。 入力用GUIの例である。 出力用GUIの例である。 出力用GUIの例である。
　以下、図面を用いて本発明の実施の形態を説明する。ただし、本発明は以下に示す実施の形態の記載内容に限定して解釈されるものではない。本発明の思想ないし趣旨から逸脱しない範囲で、その具体的構成を変更し得ることは当業者であれば容易に理解される。
　また、図面等において示す各構成の位置、大きさ、形状、及び範囲等は、発明の理解を容易にするため、実際の位置、大きさ、形状、及び範囲等を表していない場合がある。したがって、本発明では、図面等に開示された位置、大きさ、形状、及び範囲等に限定されない。
　イジングモデルは、変数の二次の項までを考慮したモデルのため、一般の組み合わせ最適化問題をイジングモデルに変換するためには、二次より高次の項を、追加のスピン変数を定義することで次元を落とす変換が必要となる。典型的な変換方法として、２つのスピン変数の積X1X2を新たなスピン変数Y12と置くことで、三次の項X1X2X3は二次の項Y12X3に変換できる。しかし、機械学習を用いて得られる目的関数は、一般に高次の非線形項を多数持つため、上記のような手法によりイジングモデルへ変換すると、大規模な追加スピン変数が必要となる。例えば、目的関数の最高次数が10の場合を考える。10次の項を2次に落とすには、8個の追加スピン変数が必要となる。このような項が100個あれば、800個の追加変数が必要となる。この追加のスピン変数は、０か１の値のみを成分とするベクトルであり、以下ダミー変数と呼ぶ。一般に、機械学習によって得られた目的関数には9次、8次、7次の項もあるため、更に多くの変数が必要となる。アニーリングマシンで扱えるスピン変数には上限があるため、このような機械学習で求めた目的関数の最適化を行うことは困難である。そこで、本実施形態では、機械学習で導出した非線形性の強い目的関数を、ダミー変数の数が膨大にならないように、高速かつ高精度でイジングモデルに変換する技術を提供する。これにより、現実世界の複雑な問題を機械学習で目的関数に変換し、更にイジングモデルに変換することで、アニーリングマシン等を用いた最適化を行うことが可能となる。
　本実施形態は、機械学習、特にカーネル法を用いて得られる目的関数を、イジングモデルへ変換するものである。イジングモデルは、所定の変換により、０か１のみの値をとるバイナリ変数を並べてできる変数に関する制約なし二次形式関数(Quadratic Unconstrained Binary Optimizationのモデル)と等価であることが知られている。このため、以下では、バイナリ変数の説明変数Xに関する目的関数f(X)を、ダミー変数を適宜生成することで、制約なし二次形式関数に変換する方法について、説明する。ここで、変数ベクトルxに関する制約なし二次形式関数とは、xに関して高々二次の関数であり、xの次元数と等しい行数と列数を持つ対称行列Qを用いて以下の（式１）のように表される関数である。
Figure JPOXMLDOC01-appb-M000001
　ここで、上添え字のTは、行列に対する転置演算を示す。以下、この行列Qを係数行列と呼ぶ。例えば目的関数として、カーネル法を用いて得られる回帰関数を選択すると、リプリゼンター定理(Representer定理、表現定理)により、目的関数はカーネル関数の線形和で表される。目的関数自体は一般に非線形性の強い関数であるため、上記の方法では制約なし二次形式関数に変換するために大量の追加バイナリ変数、すなわちダミー変数が必要となる。しかし、カーネル関数は目的関数に比べ非線形性が弱く、後述のように少数のダミー変数によって制約なし二次形式関数に変換あるいは近似することが可能である。従って、カーネル関数を制約なし二次形式関数に変換することで、その和である目的関数も制約なし二次形式関数に変換できることになる。アニーリングマシンを用いれば（式１）の制約なし二次形式関数の最大値または最小値を与える変数ベクトルx=xoptを探索できるため、xoptからダミー変数の成分を除去することで、目的関数を最大化または最小化する説明変数x=xoptを求めることができる。
　なお、カーネル関数には、RBF（Radial Basis Function）カーネル（ガウスカーネル）、多項式カーネル、Sigmoidカーネル等、様々なカーネル関数が存在する。カーネル関数の種類によっては、目的関数を線形制約あり一次形式関数に変換することも可能である。
ここで、変数ベクトルxに関する線形制約あり一次形式関数とは、xの次元数と等しい次元のベクトルaと、xの次元数と等しい列数を持つ行列Aと、Aの行数と等しい次元数を持つベクトルcとを用いて以下の（式２）ように表される関数である。
Figure JPOXMLDOC01-appb-M000002
　以下、ベクトルaを係数ベクトル、行列Aを制約行列、ベクトルcを制約定数ベクトルと呼ぶ。この場合、アニーリングではなく整数計画法または線形計画法を用いて線形制約ありの一次形式関数の最大値または最小値を与える変数ベクトルx=xoptを探索することができる。制約なし二次形式関数の場合と同様、xoptからダミー変数の成分を除去することで、目的関数を最大化または最小化する説明変数x=xoptを求めることができる。
  図１は実施例１における情報処理システムの構成例を示す図である。実施例１の情報処理システムは、説明変数と目的変数のデータから機械学習を用いて目的関数を導出し、その目的関数を、イジングマッピング、具体的には、制約なし二次形式関数または線形制約あり一次形式関数に変換し、出力する。
　情報処理システム100は、１つ以上の説明変数Xおよび１つ以上の目的変数Yに関する標本データから機械学習を用いて目的関数を導出する目的関数導出システム200と、説明変数Xに対して追加のダミー変数X’を生成し、目的関数をXとX’に関する制約なし二次形式関数または線形制約あり一次形式関数化に変換する関数変換システム300と、を備える。
図２Ａは、目的関数導出システム200により得られた目的関数の一例を図示したものであり、図２Ｂは関数変換システム300により得られたイジングモデルの一例として制約なし二次形式関数を図示したものである。
　目的関数導出システム200は、説明変数Xと目的変数Yの標本データを格納する学習データベース210と、機械学習の手法（種類や仕様など）の詳細を設定する機械学習設定部220と、機械学習設定部220で設定された機械学習の手法を用いて目的関数を導出する学習部230と、を有する。
　学習データベース210は、図４Ａのように、標本数分の説明変数と目的変数の値のデータを構造化データとして格納している。目的変数の数は、図４Ｂに示すように２つ以上あっても良い。学習部230で得られる目的関数としては、例えば説明変数X=(X1,X2,..)と目的変数Y=(Y1,Y2,..)間の回帰関数Y=f(X)がある。図５Ａは真の回帰関数の一例が示されており、図４に示した標本データから、この真の回帰を推定して得られた回帰関数を図５Ｂに示す。また、目的関数として、図５Ｃに示したベイズ最適化による獲得関数も考えられる。獲得関数は、図５Ｂで推定した回帰関数を、予測分散を用いて修正したものである。
さらに、特に目的変数が２つ以上ある場合、すなわち多目的最適化の場合は、目的関数として目的変数ごとの回帰関数の線形和を選択することも可能である。
　関数変換システム300は、ダミー変数の生成方法を設定するダミー変数設定部310と、ダミー変数設定部310で設定された生成方法に基づいてダミー変数を生成するダミー変数生成部320と、学習部230で得られた目的関数を制約なし二次形式関数または線形制約あり一次形式関数に変換して出力する関数変換部330と、を有する。ここで、関数変換部330は、目的変数を変換するに際に、目的関数に陽に現れる１つ以上の説明変数を、ダミー変数を用いて消去することにより、説明変数の二次より高次の非線形項を二次以下の次元に落とす処理を行う。
　関数変換部330での出力結果の一例を図６Ａ～図６Ｄに示す。図６Ａは、制約なし二次形式関数または線形制約あり一次形式関数の持つ変数の一覧を示しており、元の説明変数と、ダミー変数生成部320により生成されたダミー変数と、が表示されている。制約なし二次形式関数に変換された場合は、図６Ｂのように（式１）の係数行列の各要素が出力される。線形制約あり一次形式関数に変換された場合は、図６Ｃおよび図６Ｄのように（式２）の係数ベクトル、制約行列、制約定数ベクトルの各要素が出力される。
　図３は、学習データベース210に説明変数Xと目的変数Yの標本データを格納された状態から、情報処理システム100により制約なし二次形式関数または線形制約ありの一次形式関数を出力するフローチャートである。以下、図３を用いて、本実施例の情報処理システム100が制約なし二次形式関数または線形制約あり一次形式関数を出力する方法を説明する。
　まず、機械学習設定部220で、目的関数を導出するための機械学習手法の詳細が設定される（ステップS101）。例えば、カーネル法やニューラルネットワーク、決定木など学習の種類が選択される。また、ステップS101では、カーネル関数や活性化関数の種類、木の深さ、誤差逆伝搬の際の学習率など、学習のハイパーパラメータも設定される。
　次に、学習部230は、学習データベース210に格納されたデータを用いて、機械学習設定部220にて設定された諸条件の下で機械学習により目的関数を学習し、関数変換部330へ出力する（ステップS102）。
　次に、学習部230で導出された目的関数の情報に基づき、ユーザーはダミー変数の生成方法を決定し、ダミー変数設定部310に入力する（ステップS103）。なお、生成方法は以下の（式３）のようなダミー変数X’と説明変数Xに関する何らかの関数が恒等的に成り立つような制約式を与えることで設定できる。
Figure JPOXMLDOC01-appb-M000003
　次に、ダミー変数生成部320は、ステップS103にて設定されたダミー変数の生成補法により、ダミー変数を生成する（ステップS104）。すなわち、ダミー変数生成部320は、（式３）が成り立つようなダミー変数X’を生成する。
　（式３）の具体例を述べる。例えば、学習部230で導出された目的関数の持つ項のうち、ユーザーは、２以上の自然数Kを任意に決定し、説明変数のk=2,3,4,..,K次の単項式の１つ以上について、係数を除く部分を割り切るような係数１の単項式をダミー変数として定義することで、ダミー変数を生成する方法を設定できる。例えば、目的関数に－4X1X2X3の項があった時、単項式X2X3はこれを割り切るので、X2X3をダミー変数X’1として定義する。この場合の（式３)は、以下の（式４）のようになる。
Figure JPOXMLDOC01-appb-M000004
Kを目的関数の次数よりも小さく設定することで、ダミー変数の数の規模を抑制することが可能となり、機械学習で求めた目的関数の非線形性が強くても、目的関数をイジングモデル化できるようになる。他にも、後述の実施例２のステップS204で述べるダミー変数の生成方法を設定しても良い。
　最後に、関数変換部330は、学習部230にて導出された目的関数を制約なし二次形式関数または線形制約あり一次形式関数に変換して出力する（ステップS105）。ただし、制約なし二次形式関数または線形制約あり一次形式関数は、説明変数とダミー変数に関する関数とする。また、関数変換部330は、目的関数の1つ以上の項に出現する説明変数の1つ以上を、ダミー変数生成部320にて生成されたダミー変数により消去することで、上記の変換を実施する。
　なお、関数変換部330にて線形制約あり一次形式関数を出力する場合は、（式３）の制約式が線形になる場合にのみに限られており、（式２）に示した線形制約あり一次形式関数の持つ制約は（式３）によって与えられる。また、関数変換部330にて制約なし二次形式関数を出力する場合は、変換された目的関数に、（式３）の制約式に関するペナルティ項を加えることで出力される。ただし、ペナルティ項は、二次形式に限られる。
  実施例２では、機械学習として、特にカーネル法を用いた場合について説明する。図７は実施例２における情報処理システムの構成例を示す図である。実施例２の情報処理システム100は、説明変数と目的変数のデータからカーネル法を用いて目的関数を導出し、その目的関数を制約なし二次形式関数または線形制約あり一次形式関数に変換し出力する。
　情報処理システム100、目的関数導出システム200、学習データベース210、機械学習設定部220、学習部230、関数変換システム300、ダミー変数設定部310、ダミー変数生成部320および関数変換部330の定義は、実施例１と共通である。
　本実施例における機械学習設定部220では、特にカーネル法の詳細が設定される。本実施例の機械学習設定部220は、カーネル手法選択部221と、カーネル関数選択部222と、を備える。カーネル手法選択部で221では、目的関数を導出するために用いるカーネル手法が選択される。また、カーネル関数選択部222では、カーネル法で用いるカーネル関数の種類が選択される。
　図８は、学習データベース210に説明変数Xと目的変数Yの標本データが格納された状態から、情報処理システム100が制約なし二次形式関数または線形制約あり一次形式関数を出力するフローチャートである。以下、図８を用いて、制約なし二次形式関数または線形制約あり一次形式関数を出力する方法を説明する。
　まず、ユーザーは、カーネル手法選択部221において、カーネル回帰、ベイズ最適化、カーネル回帰による多目的最適化のいずれかの手法を選択する（ステップS201）。例えば、データが少なく疎な学習領域があるときに次の探索データを効率良く決めるような場合には、ベイズ最適化の手法が選択される。また、例えば、目的変数が複数あって互いにトレードオフの関係にあるときに最適な解を得たい場合には、カーネル回帰による多目的最適化の手法が選択される。
　次に、ユーザーは、カーネル関数選択部222において、ステップS201で選択したカーネル手法におけるカーネル関数の種類を選択する（ステップS202）。カーネル関数の種類としては、RBF（Radial Basis Function）カーネル、多項式カーネル、Sigmoidカーネル等の関数が考えられる。
　次に、学習部230は、カーネル手法選択部221で選択されたカーネル手法、およびカーネル関数選択部222で選択されたカーネル関数、を用いて、目的関数を学習し導出する（ステップS203）。ここで、導出される目的関数は、カーネル回帰が選択された場合は回帰関数、ベイズ最適化が選択された場合は獲得関数、カーネル回帰による多目的最適化の場合は目的変数ごとの回帰関数の線形和、となる。例えば、カーネル手法選択部221で、カーネル回帰が選択された場合、カーネル関数選択部222で選択されたカーネル関数を１つ以上の基底関数の足し合わせで近似することにより新たなカーネル関数とし、学習部230で、新たなカーネル関数を用いたカーネル回帰により目的関数を導出する。
　次に、学習部230で導出された目的関数の情報に基づき、ユーザーは、ダミー変数の生成方法を決定し、ダミー変数設定部310に入力する（ステップS204）。本実施例では、特に以下の２つの生成方法を例示する。
　第一の生成方法は、カーネル関数の取り得る値に対してone-hotエンコーディングを施すことで、ダミー変数を生成する方法である。ここで、M水準の値{λ1,λ2,..,λM}を持つ変数xに対するone-hotエンコーディングとは、以下の（式５）および（式６）を満たすように水準数個のダミー変数x’ 1,x’ 2,..,x’ Mを生成する方法である。
Figure JPOXMLDOC01-appb-M000005
Figure JPOXMLDOC01-appb-M000006
　この生成方法では、説明変数としてバイナリ変数のベクトルを想定する。この説明変数を代入して得られるカーネル関数の取り得る値の数、すなわち水準は、説明変数の次元に比例するため、ダミー変数の数が膨大となることを抑えることができる。これにより、機械学習で求めた目的関数の非線形性が強くても、目的関数をイジングモデル化でき、アニーリングマシン等を用いた目的関数の最適化が可能となる。なお、（式５）および（式６）は、（式３）の形式に容易に変形することができる。（式５）および（式６）より、カーネル関数は、説明変数とダミー変数に関する線形制約あり一次形式関数で表すことができる。
　第二の生成方法は、カーネル関数を１つ以上の基底関数の足し合わせでフィッティングを実施して近似し、この基底関数の双対変換における共役変数をダミー変数として定義する方法である。双対問題としては、Lagrange双対問題、Fenchel双対問題、Wolfe双対問題、Legendre双対問題のいずれかを考える。なお、第一の生成方法では説明変数としてバイナリ変数のベクトルを仮定したが、第二の生成方法はその仮定に限定されない。ここで用いられる基底関数は、双対問題の共役変数と、説明変数とに関して二次形式で表されるものである。このような基底関数としては、説明変数の一次形式あるいは二次形式を入力とするような、ReLU(Rectified Linear Unit)関数、絶対値を返す数値演算関数、あるいは指示関数等、多数の関数が存在する。このような基底関数を用いれば、上記の双対問題の共役変数をダミー変数とすることにより、カーネル関数を説明変数とダミー変数に関する二次形式関数で近似することができる。また、双対問題で要求される共役変数の制約条件を、ダミー変数の満たす（式３）の制約式とすればよい。従って、カーネル関数を説明変数とダミー変数に関する二次形式関数で近似した後に、（式３）の制約式に関する二次形式のペナルティ項を加えることで、カーネル関数を制約なし二次形式関数で表すことができる。
　第二の生成例においても、共役変数の数が小規模で済む基底関数を用いれば、ダミー変数の数が膨大となることを抑えることができるので、非線形性の強い目的関数もイジングモデル化が可能となる。なお、カーネル関数を１つ以上の基底関数の足し合わせでフィッティング（近似）する際に、カーネル関数と基底関数の足し合わせとの近似誤差に関する最小二乗法または最小絶対値法を用いることで、高精度なフィッティングが可能となる。
　以降のステップS205およびステップS206は、実施例１におけるステップS104およびステップS105とそれぞれ同じ定義である。なお、ステップS201においてカーネル手法選択部221で、カーネル回帰、または、カーネル回帰による多目的最適化、が選択された場合、関数変換部330は、目的関数をダミー変数に関する一次形式関数に変換し、ダミー変数生成部320で生成されたダミー変数に関する制約を課すことで、制約あり一次形式関数を導出する。このとき、関数変換部330は、変換された一次形式関数に、制約に対する二次形式のペナルティ項を付与することで、制約なし二次形式関数を導出することもできる。また、ステップS201においてカーネル手法選択部221で、ベイズ最適化が選択された場合、関数変換部330は、目的関数をダミー変数に関する二次形式関数に変換し、制約なし二次形式関数を導出する。
  実施例３では、実施例２の情報処理システムを用いて処理装置の処理条件を決定する、処理条件決定システムについて説明する。図９は、実施例３における処理条件決定システムの構成例を示す図である。
　情報処理システム100、目的関数導出システム200、学習データベース210、機械学習設定部220、カーネル手法選択部221、カーネル関数選択部222、学習部230、関数変換システム300、ダミー変数設定部310、ダミー変数生成部320および関数変換部330の定義は、実施例２と共通である。
　処理条件決定システム400は、目的関数導出システム200と、関数変換システム300と、処理装置500と、学習データ生成部600と、処理条件解析システム700と、で構成され、処理装置500の処理条件を決定するシステムである。
　処理装置500は、対象の試料に対して何らかの処理により加工を行う装置である。処理装置500には、半導体処理装置が含まれる。半導体処理装置には、リソグラフィ装置、製膜装置、パターン加工装置、イオン注入装置、加熱装置および洗浄装置などが含まれる。
リソグラフィ装置としては、露光装置、電子線描画装置およびX線描画装置などがある。
製膜装置としては、CVD（Chemical Vapor Deposition）装置、PVD（Physical Vapor Deposition）装置、蒸着装置、スパッタリング装置および熱酸化装置などがある。パターン加工装置としては、ウェットエッチング装置、ドライエッチング装置、電子ビーム加工装置およびレーザー加工装置などがある。イオン注入装置としては、プラズマドーピング装置およびイオンビームドーピング装置などがある。加熱装置としては、抵抗加熱装置、ランプ加熱装置およびレーザー加熱装置などがある。また、処理装置500は、付加製造装置であってもよい。付加製造装置には、液槽光重合、材料押出、粉末床溶融結合、結合剤噴射、シート積層、材料噴射、指向性エネルギー堆積など、各方式の付加製造装置が含まれる。なお、処理装置500は、半導体処理装置や付加製造装置に限定されない。
　処理装置500は、処理条件解析システム700から出力された処理条件を入力する処理条件入力部510と、処理条件入力部510で入力された処理条件を用いて処理装置500の処理を行う処理部520と、を有する。なお、図９では、処理部520の処理結果を取得する処理結果取得部530が処理装置500内に搭載されているが、処理装置500とは個別のスタンドアロンなものであっても良い。処理部520では、内部に試料が設置され、それに対して処理が行われる。
　学習データ生成部600は、処理条件入力部510に入力された処理条件を説明変数データに、処理結果取得部530で取得された処理結果を目的変数データに、それぞれ加工（変換）した上で、学習データベース210に格納する。
　処理条件解析システム700は、関数変換システム300によって導出された関数の種類に応じて説明変数の値の解析手法を選択する解析手法選択部710と、解析手法選択部で選択された解析手法を用いて、入力された関数の最小値または最大値を与える説明変数の値を算出する処理条件解析部720と、処理条件解析部720で得られた説明変数の値を処理条件に加工（変換）して処理装置500へ出力する処理条件出力部730と、を有する。
　図１０は、処理装置500の処理条件を決定するフローチャートである。以下、図１０を用いて、処理条件決定システム400が処理装置500の処理条件を決定する方法を説明する。
　まず、ユーザーは、処理条件入力部510にて任意の処理条件を入力する（ステップS301）。ここで入力された処理条件を初期処理条件と呼び、複数個あってもよい。初期処理条件として、処理装置500やその関連装置で過去に処理実績がある処理条件を選択しても良いし、実験計画法を用いて選択しても良い。次に、処理条件入力部510に入力された条件を用いて、処理部520が、試料に対する処理を行う（ステップS302）。ただし、処理済みの試料が処理部520に残っていた場合は、それを取り除き、新しい処理前の試料を処理部520に設置してから処理が行われる。処理条件が複数ある場合は、その都度、試料を取り替えて処理が行われる。処理後、処理結果取得部530が、処理結果を取得する（ステップS303）。処理結果がユーザーの満足するものであった場合は終了とし、そうでなかった場合はステップS305に移行する（ステップS304）。
　次に、学習データ生成部600は、処理条件入力部510で入力された処理条件を説明変数のデータに変換し、処理結果取得部530で取得された処理結果を目的変数のデータに変換した上で、学習データベース210に格納し、学習データベースを更新する（ステップS305）。ここで、学習データ生成部600は、処理条件のデータに対して二進数変換またはone-hotエンコーディングを施すことで、バイナリ変数で表される説明変数のデータに変換することができる。なお、学習データ生成部600は、この他にも、正規化などを施しても良いし、これらの変換方法を２つ以上組み合わせて実施しても良い。
　以降のステップのうち、ステップS306、ステップS307、ステップS308、ステップS309、ステップS310およびステップS311は、それぞれ実施例２のステップS201、ステップS202、ステップS203、ステップS204、ステップS205およびステップS206と共通である。
　S311にて、関数変換システム300の関数変換部330が、説明変数と目的変数に対する目的関数を、制約なし二次形式関数または線形制約あり一次形式関数に変換して出力した後、解析手法選択部710は、この関数の解析方法を選択する（ステップS312）。すなわち、S311で出力された関数が制約なし二次形式関数の場合は、アニーリングが選択される。また、S311で出力された関数が線形制約あり一次形式関数の場合は、整数計画法あるいは線形計画法が選択される。このように、本実施例の処理条件決定システム400では、目的関数に応じて適切な解析手法を選択することで、制約なし二次形式関数だけでなく、線形制約あり一次形式関数にも対応でき、ユーザーによる使い分けが可能である。
　次に、処理条件解析部720にて、解析手法選択部710で選択された解析手法を用いて、S311で出力された関数の解析を実施する（ステップS313）。ステップS313による解析により、この関数が最大あるいは最小となるような変数xの値xoptを探索することができる。ここで、この変数は図６Ａに示したように、説明変数とダミー変数で構成される変数であるから、xoptからダミー変数の成分を除去することで、最適な説明変数X=Xoptを求めることができる。ステップS313では、このようなXoptを探索して出力する。
　処理条件出力部730では、ステップS313で得られた説明変数の値のデータを処理条件に変換する（ステップS314）。なお、得られる処理条件は複数であっても良い。次に、ステップS314で得られた処理条件により、処理装置500の処理を実行しても良いか否かをユーザーが判断し、実行しても良い場合は、処理条件出力部730が処理条件を処理条件入力部510に入力する。実行が否の場合は、ステップS305以降のステップに戻り、カーネル手法、カーネル関数、ダミー変数の生成方法および解析手法の再設定が行われる。ステップS302からステップS315までの一連のステップを、ステップS304にてユーザーが満足する処理結果が得られるまで繰り返すことで、良質な処理条件を決定することが可能となる。
　図１１および図１３を用いて、実施例３に関するGUIを説明する。図１１は、入力用GUI 1200であり、実施例３の処理条件決定システム400の設定を入力する入力画面の例である。この入力画面は、ステップS301の手順に際して提示されるものとする。
　入力用GUI 1200は、初期処理条件設定ボックス1210と、学習データ設定ボックス1220、機械学習設定ボックス1230と、ダミー変数設定ボックス1240と、解析手法設定ボックス1250と、有効／非有効表示部1260と、決定ボタン1270と、を備える。
　初期処理条件設定ボックス1210は、条件入力部1211を有する。条件入力部1211では、例えば、初期処理条件としてcsvファイルなどの構造にデータ番号、処理条件の各因子名、およびそれぞれのデータの各因子の値を入力することができる。これらの因子は処理装置500の制御因子であり、図１１の例ではパワーや圧力を因子としている。以上のように入力することで、初期処理条件を処理装置500の処理条件入力部510に入力できる。
　学習データ設定ボックス1220は、変換方法入力部1221を有する。変換方法入力部1221では、例えば、one-hotエンコーディング、二進数変換、正規化のいずれかもしくは複数を用いて、処理条件を説明変数データに変換する方法が選択される。図１１では、一つの方法のみが選択されているが、複数選択されても良い。入力された方法を用いて、学習データ生成部600における学習データ生成が実施される。
　機械学習設定ボックス1230は、カーネル手法入力部1231と、カーネル関数入力部1232と、を有する。カーネル手法入力部1231では、例えば、カーネル回帰、ベイズ最適化、カーネル回帰による多目的最適化、のいずれかが選択される。以上の入力により、カーネル手法選択部221におけるカーネル手法の選択が実施される。なお、図１１では、カーネル回帰による多目的最適化を、単に多目的最適化と略記している。
　カーネル関数入力部1232では、RBFカーネル、多項式カーネル、Sigmoidカーネル等が選択される。ここでの入力により、カーネル関数選択部222におけるカーネル関数の選択が実施される。
　ダミー変数設定ボックス1240は、生成方法入力部1241を有する。図１１に示す例においては、生成方法入力部1241では、ダミー変数の生成方法として、例えば３つ（それぞれone-hot、基底関数展開、K次迄の近似、と略記している）から選択できるようになっている。one-hotは、実施例２で述べた第一の生成方法であり、カーネル関数に対するone-hotエンコーディングによる方法である。基底関数展開は、実施例２で述べた第二の生成方法であり、カーネル関数を基底関数の足し合わせで近似し、この基底関数の双対問題における共役変数をダミー変数として定義する方法である。K次迄の近似は、実施例１で述べた生成方法であり、自然数K≧2を適当に決定して、説明変数のk=2,3,4,..,K次の単項式の１つ以上について、係数を除く部分を割り切るような係数１の単項式をダミー変数として定義する方法である。これにより、ダミー変数設定部310におけるダミー変数生成方法の設定が実施される。
　解析手法設定ボックス1250は、解析方法入力部1251を有する。解析方法として、アニーリング、整数計画法、線形計画法などが選択される。ここでの入力により、解析手法選択部710における解析手法設定が実施される。
　以上の入力が有効に行われた否かは、上記各設定ボックスに設けられた有効／非有効表示部1260により表示される。有効／非有効表示部1260がすべて有効になると、ユーザーが入力用GUI 1200の決定ボタン1270を押すことで、実施例３の場合はステップS302の手順を開始する。
　入力用GUI 1200の決定ボタン1270が押され、図１０の手順が実行され、ステップS303後に提示される出力用GUIとして、処理結果出力用GUI 1300を図１２Ａに示す。このGUIは、現在のステータスを表示し、ユーザーに次の手順に進むか否かを選択させるものである。
処理結果出力用GUI 1300は、処理結果表示部1310と、完了／継続選択部1320、決定ボタン1330と、備える。
　処理結果表示部1310は、試料表示部1311と、処理結果表示部1312と、を有する。試料表示部1311は、ステップS302での処理が終了した後の試料の様子を示すものである。また、処理結果表示部1312は、ステップS303にて取得された処理結果を表示するものである。図１２Ａでは、処理装置500として付加製造装置を、対象の試料としてネジ状の造形物を想定した場合の処理結果出力用GUI 1300を示している。試料表示部1311では、造形処理後のネジ状の造形物の様子を示しており、処理結果表示部1312では、造形処理後のネジ状の造形物における処理結果として、造形物の高さと、欠陥率を示している。
　ユーザーは、処理結果表示部1310に表示される情報に基づき、完了／継続選択部1320において完了するか、継続するかを選択することができる。すなわち、ユーザーは、ステップS304の作業をこのGUI上で行うことができる。ユーザーが処理結果に満足した場合には、完了を選択して決定ボタン1330を押すことで、図１０に示したようにステップは終了となる。ユーザーは、満足できないと判断した場合、継続を選択して決定ボタン1330を押すことで、ステップS305に移行する。
　処理結果出力用GUI 1300の決定ボタン1330が押され、図１０の手順が実行され、ステップS314後に提示される出力用GUIとして、解析結果出力用GUI 1400を図１２Ｂに示す。このGUIは、現在のステータスを表示し、ユーザーに次の手順に進むか否かを選択させるものである。解析結果出力用GUI 1400は、解析結果表示部1410と、継続／再設定選択部1420と、決定ボタン1430と、を備える。
　解析結果表示部1410は、目的関数表示部1411と、関数変換結果表示部1412と、処理条件解析結果表示部1413と、を有する。目的関数表示部1411は、ステップS308において導出された目的関数の情報を表示する。関数変換結果表示部1412は、ステップS311において導出された制約なし二次形式関数または線形制約あり一次形式関数の情報を表示する。処理条件解析結果表示部1413は、ステップS314において得られた処理条件を表示する。
　これらの表示内容の具体例について、図１２Ｂを用いて説明する。例えば、目的関数表示部1411では、学習部230において目的関数を導出する際の、ハイパーパラメータの値、訓練誤差、汎化誤差などが表示される。例えば、関数変換結果表示部1412では、関数変換部330より出力される図７に示した情報が表示される。すなわち、説明変数やダミー変数の項目、線形制約あり一次形式の係数ベクトルや制約行列や制約定数ベクトル、あるいは制約なし二次形式関数の係数行列などが表示される。例えば、処理条件解析結果表示部1413では、処理条件出力部730より出力される処理条件が表示される。
　ユーザーは、解析結果表示部1410に表示される情報に基づき、継続／再設定選択部1420において継続か、再設定かを選択することができる。すなわち、ユーザーは、ステップS315の作業をこのGUI上で行うことができる。処理条件解析結果表示部1413に表示された処理条件を用いて処理装置500の処理を行っても良い、とユーザーが判断した場合には、継続が選択され、決定ボタン1430を押すことで、当該処理条件が処理条件入力部510に入力され、ステップS302に移行する。処理装置500の処理を行ってはならないとユーザーが判断した場合には、再設定が選択され、決定ボタン1430を押すことで、ステップS306に移行する。以上の判断は、処理条件解析結果表示部1413に表示された処理条件における各因子の数値、目的関数表示部1411に表示された目的関数の導出結果、関数変換結果表示部1412に表示された関数変換結果、のいずれかかに基づいてなされる。例えば、処理条件解析結果表示部1413に表示された処理条件の特定の因子の数値が、処理装置500の運用上好ましくないと判断された場合に、再設定が選択されても良い。また、目的関数表示部1411に表示された目的関数の情報により、目的関数が過学習を起こしていると予想される場合に、再設定が選択されても良い。さらに、関数変換結果表示部1412に表示された関数の持つダミー変数の数が、ユーザーの持つ基準値を超えていた場合に、再設定が選択されても良い。
100：情報処理システム、210：学習データベース、220：機械学習設定部、221：カーネル手法選択部、222：カーネル関数選択部、230：学習部、300：関数変換システム、310：ダミー変数設定部、320：ダミー変数生成部、330：関数変換部、400：処理条件決定システム、500：処理装置、510：処理条件入力部、520：処理部、530：処理結果取得部、600：学習データ生成部、700：処理条件解析システム、710：解析手法選択部、720：処理条件解析部、730：処理条件出力部、1200：入力用GUI、1210：初期処理条件設定ボックス、1211：条件入力部、1220：学習データ設定ボックス、1221：変換方法入力部、1230：機械学習設定ボックス、1231：カーネル手法入力部、1232：カーネル関数入力部、1240：ダミー変数設定ボックス、1241：生成方法入力部、1250：解析手法設定ボックス、1251：解析方法入力部、1260：有効／非有効表示部、1270：決定ボタン、1300：処理結果出力用GUI、1310：処理結果表示部、1311：試料表示部、1312：処理結果表示部、1320：完了／継続選択部、1330：決定ボタン、1400：解析結果出力用GUI、1410：解析結果表示部、1411：目的関数表示部、1412：関数変換結果表示部、1413：処理条件解析結果表示部、1420：継続／再設定選択部、1430：決定ボタン

Claims (15)

  1. １つ以上の説明変数および１つ以上の目的変数に関する標本データからなる学習データベースを解析し、制約なし二次形式関数または線形制約あり一次形式関数を導出する情報処理システムであって、
    前記情報処理システムは、
    前記学習データベースに対して機械学習により目的関数を導出する目的関数導出システムと、
    前記目的関数を前記制約なし二次形式関数または前記制約あり一次形式関数に変換する関数変換システムと、を備え、
    前記目的関数導出システムは、
    機械学習の手法の詳細を設定する機械学習設定部と、
    前記機械学習設定部で設定された機械学習の手法を用いて前記目的関数を導出する学習部と、を有し、
    前記関数変換システムは、
    ０か１の値のみを成分とするベクトルであるダミー変数の生成方法を設定するダミー変数設定部と、
    前記ダミー変数設定部で設定された生成方法に基づいて前記ダミー変数を生成するダミー変数生成部と、
    前記目的関数に陽に現れる１つ以上の前記説明変数を前記ダミー変数を用いて消去することで、前記説明変数の二次より高次の非線形項を二次以下に次元を落とし、前記目的関数を前記ダミー変数および前記目的変数に関する前記制約なし二次形式関数または前記線形制約あり一次形式関数へ変換する関数変換部と、
    を有することを特徴とする情報処理システム。
  2. 請求項１において、
    前記機械学習設定部で設定される機械学習の手法はカーネル法であることを特徴とする情報処理システム。
  3. 請求項２において、
    前記機械学習設定部は、
    カーネル回帰、ベイズ最適化、カーネル回帰による多目的最適化、のいずれかを選択するカーネル手法選択部と、
    カーネル関数の種類を選択するカーネル関数選択部と、を有し、
    前記カーネル手法選択部で前記カーネル回帰が選択された場合には、前記目的関数はカーネル回帰の回帰関数であり、
    前記カーネル手法選択部で前記ベイズ最適化が選択された場合には、前記目的関数はベイズ最適化の獲得関数であり、
    前記カーネル手法選択部で前記カーネル回帰による多目的最適化が選択された場合には、前記目的関数はカーネル回帰の１つ以上の回帰関数の線形和で与えられる関数であることを特徴とする情報処理システム。
  4. 請求項３において、
    前記説明変数は０か１の値のみを成分とするベクトルであることを特徴とする情報処理システム。
  5. 請求項４において、
    前記ダミー変数設定部で設定される生成方法として、
    前記カーネル関数選択部で選択されたカーネル関数の取り得る値に対してone-hotエンコーディングを施すことで、前記ダミー変数を生成する生成方法を含むことを特徴とする情報処理システム。
  6. 請求項４において、
    前記カーネル手法選択部で、前記カーネル回帰、または、前記カーネル回帰による多目的最適化、が選択された場合に、
    前記関数変換部は、
    前記目的関数を前記ダミー変数に関する一次形式関数に変換し、
    前記ダミー変数生成部で生成された前記ダミー変数に関する制約を課すことで、
    前記線形制約あり一次形式関数を導出することを特徴とする情報処理システム。
  7. 請求項４において、
    前記カーネル手法選択部で、前記ベイズ最適化が選択された場合に、
    前記関数変換部は、
    前記目的関数を前記ダミー変数に関する二次形式関数に変換し、
    前記制約なし二次形式関数を導出することを特徴とする情報処理システム。
  8. 請求項４において、
    前記カーネル手法選択部で、前記カーネル回帰、または、前記カーネル回帰による多目的最適化、が選択された場合に、
    前記関数変換部は、
    前記目的関数を前記ダミー変数に関する一次形式関数に変換し、
    前記ダミー変数生成部で生成された前記ダミー変数に関する制約に対する二次形式のペナルティ項を付与することで、
    前記制約なし二次形式関数を導出することを特徴とする情報処理システム。
  9. 請求項４において、
    前記カーネル手法選択部で、前記カーネル回帰が選択された場合に、
    前記カーネル関数選択部で選択されたカーネル関数を１つ以上の基底関数の足し合わせで近似することにより新たなカーネル関数とし、
    前記学習部では、前記新たなカーネル関数を用いたカーネル回帰により前記目的関数を導出することを特徴とする情報処理システム。
  10. 請求項９において、
    前記基底関数の足し合わせで近似する際に、
    前記カーネル関数と前記基底関数の足し合わせとの誤差に関する最小二乗法または最小絶対値法を用いることを特徴とする情報処理システム。
  11. 請求項１０において、
    前記ダミー変数生成部は、
    前記基底関数に対する双対変換における共役変数を、前記ダミー変数の一部として生成することを特徴とする情報処理システム。
  12. 請求項１１において、
    前記基底関数は、前記説明変数の一次形式または二次形式を入力とする、ReLU(Rectified Linear Unit)関数、絶対値を返す数値演算関数、指示関数、のいずれかであることを特徴とする情報処理システム。
  13. 請求項３に記載の情報処理システムと、
    処理装置と、
    前記処理装置の処理条件を出力する処理条件解析システムと、
    前記処理条件のデータ、および、得られる処理結果のデータ、を加工して出力する学習データ生成部と、
    を備え、前記処理装置の前記処理条件を決定する処理条件決定システムであって、
    前記処理装置は、
    前記処理条件解析システムから出力された前記処理条件を入力する処理条件入力部と、
    前記処理条件入力部で入力された前記処理条件を用いて前記処理装置の処理を行う処理部と、
    前記処理部の処理結果を取得する処理結果取得部と、を有し、
    前記処理条件解析システムは、
    前記情報処理システムによって導出された関数の種類に応じて前記説明変数の値の解析手法を選択する解析手法選択部と、
    前記解析手法選択部で選択された解析手法を用いて、入力された関数の最小値または最大値を与える前記説明変数の値を算出する処理条件解析部と、
    前記処理条件解析部で得られた前記説明変数の値を前記処理条件に加工して出力する処理条件出力部と、を有し、
    前記処理条件入力部で入力された前記処理条件と、前記処理結果取得部で取得された処理結果は、前記学習データ生成部に入力され、
    前記学習データ生成部は、前記処理条件入力部で入力された前記処理条件を前記説明変数のデータに加工し、前記処理結果取得部から出力された前記処理結果を前記目的変数のデータに加工して、前記学習データベースに格納し、
    前記情報処理システムによって導出された関数は、前記解析手法選択部に入力され、
    前記処理条件出力部によって出力された前記処理条件は、前記処理条件入力部に入力され、
    所望の処理結果が得られるまで、前記情報処理システムによる関数導出、前記処理条件解析システムによる処理条件の出力、前記処理装置による処理、前記学習データ生成部による前記学習データベースへの前記説明変数のデータおよび前記目的変数のデータの格納、を繰り返すことを特徴とする処理条件決定システム。
  14. 請求項１３において、
    前記解析手法選択部では、
    前記情報処理システムによって導出された関数が制約なし二次形式関数の場合はアニーリングが選択され、
    前記情報処理システムによって導出された関数が制約あり一次形式関数の場合は整数計画法または線形計画法が選択されることを特徴とする処理条件決定システム。
  15. 請求項１３において、
    前記学習データ生成部では、
    入力された前記処理条件のデータに対して二進数変換またはone-hotエンコーディングを施すことで、前記説明変数のデータを生成することを特徴とする処理条件決定システム。
PCT/JP2022/017395 2021-05-18 2022-04-08 情報処理システムおよび処理条件決定システム WO2022244547A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020237036991A KR20230162065A (ko) 2021-05-18 2022-04-08 정보 처리 시스템 및 처리 조건 결정 시스템
CN202280029029.5A CN117178277A (zh) 2021-05-18 2022-04-08 信息处理系统以及处理条件决定系统

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021083895A JP2022177549A (ja) 2021-05-18 2021-05-18 情報処理システムおよび処理条件決定システム
JP2021-083895 2021-05-18

Publications (1)

Publication Number Publication Date
WO2022244547A1 true WO2022244547A1 (ja) 2022-11-24

Family

ID=84141305

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/017395 WO2022244547A1 (ja) 2021-05-18 2022-04-08 情報処理システムおよび処理条件決定システム

Country Status (4)

Country Link
JP (1) JP2022177549A (ja)
KR (1) KR20230162065A (ja)
CN (1) CN117178277A (ja)
WO (1) WO2022244547A1 (ja)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017056367A1 (ja) * 2015-09-30 2017-04-06 日本電気株式会社 情報処理システム、情報処理方法および情報処理用プログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9727824B2 (en) 2013-06-28 2017-08-08 D-Wave Systems Inc. Systems and methods for quantum processing of data

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017056367A1 (ja) * 2015-09-30 2017-04-06 日本電気株式会社 情報処理システム、情報処理方法および情報処理用プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Yasuo Ozu, Performance Evaluation of New Dimensionality Reduction Method in Annealing, Proceedings of the 83rd Annual Conference (2021) Vol.1, 04 March 2021, pp. 1-289 to 1-290 *

Also Published As

Publication number Publication date
JP2022177549A (ja) 2022-12-01
CN117178277A (zh) 2023-12-05
KR20230162065A (ko) 2023-11-28

Similar Documents

Publication Publication Date Title
US11250308B2 (en) Apparatus and method for generating prediction model based on artificial neural network
Wang et al. Adaptive MLS-HDMR metamodeling techniques for high dimensional problems
Miche et al. OP-ELM: theory, experiments and a toolbox
JP7061536B2 (ja) 最適化装置、シミュレーションシステム及び最適化方法
Li et al. A novel evolutionary algorithm for determining unified creep damage constitutive equations
CN113112013A (zh) 针对分辨率降低的神经网络的优化量化
US20210089832A1 (en) Loss Function Optimization Using Taylor Series Expansion
JP2020052543A (ja) 形状補完装置、形状補完学習装置、方法、及びプログラム
CN112578644B (zh) 自适应全芯片光源优化方法及系统
JP2017097803A (ja) 予測装置、方法及びプログラム
Bartz-Beielstein et al. High-performance simulation-based optimization
Zhao et al. Entropy rate of nonequilibrium growing networks
Benala et al. Genetic algorithm for optimizing functional link artificial neural network based software cost estimation
WO2022244547A1 (ja) 情報処理システムおよび処理条件決定システム
KR102554791B1 (ko) 데이터 세트로부터의 피쳐의 추출
JP2021018677A (ja) 情報処理システム、ニューラルネットワーク構造の生成方法および情報処理プログラム
Zhao et al. Achieving real-time lidar 3d object detection on a mobile device
US20240362526A1 (en) Information processing system and processing condition determination system
CN111191339A (zh) 求解天线阵列综合问题的约束超多目标智能优化转换方法
GIUSTOLISI et al. A novel genetic programming strategy: evolutionary polynomial regression
JP2018190251A (ja) Ｌｌｅ計算装置、ｌｌｅ計算方法及びｌｌｅ計算プログラム
Halle et al. Bayesian dropout approximation in deep learning neural networks: analysis of self-aligned quadruple patterning
JP2017207987A (ja) 目的変数予測装置、方法及びプログラム
Li et al. Parameter optimization of sub-35 nm contact-hole fabrication using particle swarm optimization approach
Shiely Machine learning for compact lithographic process models

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22804461

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20237036991

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 1020237036991

Country of ref document: KR

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22804461

Country of ref document: EP

Kind code of ref document: A1