WO2023181497A1 - 評価装置、評価方法、およびプログラム - Google Patents

評価装置、評価方法、およびプログラム Download PDF

Info

Publication number
WO2023181497A1
WO2023181497A1 PCT/JP2022/043278 JP2022043278W WO2023181497A1 WO 2023181497 A1 WO2023181497 A1 WO 2023181497A1 JP 2022043278 W JP2022043278 W JP 2022043278W WO 2023181497 A1 WO2023181497 A1 WO 2023181497A1
Authority
WO
WIPO (PCT)
Prior art keywords
objective
characteristic
evaluation value
point
data
Prior art date
Application number
PCT/JP2022/043278
Other languages
English (en)
French (fr)
Inventor
幹生 潮田
伸夫 原
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Publication of WO2023181497A1 publication Critical patent/WO2023181497A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"

Definitions

  • the present disclosure relates to a technique for evaluating experimental conditions used in the development of general industrial products or manufacturing processes.
  • control factors In the development of industrial products or manufacturing processes, it is necessary to control the set control factors under optimal conditions so as to meet the requirements of the required objective characteristics. For example, in battery development, positive electrode thickness, negative electrode thickness, number of separators, electrolyte ionic conductivity, etc. are set as control factors, and capacity, life, cost, etc. are set as objective characteristics.
  • the optimal solution for a control factor can be searched for using a mathematical optimization method if the relationship between the control factor and the objective characteristic can be expressed by a physical formula.
  • one set of set control factor value combinations ie, experimental points
  • an actual experiment is performed.
  • a combination of values of the objective characteristic ie, a characteristic point
  • Bayesian optimization is an optimization method that assumes a Gaussian process as a mathematical model that expresses the correspondence between input and output.
  • a predicted distribution of characteristic points is calculated for each set experimental point each time an experimental result is obtained.
  • optimal next experimental conditions are selected using the predicted distribution of each characteristic point and an evaluation criterion called an acquisition function. This enables quantitative evaluation that does not depend on the ability of the analyst, and can also contribute to the automation of optimal solution search work.
  • An evaluation device is an evaluation device that evaluates an unknown characteristic point corresponding to a candidate experimental point by Bayesian optimization based on a known characteristic point corresponding to an experimental point that has already been tested, a first receiving means for acquiring experimental result data indicating the experimental points that have been tested and the known characteristic points; and the unknown characteristic points indicate values of one or more objective characteristics, and at least one objective characteristic is a second receiving means having an optimization purpose and acquiring objective data indicating the optimization objective; and a third receiving means acquiring constraint condition data indicating a constraint condition given to the at least one objective characteristic.
  • region reduction rule data indicates a method of dividing a characteristic space expressed by at least two objective characteristics, and indicates a dimension in which the active region is to be reduced for each region of the characteristic space divided by the division method.
  • a fourth receiving means a calculation means for calculating an evaluation value of the unknown characteristic point based on the experiment result data, the objective data, the constraint condition data and the area reduction rule data; and outputting the evaluation value.
  • output means, and the calculation means assigns weighting to the evaluation value for the at least one objective characteristic in accordance with the degree of compliance with the constraint condition.
  • FIG. 1 is a diagram for explaining the general operation of the evaluation device according to the first embodiment.
  • FIG. 2 is a diagram illustrating an example of a graph representing each candidate experimental point and each characteristic point according to the first embodiment.
  • FIG. 3 is a diagram showing the configuration of the evaluation device according to the first embodiment.
  • FIG. 4 is a block diagram showing the functional configuration of the arithmetic circuit according to the first embodiment.
  • FIG. 5 is a diagram illustrating an example of a reception image displayed on the display unit to receive input of setting information according to the first embodiment.
  • FIG. 6 is a diagram illustrating an example of control factor data according to the first embodiment.
  • FIG. 7 is a diagram illustrating an example of objective data and constraint data according to the first embodiment.
  • FIG. 1 is a diagram for explaining the general operation of the evaluation device according to the first embodiment.
  • FIG. 2 is a diagram illustrating an example of a graph representing each candidate experimental point and each characteristic point according to the first embodiment.
  • FIG. 3 is a diagram showing
  • FIG. 8A is a diagram illustrating an example of the standard range according to the first embodiment.
  • FIG. 8B is a diagram showing another example of the standard range according to the first embodiment.
  • FIG. 9 is a flowchart showing the processing operation of the evaluation device according to the first embodiment.
  • FIG. 10A is a diagram illustrating an example of candidate experiment point data according to the first embodiment.
  • FIG. 10B is a diagram illustrating another example of candidate experiment point data according to the first embodiment.
  • FIG. 11 is a diagram showing an example of experimental result data according to the first embodiment.
  • FIG. 12 is a diagram for explaining processing by the evaluation value calculation unit according to the first embodiment.
  • FIG. 13 is a diagram illustrating an example of predicted distribution data according to the first embodiment.
  • FIG. 14A is a diagram illustrating an example of an improvement area according to the first embodiment.
  • FIG. 14B is a diagram showing another example of the improvement area according to the first embodiment.
  • FIG. 15A is a diagram for explaining a method of calculating the volume of an improved region according to the first embodiment.
  • FIG. 15B is a diagram illustrating an example of dividing the entire characteristic space into a plurality of small regions according to the first embodiment.
  • FIG. 15C is a diagram illustrating an example of a lower end point and an upper end point of a small region according to Embodiment 1.
  • FIG. 16 is a diagram illustrating an example of evaluation value data according to the first embodiment.
  • FIG. 17 is a diagram illustrating an example of a standard range and a management range according to Modification 1 of Embodiment 1.
  • FIG. 18 is a diagram for explaining processing by the evaluation value calculation unit according to the second modification of the first embodiment.
  • FIG. 19 is a diagram illustrating an example of the minimum distance according to the second modification of the first embodiment.
  • FIG. 20 is a diagram illustrating an example of minimum distance data according to Modification 2 of the embodiment.
  • FIG. 21 is a diagram illustrating an example of evaluation value data according to Modification 2 of Embodiment 1.
  • FIG. 22 is a diagram showing the configuration of an evaluation device according to the second embodiment.
  • FIG. 23 is a block diagram showing the functional configuration of the arithmetic circuit according to the second embodiment.
  • FIG. 24 is a diagram illustrating an example of an area reduction rule area of a reception image displayed on the display unit to receive input of area reduction rule data according to the second embodiment.
  • FIG. 25 is a diagram illustrating an example of area reduction rule data according to the second embodiment.
  • FIG. 26 is a flowchart showing the processing operation of the evaluation device according to the second embodiment.
  • FIG. 27 is a diagram for explaining processing by the evaluation value calculation unit according to the second embodiment.
  • FIG. 28 is a diagram illustrating an example of a characteristic space divided into regions when the region reduction rule according to the second embodiment is applied.
  • FIG. 29A is a diagram illustrating another example of the characteristic space divided into regions when the region reduction rule according to the second embodiment is applied.
  • FIG. 29B is a diagram illustrating another example of the characteristic space divided into regions when the region reduction rule according to the second embodiment is applied.
  • FIG. 29A is a diagram illustrating another example of the characteristic space divided into regions when the region reduction rule according to the second embodiment is applied.
  • FIG. 29B is a diagram illustrating another example of the characteristic space divided into regions when the region reduction rule according to the second embodiment is applied.
  • FIG. 29C is a diagram illustrating another example of the characteristic space divided into regions when the region reduction rule according to the second embodiment is applied.
  • FIG. 30A is a diagram for explaining a Pareto boundary calculation method according to the second embodiment.
  • FIG. 30B is a diagram for explaining a Pareto boundary calculation method according to the second embodiment.
  • FIG. 31A is a diagram for explaining a Pareto boundary calculation method according to the second embodiment.
  • FIG. 31B is a diagram for explaining a Pareto boundary calculation method according to the second embodiment.
  • FIG. 32A is a diagram for explaining a Pareto boundary calculation method according to the second embodiment.
  • FIG. 32B is a diagram for explaining a Pareto boundary calculation method according to the second embodiment.
  • FIG. 33A is a diagram for explaining a Pareto boundary calculation method according to the second embodiment.
  • FIG. 33B is a diagram for explaining a Pareto boundary calculation method according to the second embodiment.
  • FIG. 34 is a diagram showing an example of a Pareto boundary when there are no constraint conditions according to the second embodiment.
  • FIG. 35 is a diagram showing an example of an improvement area under the Pareto boundary shown in FIG. 34.
  • FIG. 36 is a diagram illustrating an example of a Pareto boundary when there are constraint conditions according to the second embodiment.
  • FIG. 37 is a diagram showing an example of an improvement area defined when there are constraint conditions under the Pareto boundary shown in FIG. 36.
  • FIG. 38A is a diagram conceptually showing search priorities in the divided areas shown in FIG. 28.
  • FIG. 38A is a diagram conceptually showing search priorities in the divided areas shown in FIG. 28.
  • FIG. 38B is a diagram conceptually showing search priorities in the divided areas shown in FIG. 29B.
  • FIG. 39A is a diagram for explaining the positional relationship between the predicted distribution and the Pareto boundary when the area reduction rule is applied to the standard range according to the second embodiment.
  • FIG. 39B is a diagram for explaining the positional relationship between the predicted distribution and the Pareto boundary when the area reduction rule is applied to the standard range according to the second embodiment.
  • FIG. 40A is a diagram showing the positions of characteristic points that can be observed when the area reduction rule is applied to the standard range according to the second embodiment.
  • FIG. 40B is a diagram for explaining the relationship between the order of observed characteristic points and the Pareto boundary when the area reduction rule is applied to the standard range according to the second embodiment.
  • FIG. 39A is a diagram for explaining the positional relationship between the predicted distribution and the Pareto boundary when the area reduction rule is applied to the standard range according to the second embodiment.
  • FIG. 39B is a diagram for explaining the positional relationship between the predicted distribution
  • FIG. 41 is a diagram for explaining processing when the evaluation value calculation unit according to the second embodiment also calculates the minimum distance.
  • FIG. 42 is a diagram showing an example of an experimental result data sheet obtained when searching for an optimal solution according to the example of the second embodiment.
  • FIG. 43A is a diagram for explaining another example of a dividing line that divides an area according to the area reduction rule according to the second embodiment.
  • FIG. 43B is a diagram for explaining another example of a dividing line that divides an area according to the area reduction rule according to the second embodiment.
  • Non-Patent Document 1 discloses the optimal solution search principle and specific calculation method of EHVI (Expected Hypervolume Improvement), which is a type of EHVI. This makes it possible to quantitatively evaluate the optimal solution search even if there are multiple objective characteristics to be optimized.
  • EHVI Exected Hypervolume Improvement
  • standard ranges may be set as constraints on the values of objective characteristics. For example, ⁇ I want the battery capacity to fall within the standard range of 1850 to 1950 [mAh]'' or ⁇ The minimum value of the lifespan is 3 years, the longer the better (in other words, the minimum value of the standard range of lifespan is 3 years, and the maximum value is within the standard range such as ⁇ + ⁇ )''.
  • ⁇ I want the battery capacity to fall within the standard range of 1850 to 1950 [mAh]'' or ⁇ The minimum value of the lifespan is 3 years, the longer the better (in other words, the minimum value of the standard range of lifespan is 3 years, and the maximum value is within the standard range such as ⁇ + ⁇ )''.
  • conventional Bayesian optimization is applied when there is a standard range, there is a risk that the search may be performed with poor computational efficiency or the search may proceed to a different area that is not the optimal solution.
  • EHVI can also be adopted as the acquisition function in the method of Patent Document 1 above.
  • the candidate experimental points with a low probability that the value of the objective characteristic will fall within the standard range cannot be obtained. It will be excluded from the function evaluation target. Therefore, although the method disclosed in Patent Document 1 employing EHVI contributes to reducing calculation costs, it cannot necessarily search for a true optimal solution.
  • Non-Patent Document 2 discloses EHVIC (Expected Hypervolume Improvement with Constraints), which is an extension of EHVI when there are constraint conditions.
  • the acquisition function design method described in Non-Patent Document 2 above comprehensively indexes the probability of falling within the standard range and the amount of improvement, and evaluates all candidate experimental points. Therefore, there is a high possibility that search efficiency will improve (that is, a true optimal solution will be found).
  • the objective characteristic to be maximized or minimized is different from the objective characteristic to be kept within the standard range.
  • Non-Patent Document 2 when evaluating the acquisition function, the number of objective characteristics to be maximized or minimized and the number of Pareto points that are a provisional optimal solution (non-inferior solution) are determined. There is also the problem that the amount of calculation increases on the order of an exponential function.
  • the evaluation device of the present disclosure aims to apply Bayesian optimization to an optimization problem in which a constraint condition is attached to an objective characteristic having the purpose of the optimization problem.
  • An evaluation device is an evaluation device that evaluates an unknown characteristic point corresponding to a candidate experimental point by Bayesian optimization based on a known characteristic point corresponding to an experimental point that has already been tested, a first receiving means for acquiring experimental result data indicating the experimental points that have been tested and the known characteristic points; and the unknown characteristic points indicate values of one or more objective characteristics, and at least one objective characteristic is a second receiving means having an optimization purpose and acquiring objective data indicating the optimization objective; and a third receiving means acquiring constraint condition data indicating a constraint condition given to the at least one objective characteristic.
  • region reduction rule data indicates a method of dividing a characteristic space expressed by at least two objective characteristics, and indicates a dimension in which the active region is to be reduced for each region of the characteristic space divided by the division method.
  • a fourth receiving means a calculation means for calculating an evaluation value of the unknown characteristic point based on the experiment result data, the objective data, the constraint condition data and the area reduction rule data; and outputting the evaluation value.
  • output means, and the calculation means assigns weighting to the evaluation value for the at least one objective characteristic in accordance with the degree of compliance with the constraint condition.
  • the calculation means calculates the evaluation value of the unknown characteristic point based on the experimental result data, the objective data, the constraint condition data, and the area reduction rule data, at least Assigned to the evaluation value for one objective characteristic.
  • the at least one objective characteristic has an optimization objective. Therefore, Bayesian optimization can be applied to an optimization problem in which a constraint condition is attached to an objective characteristic having an objective of the optimization problem. As a result, the scope of application can be expanded.
  • the entire characteristic space is divided into an active region and an inactive region at a Pareto boundary determined by a certain rule from a Pareto point. Therefore, since the calculation means can further change the definition of the Pareto boundary based on the area reduction rule data, it is possible to calculate the acquisition function in Bayesian optimization only by calculating the expected value of the volume of a single hypercuboid. become able to. Thereby, the calculation means can suppress the amount of calculation of the acquisition function while maintaining the search efficiency, so that the evaluation of unknown characteristic points can be performed at high speed.
  • the optimization objective includes a first objective of keeping the objective characteristic within one of at least one constraint range, and a second objective of minimizing or maximizing the objective characteristic
  • the calculating means calculates, for each of the at least one objective characteristic, (i) when an interval of the objective characteristic used to calculate the evaluation value is outside each of the at least one constraint range; and (ii) ) the interval is within one of the at least one constraint ranges, and the optimization objective is the first objective; and (iii) the interval is within the at least one constraint range.
  • the evaluation value may be calculated by performing different weighting processes depending on whether the optimization objective is within one of the constraint ranges and the optimization objective is the second objective.
  • the at least one constraint range may be one standard range, or may be a standard range and a control range.
  • the objective characteristic interval is, for example, an interval divided by a constraint range and one or more characteristic points (more specifically, Pareto points) in a characteristic space expressed by at least one objective characteristic.
  • the evaluation value calculated for each candidate experimental point is output, so the user of the evaluation device can select the candidate experimental point as the next experimental point based on those evaluation values, and
  • the characteristic points obtained by the experiment used can be used to calculate the evaluation value of each candidate experiment point.
  • the evaluation device in the evaluation device according to one aspect of the present disclosure, different weighting processes are performed for each of at least one objective characteristic in cases (i) to (iii). Therefore, regardless of whether the optimization objective of the objective characteristic is the first objective or the second objective, the evaluation value of the candidate experimental point can be appropriately calculated based on Bayesian optimization. That is, even if the optimization objective of the objective characteristic is within the constraint range, maximization, or minimization, the evaluation value of the candidate experimental point can be appropriately calculated based on Bayesian optimization.
  • the interval of the objective characteristic is within the constraint range and the optimization objective is the second objective, so unlike the method of Non-Patent Document 2, the optimization objective is to maximize Alternatively, even if the objective characteristic, which is minimization, has a constraint range as a constraint condition, the evaluation value can be quantitatively and appropriately calculated.
  • the apparatus may further include candidate experiment point creation means for creating the candidate experiment points by combining values that satisfy predetermined conditions for each of the plurality of control factors.
  • the predetermined condition is that the sum of the values of the ratio variables of the plurality of control factors is 1.
  • the ratio variable is a blending ratio of materials such as compounds corresponding to the control factor. Therefore, for each combination of compounding ratios of multiple types of compounds, an evaluation value for that combination can be calculated. As a result, it is possible to appropriately search for an optimal solution for at least one desired characteristic of the synthetic material obtained by blending these compounds.
  • the calculation means may calculate the evaluation value based on a restriction range having a shape different from a rectangle among the at least one restriction range.
  • the evaluation value is calculated based on the constraint range such as circular, elliptical, star-shaped, etc., so it is limited to cases where the shape of the constraint range is rectangular. It is possible to further expand the scope of application.
  • the calculation means further divides the case (ii) into a plurality of cases, and assigns different weights to each of the plurality of cases.
  • the evaluation value may be calculated by performing a process, and in each of the plurality of cases, the section may be included in a mutually different constraint range among the plurality of constraint ranges.
  • the plurality of constraint ranges are a standard range and a management range included in the standard range.
  • the first case is that the section is within the standard range and outside the control range
  • the optimization objective is the first objective
  • the first case is that the section is within the control range
  • the cases are divided into a second case where the optimization objective is the first objective, and a second case where the optimization objective is the first objective. Further, for example, weighting processing using a larger weight is performed in the second case than in the first case.
  • there are a plurality of constraint ranges and by further dividing the case (ii) into a plurality of cases, it is possible to weight each of the plurality of constraint ranges in stages. Therefore, even if the value of the objective characteristic falls within the standard range and is desired to fall within the control range as much as possible, the evaluation value can be calculated appropriately. As a result, the scope of application to optimization problems can be further expanded.
  • the calculation means further calculates a minimum distance among distances between the candidate experiment point and each of the one or more experimented experiment points
  • the output means further calculates a minimum distance between the candidate experiment point and each of the one or more experimented experiment points.
  • the minimum distance corresponding to the minimum distance may be output.
  • the minimum distance corresponding to each candidate experimental point is output, so the user of the evaluation device selects the candidate experimental point that will become the next experimental point based not only on the evaluation value but also on the minimum distance. be able to.
  • evaluation values of candidate experimental points close to experimental points that have already been used in experiments tend to be large, and even if such candidate experimental points are selected for the next experiment, the optimal may not make a significant contribution to Therefore, the user can improve the accuracy of the evaluation value and appropriately select, for example, a candidate experiment point corresponding to an evaluation value with a relatively large evaluation value and a relatively long minimum distance as the next Optimization can be performed.
  • the calculation means may calculate a predicted distribution at the candidate experimental points using Gaussian process regression or a Kalman filter, and use the calculated predicted distribution to calculate the evaluation value.
  • the calculation means may calculate the evaluation value using a Monte Carlo method.
  • the calculation means may calculate the evaluation value using at least one of PI (Probability of Improvement) and EI (Expected Improvement), which are evaluation methods.
  • the volume within the constraint range in the characteristic space can be calculated as the optimization improvement amount, and the evaluation value can be appropriately calculated from the improvement amount.
  • FIG. 1 is a diagram for explaining the general operation of the evaluation device according to the present embodiment.
  • the evaluation device 100 in this embodiment calculates evaluation values for each of a plurality of candidate experiment points, and displays evaluation value data 224 indicating these evaluation values.
  • a candidate experimental point is a point that is a candidate for an experimental point.
  • the experimental point is a point on the experimental space that indicates the experimental conditions (combination of values of each control factor on the experimental space).
  • the evaluation value is a value indicating the evaluation result of the objective characteristic that is predicted to be obtained by the experiment according to the candidate experiment point. For example, the evaluation value indicates the degree to which the objective characteristics predicted to be obtained through experiment match the optimization objective, and the larger the evaluation value, the greater the degree.
  • the user refers to the evaluation value of each candidate experiment point indicated by the evaluation value data 224 and selects one of the candidate experiment points as the next experiment point.
  • the user performs an experiment according to the selected experimental point using the experimental equipment.
  • characteristic points corresponding to the experimental points are obtained.
  • a characteristic point indicates, for example, a value of an objective characteristic, and if there are a plurality of objective characteristics, it is indicated as a combination of values of the plurality of objective characteristics.
  • the user inputs the obtained characteristic points into the evaluation apparatus 100 in association with the experimental points.
  • the evaluation device 100 uses the characteristic points obtained through the experiment to calculate the evaluation values for each unselected candidate experiment point again, and redisplays the evaluation value data 224 indicating these evaluation values. In other words, the evaluation value data 224 is updated.
  • the evaluation device 100 searches for the optimal solution for the objective characteristic by repeatedly updating the evaluation value data 224 in this manner.
  • FIG. 2 is a diagram showing an example of a graph representing each candidate experimental point and each characteristic point. Specifically, the graph in FIG. 2(a) shows each candidate experiment point arranged in the experimental space, and the graph in FIG. 2(b) shows each characteristic point arranged in the characteristic space.
  • Candidate experimental points in the experimental space are arranged on grid points corresponding to the combination of values of the first control factor and the second control factor, as shown in FIG. 2(a). Characteristic points corresponding to each candidate experimental point shown in FIG. 2(a) are arranged in the characteristic space as shown in FIG. 2(b). Specifically, when a candidate experimental point is selected as an experimental point and the values of the first objective characteristic and the second objective characteristic are obtained through an experiment according to that experimental point, the characteristic point corresponding to that experimental point is , is placed at a position expressed by the combination of the value of the first objective characteristic and the value of the second objective characteristic.
  • the correspondence that is, the function f in FIG. 2 is unknown.
  • Executing an experiment once can be rephrased as selecting one candidate experiment point and acquiring a set of correspondence relationships between the selected candidate experiment point and the corresponding characteristic points.
  • the characteristic space is divided into an area within the standard range and an area outside the standard range, depending on the set standard range.
  • a constraint condition that is a standard range may be given to the objective characteristic having the optimization objective.
  • the constraint condition is a condition given to the objective characteristic, and includes, for example, a constraint range that specifies a range of values of the objective characteristic as a condition. Examples of the constraint range include a standard range defined by a standard for objective characteristics and a management range that can be set as appropriate by the user.
  • the number of control factors is two, such as the first control factor and the second control factor
  • the number of objective characteristics is two, such as the first objective characteristic and the second objective characteristic.
  • the number of control factors and the number of objective characteristics are not limited to two.
  • the number of control factors may be one or three or more
  • the number of objective characteristics may be one or three or more.
  • the number of control factors and the number of objective characteristics may be equal or different.
  • FIG. 3 is a diagram showing the configuration of evaluation device 100 according to this embodiment.
  • the evaluation device 100 includes an input section 101a, a communication section 101b, an arithmetic circuit 102, a memory 103, a display section 104, and a storage section 105.
  • the input unit 101a is an HMI (Human Machine Interface) that accepts input operations by the user.
  • the input unit 101a is, for example, a keyboard, a mouse, a touch sensor, a touch pad, or the like.
  • the input unit 101a accepts setting information 210 as input from the user.
  • Setting information 210 includes control factor data 211, objective data 212, and constraint data 213.
  • the control factor data 211 is, for example, data indicating possible values of the control factor, as shown in FIG. 2(a).
  • the value of the control factor may be a continuous value or a discrete value.
  • the objective data 212 is, for example, data indicating an optimization objective of objective characteristics such as minimization/maximization.
  • the constraint condition data 213 is, for example, data indicating a constraint condition such as a constraint range.
  • the communication unit 101b connects to other devices by wire or wirelessly, and transmits and receives data to and from the other devices.
  • the communication unit 101b receives characteristic point data 201 from another device (for example, an experimental device).
  • the display unit 104 displays images, characters, etc.
  • the display unit 104 is, for example, a liquid crystal display, a plasma display, an organic EL (Electro-Luminescence) display, or the like.
  • the display section 104 may be a touch panel integrated with the input section 101a.
  • the storage unit 105 stores a program (ie, a computer program) 200 in which instructions to the arithmetic circuit 102 are written and various data.
  • the storage unit 105 is a nonvolatile recording medium, such as a magnetic storage device such as a hard disk, a semiconductor memory such as an SSD (Solid State Drive), or an optical disk.
  • the program 200 and various data may be provided to the evaluation device 100 from the other devices described above via the communication unit 101b and stored in the storage unit 105, for example.
  • the storage unit 105 stores candidate experiment point data 221, experiment result data 222, predicted distribution data 223, and evaluation value data 224 as various data.
  • Candidate experimental point data 221 is data indicating each candidate experimental point.
  • each candidate experimental point is expressed by a combination of values of the first control factor and the second control factor.
  • the candidate experiment point data 221 may be data in a table format in which combinations of values of the first control factor and the second control factor are listed. A specific example of such candidate experiment point data 221 will be described in detail using FIGS. 10A and 10B.
  • the experimental result data 222 is data indicating one or more experimental points used in the experiment and characteristic points corresponding to each of the one or more experimental points.
  • the experimental result data 222 is a combination of an experimental point on the experimental space shown in FIG. 2(a) and a characteristic point on the characteristic space shown in FIG. 2(b) obtained by an experiment using the experimental point. shows.
  • the experimental point is expressed by a combination of the values of the first control factor and the second control factor
  • the characteristic point is expressed by the combination of the values of the first objective characteristic and the second objective characteristic.
  • the experimental result data 222 may be data in a table format in which combinations of experimental points and characteristic points are listed. A specific example of this experimental result data 222 will be described in detail using FIG. 11.
  • the predicted distribution data 223 is data indicating the predicted distribution of all candidate experiment points indicated by the candidate experiment point data 221. In addition, in the predicted distribution data 223, if the results differ due to noise (lack of reproducibility) when experiments are performed at the same experimental point, it is assumed that data indicating the predicted distribution of the already selected experimental point is included. Good too.
  • the predicted distribution is a distribution determined by Gaussian process regression as described above, and is expressed by, for example, a mean and a variance.
  • the predicted distribution data 223 may be data in a table format that shows the predicted distribution of the first objective characteristic and the predicted distribution of the second objective characteristic in association with each other for each candidate experimental point. A specific example of this predicted distribution data 223 will be explained in detail using FIG. 13.
  • the evaluation value data 224 is data indicating evaluation values for each of a plurality of candidate experiment points, as shown in FIG. 1, for example.
  • the evaluation value data 224 may be data in a table format that shows evaluation values associated with each of a plurality of candidate experiment points. Other specific examples of this evaluation value data 224 will be described in detail using FIG. 16.
  • the arithmetic circuit 102 is a circuit that reads the program 200 from the storage unit 105 into the memory 103 and executes the expanded program 200.
  • the arithmetic circuit 102 is, for example, a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), or the like.
  • FIG. 4 is a block diagram showing the functional configuration of the arithmetic circuit 102.
  • the arithmetic circuit 102 realizes multiple functions for generating the evaluation value data 224 by executing the program 200.
  • the arithmetic circuit 102 includes a reception control section (first reception means, second reception means, third reception means, and fourth reception means) 10, a candidate experiment point creation section (candidate experiment point creation means) 11, It includes an evaluation value calculation section (calculation means) 12 and an evaluation value output section (output means) 13. Note that in this embodiment, a case will be described in which the fourth receiving means is not used.
  • the reception control unit 10 receives characteristic point data 201, control factor data 211, objective data 212, and constraint data 213 via the input unit 101a or the communication unit 101b. For example, when characteristic point data 201 is input by a user's input operation to the input unit 101a, the reception control unit 10 associates the characteristic points indicated in the characteristic point data 201 with experimental points and performs experiments in the storage unit 105. Write to result data 222. As a result, the experimental result data 222 is updated. When this experiment result data 222 is updated, the reception control unit 10 causes the evaluation value calculation unit 12 to execute processing using the updated experiment result data 222. That is, the reception control unit 10 causes the evaluation value calculation unit 12 to calculate the evaluation value.
  • the evaluation value calculation unit 12 executes evaluation value calculation using the candidate experiment point data 221 already stored in the storage unit 105. In this way, the reception control unit 10 uses the input of the characteristic point data 201 as a trigger to cause the evaluation value calculation unit 12 to start calculating the evaluation value.
  • the reception control unit 10 may cause the evaluation value calculation unit 12 to start calculating the evaluation value in response to another trigger. For example, if the experiment result data 222 is already stored in the storage unit 105, the reception control unit 10, triggered by the user's input of the level of the experiment point, causes the evaluation value calculation unit 12 to start calculating the evaluation value. You may let them.
  • the levels of the experimental points are, for example, the minimum value, maximum value, and discrete width of the values that the control factor can take. That is, when the user inputs the level of the experiment point and the candidate experiment point data 221 is generated based on the level, the reception control unit 10 generates an evaluation value based on the candidate experiment point data 221 and the experiment result data 222. The evaluation value calculation unit 12 is caused to start calculation.
  • the reception control unit 10 triggered by the user's input of the experiment result data 222, instructs the evaluation value calculation unit 12 to calculate the evaluation value. You may start it.
  • the reception control unit 10 causes the evaluation value calculation unit 12 to start calculating an evaluation value based on the experiment result data 222 and candidate experiment point data 221.
  • the reception control unit 10 triggered by the reception of the experiment result data 222 by the communication unit 101b, sends the evaluation value to the evaluation value calculation unit 12.
  • the calculation may be started.
  • experimental equipment, experimental equipment, manufacturing equipment, or the like transmits experimental result data 222 to the evaluation apparatus 100, and the communication unit 101b receives the experimental result data 222.
  • the reception control unit 10 causes the evaluation value calculation unit 12 to start calculating an evaluation value based on the experiment result data 222 and candidate experiment point data 221.
  • the reception control unit 10 if it has the candidate experiment point data 221 and the experiment result data 222, it causes the evaluation value calculation unit 12 to start calculating an evaluation value based on them. Note that if the experiment result data 222 is already stored in the storage unit 105, the reception control unit 10, triggered by the user's input of the candidate experiment point data 221, instructs the evaluation value calculation unit 12 to calculate the evaluation value. You may start it. Further, if the candidate experiment point data 221 and the experiment result data 222 are already stored in the storage unit 105, the reception control unit 10 uses the user's input of a start instruction as a trigger to send the evaluation value calculation unit 12 to the evaluation value calculation unit 12. You may also start the calculation of .
  • the candidate experiment point creation unit 11 generates candidate experiment point data 221 based on the control factor data 211 acquired by the reception control unit 10. That is, the candidate experiment point creation unit 11 creates each of the plurality of candidate experiment points using the respective values of one or more control factors. Then, the candidate experiment point creation unit 11 stores the generated candidate experiment point data 221 in the storage unit 105.
  • the evaluation value calculation unit 12 reads candidate experiment point data 221 and experiment result data 222 from the storage unit 105, generates predicted distribution data 223 based on these data, and stores the predicted distribution data 223 in the storage unit 105. . Further, the evaluation value calculation unit 12 generates evaluation value data 224 based on the predicted distribution data 223 and the objective data 212 and constraint condition data 213 acquired by the reception control unit 10. is stored in the storage unit 105.
  • the evaluation value output unit 13 reads the evaluation value data 224 from the storage unit 105 and outputs the evaluation value data 224 to the display unit 104. Alternatively, the evaluation value output unit 13 may output the evaluation value data 224 to an external device via the communication unit 101b. That is, the evaluation value output unit 13 outputs the evaluation value of each candidate experimental point. Note that the evaluation value output section 13 may directly acquire the evaluation value data 224 from the evaluation value calculation section 12 and output the evaluation value data 224 to the display section 104. Similarly, the evaluation value output unit 13 reads the predicted distribution data 223 from the storage unit 105 and outputs the predicted distribution data 223 to the display unit 104. Note that the evaluation value output section 13 may directly acquire the predicted distribution data 223 from the evaluation value calculation section 12 and output the predicted distribution data 223 to the display section 104.
  • FIG. 5 is a diagram showing an example of a reception image displayed on the display unit 104 to receive input of the setting information 210.
  • the reception image 300 includes a control factor region 310 and a target characteristic region 320.
  • Control factor area 310 is an area for receiving input of control factor data 211.
  • Objective characteristic area 320 is an area for receiving input of objective data 212 and constraint data 213.
  • the control factor area 310 has input fields 311-314.
  • the input field 311 is a field for inputting the name of the first control factor. For example, “X1” is input into the input field 311 as the name of the first control factor.
  • the input field 312 is a field for inputting the value of the first control factor. For example, "-5, -4, -3, -2, -1, 0, 1, 2, 3, 4, 5" is input into this input field 312 as the value of the first control factor.
  • input field 313 is a field for inputting the name of the second control factor. For example, “X2” is input into the input field 313 as the name of the second control factor.
  • the input field 314 is a field for inputting the value of the second control factor. For example, "-5, -4, -3, -2, -1, 0, 1, 2, 3, 4, 5" is input into this input field 314 as the value of the second control factor.
  • control factor data 211 corresponding to the input results is input to the evaluation device 100.
  • the objective characteristic area 320 has input fields 321-328.
  • Input fields 321 and 325 are fields for inputting the name of the first objective characteristic and the name of the second objective characteristic. For example, "Y1" is input as the name of the first objective characteristic in the input field 321, and "Y2" is input as the name of the second objective characteristic in the input field 325.
  • Input fields 322 and 326 are fields for selecting optimization objectives for the first objective characteristic and the second objective characteristic.
  • each of the input fields 322 and 326 includes three radio buttons for selecting one of "maximize,” “minimize,” and “within specification.” have “Maximization” as an objective aims at maximizing the value of the first objective characteristic or the second objective characteristic, and “minimization” aims at minimizing the value of the first objective characteristic or the second objective characteristic. do. "Within the standard range” is intended to mean that the value of the first objective characteristic or the second objective characteristic falls within the standard range. For example, when the user selects a radio button indicating "within the standard range" through an input operation to the input unit 101a, the evaluation device 100 determines that the first objective characteristic or the second objective characteristic is within the standard range as the optimization objective. Select.
  • Input fields 323 and 324 are fields for inputting the minimum value and maximum value, respectively, indicating the standard range of the first objective characteristic. For example, if “30" is entered as the minimum value in the input field 323 and "40" is entered as the maximum value in the input field 324, the evaluation device 100 sets the standard range to 30-40.
  • Input fields 327 and 328 are fields for inputting the minimum value and maximum value, respectively, in the standard range of the second objective characteristic. For example, if "10" is input as the minimum value of the standard range in the input field 327 and no input is made in the input field 328, the evaluation device 100 sets the standard range to 10 to + ⁇ . Note that if no input is entered in the input field 327, the evaluation device 100 sets the minimum value of the standard range to ⁇ .
  • objective data 212 and constraint data 213 corresponding to the input results are input to evaluation device 100. That is, the reception control unit 10 acquires the objective data 212 according to the inputs to the input fields 322 and 326, and acquires the constraint condition data 213 according to the inputs to the input fields 323, 324, 327, and 328.
  • the objective data 212 indicates that the value of the first objective characteristic falls within the standard range as the optimization objective of the first objective characteristic, and as the optimization objective of the second objective characteristic. , denotes the minimization of the value of its second objective property.
  • the constraint condition data 213 indicates that the standard range of the first objective characteristic is 30 to 40, and also indicates that the standard range of the second objective characteristic is 10 to + ⁇ .
  • FIG. 6 is a diagram showing an example of the control factor data 211.
  • the first control factor and the second control factor can take discrete values of 1 from -5 to 5.
  • the first control factor and the second control factor are continuous variables. Continuous variables can take continuous values, but continuous values are difficult to perform arithmetic processing on. Therefore, it is preferable to discretize the value of each control factor and set a finite number of candidate experimental points. Therefore, when the control factor is a continuous variable, the user inputs the level (minimum value, maximum value, discrete width) of the control factor, and the evaluation device 100 determines the possible values of the control factor.
  • the discrete widths do not need to be constant, and may be set irregularly, for example, as levels such as "1, 3, 7, 15". That is, the reception control unit 10 receives the level of the control factor in response to the user's input operation to the input unit 101a, and determines the possible value of the control factor based on the level. Then, the reception control unit 10 generates control factor data 211 indicating possible values of the determined control factor, and displays it in the input field 312 or 314 included in the control factor area 310 of the reception image 300 in FIG. 5, for example. do.
  • variables include discrete variables that are different from continuous variables.
  • the discrete variable does not have a size relationship or numerical magnitude, such as "apple, tangerine, banana” or "with catalyst, without catalyst.”
  • the first control factor and the second control factor can each take the same value, but the value is not limited to this.
  • the values that the first control factor and the second control factor can take may be different from each other.
  • the first control factor can take discrete values of 10 to 50 in increments of 10.
  • the second control factor can take discrete values of 100 to 500 in increments of 100.
  • the value of the control factor is an absolute value, but the value is not limited to this.
  • the value of the control factor may be a relative value such as a ratio to the value of another control factor or the sum of the values of all control factors.
  • the control factor data 211 indicates a value of a ratio variable that is different from a value of a continuous variable. Ratio variables may take on relative values, such as the ratios described above.
  • the control factor data 211 includes the value of the continuous variable of the first control factor, the value of the ratio variable of the second control factor, and the value of the ratio variable of the third control factor. may also be indicated.
  • the value of the continuous variable of the first control factor can take discrete values of 10 from 10 to 30, for example.
  • the values of the ratio variable of the second control factor are, for example, "0.0, 0.2, 0.4, 0.6, 0.8, 1.0"
  • the values of the ratio variable of the third control factor are , for example, "0.0, 0.2, 0.4, 0.6, 0.8, 1.0".
  • the ratio variable indicates, for example, the blending ratio of the first control factor or the second control factor material in a synthetic material produced by blending the first control factor material and the second control factor material. .
  • FIG. 7(a) is a diagram showing an example of the objective data 212
  • FIG. 7(b) is a diagram showing an example of the constraint data 213.
  • the objective data 212 input by the objective characteristic area 320 of the reception image 300 in FIG. 5 includes, for example, as shown in FIG. and Furthermore, the constraint data 213 input by the objective characteristic area 320 of the reception image 300 in FIG. 5 includes, for example, the standard range of the first objective characteristic and the standard range of the second objective characteristic, as shown in FIG. Indicates the range. Specifically, the objective data 212 indicates "within standard range” as the optimization objective for the first objective characteristic, and "minimize" as the optimization objective for the second objective characteristic.
  • the constraint condition data 213 indicates a range from a minimum value of "30" to a maximum value of "40” as a standard range of the first objective characteristic, and a range of a minimum value of "10” to a maximum value of "40” as a standard range of the second objective characteristic.
  • the range of the maximum value "+ ⁇ ” is shown. Therefore, the optimization objective of the second objective characteristic is to minimize the value of the second objective characteristic within the standard range of the minimum value "10" or more.
  • FIG. 8A is a diagram showing an example of the standard range.
  • the standard range indicated by the constraint data 213 in FIG. 7B is expressed as a rectangular range on the characteristic space, as shown in FIG. 8A, for example.
  • the shape of the standard range is a rectangle, but it may have another shape.
  • the shape of the standard range may be any shape as long as it is possible to implement the calculation of the evaluation value described below.
  • FIG. 8B is a diagram showing another example of the standard range.
  • the standard range may be circular, for example, as shown in FIG. 8B.
  • the standard range in the characteristic space of the first objective characteristic and the second objective characteristic is expressed by the center (20, 20) and radius 10 of a circle.
  • the shape of the standard range may be a shape other than a circle, such as an ellipse or a star shape.
  • the evaluation value calculation unit 12 may calculate the evaluation value of each candidate experimental point based on the standard range of a shape different from a rectangle.
  • evaluation values are calculated based on standard ranges such as circular, oval, and star-shaped in the characteristic space, so the scope of application is further expanded without being limited to cases where the shape of the standard range is rectangular. be able to.
  • the evaluation device 100 performs processing related to calculation and output of evaluation values using each data inputted as described above.
  • FIG. 9 is a flowchart showing the processing operation of the evaluation device 100 according to the present embodiment.
  • the candidate experiment point creation unit 11 generates candidate experiment point data 221 using the control factor data 211 (step S1).
  • the reception control unit 10 acquires the target data 212 (step S2). That is, the reception control unit 10 executes the second reception step of acquiring objective data indicating the optimization objective. Furthermore, the reception control unit 10 acquires constraint data 213 (step S3). That is, the reception control unit 10 executes a third reception step of acquiring constraint data 213 indicating a constraint given to at least one objective characteristic. Furthermore, the reception control unit 10 reads the experimental result data 222 from the storage unit 105 (step S4). That is, the reception control unit 10 executes a first reception step of acquiring experiment result data 222 indicating experimental points that have been tested and known characteristic points. Note that if the experimental result data 222 does not indicate any characteristic points, the processes of steps S4 to S6 including this step S4 are skipped.
  • the evaluation value calculation unit 12 calculates the evaluation value of each candidate experiment point based on the objective data 212, constraint data 213, candidate experiment point data 221, and experiment result data 222 (step S5). That is, the evaluation value calculation unit 12 executes a calculation step of calculating the evaluation value of the unknown characteristic point based on the data. Specifically, the evaluation value calculation unit 12 calculates the evaluation value of each candidate experiment point that has not yet been used in an experiment among the plurality of candidate experiment points shown in the candidate experiment point data 221. In addition, in this calculation step, the evaluation value calculation unit 12 assigns weighting according to the degree of compliance with the constraint conditions to the evaluation value for at least one objective characteristic, as in (Equation 4) and (Equation 5) described below. do. Then, the evaluation value calculation unit 12 generates evaluation value data 224 indicating the calculated evaluation value of each candidate experiment point.
  • the evaluation value output unit 13 outputs the evaluation value calculated in step S5, that is, the evaluation value data 224, to the display unit 104 (step S6). That is, the evaluation value output unit 13 executes an output step of outputting the evaluation value. Thereby, the evaluation value data 224 is displayed on the display unit 104, for example.
  • the reception control unit 10 acquires an operation signal from the input unit 101a in response to the user's input operation to the input unit 101a.
  • the operation signal indicates the end of the search for the optimal solution or the continuation of the search for the optimal solution.
  • the search for the optimal solution is a process of calculating and outputting evaluation values for each candidate experimental point based on new experimental results.
  • the reception control unit 10 determines whether the operation signal indicates the end of the search for the optimal solution or continues (step S7).
  • the reception control unit 10 determines that the operation signal indicates the end of the search for the optimal solution ("end" in step S7), it ends all processing.
  • the reception control unit 10 determines that the operation signal indicates the continuation of the search for the optimal solution (“Continue” in step S7), the reception control unit 10 stores the experimental results in the storage unit 105 as the candidate experimental point selected as the next experimental point. Write to data 222.
  • the reception control unit 10 selects a candidate experimental point from the evaluation value data 224 as the next experimental point.
  • the reception control unit 10 writes the candidate experiment points selected in this way into the experiment result data 222.
  • the user inputs characteristic point data 201 indicating the characteristic point into the evaluation apparatus 100 by performing an input operation on the input section 101a.
  • the reception control unit 10 acquires the input characteristic point data 201 and writes the characteristic points indicated by the characteristic point data 201 into the experimental result data 222 of the storage unit 105.
  • the characteristic point is associated with the most recently selected and written experimental point.
  • new experimental results are recorded in the experimental result data 222 (step S8).
  • the experimental result data 222 is updated.
  • the evaluation value calculation unit 12 repeatedly executes the processing from step S4.
  • FIG. 10A is a diagram showing an example of candidate experiment point data 221.
  • the candidate experiment point creation unit 11 generates candidate experiment point data 221 shown in FIG. 10A, for example, based on the control factor data 211 shown in FIG. 6(b). For example, if the values of all the control factors indicated by the control factor data 211 are the values of continuous variables and there are no constraints on the values, the candidate experiment point creation unit 11 determines the value of each control factor. Each of all combinations is created as a candidate experiment point. In the case of the control factor data 211 shown in FIG. The values of the variables are shown as "100, 200, 300, 400, 500".
  • the candidate experiment point creation unit 11 creates a combination of the first control factor value "10" and the second control factor value "100", the first control factor value "10” and the second control factor value " All combinations, such as the combination with "200", are created as candidate experimental points.
  • the candidate experiment point creation unit 11 associates an experiment point number with the created candidate experiment point, and generates candidate experiment point data 221 indicating the candidate experiment point with which the experiment point number is associated.
  • candidate experiment point data 221 includes candidate experiment points (10, 100) associated with experiment point number "1" and candidates associated with experiment point number "2", as shown in FIG. 10A.
  • Experimental point (10,200), candidate experimental point (10,300) associated with experimental point number "3", etc. are shown. Note that the first component of these candidate experimental points indicates the value of the first control factor, and the second component indicates the value of the second control factor.
  • the candidate experiment point creation unit 11 calculates the sum of Only combinations of values that satisfy 1 are adopted as candidate experimental points. An example of this is shown in candidate experiment point data 221 in FIG. 10B.
  • FIG. 10B is a diagram showing another example of candidate experiment point data 221.
  • the candidate experiment point creation unit 11 generates candidate experiment point data 221 shown in FIG. 10B, for example, based on the control factor data 211 shown in FIG. 6(c).
  • the control factor data 211 indicates "0.0, 0.2, 0.4, 0.6, 0.8, 1.0" as the value of the ratio variable of the second control factor
  • the third control factor "0.0, 0.2, 0.4, 0.6, 0.8, 1.0" is shown as the value of the ratio variable of the factor.
  • the combination of values of these ratio variables corresponds to the blending ratio of the above-mentioned first compound and second compound.
  • the candidate experiment point creation unit 11 sets the value of the first control factor and the second control factor so that the sum of the value of the ratio variable of the second control factor and the value of the ratio variable of the third control factor satisfies 1.
  • a combination of the value of the control factor and the value of the third control factor is created as a candidate experimental point.
  • the candidate experiment point creation unit 11 creates a combination of the first control factor value "10", the second control factor value "0.2", and the third control factor value "0.8", etc.
  • a combination of values in which the sum of ratio variable values satisfies 1 is created as a candidate experimental point.
  • the candidate experiment point creation unit 11 associates an experiment point number with the created candidate experiment point, and generates candidate experiment point data 221 indicating the candidate experiment point with which the experiment point number is associated.
  • candidate experiment point data 221 includes candidate experiment points (10, 0.0, 1.0) associated with experiment point number "1", and experiment point number "2", as shown in FIG. 10B. ”, the candidate experimental point (10, 0.4, 0.6) associated with the experimental point number “3”, etc. are shown. Note that the first component of these candidate experimental points indicates the value of the first control factor, the second component indicates the value of the second control factor, and the third component indicates the value of the third control factor.
  • the candidate experiment point creation section 11 sets the predetermined conditions for each of the plurality of control factors.
  • the candidate experimental point is created by combining values that satisfy the following.
  • the predetermined condition is that the sum of the values of the ratio variables of the plurality of control factors is 1, as shown in FIG. 10B.
  • the ratio variable is a blending ratio of materials such as compounds corresponding to the control factor. Therefore, for each combination of compounding ratios of multiple types of compounds, an evaluation value for that combination can be calculated. As a result, it is possible to appropriately search for an optimal solution for one or more desired properties of a synthetic material obtained by blending these compounds.
  • FIG. 11 is a diagram showing an example of the experimental result data 222.
  • the evaluation value calculation unit 12 reads the experimental result data 222 stored in the storage unit 105 in order to calculate the evaluation value.
  • this experiment result data 222 indicates, for each experiment number, the experimental points used in the experiment identified by that experiment number and the characteristic points that are the experimental results obtained by that experiment. .
  • An experimental point is expressed by a combination of values of each control factor.
  • the experimental point is expressed by a combination of values, which is a combination of the first control factor value "10" and the second control factor value "100".
  • a characteristic point is expressed by a combination of values of each objective characteristic obtained through experiments.
  • the value of the objective characteristic is hereinafter also referred to as an objective characteristic value.
  • the characteristic point is expressed by a combination of the value "8" of the first objective characteristic and the value "0.0" of the second objective characteristic.
  • the experiment result data 222 includes, as shown in FIG. ”, the experimental point (50,100) and characteristic point (40, 1.6) associated with experiment number “3”, etc. shows.
  • FIG. 12 is a diagram for explaining processing by the evaluation value calculation unit 12.
  • the evaluation value calculation unit 12 generates predicted distribution data 223 based on the candidate experiment point data 221 generated by the candidate experiment point creation unit 11 and the experiment result data 222 stored in the storage unit 105. Then, the evaluation value calculation unit 12 calculates the evaluation value data 224 based on the objective data 212 indicating the optimization purpose of each objective characteristic, the constraint data 213 indicating the standard range of each objective characteristic, and the predicted distribution data 223. generate.
  • the experiment result data 222 corresponds to one or more experiment points that are one or more candidate experiment points that have already been used in an experiment among the plurality of candidate experiment points, and each of the one or more experiment points. Indicates a characteristic point and experimental results of one or more target characteristics using the experimental point. Therefore, the evaluation value calculation unit 12 in this embodiment calculates (a) the optimization purpose and standard range of each of one or more objective characteristics, and (b) the number of candidate experiment points that have already been used in the experiment.
  • characteristic points corresponding to each of the one or more experimental points which are the experimental results of one or more objective characteristics using the experimental points; Based on the characteristic points shown, the evaluation value of each of the remaining candidate experimental points excluding one or more of the plurality of candidate experimental points is calculated based on Bayesian optimization.
  • the evaluation value calculation unit 12 outputs the generated evaluation value data 224 to the evaluation value output unit 13. Note that the evaluation value calculation unit 12 may also output the predicted distribution data 223 to the evaluation value output unit 13. Alternatively, the evaluation value calculation unit 12 stores the predicted distribution data 223 in the storage unit 105, and the evaluation value output unit 13 stores the predicted distribution data 223 from the storage unit 105 in response to the user's input operation to the input unit 101a. may be read out.
  • the evaluation value calculation unit 12 describes the correspondence between candidate experimental points and characteristic points using a Gaussian process.
  • a Gaussian process is a stochastic process in which output values corresponding to a plurality of inputs follow a Gaussian distribution (normal distribution).
  • the Gaussian process is a stochastic process that assumes that the vector f(x N ) of characteristic points corresponding to the finite vector x N of candidate experimental points follows an N-dimensional normal distribution.
  • the distance between the experimental point x and the experimental point x' is determined by a positive definite kernel k(x, x'), and the covariance matrix is expressed using this kernel.
  • N is an integer greater than or equal to 1, and is the number of experimental results that have been executed.
  • the normality of the multidimensional normal distribution is preserved even if conditions are applied to some elements.
  • the distribution conditioned by the correspondence relationship as the predicted distribution.
  • the average of the predicted distribution is calculated for each dimension by the following (Formula 1), and the variance of the predicted distribution is calculated for each dimension by the following (Formula 2).
  • x (N+1) represents a matrix that summarizes new candidate experimental points.
  • k N+1 represents an N-dimensional vector whose i-th component is k(x (i) , x (N+1)
  • K N,N is an N-dimensional vector whose i-th component is k (x (i) , x (j) ) represents an N ⁇ N-gram matrix.
  • ⁇ 2 represents the observation error, and is set to an appropriate value depending on the assumed degree of influence of the observation error.
  • I represents an N-dimensional identity matrix.
  • the kernel k( ⁇ , ⁇ ) and its hyperparameters are appropriately set, for example, by an analyst such as a user.
  • i and j are each an integer of 1 or more and N or less.
  • m is called an average function, and is set to an appropriate function if the behavior of y (N+1) with respect to x (N+1) is known to some extent. If the behavior is unknown, it may be set to a constant such as 0.
  • the evaluation value calculation unit 12 performs calculations using the above (Formula 1) and (Formula 2) on the known experiment results shown in the experiment result data 222 read from the storage unit 105 in the above step S4. By doing so, predicted distribution data 223 is generated.
  • FIG. 13 is a diagram showing an example of the predicted distribution data 223.
  • the predicted distribution data 223 indicates the mean and variance of the predicted distribution at each candidate experimental point. This predicted distribution is a distribution calculated using (Equation 1) and (Equation 2) as a conditional distribution using a Gaussian process for each objective characteristic.
  • the predicted distribution data 223 includes, for each experimental point number, the mean and variance of the predicted distribution of the first objective characteristic and the predicted distribution of the second objective characteristic. Mean and variance are shown.
  • the mean of the objective characteristic is "0.77661” and the variance is "0.97006".
  • the predicted distribution data 223 includes the mean "30.2536” and variance "21.5521” of the first objective characteristic corresponding to the experimental point number "2" and the mean "1.11268” and variance of the second objective characteristic. "1.07761" is shown.
  • the experimental point numbers are associated with candidate experimental points as shown in FIG. 10A or 10B.
  • the evaluation value calculation unit 12 calculates an evaluation value based on an evaluation standard called an acquisition function in Bayesian optimization.
  • the above-mentioned predicted distribution is used to calculate this evaluation value.
  • the acquisition function in this embodiment is an acquisition function in Bayesian optimization with constraint conditions.
  • EHVI of Non-Patent Document 1 the acquisition function of Bayesian optimization without constraints.
  • maximization and minimization if the sign of one of them is reversed, it becomes equivalent to the other, so the explanation will be unified to minimization.
  • the improvement area consists of a Pareto boundary determined from the coordinates of a Pareto point (i.e., a non-inferior solution) among at least one characteristic point already obtained from the experiment, and a new characteristic point when a new characteristic point is observed.
  • the Pareto point is a characteristic point that is currently temporarily considered a Pareto solution.
  • the Pareto boundary is a boundary line defined by connecting the coordinates of Pareto points along the directions of the first objective characteristic and the second objective characteristic.
  • FIG. 14A is a diagram showing an example of an improvement area.
  • an area surrounded by a Pareto boundary 31 determined from four Pareto points 21 to 24 and a Pareto boundary 32 newly determined when one new characteristic point y new is obtained is Identified as an area for improvement.
  • EHVI is defined as the expected value of the amount of improvement in the predicted distribution for each candidate experimental point, as shown in (Equation 3) below.
  • a candidate experiment point with a larger value obtained by EHVI has a larger expected value of improvement, and represents an experiment point to be executed next.
  • D represents the number of objective characteristics (i.e. the number of dimensions)
  • x new ) is the characteristic point y corresponding to the new experimental point x new when one candidate experimental point is selected as the new experimental point x new from at least one candidate experimental point.
  • the predicted distribution of each dimension of the characteristic point y new is determined by the above (Formula 1) and (Formula 2).
  • the acquisition function in this embodiment is an acquisition function of Bayesian optimization when there are constraint conditions.
  • the acquisition function in this embodiment that is, EHVIC with a constraint condition, is defined as shown in (Equation 4) below.
  • R minimize represents a region in which all of the objective characteristics y 1 to y Dminimize , whose optimization objective is minimization, are within the standard range.
  • R range represents a region in which all of the objective characteristics y Dminimize+1 to y D for which the optimization objective is within the standard range are within the standard range.
  • each region of R minimize and R range is expressed by a function indicating the shape of the standard range corresponding to the region. As shown in FIG. 8B, if the shape of the standard range is a circle, each region of R minimize and R range is expressed by a function representing the circle. Further, if the shape of the standard range is star-shaped, each region of R minimize and R range is expressed by a function indicating the star shape.
  • y new,minimize represents a vector obtained by extracting each dimension of the objective characteristic whose optimization objective is minimization from all dimensions of the characteristic point y new .
  • y new,range represents a vector obtained by extracting each dimension of the objective characteristic whose optimization objective is within the standard range from all dimensions of the characteristic point y new .
  • IC(y new ) is the amount of improvement when there is a constraint condition, and represents the volume of the area surrounded by the existing Pareto boundary and the newly determined Pareto boundary.
  • the existing Pareto boundary is a boundary determined from at least one Pareto point existing within the specification range and the respective coordinates of the specification range.
  • the newly determined Pareto boundary is a boundary determined from the coordinates of the Pareto point that is the new characteristic point and the standard range when a new characteristic point is observed.
  • Pr ⁇ A ⁇ represents the probability that event A will occur, and is expressed using the mean and variance of (Formula 1) and (Formula 2), for example.
  • FIG. 14B is a diagram showing another example of the improvement area according to this embodiment.
  • the evaluation device 100 can calculate the evaluation value using the conventional method.
  • FIG. 15A is a diagram for explaining a method for calculating the volume of an improved region. Note that (a) in FIG. 15A shows an improved region in the characteristic space, (b) in FIG. 15A shows the improved region to be divided, and (c) in FIG. 15A shows the improved region in the characteristic space. shows multiple small areas obtained by
  • the evaluation value calculation unit 12 calculates the amount of improvement (i.e., IC(y new )), which is the volume of the improvement area, as shown in FIG. 15A. That is, the evaluation value calculation unit 12 divides the improvement area into a plurality of small areas at the respective coordinates of the Pareto point and the new characteristic point, calculates the expected volume of each small area, and then sums the expected values. The amount of improvement (ie, IC(y new )) is calculated by taking . Furthermore, the evaluation value calculation unit 12 calculates the probability that each objective characteristic value falls within the standard range for a dimension of the objective characteristic whose optimization objective is within the standard range.
  • IC(y new ) the amount of improvement
  • FIG. 15B is a diagram showing an example of dividing the entire characteristic space into a plurality of small regions.
  • the evaluation value calculation unit 12 divides the entire characteristic space into a plurality of small regions as shown in FIG. 15B for the dimension of the objective characteristic whose optimization objective is minimization and the dimension of the objective characteristic whose optimization objective is within the standard range.
  • the acquisition function is calculated uniformly by dividing into 2 and using the following (Equation 5).
  • the evaluation value calculation unit 12 divides the entire characteristic space into a plurality of small regions at the respective coordinates of the Pareto point, the new characteristic point, and the standard value, and calculates the volume of each small region using the following (Equation 5). Execute case-by-case calculations like this.
  • the above-mentioned standard values are the maximum and minimum values of the standard range.
  • the evaluation value calculation unit 12 uniformly calculates an acquisition function when there is a constraint condition by calculating the sum of the volumes of those small regions subjected to expected value processing. Note that this volume is also called an N-dimensional hypervolume.
  • y d represents the d-th component of the lower end point (y 1 ,..., y D ) of the small region
  • y d ' represents the upper end point (y 1 ',..., y D ) of the small region.
  • ') represents the d-th component of
  • FIG. 15C is a diagram showing an example of a lower end point and an upper end point of a small region.
  • (i) in (Formula 5) is applied when the interval [y d , y d '] is outside the standard range with respect to dimension d.
  • (ii) is applied when the interval [y d , y d '] is within the standard range with respect to dimension d, and the optimization objective of the objective characteristic of dimension d is within the standard range.
  • (iii) is applied when the interval [y d , y d ′] is within the standard range with respect to dimension d, and the optimization objective of the objective characteristic of dimension d is minimization.
  • c d is a weighting coefficient, and is appropriately set when giving search priority to each dimension d of the objective characteristic.
  • the priority may be the reciprocal of the weighting coefficient cd . Unless otherwise specified, that is, if each dimension d has the same priority, all c d of each dimension d is set to 1, for example.
  • the method for calculating the acquisition function described above is a method for finding exact solutions, and the amount of calculation may become enormous, especially when the optimization objective is to minimize and there are many objective characteristics. . Therefore, in order to improve calculation efficiency, the acquisition function may be calculated using an approximation method such as the Monte Carlo method. Even in that case, the division of the characteristic space into small regions, the improvement regions, etc. are the same as described above.
  • the evaluation value output unit 13 acquires evaluation value data 224 indicating the evaluation value of each candidate experiment point calculated as described above by the evaluation value calculation unit 12, and causes the display unit 104 to display the evaluation value data 224. Note that the evaluation value output unit 13 may directly acquire the evaluation value data 224 from the evaluation value calculation unit 12, and by reading the evaluation value data 224 stored in the storage unit 105 by the evaluation value calculation unit 12, The evaluation value data 224 may be acquired.
  • FIG. 16 is a diagram showing an example of the evaluation value data 224.
  • the evaluation value data 224 indicates the evaluation value and its ranking at each candidate experimental point, as shown in FIG. 16, for example. Specifically, the evaluation value data 224 shows, for each experimental point number, the evaluation value corresponding to that experimental point number and the rank of that evaluation value. Each experimental point number is associated with a candidate experimental point, as shown in FIGS. 10A and 10B. Therefore, it can be said that the evaluation value data 224 indicates, for each candidate experiment point, the evaluation value corresponding to that candidate experiment point and the rank of that evaluation value. In addition, the higher the evaluation value, the lower the ranking, and conversely, the lower the evaluation value, the higher the ranking.
  • the evaluation value data 224 includes an evaluation value "0.00000" corresponding to the experimental point number "1", a rank "23", and an experimental point number "2".
  • the evaluation value "0.87682” and the rank "1", the evaluation value "0.62342” and the rank "4" corresponding to the experimental point number "3", etc. are shown.
  • the user can determine whether to continue or end the search for the optimal solution. Furthermore, when the user continues searching for the optimal solution, the user selects the next Candidate experimental points to be used as experimental points can be selected. For example, the user selects the candidate experimental point corresponding to the largest evaluation value (ie, the evaluation value with a rank of 1). At this time, the user may rearrange the evaluation values of the evaluation value data 224 in ascending order by performing an input operation on the input unit 101a. That is, the evaluation value output unit 13 sorts the evaluation value data 224 so that each evaluation value is in descending order and each rank is in ascending order. This makes it easier to find the largest evaluation value.
  • the reception control unit 10 in this embodiment acquires the experimental result data 222, the objective data 212, and the constraint data 213.
  • the evaluation value calculation unit 12 calculates the evaluation value of the unknown characteristic point based on the experimental result data 222, the objective data 212, and the constraint condition data 213, and the evaluation value output unit 13 outputs the evaluation value.
  • the evaluation value calculation unit 12 assigns weighting to the evaluation value for at least one objective characteristic according to the degree of compliance with the constraint conditions. Thereby, when the evaluation value calculation unit 12 calculates the evaluation value of an unknown characteristic point based on the experimental result data 222, the objective data 212, and the constraint condition data 213, weighting is performed according to the degree of conformity of the constraint conditions.
  • the at least one objective characteristic has an optimization objective. Therefore, Bayesian optimization can be applied to an optimization problem in which a constraint condition is attached to an objective characteristic having an objective of the optimization problem. As a result, the scope of application can be expanded.
  • the constraint condition is the standard range
  • the optimization objectives include a first objective of keeping the objective characteristic within the standard range, and a second objective of minimizing or maximizing the objective characteristic.
  • the evaluation value calculation unit 12 determines whether (i) the interval of the objective characteristic used to calculate the evaluation value is outside the standard range, and (ii) the interval is outside the standard range. (iii) when the interval is within the specification range and the optimization objective is the first objective; and (iii) when the interval is within the specification range and the optimization objective is the second objective. Evaluation values are calculated by performing different weighting processes. That is, the evaluation value is calculated based on the above (Formula 4) and (Formula 5).
  • the evaluation value of the candidate experimental point can be appropriately calculated based on Bayesian optimization. That is, even if the optimization objective of the objective characteristic is within the standard range, maximization, or minimization, the evaluation value of the candidate experimental point can be appropriately calculated based on Bayesian optimization.
  • the interval of the objective characteristic is within the standard range and the optimization objective is the second objective, so unlike the method of Non-Patent Document 2, the optimization objective is to maximize Alternatively, even if the objective characteristic to be minimized has a standard range as a constraint, the evaluation value can be quantitatively and appropriately calculated.
  • the evaluation value calculation unit 12 assigns a priority to each of at least one objective characteristic, as in c d of (Equation 5), and calculates the evaluation value of each candidate experiment point using the assigned priority. calculate.
  • priority is assigned to one or more objective characteristics, so that the objective characteristic assigned a high priority can be brought closer to the optimization objective more quickly than the objective characteristic assigned a lower priority.
  • the evaluation value calculation unit 12 may calculate the evaluation value of each candidate experimental point using the Monte Carlo method.
  • the Monte Carlo method is an approximation method, it is possible to reduce the processing load for calculating evaluation values.
  • the evaluation value calculation unit 12 calculates the sum of the expected volumes of the small regions determined by (Formula 5) for each small region. Therefore, for example, when the number of small regions is large, the calculation of (Equation 4) requires a large amount of calculation. Therefore, the processing load can be reduced by using the Monte Carlo method without strictly performing the calculation of (Equation 4). Note that as long as it is an approximation method, other methods may be used instead of the Monte Carlo method.
  • Modification 1 In the above embodiment, a standard range is provided as a constraint. In this modification, not only the standard range but also a range separate from the standard range is provided. For example, in practice, it is often necessary to set a control range in which the characteristic points are desired to fall as much as possible within a standard range in which the characteristic points are desired to fall within the minimum range. Note that the standard range and the management range are examples of constraint ranges that are constraint conditions.
  • FIG. 17 is a diagram showing an example of the standard range and management range.
  • the standard range of the first objective characteristic is the minimum value “10” to the maximum value "50”
  • the standard range of the second objective characteristic is the minimum value "10” to the maximum value "50”
  • the management range of the first objective characteristic is a range narrower than its standard range, that is, the minimum value "20” to the maximum value "40”
  • the management range of the second objective characteristic is a range narrower than its standard range. , that is, the minimum value "20" to the maximum value "40". In this way, the management scope is included in the standard scope.
  • the evaluation value calculation unit 12 converts an intermediate value between 0 and 1, such as 0.5, into l(yd, yd'), as shown in (Equation 6) below.
  • the evaluation value is calculated by further setting the value. Note that 0.5 is just an example, and other numerical values may be used.
  • (i) in (Equation 6) is applied when the interval [y d , y d ′] is outside the control range and the standard range with respect to the dimension d.
  • (ii) is applied when the interval [y d , y d '] is within the standard range and outside the control range with respect to dimension d, and the optimization objective of the objective characteristic of dimension d is within the constraint range.
  • (iii) is applied when the interval [y d , y d ′] is within the control range with respect to dimension d, and the optimization objective of the objective characteristic of dimension d is within the constraint range.
  • (iv) is applied when the interval [y d , y d ′] is within the control range with respect to dimension d, and the optimization objective of the objective characteristic of dimension d is minimization.
  • the evaluation value calculation unit 12 converts the case (ii) of (Formula 5) into the cases (ii) and (iii) of (Formula 6). Furthermore, the evaluation value is calculated by dividing the evaluation into a plurality of cases and performing different weighting processes for each of the plurality of cases. In each of the plurality of cases, sections are included in mutually different constraint ranges among the plurality of constraint ranges.
  • the standard range used for the case classification conditions (i) to (iv) in (Equation 6) above may be replaced with a management range, or conversely, the management range may be replaced with a standard range.
  • the standard range and the management range are each used as examples of constraint ranges, but constraint ranges other than these may also be used. That is, three or more constraint ranges may be used.
  • the shapes of the plurality of constraint ranges may be the same or different from each other. Furthermore, their shape may be any shape such as a rectangle, circle, ellipse, or star shape.
  • At least one constraint range is sufficient. Therefore, the conditions in cases (i) to (iii) in (Formula 5) above and the standard range used for the first purpose may be replaced with any one of the at least one constraint range. . Furthermore, the conditions for each of (i) to (iii) in (Formula 5) above and the constraint range used for the first purpose may be the same constraint range or different constraint ranges. It's okay.
  • the evaluation value calculation unit 12 calculates the evaluation value.
  • the evaluation value calculation unit 12 in this modification calculates not only the evaluation value but also the minimum distance.
  • the minimum distance is the minimum distance between the candidate experimental point and each experimental point that has already been used in the experiment.
  • FIG. 18 is a diagram for explaining the processing by the evaluation value calculation unit 12 according to this modification.
  • the evaluation value calculation unit 12 calculates the minimum distance between each candidate experiment point based on the candidate experiment point data 221 and the experiment result data 222. As described above, this minimum distance is the minimum distance on the experimental space between the candidate experimental point and each of the at least one experimental point that has already been used in the experiment. Then, the evaluation value calculation unit 12 generates minimum distance data 225 indicating the minimum distance between each candidate experimental point.
  • the evaluation value calculation section 12 outputs the evaluation value data 224 to the evaluation value output section 13 as in the above embodiment, and also outputs the minimum distance data 225 to the evaluation value output section 13. Note that the evaluation value calculation unit 12 stores the minimum distance data 225 in the storage unit 105, and the evaluation value output unit 13 stores the minimum distance data 225 from the storage unit 105 in response to the user's input operation to the input unit 101a. may be read out.
  • the evaluation value calculation unit 12 may calculate the distance between the candidate experimental point and the experimental point already used in the experiment using the Lp distance or the like, for example, as in (Equation 7) below.
  • D represents the number of control factors
  • one of x and x' represents a candidate experimental point
  • the other represents an experimental point that has already been used in the experiment.
  • Lp(x, x') indicates the Euclidean distance (ie, straight line distance)
  • Lp(x, x') indicates the Manhattan distance (ie, road distance).
  • FIG. 19 is a diagram showing an example of the minimum distance.
  • the evaluation value calculation unit 12 calculates the relationship between candidate experimental point A and each of experimental points B, C, D, and E, which are candidate experimental points already used in the experiment, in the experimental space. Calculate the L2 distance between.
  • the evaluation value calculation unit 12 determines the minimum distance "1.41412" among these L 2 distances as the minimum L 2 distance.
  • the evaluation value calculation unit 12 sets the minimum value of the difference between two values in each control factor as the reference distance 1 so that the distance does not depend on the scale of each control factor, and calculates the Lp distance. Calculate.
  • FIG. 20 is a diagram showing an example of the minimum distance data 225.
  • the minimum distance data 225 indicates, for each experimental point number, the minimum distance corresponding to that experimental point number.
  • Each experimental point number is associated with a candidate experimental point, as shown in FIGS. 10A and 10B. Therefore, it can be said that the minimum distance data 225 indicates, for each candidate experimental point, the minimum distance corresponding to that candidate experimental point.
  • the minimum distance data 225 includes, as shown in FIG. 20, the minimum distance "0.00000” corresponding to the experimental point number "1” and the minimum distance "1.00000” corresponding to the experimental point number "2". 00000", the minimum distance "2.00000” corresponding to the experimental point number "3”, etc. Note that the candidate experimental point with the experimental point number corresponding to the minimum distance "0.00000" is an experimental point that has already been used in the experiment.
  • the evaluation value output unit 13 may change the evaluation value data 224 by including the contents of the minimum distance data 225 in the evaluation value data 224, and display the changed evaluation value data 224 on the display unit 104. .
  • FIG. 21 is a diagram showing an example of the changed evaluation value data 224 displayed on the display unit 104.
  • the changed evaluation value data 224 includes, for each evaluation value rank, an evaluation value corresponding to that rank, a candidate experiment point corresponding to that evaluation value, and a corresponding candidate experiment point.
  • the minimum distance to Furthermore, the ranks of the evaluation values are arranged in ascending order. In other words, the candidate experiment points are arranged in descending order of evaluation value.
  • the evaluation value data 224 includes an evaluation value "0.87682" corresponding to the rank "1", a candidate experimental point (10,200) corresponding to the evaluation value, and a minimum distance "0.87682” corresponding to the candidate experimental point. 1.00000".
  • the evaluation value data 224 includes an evaluation value "0.87682” corresponding to the rank "2", a candidate experimental point (20,100) corresponding to that evaluation value, and a minimum distance " 1.00000".
  • the user can determine whether to continue or end the search for the optimal solution. Further, when continuing the search for the optimal solution, the user selects the next experimental point from one or more candidate experimental points shown in the evaluation value data 224.
  • the user determines the next experimental point based on the evaluation value and the minimum distance. Specifically, the user basically determines a candidate experimental point with a large evaluation value as the next experimental point. However, especially at the stage when the number of experimental results is small, evaluation values of candidate experimental points close to past experimental points, such as candidate experimental points near the experimental point with the best score among past experimental results, appear at the top. There is a tendency.
  • the user may refer to the evaluation value and the minimum distance to determine whether to continue or end the search for the optimal solution. For example, all candidate experiment points with non-zero evaluation values exist near the executed experiment points, and if the evaluation values of candidate experiment points far from the executed experiment points are all approximately 0, no further experiments can be performed. Even if you continue, no improvement can be expected. Therefore, in such a case, the user should end the search.
  • the evaluation value calculation unit 12 in this modification calculates, for each candidate experiment point, the minimum distance among the distances between the candidate experiment point and each of the one or more experiment points. Then, the evaluation value output unit 13 outputs the minimum distance corresponding to each candidate experimental point. Thereby, the user of the evaluation device 100 can select a candidate experiment point to be the next experiment point based not only on the evaluation value but also on the minimum distance. For example, in the initial stage of optimal solution search, the user can improve the accuracy of the evaluation value by selecting the candidate experimental point corresponding to the evaluation value with a relatively large evaluation value and a relatively long minimum distance as the next experimental point. and make appropriate optimizations.
  • the evaluation value calculation unit 12 calculates the evaluation value using EHVI, which is based on EI (Expected Improvement), but uses PI (Probability of Improvement) to calculate the evaluation value. may be calculated. That is, in the embodiment described above, the evaluation value is calculated by applying EHVI as in (Formula 4) and (Formula 5). However, the evaluation value may be calculated by applying PI. When PI is used, the evaluation value calculation unit 12 calculates the evaluation value using the following (Formula 8) instead of (Formula 5).
  • the evaluation value calculation unit 12 calculates an evaluation value by performing expected value processing on the volume calculated by (Equation 8), similarly to EHVI. Note that the conditions for dividing cases (i) to (iii) in (Equation 8) are the same as in (Equation 5). Further, calculation of an evaluation value using PI and calculation of an evaluation value using EI may be combined. For example, PI may be used for the first objective characteristic, and EI may be used for the second objective characteristic.
  • the evaluation value calculation unit 12 of the present disclosure calculates the evaluation value of each candidate experiment point using at least one of the evaluation methods PI and EI. Thereby, for each candidate experimental point, the volume within the constraint range in the characteristic space can be calculated as an optimization improvement amount, and an evaluation value can be appropriately calculated from the improvement amount.
  • the improvement region when calculating the acquisition function of Bayesian optimization when there are constraint conditions, the improvement region is divided into a plurality of small regions as shown in FIG. 15A, and the expected value of the volume of each small region is After calculating, it is necessary to calculate the sum of their expected values. More generally, when the number of objective characteristics, that is, the number of dimensions, is D, the improvement area can be expressed as a sum area of a plurality of D-dimensional hypercuboids. Therefore, when calculating the acquisition function for Bayesian optimization when there are constraints, the improvement region is divided into multiple D-dimensional hypercuboids, the expected value of the volume of each hypercuboid is calculated, and then those expected values are calculated.
  • the number of hypercuboids can be calculated using D, which is the number of objective characteristics (number of dimensions), and the number of Pareto points, N pareto , which is the number of Pareto points among the observed characteristic points.
  • Embodiment 2 an improved method for calculating the volume of an improved region will be described in order to reduce the amount of calculation while maintaining search efficiency and perform quantitative evaluation at high speed.
  • Embodiment 1 the differences from Embodiment 1 will be mainly explained.
  • FIG. 22 is a diagram showing the configuration of evaluation device 100A according to this embodiment. Elements similar to those in FIG. 3 are denoted by the same reference numerals, and detailed description thereof will be omitted.
  • the evaluation device 100A shown in FIG. 22 differs from the evaluation device 100 shown in FIG. is different.
  • the area reduction rule data 214 indicates the rule for calculating the Pareto boundary, and changes the method for calculating the amount of improvement. More specifically, the region reduction rule data 214 indicates a method of dividing a characteristic space expressed by at least two objective characteristics, and sets the dimension in which the active region is to be reduced to the region of the characteristic space divided by the dividing method. Shown below. Details will be described later.
  • FIG. 23 is a block diagram showing the functional configuration of the arithmetic circuit 102A according to this embodiment. Elements similar to those in FIG. 4 are given the same reference numerals, and detailed explanations will be omitted.
  • the arithmetic circuit 102A shown in FIG. 23 differs from the arithmetic circuit 102 shown in FIG. 4 according to the first embodiment in some functions, including a reception control section 10A and an evaluation value calculation section 12A.
  • the reception control unit 10A corresponds to first reception means, second reception means, third reception means, and fourth reception means, and receives characteristic point data 201, control factor data 211, Purpose data 212, constraint data 213, and area reduction rule data 214 are received.
  • the other functions are the same as described in Embodiment 1, so their explanation will be omitted.
  • the evaluation value calculation unit 12A reads candidate experiment point data 221 and experiment result data 222 from the storage unit 105, generates predicted distribution data 223 based on these data, and stores the predicted distribution data 223 in the storage unit 105. . Furthermore, the evaluation value calculation unit 12A generates evaluation value data 224 based on the predicted distribution data 223, the objective data 212, the constraint data 213, and the area reduction rule data 214 acquired by the reception control unit 10A. , and stores the evaluation value data 224 in the storage unit 105.
  • FIG. 24 is a diagram illustrating an example of an area reduction rule area of a reception image displayed on display unit 104 to receive input of area reduction rule data 214 according to the present embodiment.
  • the received image 300 includes an area reduction rule area 330 shown in FIG. 24 in addition to the control factor area 310 and objective characteristic area 320 described in FIG. 5.
  • the area reduction rule area 330 is an area for receiving input of area reduction rule data 214.
  • the area reduction rule area 330 has input fields 331 and 332.
  • the input field 331 is a field for inputting whether or not to apply the area reduction rule.
  • the input field 332 is a field for inputting whether to include an empty set in region division when applying the region reduction rule.
  • the input field 331 has two radio buttons for selecting "apply” or “not apply” the area reduction rule.
  • the input field 332 has two radio buttons for selecting "Yes” or "No” indicating whether to perform empty set setting in region division.
  • the evaluation device 100A applies the area reduction rule in the evaluation value calculation process. Furthermore, when the radio button indicating "apply” is selected by the user's input operation to the input unit 101a, the evaluation device 100A performs region division including the empty set in the evaluation value calculation process. Compute the volume of the improved region by applying the region reduction rule.
  • FIG. 25 is a diagram showing an example of area reduction rule data 214 according to this embodiment.
  • the area reduction rule data 214 input by the area reduction rule area 330 of the received image 300 in FIG. 24 includes changes in the definition of the Pareto boundary and the definition of the active area, as shown in FIG. 25, for example. , and that region segmentation is applied. This changes the method of calculating the amount of improvement. Note that a specific example of the changed definition and applied area division will be described later, so a description thereof will be omitted here.
  • the evaluation device 100A performs processing related to calculation and output of evaluation values using each data inputted as described above.
  • FIG. 26 is a flowchart showing the processing operation of the evaluation device 100A according to this embodiment. Steps S21 to S23, S25, and S27 to S29 shown in FIG. 26 are the same processes as steps S1 to S4 and S6 to S8 described in FIG. 9, so their explanations are omitted here. do.
  • step S24 the reception control unit 10A obtains area reduction rule data 214 indicating rules for calculating Pareto boundaries. More specifically, the reception control unit 10A indicates a method of dividing the characteristic space expressed by at least two objective characteristics, and also determines the dimension in which the active region is to be reduced for each region of the characteristic space divided by the dividing method. A fourth receiving step is executed to obtain area reduction rule data 214 shown in FIG.
  • step S26 the evaluation value calculation unit 12A calculates the evaluation value of each candidate experiment point based on the objective data 212, constraint data 213, candidate experiment point data 221, experiment result data 222, and area reduction rule data 214. calculate. That is, the evaluation value calculation unit 12A executes a calculation step of calculating the evaluation value of the unknown characteristic point based on the above data. Specifically, the evaluation value calculation unit 12A calculates the evaluation value of each candidate experiment point shown in the candidate experiment point data 221 using an improvement amount calculation method changed based on the area reduction rule. Furthermore, in this calculation step, the evaluation value calculation unit 12A may assign weighting to the evaluation value for at least one objective characteristic according to the degree of compliance with the constraint conditions. Then, the evaluation value calculation unit 12A generates evaluation value data 224 indicating the calculated evaluation value of each candidate experiment point.
  • FIG. 27 is a diagram for explaining processing by the evaluation value calculation unit 12A.
  • the evaluation value calculation unit 12A generates predicted distribution data 223 based on the candidate experiment point data 221 generated by the candidate experiment point creation unit 11 and the experiment result data 222 stored in the storage unit 105.
  • the evaluation value calculation unit 12A then generates objective data 212 indicating the optimization purpose of each objective characteristic, constraint condition data 213 indicating the standard range of each objective characteristic, and area reduction rule data 214 indicating the rule for calculating the Pareto boundary.
  • Evaluation value data 224 is generated based on the predicted distribution data 223 and the estimated distribution data 223 .
  • the evaluation value calculation unit 12A in this embodiment calculates the evaluation value of each candidate experiment point based on Bayesian optimization.
  • the evaluation value calculation unit 12A also performs calculations using the above (Formula 1) and (Formula 2) on the known experiment results shown in the experiment result data 222 read out from the storage unit 105 in the above step S25. By performing this, predicted distribution data 223 is generated.
  • the evaluation value calculation unit 12A calculates an evaluation value based on an evaluation standard called an acquisition function in Bayesian optimization.
  • the above-mentioned predicted distribution is used to calculate this evaluation value.
  • the acquisition function in this embodiment is an acquisition function in Bayesian optimization with constraint conditions, and is expressed by the above (Formula 4). Note that if there is no constraint condition, the evaluation value calculation unit 12A may use the acquisition function expressed by the above (Formula 3).
  • IC(y new ) shown in (Formula 4) is the amount of improvement when there is a constraint condition, and is the volume of the area surrounded by the existing Pareto boundary and the newly determined Pareto boundary. represents.
  • the definition of the Pareto boundary and the definition of the active area are changed by the area reduction rule indicating the rule for calculating the Pareto boundary. As a result, the method for calculating the improvement area has been changed.
  • the region reduction rules indicate a method for dividing the characteristic space into a predetermined number of regions and a method for calculating Pareto boundaries. In the following description, in order to simplify the explanation, it will be assumed that no standard range is set.
  • the entire characteristic space is divided into D+1 regions (region division) for D number of target characteristics, that is, D-dimensional target characteristics. Any method may be used for region division. It is assumed that the regions of the divided characteristic space are named region 1, region 2, . . . , region D, region D+1 in order.
  • FIG. 28 is a diagram showing an example of a characteristic space divided into regions when the region reduction rule according to the present embodiment is applied.
  • the characteristic space is divided into three regions, namely region 1, region 2, and region 3.
  • a third region consisting of the range of the first objective characteristic from “- ⁇ ” to "10” and the range of the second objective characteristic from “- ⁇ ” to “10” is shown in the characteristic space.
  • the first region is an area below the straight line defined by a 45-degree inclination in the region excluding the third region, and the straight line defined by the 45-degree inclination in the region excluding the third region.
  • a second region which is also an upper region, is shown.
  • an empty set may be set in D+1 regions of the divided characteristic space, but an empty set for all D+1 regions is nonsense, so at least one Let be a non-empty set.
  • FIGS. 29A to 29C are diagrams showing other examples of the characteristic space that is divided into regions when the region reduction rule according to the present embodiment is applied.
  • FIG. 29B shows a case where, for a two-dimensional objective characteristic, the characteristic space is divided into one region 1 by setting regions 2 and 3 to be empty sets. More specifically, as shown in FIG. 29B, since the second region and the third region are empty sets, the entire characteristic space is divided into only the first region.
  • the example shown in FIG. 29C shows a case where the characteristic space is divided into two regions by setting region 3 to the empty set for a two-dimensional objective characteristic. That is, in the example shown in FIG. 29C, since the third region is an empty set, the entire characteristic space is divided into the first region and the second region. More specifically, as shown in FIG. 29C, in the characteristic space, there is a first region that is a region represented by the center (10, 10) of the circle and a radius 5, and a region other than the first region in the characteristic space. The area is divided into a second area and a second area.
  • an empty set may be set in the D+1 regions of the region-divided characteristic space.
  • any point on the characteristic space is assigned to any one area other than the empty set.
  • the Pareto point is a characteristic point that is provisionally considered a Pareto solution at this point, and is also called a non-inferior solution.
  • the optimization objective of each of the first objective characteristic and the second objective characteristic is minimization.
  • a Pareto point is a characteristic point for which there is no other characteristic point whose value of either the first objective characteristic or the second objective characteristic is smaller than that point compared to all other observed characteristic points. Become.
  • a Pareto boundary is a boundary determined from the coordinates of at least one Pareto point.
  • the Pareto boundary is a boundary determined by extending and connecting the coordinates of Pareto points in the direction in which the values of the first objective characteristic and the second objective characteristic are large. It was a line.
  • the Pareto boundary calculation method is changed. That is, when the area reduction rule is applied, the definition of the Pareto boundary is changed by determining the dimension by which the active area is reduced for each area.
  • FIGS. 30A to 33B are diagrams for explaining a method for calculating a Pareto boundary according to this embodiment.
  • 30A, FIG. 31A, FIG. 32A, and FIG. 33A show an example of the Pareto boundary calculation method before the definition change, that is, the Pareto boundary calculation method in Embodiment 1 to which the area reduction rule is not applied.
  • 30B, FIG. 31B, FIG. 32B, and FIG. 33B show an example of the Pareto boundary calculation method after the definition change, that is, the Pareto boundary calculation method in this embodiment to which the area reduction rule is applied. Note that in FIGS.
  • the optimization objective of each of the first objective characteristic and the second objective characteristic is minimization. Furthermore, in FIGS. 30B, 31B, 32B, and 33B, it is assumed that the characteristic space is divided into region 1 and region 2 by a straight line passing through the origin and defined by an inclination of 45 degrees.
  • the new characteristic point y new (1) becomes a Pareto point.
  • the coordinates of the new characteristic point y new (1) are connected along the directions of the first objective characteristic and the second objective characteristic.
  • the boundary line determined by this becomes the Pareto boundary.
  • the new characteristic point y new (1) when the area reduction rule is applied and the definition is changed, the new characteristic point y new (1) is located in area 2, so the first point of the new characteristic point y new (1) is A boundary line passing through the coordinates of the objective characteristic and parallel to the axis of the second objective characteristic becomes a Pareto boundary.
  • the coordinate y new1 (1) of the first target characteristic of the new characteristic point y new (1) is larger than the coordinate y new2 (1) of the second target characteristic of the new characteristic point y new (1) . Therefore, the area to the right of the new characteristic point y new1 (1) is set as an inactive area. Moreover, this can also be expressed as reducing (reducing) the active area at the coordinates y new1(1) of the new characteristic point y new(1) .
  • the new characteristic point y new (2) becomes a Pareto point.
  • the coordinates of the characteristic point y new (1) and the new characteristic point y new (2) are A boundary line defined by extending and connecting in a direction where the value of the second objective characteristic is large becomes a Pareto boundary.
  • the new characteristic point y new (2) is located in area 1.
  • a boundary line formed by a line parallel to the axis of the second objective characteristic is a Pareto boundary.
  • the coordinate y new2 (2) of the second target characteristic of the new characteristic point y new (2) is larger than the coordinate y new1 (2) of the first target characteristic of the new characteristic point y new (2) . Therefore, the area to the right of the new characteristic point y new1 (1) or the area above the new characteristic point y new2 (2) is set as an inactive area. Moreover, this can also be expressed as further reducing (reducing) the active area at the coordinates y new2(2) of the new characteristic point y new(2) .
  • the new characteristic point y new (3) when the third new characteristic point y new (3) is obtained, the new characteristic point y new (3) does not become a Pareto point. In this case, the Pareto boundary will remain unchanged, as shown in FIGS. 32A and 32B. In other words, if the new characteristic point y new (3) is not included in the active area but is included in the inactive area, it does not become a Pareto point, so the Pareto boundary is not changed.
  • the new characteristic point y new (4) becomes a Pareto point.
  • the new characteristic point y new (4) is included in the active region, so the Pareto boundary is changed.
  • the new characteristic point y new (4) is included in the inactive region, so the Pareto boundary will not be changed.
  • the definition of the Pareto boundary is changed by determining the dimension in which the active area is reduced for each area.
  • FIG. 34 is a diagram showing an example of a Pareto boundary when there are no constraint conditions according to this embodiment.
  • FIG. 34 shows an example of a Pareto boundary calculated when the area is divided as shown in FIG. 28.
  • the optimization objective of each of the first objective characteristic and the second objective characteristic is minimization in the characteristic space composed of two-dimensional objective characteristics.
  • region 1 and region 2 are used for calculating the Pareto boundary, while region 3 is not used for calculating the Pareto boundary.
  • ⁇ represents that y is an element of D-dimensional Euclidean space.
  • ⁇ represents a set (difference set) obtained by removing elements included in the set on the right side of the backslash from the set on the left side of the backslash.
  • turn-A means taking an "arbitrary" element in the set.
  • the evaluation value calculation unit 12A calculates the boundary defined by the coordinate y ' d of the characteristic point having the smallest coordinate y' d among the characteristic points included in the area d , using (Equation 9). is calculated as the Pareto boundary.
  • FIG. 35 is a diagram showing an example of an improvement area under the Pareto boundary shown in FIG. 34.
  • the evaluation value calculation unit 12A calculates the improvement area as shown in FIG. 35 for the dimension of the objective characteristic whose optimization objective is minimization and the dimension of the objective characteristic whose optimization objective is within the standard range.
  • the volumetric improvement i.e., I(y new )
  • the evaluation value calculation unit 12A calculates the expected value of the volume of one small region determined by the existing Pareto boundary and the newly determined Pareto point, thereby calculating the amount of improvement (i.e. I(y new )) can be calculated.
  • the evaluation value calculation unit 12A can calculate the amount of improvement based on the amount of increase in the inactive area, which can be expressed by the expected value of the volume of one small area.
  • the method for calculating such an amount of improvement is to set the y and d coordinates of the new characteristic point y new as y new, d , and then use the following formula as the volume of the improvement area (called the amount of improvement) when y new is observed: 10) can be defined as follows.
  • y new,d represents the coordinate (d-th component) of dimension d of the new characteristic point
  • y' d represents the coordinate of dimension d of the observed characteristic point (Pareto point) that defines the Pareto boundary. Represents the coordinate (d-th component).
  • the amount of improvement i.e. I(y new )
  • the improvement amount is not a negative real number but 0.
  • the acquisition function in this embodiment is defined using the predicted distribution number calculated from Gaussian process regression for each candidate experimental point. More specifically, the acquisition function in this embodiment can be defined as an amount obtained by taking the expected value of the amount of improvement, as shown in (Equation 4). Then, the quality of the next experiment to be performed is evaluated based on the expected value of the amount of improvement.
  • a single D-dimensional hypercuboid can be Once the expected value of the volume is calculated, the acquisition function can be calculated.
  • the amount of calculation for the acquisition function is independent of the number of Pareto points N_ pareto , and the increase in the number of objective characteristics D can be suppressed to a polynomial order increase, making it possible to achieve high-speed analysis processing while maintaining search efficiency.
  • FIG. 36 is a diagram illustrating an example of a Pareto boundary when there are constraint conditions according to this embodiment.
  • FIG. 37 is a diagram showing an example of an improvement area defined when there are constraint conditions under the Pareto boundary shown in FIG. 36.
  • FIG. 36 differs from FIG. 34 in that the standard range is set, and the rest is the same. That is, FIG. 36 shows an example of a Pareto boundary calculated when a specification range is set in a characteristic space that is divided into regions as shown in FIG. 28 and is composed of two-dimensional objective characteristics. has been done. Note that also in the example shown in FIG. 36, the optimization objective of each of the first objective characteristic and the second objective characteristic is minimization.
  • the evaluation value calculation unit 12A calculates the characteristic point that has the smallest coordinate y'd among the characteristic points included in the area d and is within the standard range, using (Equation 9). The boundary defined by the coordinate y'd is calculated as the active boundary.
  • the evaluation value calculation unit 12A can calculate the evaluation of the acquisition function using (Formula 4) and (Formula 5).
  • search priority may be given to each dimension d of the objective characteristic.
  • FIG. 38A is a diagram conceptually showing search priorities in the divided areas shown in FIG. 28.
  • the characteristic space is divided into three regions, namely, region 1, region 2, and region 3. It is divided into sections.
  • region 3 is a region of the characteristic space that is not used for calculating the Pareto boundary.
  • the optimization objective of each of the first objective characteristic and the second objective characteristic is minimization. Under these conditions, when characteristic points are observed in order, the probability of falling into region 1 and the probability of falling into region 2 become approximately the same. Therefore, the Pareto boundary moves toward the minimum direction of each axis of the objective characteristic at approximately the same speed. In other words, when the area is divided as shown in FIG. 28, it can be said that no search priority is given.
  • Pareto boundaries are set based on all Pareto points, whereas in this embodiment, Pareto boundaries are set based on some Pareto points. Therefore, when dividing the region as shown in FIG. 28, as shown in FIG. 38A, for example, the coordinate y 1 of the first objective characteristic is smaller than other Pareto points, but the coordinate y 2 of the second objective characteristic is smaller than other Pareto points. A Pareto point larger than a Pareto point is difficult to find. Similarly, it is difficult to search for a Pareto point where, for example, the coordinate y 2 of the second objective characteristic is smaller than other Pareto points, but the coordinate y 1 of the first objective characteristic is larger than the other Pareto points.
  • the evaluation value calculation unit 12A may not be able to fully search for Pareto points located at these positions. It should be noted that the case in which it is desired to search for such a Pareto point is a rare case, but if it is desired to search for all Pareto points, area division as described below may be performed.
  • the slope of the division line (boundary) that divides region 1 and region 2 is steeper than in the division region shown in FIG. 28.
  • the Pareto boundary tends to move in the minimum direction of the axis Y1 of the first objective characteristic.
  • the area is divided as shown in FIG. 29A, it can be interpreted that priority is given to the search in the minimum direction of the axis Y1 of the first objective characteristic.
  • FIG. 38B is a diagram conceptually showing search priorities in the divided areas shown in FIG. 29B.
  • FIG. 29B can be interpreted as showing an extreme case in which the characteristic space is divided into one region 1.
  • the optimization objective of each of the first objective characteristic and the second objective characteristic is minimization.
  • the coordinate y 1 of the first objective characteristic is smaller than the observed characteristic point, then For example, since the Pareto boundary moves in the minimum direction of the axis Y 1 of the first objective characteristic, it becomes easier to search for a characteristic point where the coordinate y 1 of the first objective characteristic is small.
  • the assigned priority when assigning search priority to each objective characteristic, the assigned priority can be adjusted by setting the size of the divided area and the dividing line (boundary). Furthermore, if search priority is not given to each objective characteristic, it is preferable to divide the divided area into equal parts.
  • region 3 is set, which is a region of the characteristic space that is not used for calculating Pareto boundaries.
  • region 3 shown in FIG. 28 is not used for calculating the Pareto boundary, the active region is not reduced even if a characteristic point that can become a Pareto point is observed.
  • the first intention is to suppress the probability of deviation from the standard, and the second intention is to suppress the underflow of the value of the acquisition function.
  • FIGS. 39A and 39B are diagrams for explaining the positional relationship between the predicted distribution and the Pareto boundary when the area reduction rule is applied to the standard range according to the present embodiment. Note that the same standard range is set in FIGS. 39A and 39B.
  • FIG. 39B if an experiment is conducted at experimental point A, the probability that a characteristic point will be observed is higher as the center of the predicted distribution for experimental point A increases, and the probability that the observed characteristic point will fall within the standard range increases. is high enough. However, the probability that the volume of the improvement region (improvement amount) determined by the Pareto boundary and the new characteristic point will be positive is extremely low. On the other hand, in the situation shown in FIG. 39B, if an experiment is performed at experimental point B, there is a high probability that a characteristic point will be observed within the predicted distribution for experimental point B. Further, although the probability that the observed characteristic point falls within the standard range is extremely small, if the observed characteristic point falls within the standard range, a large amount of improvement can be obtained. Therefore, when the acquisition function is calculated, experimental point B is likely to be recommended.
  • FIG. 40A is a diagram showing the positions of characteristic points that can be observed when the area reduction rule is applied to the standard range according to this embodiment.
  • FIG. 40B is a diagram for explaining the relationship between the order of observed characteristic points and the Pareto boundary when the area reduction rule is applied to the standard range according to this embodiment.
  • FIG. 40A shows the positions of characteristic points that can be observed without calculating the Pareto boundary, and shows an example where there are four characteristic points A, B, C, and D within the standard range. has been done.
  • FIG. 40B an experiment is being conducted and characteristic points are being observed, and of the four characteristic points A, B, C, and D that can be observed at the positions shown in FIG. 40A, characteristic point A is It shows the observed situation.
  • the above acquisition function calculation method is a method for finding an exact solution.
  • the acquisition function can be calculated analytically in this way.
  • Methods other than Gaussian process regression include Kalman filter and the like.
  • the acquisition function may be approximately calculated using a method such as the Monte Carlo method.
  • a standard range may be provided as a constraint condition, but as in the first modification of the first embodiment, there is not only a standard range, but also a standard range.
  • a separate range may be provided.
  • a management range in which the characteristic points are desired to fall as much as possible may be set within a standard range in which the characteristic points are desired to fall within the minimum range. Note that the details when the management range is set are the same as those in Modification 1 of Embodiment 1, so a description thereof will be omitted.
  • the evaluation value calculation unit 12A is described as calculating an evaluation value, but the present invention is not limited to this.
  • the evaluation value calculation unit 12A may calculate not only the evaluation value but also the minimum distance as in the second modification of the first embodiment.
  • FIG. 41 is a diagram for explaining processing when the evaluation value calculation unit 12A according to the present embodiment also calculates the minimum distance. Elements similar to those in FIG. 27 are given the same reference numerals, and detailed explanations will be omitted. Note that the evaluation value calculation unit 12A calculates the minimum distance between each candidate experiment point based on the candidate experiment point data 221 and the experiment result data 222, but this calculation process will be explained in the second modification of the first embodiment. Since this is the same as above, the explanation will be omitted.
  • the user of the evaluation device 100A can select a candidate experiment point to be the next experiment point based not only on the evaluation value but also on the minimum distance. For example, in the initial stage of optimal solution search, the user can improve the accuracy of the evaluation value by selecting the candidate experimental point corresponding to the evaluation value with a relatively large evaluation value and a relatively long minimum distance as the next experimental point. and make appropriate optimizations.
  • the evaluation value calculation unit 12A can change the definition of the Pareto boundary based on the area reduction rule data, so that the evaluation value calculation unit 12A can perform Bayesian optimization by only calculating the expected value of the volume of a single hypercuboid. You will be able to calculate the acquisition function in Thereby, the evaluation value calculation unit 12A can suppress the amount of calculation of the acquisition function while maintaining the search efficiency, and therefore can evaluate each candidate experimental point at high speed.
  • the amount of calculation can be reduced to the order of a polynomial function while maintaining search efficiency, and quantitative evaluation for searching for an optimal solution can be performed at high speed. can be executed.
  • Example An example of a process when searching for an optimal solution for a target characteristic by applying a region reduction rule, that is, an example of a process of reducing an active region and calculating a Pareto boundary will be described below as an example.
  • FIG. 42 is a diagram showing an example of an experimental result data sheet obtained when searching for an optimal solution according to an example of this embodiment. Note that the prediction distribution calculation process and the acquisition function calculation process are the same as described in Embodiment 1 using EHVI and EHVIC, so a description thereof will be omitted.
  • FIG. 42 shows, for each experiment number, the experimental points used in the experiment identified by that experiment number and the characteristic points that are the experimental results obtained by that experiment. Further, FIG. 42 shows an example where the number of control factors is three, the number of objective characteristics is three, and the possible levels of each control factor are 1, 2, . . . , 10. Furthermore, the optimization objective of each objective characteristic number is minimization, and the standard range of each objective characteristic is 10 to 40. This standard range can be expressed as (Equation 11). Further, the area reduction rule in this embodiment is defined as (Equation 12). However, in (Equation 12), 0 represents the origin (0, 0, 0).
  • Pareto boundary coordinates are initialized to the standard maximum value (40, 40, 40). That is, in the characteristic space expressed by the three objective characteristics (first to third control factors), the active area is initialized to the area represented by the standard maximum value according to the area reduction rule. Since this active area can be expressed using Pareto boundary coordinates, in this embodiment, the reduction of the active area is expressed by removing the maximum value of the Pareto boundary coordinates.
  • the evaluation value calculation unit 12A calculates the predicted distribution for each experimental point candidate with the seventh experiment number, and uses (Formula 4) to An acquisition function is calculated for each point candidate.
  • the experimental point with the maximum evaluation value obtained from the calculated acquisition function is adopted as the seventh experimental point, and the experimental result with the seventh experimental number is given as shown in FIG.
  • the characteristic point whose experiment result is the seventh experiment number is within the standard range and belongs to region 2 defined by (Equation 12). Therefore, the Pareto boundary coordinates are updated with the coordinates of the second objective characteristic, that is, shaved off in the Y two- dimensional dimension, and become (40, 24, 40).
  • the evaluation value calculation unit 12A calculates the predicted distribution for each experimental point candidate with the eighth experiment number, and uses (Equation 4) to calculate the predicted distribution of the experimental points. Calculate the acquisition function for each candidate.
  • the experimental point with the maximum evaluation value obtained from the calculated acquisition function is adopted as the 8th experimental point, and the experimental result with the 8th experimental number is given as shown in FIG.
  • the characteristic point whose experimental result is the eighth experiment number is within the standard range and belongs to region 3 defined by (Equation 12). Therefore, the Pareto boundary coordinates are updated with the coordinates of the third objective characteristic, that is, they are shaved off in the Y three dimensions, and become (40, 24, 28).
  • the evaluation value calculation unit 12A calculates the predicted distribution for each experimental point candidate with the 9th experiment number, and uses (Equation 4) to calculate the predicted distribution of the experimental point Calculate the acquisition function for each candidate.
  • the experimental point with the maximum evaluation value obtained from the calculated acquisition function is adopted as the ninth experimental point, and the experimental result with the ninth experimental number is given as shown in FIG.
  • the characteristic point whose experiment result is the ninth experiment number is outside the standard range. Therefore, the Pareto boundary coordinates are not updated and remain (40, 24, 28).
  • the evaluation value calculation unit 12A calculates the predicted distribution for each experimental point candidate with the 10th experiment number, and uses (Equation 4) to calculate the predicted distribution of the experimental point Calculate the acquisition function for each candidate.
  • the experimental point with the maximum evaluation value obtained from the calculated acquisition function is adopted as the 10th experimental point, and the experimental result with the 10th experimental number is given as shown in FIG.
  • the characteristic point whose experimental result is the 10th experiment number is within the standard range and belongs to region 1 defined by (Equation 12). Therefore, the Pareto boundary coordinates are updated with the coordinates of the first objective characteristic, that is, they are shaved off in the Y one dimension, and become (21, 24, 28).
  • the evaluation value calculation unit 12A calculates the predicted distribution for each experimental point candidate with the 11th experiment number, and uses (Equation 4) to calculate the predicted distribution of the experimental point Calculate the acquisition function for each candidate.
  • the experimental point with the maximum evaluation value obtained from the calculated acquisition function is adopted as the 11th experimental point, and the experimental result with the 11th experimental number is given as shown in FIG.
  • the characteristic point whose experimental result is the 11th experiment number is within the standard range and belongs to region 1 defined by (Equation 12).
  • the Pareto boundary coordinate is not updated and is (21, 24 , 28).
  • the dividing lines used to divide the area according to the area reduction rule are not limited to those described in the second embodiment above.
  • FIGS. 43A and 43B are diagrams for explaining another example of a dividing line that divides an area based on the area reduction rule.
  • the area is divided according to the area reduction rule with the restriction condition of the standard range, and the area is divided by the dividing line with the minimum point of the standard range as the reference point. Not exclusively.
  • the area may be divided by a dividing line that does not use the minimum point of the standard range as the reference point.
  • the dividing line does not have to be a straight line defined by an inclination of 45 degrees, or the dividing line may be a stepped line, as shown in the lower part of FIG. 43B. There may be.
  • the evaluation devices 100 and 100A according to one aspect of the present disclosure have been described above based on the embodiment and each modification example, but the present disclosure is not limited to the embodiment and each modification example. . Unless departing from the spirit of the present disclosure, various modifications that can be thought of by those skilled in the art may also be included in the present disclosure.
  • each component may be configured with dedicated hardware, or may be realized by executing a software program suitable for each component.
  • Each component may be realized by a program execution unit such as a CPU or a processor reading and executing a software program recorded on a recording medium such as a hard disk or a semiconductor memory.
  • the software that implements the evaluation apparatus and the like of the above embodiments is a program that causes a computer to execute each step of the flowchart shown in FIG. 9 or FIG. 26, for example.
  • At least one of the above devices is specifically a computer system consisting of a microprocessor, ROM (Read Only Memory), RAM (Random Access Memory), hard disk unit, display unit, keyboard, mouse, etc. be.
  • a computer program is stored in the RAM or hard disk unit.
  • the at least one device described above achieves its functions by the microprocessor operating according to a computer program.
  • a computer program is configured by combining a plurality of instruction codes indicating instructions to a computer in order to achieve a predetermined function.
  • a part or all of the components constituting at least one of the above devices may be composed of one system LSI (Large Scale Integration).
  • a system LSI is a super-multifunctional LSI manufactured by integrating multiple components onto a single chip, and specifically, it is a computer system that includes a microprocessor, ROM, RAM, etc. .
  • a computer program is stored in the RAM. The system LSI achieves its functions by the microprocessor operating according to a computer program.
  • An IC card or module is a computer system composed of a microprocessor, ROM, RAM, etc.
  • the IC card or module may include the above-mentioned super multifunctional LSI.
  • An IC card or module achieves its functions by a microprocessor operating according to a computer program. This IC card or this module may be tamper resistant.
  • the present disclosure may be the method described above. Furthermore, it may be a computer program that implements these methods using a computer, or it may be a digital signal formed from a computer program.
  • the present disclosure also provides a method for storing computer programs or digital signals on computer-readable recording media, such as flexible disks, hard disks, CD (Compact Disc)-ROMs, DVDs, DVD-ROMs, DVD-RAMs, and BDs (Blu-ray). (Registered Trademark) Disc), semiconductor memory, etc. Further, it may be a digital signal recorded on these recording media.
  • computer-readable recording media such as flexible disks, hard disks, CD (Compact Disc)-ROMs, DVDs, DVD-ROMs, DVD-RAMs, and BDs (Blu-ray). (Registered Trademark) Disc), semiconductor memory, etc. Further, it may be a digital signal recorded on these recording media.
  • the present disclosure may transmit a computer program or a digital signal via a telecommunication line, a wireless or wired communication line, a network typified by the Internet, data broadcasting, or the like.
  • the program or digital signal may be implemented by another independent computer system by recording it on a recording medium and transferring it, or by transferring the program or digital signal via a network or the like.
  • Bayesian optimization can be applied to an optimization problem in which a constraint condition is attached to an objective characteristic having a purpose of the optimization problem.
  • the evaluation device of the present disclosure has the effect of being able to apply Bayesian optimization to an optimization problem in which constraints are given to the objective characteristics that have the purpose of the optimization problem, and is effective in industrial product development.
  • the present invention can be applied not only to manufacturing process development, but also to optimal control devices or systems in general development work, such as material development.

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Development Economics (AREA)
  • Geometry (AREA)
  • Game Theory and Decision Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Hardware Design (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

評価装置（１００Ａ）は、実験済みの実験点に対応する既知の特性点に基づき、候補実験点に対応する未知の特性点をベイズ最適化によって評価する装置であって、実験済みの実験点および既知の特性点を示す実験結果データ（２２２）と、最適化目的を示す目的データ（２１２）と、制約条件を示す制約条件データ（２１３）と、領域縮小規則データ（２１４）を取得する受信制御部（１０Ａ）と、実験結果データ（２２２）、目的データ（２１２）、制約条件データ（２１３）および領域縮小規則データ（２１４）に基づき、未知の特性点の評価値を算出する評価値算出部（１２Ａ）と、評価値を出力する評価値出力部（１３）とを備え、評価値算出部（１２Ａ）は、制約条件の適合度合いに応じた重み付けを、少なくとも１つの目的特性に対する評価値に付与する。

Description

評価装置、評価方法、およびプログラム
　本開示は、一般の工業製品の開発または製造プロセスの開発などに用いられる実験条件を評価する技術に関する。
　工業製品の開発または製造プロセスの開発では、要求される目的特性の要件を満たすように、設定した制御因子を最適な条件で制御する必要がある。例えば、電池の開発では、制御因子として正極厚み、負極厚み、セパレータ枚数、電解液イオン伝導度等が設定され、目的特性として容量、寿命、費用コスト等が設定される。
　制御因子の最適解は、制御因子と目的特性との間の関係性が物理式で表すことができる場合、数学的最適化手法で探索することができることが知られている。しかし、その関係性が未知である場合、実験条件として、設定された制御因子の値の組み合わせ（すなわち実験点）を一組選択し、実際の実験を行う。そして、実験結果として、その実験点に対応する目的特性の値の組み合わせ（すなわち特性点）を獲得する。このような実験を繰り返すことで制御因子の最適解を探索することができる。
　一般に、複雑な工業製品の開発または製造プロセスの開発では、一回実験を実行するために、多大な金銭的または時間的コストを費やす。よって、効率的な開発業務遂行のためには、極力少ない実験回数で最適解を探索することが重要になる。
　ところで、従来、実験計画法および応答曲面法を用いたアプローチがその最適解の探索に用いられてきた。しかし、それらの手法を用いたアプローチでは、予測モデルの作成または最適解の探索段階において、解析者の試行錯誤を必要とするため、一貫した手続きでの定量評価が困難であった。
　近年、機械学習の分野において、ベイズ最適化を用いたデータ駆動型アプローチが注目されている（例えば、特許文献１、非特許文献１、および非特許文献２参照）。ベイズ最適化は、入出力の間の対応関係を表現する数理モデルとしてガウス過程を仮定した最適化手法である。ベイズ最適化を用いる場合、実験結果が得られるごとに、設定された各実験点について、特性点の予測分布を算出する。そして、各特性点の予測分布と、獲得関数と呼ばれる評価基準とを用いて、最適な次の実験条件を選択する。これにより、解析者の力量に依らない定量的な評価が可能になり、最適解探索作業の自動化にも貢献できる。
特開２０１９－１１３９８５号公報
M.Emmerich, A.Deutz, J.W.Klinkenberg, "The computation of the expected improvement in dominated hypervolume of Pareto front approximations,"Repport Technique, Leiden University, Vol.34, 2008． M.Abdolshah, A.Shilton, S.Rana, S.Gupta, S.Venkatesh, "Expected Hypervolume Improvement with Constraints," International Conference on Pattern Recognition (ICPR), 2018．
　本開示の一態様に係る評価装置は、実験済みの実験点に対応する既知の特性点に基づいて、候補実験点に対応する未知の特性点をベイズ最適化によって評価する評価装置であって、前記実験済みの実験点および前記既知の特性点を示す実験結果データを取得する第１受信手段と、前記未知の特性点は、１または複数の目的特性の値を示し、少なくとも１つの目的特性が最適化目的を有し、当該最適化目的を示す目的データを取得する第２受信手段と、前記少なくとも１つの目的特性に対して付与された制約条件を示す制約条件データを取得する第３受信手段と、少なくとも２つの目的特性によって表現される特性空間の分割方法を示し、かつ、アクティブ領域を縮小する次元を、前記分割方法により分割された特性空間の領域ごとに示す領域縮小規則データを取得する第４受信手段と、前記実験結果データ、前記目的データ、前記制約条件データおよび前記領域縮小規則データに基づいて、前記未知の特性点の評価値を算出する算出手段と、前記評価値を出力する出力手段と、を備え、前記算出手段は、前記制約条件の適合度合いに応じた重み付けを、前記少なくとも１つの目的特性に対する評価値に付与する。
図１は、実施の形態１に係る評価装置の概略的な動作を説明するための図である。 図２は、実施の形態１に係る各候補実験点および各特性点のそれぞれをグラフで表した一例を示す図である。 図３は、実施の形態１に係る評価装置の構成を示す図である。 図４は、実施の形態１に係る演算回路の機能構成を示すブロック図である。 図５は、実施の形態１に係る設定情報の入力を受け付けるために表示部に表示される受付画像の一例を示す図である。 図６は、実施の形態１に係る制御因子データの一例を示す図である。 図７は、実施の形態１に係る目的データおよび制約条件データの一例を示す図である。 図８Ａは、実施の形態１に係る規格範囲の一例を示す図である。 図８Ｂは、実施の形態１に係る規格範囲の他の例を示す図である。 図９は、実施の形態１に係る評価装置の処理動作を示すフローチャートである。 図１０Ａは、実施の形態１に係る候補実験点データの一例を示す図である。 図１０Ｂは、実施の形態１に係る候補実験点データの他の例を示す図である。 図１１は、実施の形態１に係る実験結果データの一例を示す図である。 図１２は、実施の形態１に係る評価値算出部による処理を説明するための図である。 図１３は、実施の形態１に係る予測分布データの一例を示す図である。 図１４Ａは、実施の形態１に係る改善領域の一例を示す図である。 図１４Ｂは、実施の形態１に係る改善領域の他の例を示す図である。 図１５Ａは、実施の形態１に係る、改善領域の体積の算出方法を説明するための図である。 図１５Ｂは、実施の形態１に係る、特性空間の全体を複数の小領域に分割する例を示す図である。 図１５Ｃは、実施の形態１に係る小領域の下端点および上端点の一例を示す図である。 図１６は、実施の形態１に係る評価値データの一例を示す図である。 図１７は、実施の形態１の変形例１に係る規格範囲および管理範囲の一例を示す図である。 図１８は、実施の形態１の変形例２に係る評価値算出部による処理を説明するための図である。 図１９は、実施の形態１の変形例２に係る最小距離の一例を示す図である。 図２０は、実施の形態の変形例２に係る最小距離データの一例を示す図である。 図２１は、実施の形態１の変形例２に係る評価値データの一例を示す図である。 図２２は、実施の形態２に係る評価装置の構成を示す図である。 図２３は、実施の形態２係る演算回路の機能構成を示すブロック図である。 図２４は、実施の形態２に係る領域縮小規則データの入力を受け付けるために表示部に表示される受付画像の領域縮小規則領域の一例を示す図である。 図２５は、実施の形態２に係る領域縮小規則データの一例を示す図である。 図２６は、実施の形態２に係る評価装置の処理動作を示すフローチャートである。 図２７は、実施の形態２に係る評価値算出部による処理を説明するための図である。 図２８は、実施の形態２に係る領域縮小規則が適用される場合に領域分割される特性空間の一例を示す図である。 図２９Ａは、実施の形態２に係る領域縮小規則が適用される場合に領域分割される特性空間の別の例を示す図である。 図２９Ｂは、実施の形態２に係る領域縮小規則が適用される場合に領域分割される特性空間の別の例を示す図である。 図２９Ｃは、実施の形態２に係る領域縮小規則が適用される場合に領域分割される特性空間の別の例を示す図である。 図３０Ａは、実施の形態２に係るパレート境界の算出方法を説明するための図である。 図３０Ｂは、実施の形態２に係るパレート境界の算出方法を説明するための図である。 図３１Ａは、実施の形態２に係るパレート境界の算出方法を説明するための図である。 図３１Ｂは、実施の形態２に係るパレート境界の算出方法を説明するための図である。 図３２Ａは、実施の形態２に係るパレート境界の算出方法を説明するための図である。 図３２Ｂは、実施の形態２に係るパレート境界の算出方法を説明するための図である。 図３３Ａは、実施の形態２に係るパレート境界の算出方法を説明するための図である。 図３３Ｂは、実施の形態２に係るパレート境界の算出方法を説明するための図である。 図３４は、本施の形態２に係る制約条件がない場合のパレート境界の一例を示す図である。 図３５は、図３４に示されるパレート境界のもとでの改善領域の一例を示す図である。 図３６は、実施の形態２に係る制約条件がある場合のパレート境界の一例を示す図である。 図３７は、図３６に示されるパレート境界のもと制約条件がある場合に定められる改善領域の一例を示す図である。 図３８Ａは、図２８に示す分割領域における探索優先度を概念的に示す図である。 図３８Ｂは、図２９Ｂに示す分割領域における探索優先度を概念的に示す図である。 図３９Ａは、実施の形態２に係る規格範囲に領域縮小規則が適用される場合の予測分布とパレート境界との位置関係を説明するための図である。 図３９Ｂは、実施の形態２に係る規格範囲に領域縮小規則が適用される場合の予測分布とパレート境界との位置関係を説明するための図である。 図４０Ａは、実施の形態２に係る規格範囲に領域縮小規則が適用される場合において観測され得る特性点の位置を示す図である。 図４０Ｂは、実施の形態２に係る規格範囲に領域縮小規則が適用される場合において観測される特性点の順番とパレート境界との関係を説明するための図である。 図４１は、実施の形態２に係る評価値算出部が最小距離も算出する場合の処理を説明するための図である。 図４２は、実施の形態２の実施例に係る最適解の探索を行う際に得られた実験結果データシートの一例を示す図である。 図４３Ａは、実施の形態２に係る領域縮小規則により領域分割する分割線の別の例を説明するための図である。 図４３Ｂは、実施の形態２に係る領域縮小規則により領域分割する分割線の別の例を説明するための図である。
　（本発明の基礎となった知見）
　本発明者は、「背景技術」の欄において記載した上記特許文献１、非特許文献１、および非特許文献２に関し、以下の課題が生じることを見出した。
　複数の目的特性を同時に最適化する多目的ベイズ最適化に関する手法がいくつか提案されている。例えば、上記非特許文献１では、その一種であるＥＨＶＩ（Expected Hypervolume Improvement）の最適解探索原理および具体的な算出法が開示されている。これにより、最適化したい目的特性が複数存在していても、最適解探索の定量評価が可能になる。
　また、工業製品開発または製造プロセス開発において、目的特性の値に関する制約条件として規格範囲が設けられている場合がある。例えば、「電池容量は１８５０～１９５０［ｍＡｈ］の規格範囲に収まってほしい」、「寿命は３年を最小値として長いほどよい（すなわち、寿命の規格範囲の最小値は３年で、最大値は＋∞）」等の規格範囲である。規格範囲がある場合に、従来のベイズ最適化を適用すると、計算効率の悪い探索をしたり、最適解ではない、別の領域に探索が進んだりする恐れがある。
　そこで、制約条件付きベイズ最適化に関する手法もいくつか提案されている。例えば、上記特許文献１の手法では、各候補実験点について、ガウス過程回帰により求まった予測分布から、規格範囲に収まる確率を算出し、その確率が或るしきい値を上回る候補実験点のみを抽出して、獲得関数を評価する。これにより、制約条件付き最適化問題に対応している。
　上記特許文献１の手法に、獲得関数としてＥＨＶＩを採用することもできる。しかし、複数の候補実験点のうち、規格範囲内に入った場合には暫定の最適解から大幅な改善が見込めるが、目的特性の値が規格範囲内に入る確率が低い候補実験点は、獲得関数の評価対象から除外されてしまう。したがって、ＥＨＶＩが採用された上記特許文献１の手法では、計算コスト削減には貢献するが、必ずしも真の最適解を探索できるとは限らない。
　また、例えば、上記非特許文献２では、ＥＨＶＩを制約条件がある場合に拡張したＥＨＶＩＣ（Expected Hypervolume Improvement with Constraints）が開示されている。上記非特許文献２に記載の獲得関数の設計手法は、規格範囲内に入る確率と改善量とを総合的に指標化し、すべての候補実験点について評価する。そのため、探索効率が向上する（すなわち、真の最適解が求まる）可能性が高い。しかしながら、上記非特許文献２に記載の獲得関数の設計手法では、最大化または最小化したい目的特性と、規格範囲内に収めたい目的特性とが異なっている。したがって、先述の例を用いると、「電池容量は１８５０～１９５０［ｍＡｈ］であり、かつ、寿命を最大化させる実験点を探索したい」といった最適化問題には適用可能である。しかしながら、「寿命を３年以上として最大化させる実験点を探索したい」のように、最大化または最小化などの目的を有する目的特性に、規格範囲などの制約条件が付与された最適化問題には、上記非特許文献２の手法は適用できない。
　さらに、上記非特許文献２の獲得関数の設計手法では、その獲得関数を評価する上で、最大化または最小化したい目的特性の数と暫定の最適解（非劣解）であるパレート点の数に関して、計算量が指数関数オーダーで増大してしまうという問題もある。
　このように、上記各文献に記載の手法を用いた評価装置では、適用場面が限定的であるという課題がある。
　そこで、本開示の評価装置は、最適化問題の目的を有する目的特性に対して、制約条件が付与されている最適化問題に対して、ベイズ最適化を適用することを目的とする。
　本開示の一態様に係る評価装置は、実験済みの実験点に対応する既知の特性点に基づいて、候補実験点に対応する未知の特性点をベイズ最適化によって評価する評価装置であって、前記実験済みの実験点および前記既知の特性点を示す実験結果データを取得する第１受信手段と、前記未知の特性点は、１または複数の目的特性の値を示し、少なくとも１つの目的特性が最適化目的を有し、当該最適化目的を示す目的データを取得する第２受信手段と、前記少なくとも１つの目的特性に対して付与された制約条件を示す制約条件データを取得する第３受信手段と、少なくとも２つの目的特性によって表現される特性空間の分割方法を示し、かつ、アクティブ領域を縮小する次元を、前記分割方法により分割された特性空間の領域ごとに示す領域縮小規則データを取得する第４受信手段と、前記実験結果データ、前記目的データ、前記制約条件データおよび前記領域縮小規則データに基づいて、前記未知の特性点の評価値を算出する算出手段と、前記評価値を出力する出力手段と、を備え、前記算出手段は、前記制約条件の適合度合いに応じた重み付けを、前記少なくとも１つの目的特性に対する評価値に付与する。
　これにより、算出手段が、実験結果データ、目的データ、制約条件データおよび領域縮小規則データに基づいて、未知の特性点の評価値を算出するときには、制約条件の適合度合いに応じた重み付けを、少なくとも１つの目的特性に対する評価値に付与する。この少なくとも１つの目的特性は最適化目的を有する。したがって、最適化問題の目的を有する目的特性に対して制約条件が付与されている最適化問題に対して、ベイズ最適化を適用することができる。その結果、適用場面を拡張することができる。
　また、獲得関数の算出において、パレート点からある規則によって定まるパレート境界で特性空間全体がアクティブ領域および非アクティブ領域に区分けされる。したがって、算出手段は、さらに、領域縮小規則データに基づき、パレート境界の定義を変更できるので、単一の超直方体の体積の期待値の算出のみで、ベイズ最適化における獲得関数を算出することができるようになる。これにより、算出手段は、探索効率を保ったまま獲得関数の計算量を抑制できるので、未知の特性点の評価を高速で行えるようになる。
　また、前記最適化目的には、目的特性を少なくとも１つの制約範囲のうちの何れかの制約範囲内に収める第１目的と、目的特性を最小化または最大化する第２目的とがあり、前記算出手段は、前記少なくとも１つの目的特性のそれぞれについて、（ｉ）前記評価値を算出するために用いられる当該目的特性の区間が前記少なくとも１つの制約範囲のそれぞれの外にある場合と、（ｉｉ）前記区間が前記少なくとも１つの制約範囲のうちの何れかの制約範囲内であって、かつ、前記最適化目的が前記第１目的である場合と、（ｉｉｉ）前記区間が前記少なくとも１つの制約範囲のうちの何れかの制約範囲内であって、かつ、最適化目的が前記第２目的である場合とで、互いに異なる重み付け処理を行うことによって、前記評価値を算出してもよい。例えば、少なくとも１つの制約範囲は、１つの規格範囲であってもよく、規格範囲および管理範囲であってもよい。また、目的特性の区間は、例えば、少なくとも１つの目的特性によって表現される特性空間において、制約範囲および１以上の特性点（より具体的にはパレート点）などによって区分けされた区間である。
　これにより、各候補実験点に対して算出された評価値が出力されるため、評価装置のユーザは、それらの評価値に基づいて候補実験点を次の実験点として選択し、その実験点を用いた実験によって得られる特性点を、次の各候補実験点の評価値の算出に利用することができる。このような実験と評価値の算出および出力との繰り返しによって、各目的特性の最適化目的を満たす候補実験点の解、すなわち最適解を得ることができる。
　また、本開示の一態様に係る評価装置では、少なくとも１つの目的特性のそれぞれについて（ｉ）～（ｉｉｉ）の場合で互いに異なる重み付け処理が行われる。したがって、目的特性の最適化目的が第１目的であっても、第２目的であっても、候補実験点の評価値をベイズ最適化に基づいて適切に算出することができる。つまり、目的特性の最適化目的が制約範囲内であっても、最大化または最小化であっても、候補実験点の評価値をベイズ最適化に基づいて適切に算出することができる。また、（ｉｉｉ）の場合は、目的特性の区間が制約範囲内であって、かつ、最適化目的が第２目的であるため、非特許文献２の手法とは異なり、最適化目的が最大化または最小化である目的特性に、制約条件として制約範囲がある場合であっても、評価値を定量的に適切に算出することができる。
　その結果、規格範囲などの制約範囲、すなわち制約条件がある最適化問題に対しても適用することができる。つまり、適用場面を拡張し、最適解の探索効率向上のための定量評価を行うことができる。
　また、複数の制御因子のそれぞれの所定の条件を満たす値を組み合わせることによって、前記候補実験点を作成する候補実験点作成手段をさらに備えてもよい。
　例えば、所定の条件は、複数の制御因子のそれぞれの比率変数の値の和が１であるという条件である。より具体的な一例では、その比率変数は、制御因子に対応する化合物などの材料の配合比である。したがって、複数種の化合物の配合比の組み合わせごとに、その組み合わせに対する評価値を算出することができる。その結果、それらの化合物の配合によって得られる合成材料の少なくとも１つの目的特性に対する最適解を適切に探索することができる。
　また、前記算出手段は、前記少なくとも１つの制約範囲のうち、矩形と異なる形状の制約範囲に基づいて、前記評価値を算出してもよい。
　これにより、例えば２つの目的特性によって表現される特性空間において、円形、楕円形、星形などの制約範囲に基づいて評価値が算出されるため、制約範囲の形状が矩形の場合に限定されることなく、適用場面をさらに拡張することができる。
　また、前記少なくとも１つの制約範囲として複数の制約範囲がある場合、前記算出手段は、前記（ｉｉ）の場合を、さらに、複数の場合に場合分けし、前記複数の場合のそれぞれで互いに異なる重み付け処理を行うことによって、前記評価値を算出し、前記複数の場合のそれぞれでは、前記複数の制約範囲のうちの互いに異なる制約範囲に前記区間が含まれていてもよい。
　例えば、複数の制約範囲は、規格範囲と、その規格範囲に含まれる管理範囲である。そして、（ｉｉ）の場合は、区間が規格範囲内および管理範囲外であって、かつ、最適化目的が第１目的である第１の場合と、区間が管理範囲内であって、かつ、最適化目的が第１目的である第２の場合とに、場合分けされる。また、例えば、第１の場合よりも第２の場合の方が大きい重みを用いた重み付け処理が行われる。このように、複数の制約範囲があり、（ｉｉ）の場合をさらに複数の場合に場合分けすることによって、複数の制約範囲のそれぞれに段階的に重み付けを行うことができる。したがって、目的特性の値が規格範囲に収まり、可能な限り管理範囲に収まって欲しいような場合であっても、評価値を適切に算出することができる。その結果、最適化問題に対する適用場面をさらに拡張することができる。
　また、前記算出手段は、さらに、前記候補実験点と１以上の前記実験済みの実験点のそれぞれとの間の距離のうちの最小距離を算出し、前記出力手段は、さらに、前記候補実験点に対応する前記最小距離を出力してもよい。
　これにより、各候補実験点に対応する最小距離が出力されるため、評価装置のユーザは、評価値だけでなく、その最小距離にも基づいて、次の実験点となる候補実験点を選択することができる。例えば、最適解探索の初期段階では、既に実験に用いられた実験点に近い候補実験点の評価値が大きくなる傾向があり、そのような候補実験点が次の実験に選択されても、最適化に大きく貢献しない可能性がある。したがって、ユーザは、例えば、評価値が比較的大きく、かつ、最小距離が比較的長い評価値に対応する候補実験点を次の実験点に選択することによって、評価値の精度を向上し、適切な最適化を行うことができる。
　また、前記算出手段は、ガウス過程回帰またはカルマンフィルタを用いて前記候補実験点における予測分布を算出し、算出した前記予測分布を用いて、前記評価値を算出してもよい。
　また、前記算出手段は、モンテカルロ法を用いて前記評価値を算出してもよい。
　これにより、モンテカルロ法が近似手法であるため、評価値の算出の処理負担を軽減することができる。
　また、前記算出手段は、それぞれ評価方法であるＰＩ（Probability of Improvement）およびＥＩ（Expected Improvement）のうちの少なくとも１つを用いて、前記評価値を算出してもよい。
　これにより、各候補実験点について、特性空間における制約範囲内の体積を、最適化の改善量として算出し、その改善量から評価値を適切に算出することができる。
　以下、実施の形態について、図面を参照しながら具体的に説明する。
　なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置および接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また、各図は、模式図であり、必ずしも厳密に図示されたものではない。また、各図において、同じ構成部材については同じ符号を付している。
　（実施の形態１）
　［概要］
　図１は、本実施の形態に係る評価装置の概略的な動作を説明するための図である。
　本実施の形態における評価装置１００は、複数の候補実験点のそれぞれに対する評価値を算出し、それらの評価値を示す評価値データ２２４を表示する。候補実験点は、実験点の候補とされる点である。実験点は、実験条件（実験空間上における各制御因子の値の組み合わせ）を示す実験空間上における点である。評価値は、その候補実験点にしたがった実験によって得られると予測される目的特性の評価結果を示す値である。例えば、評価値は、実験によって得られると予測される目的特性が最適化目的に合致している度合いを示し、評価値が大きいほど、その度合いは大きい。
　ユーザは、その評価値データ２２４によって示される各候補実験点の評価値を参照し、それらの候補実験点のうちの１つを次の実験点として選択する。ユーザは、その選択された実験点にしたがった実験を、実験設備を用いて行う。実験によって、その実験点に対応する特性点が得られる。特性点は、例えば目的特性の値を示し、複数の目的特性があれば、複数の目的特性の値の組み合わせとして示される。ユーザは、その得られた特性点を実験点に対応付けて評価装置１００に入力する。その結果、評価装置１００は、その実験によって得られた特性点を用いて、未選択の各候補実験点に対する評価値を再び算出し、それらの評価値を示す評価値データ２２４を再表示する。つまり、評価値データ２２４が更新される。評価装置１００は、このような評価値データ２２４の更新を繰り返すことによって、目的特性の最適解を探索する。
　図２は、各候補実験点および各特性点のそれぞれをグラフで表した一例を示す図である。具体的には、図２の（ａ）のグラフは、実験空間に配置される各候補実験点を示し、図２の（ｂ）のグラフは、特性空間に配置される各特性点を示す。
　実験空間における候補実験点は、図２の（ａ）に示すように、第１制御因子および第２制御因子の値の組み合わせに対応する格子点上に配置される。図２の（ａ）に示す各候補実験点に対応する特性点は、図２の（ｂ）に示すように、特性空間に配置される。具体的には、候補実験点が実験点として選択され、その実験点にしたがった実験によって第１目的特性および第２目的特性のそれぞれの値が得られる場合、その実験点に対応する特性点は、その第１目的特性の値と第２目的特性の値との組み合わせによって表現される位置に配置される。ここで、候補実験点と特性点との間には１対１の対応関係があるが、その対応関係（すなわち、図２中の関数ｆ）は未知である。
　実験を一回実行するとは、一つの候補実験点を選択し、その選択された候補実験点に対応する特性点との対応関係を一組獲得すること、として換言できる。
　また、図２の（ｂ）に示すように、設定された規格範囲により、特性空間は規格範囲内領域と規格範囲外領域とに分割される。また、本実施の形態では、最適化目的を有する目的特性に対して、規格範囲である制約条件が付与されていてもよい。制約条件は、目的特性に付与される条件であって、例えば、目的特性の値の範囲を条件として指定する制約範囲がある。制約範囲として、例えば、目的特性の規格によって定められる規格範囲や、ユーザが適宜設定可能な管理範囲などがある。
　なお、本実施の形態では、第１制御因子および第２制御因子のように、制御因子の数が２つであり、かつ、第１目的特性および第２目的特性のように、目的特性の数が２つである例について主に説明するが、制御因子の数および目的特性の数は２つに限らない。制御因子の数は１つであっても、３つ以上であってもよく、目的特性の数は１つであってもよく、３つ以上であってもよい。また、制御因子の数と目的特性の数とは等しくても異なっていてもよい。
　［ハードウェア構成］
　図３は、本実施の形態に係る評価装置１００の構成を示す図である。
　評価装置１００は、入力部１０１ａ、通信部１０１ｂ、演算回路１０２、メモリ１０３、表示部１０４、および、記憶部１０５を備える。
　入力部１０１ａは、ユーザによる入力操作を受け付けるＨＭＩ（Human Machine Interface）である。入力部１０１ａは、例えばキーボード、マウス、タッチセンサ、タッチパッドなどである。
　例えば、入力部１０１ａは、ユーザからの入力として、設定情報２１０を受け付ける。設定情報２１０は、制御因子データ２１１、目的データ２１２、および制約条件データ２１３を含む。制御因子データ２１１は、例えば、図２の（ａ）に示すように、制御因子の取り得る値を示すデータである。制御因子の値は、連続値でも離散値でもよい。目的データ２１２は、例えば、最小化／最大化などの目的特性の最適化目的を示すデータである。制約条件データ２１３は、例えば、制約範囲などの制約条件を示すデータである。
　通信部１０１ｂは、他の機器と有線または無線で接続し、他の機器とデータを送受信する。例えば、通信部１０１ｂは、他の装置（例えば、実験装置）から特性点データ２０１を受信する。
　表示部１０４は、画像または文字などを表示する。表示部１０４は、例えば液晶ディスプレイ、プラズマディスプレイ、有機ＥＬ（Electro-Luminescence）ディスプレイなどである。なお、表示部１０４は、入力部１０１ａと一体となっているタッチパネルでもよい。
　記憶部１０５は、演算回路１０２への各命令が記述されたプログラム（すなわちコンピュータプログラム）２００および各種データを格納している。記憶部１０５は、不揮発性の記録媒体であって、例えば、ハードディスクなどの磁気記憶装置、ＳＳＤ（Solid State Drive）などの半導体メモリ、光ディスクなどである。なお、プログラム２００および各種データは、例えば、上述の他の機器から通信部１０１ｂを介して評価装置１００に提供され、記憶部１０５に格納されてもよい。記憶部１０５は、各種データとして、候補実験点データ２２１、実験結果データ２２２、予測分布データ２２３、評価値データ２２４を格納する。
　候補実験点データ２２１は、各候補実験点を示すデータである。図２の（ａ）の例では、各候補実験点は、第１制御因子および第２制御因子の値の組み合わせによって表現される。候補実験点データ２２１は、第１制御因子および第２制御因子の値の組み合わせが列挙されたテーブル形式のデータであってもよい。このような候補実験点データ２２１の具体例については、図１０Ａおよび図１０Ｂを用いて詳細に説明する。
　実験結果データ２２２は、実験に用いられた１以上の実験点と、その１以上の実験点のそれぞれに対応する特性点とを示すデータである。例えば、実験結果データ２２２は、図２の（ａ）の実験空間上の実験点と、その実験点を用いた実験によって得られた図２の（ｂ）の特性空間上の特性点との組み合わせを示す。その実験点は、第１制御因子および第２制御因子の値の組み合わせによって表現され、特性点は、第１目的特性および第２目的特性の値の組み合わせによって表現される。実験結果データ２２２は、その実験点および特性点の組み合わせが列挙されたテーブル形式のデータであってもよい。この実験結果データ２２２の具体例については、図１１を用いて詳細に説明する。
　予測分布データ２２３は、候補実験点データ２２１によって示される全候補実験点の予測分布を示すデータである。なお、予測分布データ２２３では、同じ実験点で実験した際に、結果がノイズの分だけ異なる(再現性がない)場合、すでに選択された実験点の予測分布を示すデータが含まれているとしてもよい。予測分布は、上述のようにガウス過程回帰によって求まる分布であって、例えば、平均および分散によって表現される。例えば、予測分布データ２２３は、各候補実験点に対して、第１目的特性の予測分布と、第２目的特性の予測分布とを対応付けて示すテーブル形式のデータであってもよい。この予測分布データ２２３の具体例については、図１３を用いて詳細に説明する。
　評価値データ２２４は、例えば図１に示すように、複数の候補実験点のそれぞれに対する評価値を示すデータである。例えば、評価値データ２２４は、複数の候補実験点のそれぞれに評価値を関連付けて示すテーブル形式のデータであってもよい。この評価値データ２２４の他の具体例については、図１６を用いて詳細に説明する。
　演算回路１０２は、記憶部１０５からプログラム２００をメモリ１０３に読み出し、展開されたプログラム２００を実行する回路である。演算回路１０２は、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）などである。
　［機能構成］
　図４は、演算回路１０２の機能構成を示すブロック図である。
　演算回路１０２は、プログラム２００を実行することによって、評価値データ２２４を生成するための複数の機能を実現する。具体的には、演算回路１０２は、受信制御部（第１受信手段、第２受信手段、第３受信手段および第４受信手段）１０、候補実験点作成部（候補実験点作成手段）１１、評価値算出部（算出手段）１２、および評価値出力部（出力手段）１３を備える。なお、本実施の形態では、第４受信手段を用いない場合について説明する。
　受信制御部１０は、入力部１０１ａまたは通信部１０１ｂを介して、特性点データ２０１、制御因子データ２１１、目的データ２１２、および制約条件データ２１３を受信する。例えば、受信制御部１０は、ユーザによる入力部１０１ａへの入力操作によって特性点データ２０１が入力されると、その特性点データ２０１に示される特性点を実験点に対応付けて記憶部１０５の実験結果データ２２２に書き込む。これにより、実験結果データ２２２が更新される。この実験結果データ２２２が更新されると、受信制御部１０は、評価値算出部１２に対して、その更新後の実験結果データ２２２を用いた処理を実行させる。つまり、受信制御部１０は、評価値算出部１２に対して評価値の算出を実行させる。なお、このときには、評価値算出部１２は、記憶部１０５に既に格納されている候補実験点データ２２１を用いて評価値の算出を実行する。このように、受信制御部１０は、特性点データ２０１の入力をトリガーに、評価値算出部１２に対して評価値の算出を開始させる。
　また、受信制御部１０は、他のトリガーに応じて、評価値算出部１２に対して評価値の算出を開始させてもよい。例えば、実験結果データ２２２が記憶部１０５に既に格納されていれば、受信制御部１０は、ユーザによる実験点の水準の入力をトリガーに、評価値算出部１２に対して評価値の算出を開始させてもよい。なお、実験点の水準は、例えば、制御因子が取り得る値の最小値、最大値、および離散幅などである。つまり、受信制御部１０は、ユーザによって実験点の水準が入力され、その水準に基づいて候補実験点データ２２１が生成されると、その候補実験点データ２２１と実験結果データ２２２と基づく評価値の算出を評価値算出部１２に対して開始させる。
　あるいは、候補実験点データ２２１が記憶部１０５に既に格納されていれば、受信制御部１０は、ユーザによる実験結果データ２２２の入力をトリガーに、評価値算出部１２に対して評価値の算出を開始させてもよい。受信制御部１０は、ユーザによって実験結果データ２２２が入力されると、その実験結果データ２２２と候補実験点データ２２１と基づく評価値の算出を評価値算出部１２に対して開始させる。
　あるいは、候補実験点データ２２１が記憶部１０５に既に格納されていれば、受信制御部１０は、通信部１０１ｂによる実験結果データ２２２の受信をトリガーに、評価値算出部１２に対して評価値の算出を開始させてもよい。例えば、実験設備、実験装置、または製造装置などが実験結果データ２２２を評価装置１００に送信し、通信部１０１ｂがその実験結果データ２２２を受信する。受信制御部１０は、通信部１０１ｂによって実験結果データ２２２が受信されると、その実験結果データ２２２と候補実験点データ２２１と基づく評価値の算出を評価値算出部１２に対して開始させる。
　このように、受信制御部１０は、候補実験点データ２２１および実験結果データ２２２があれば、それらに基づく評価値の算出を評価値算出部１２に対して開始させる。なお、実験結果データ２２２が記憶部１０５に既に格納されていれば、受信制御部１０は、ユーザによる候補実験点データ２２１の入力をトリガーに、評価値算出部１２に対して評価値の算出を開始させてもよい。また、候補実験点データ２２１および実験結果データ２２２が記憶部１０５に既に格納されていれば、受信制御部１０は、ユーザによる開始指示の入力をトリガーに、評価値算出部１２に対して評価値の算出を開始させてもよい。
　候補実験点作成部１１は、受信制御部１０によって取得された制御因子データ２１１に基づいて、候補実験点データ２２１を生成する。つまり、候補実験点作成部１１は、複数の候補実験点のそれぞれを、１以上の制御因子のそれぞれの値を用いて作成する。そして、候補実験点作成部１１は、その生成された候補実験点データ２２１を記憶部１０５に格納する。
　評価値算出部１２は、候補実験点データ２２１および実験結果データ２２２を記憶部１０５から読み出し、それらのデータに基づいて予測分布データ２２３を生成し、その予測分布データ２２３を記憶部１０５に格納する。さらに、評価値算出部１２は、その予測分布データ２２３と、受信制御部１０によって取得された目的データ２１２および制約条件データ２１３とに基づいて、評価値データ２２４を生成し、その評価値データ２２４を記憶部１０５に格納する。
　評価値出力部１３は、記憶部１０５から評価値データ２２４を読み出して、その評価値データ２２４を表示部１０４に出力する。あるいは、評価値出力部１３は、通信部１０１ｂを介して、評価値データ２２４を外部の装置に出力してもよい。つまり、評価値出力部１３は、各候補実験点の評価値を出力する。なお、評価値出力部１３は、評価値算出部１２から評価値データ２２４を直接取得して、その評価値データ２２４を表示部１０４に出力してもよい。同様に、評価値出力部１３は、記憶部１０５から予測分布データ２２３を読み出して、その予測分布データ２２３を表示部１０４に出力する。なお、評価値出力部１３は、評価値算出部１２から予測分布データ２２３を直接取得して、その予測分布データ２２３を表示部１０４に出力してもよい。
　［入力］
　図５は、設定情報２１０の入力を受け付けるために表示部１０４に表示される受付画像の一例を示す図である。
　受付画像３００は、制御因子領域３１０と、目的特性領域３２０とを含む。制御因子領域３１０は、制御因子データ２１１の入力を受け付けるための領域である。目的特性領域３２０は、目的データ２１２および制約条件データ２１３の入力を受け付けるための領域である。
　制御因子領域３１０は、入力フィールド３１１～３１４を有する。入力フィールド３１１は、第１制御因子の名称を入力するためのフィールドである。例えば、入力フィールド３１１には、第１制御因子の名称として「Ｘ１」が入力される。入力フィールド３１２は、第１制御因子の値を入力するためのフィールドである。例えば、この入力フィールド３１２には、第１制御因子の値として「－５，－４，－３，－２，－１，０，１，２，３，４，５」が入力される。同様に、入力フィールド３１３は、第２制御因子の名称を入力するためのフィールドである。例えば、入力フィールド３１３には、第２制御因子の名称として「Ｘ２」が入力される。入力フィールド３１４は、第２制御因子の値を入力するためのフィールドである。例えば、この入力フィールド３１４には、第２制御因子の値として「－５，－４，－３，－２，－１，０，１，２，３，４，５」が入力される。
　このような入力フィールド３１１～３１４への入力によって、その入力結果に応じた制御因子データ２１１が評価装置１００に入力される。
　目的特性領域３２０は、入力フィールド３２１～３２８を有する。入力フィールド３２１および３２５は、第１目的特性の名称および第２目的特性の名称を入力するためのフィールドである。例えば、入力フィールド３２１には、第１目的特性の名称として「Ｙ１」が入力され、入力フィールド３２５には、第２目的特性の名称として「Ｙ２」が入力される。入力フィールド３２２および３２６は、第１目的特性および第２目的特性の最適化目的を選択するためのフィールドである。具体的には、その入力フィールド３２２および３２６のそれぞれは、「最大化」、「最小化」、および「規格範囲内」のうちの何れか１つを目的として選択するための３つのラジオボタンを有する。目的としての「最大化」は、第１目的特性または第２目的特性の値の最大化を目的とし、「最小化」は、第１目的特性または第２目的特性の値の最小化を目的とする。「規格範囲内」は、第１目的特性または第２目的特性の値が規格範囲内に収まることを目的とする。例えば、ユーザによる入力部１０１ａへの入力操作によって、「規格範囲内」を示すラジオボタンが選択された場合、評価装置１００は、第１目的特性または第２目的特性の最適化目的として規格範囲内を選択する。入力フィールド３２３および３２４は、第１目的特性の規格範囲を示す最小値および最大値をそれぞれ入力するためのフィールドである。例えば、入力フィールド３２３には、最小値として「３０」が入力され、入力フィールド３２４に、最大値として「４０」が入力された場合、評価装置１００は、規格範囲を３０～４０とする。入力フィールド３２７および３２８は、第２目的特性の規格範囲における最小値および最大値をそれぞれ入力するためのフィールドである。例えば、入力フィールド３２７に、規格範囲の最小値として「１０」が入力され、入力フィールド３２８が未入力である場合、評価装置１００は、規格範囲を１０～＋∞とする。なお、入力フィールド３２７が未入力の場合には、評価装置１００は、規格範囲の最小値を－∞とする。
　このような入力フィールド３２１～３２８への入力によって、その入力結果に応じた目的データ２１２および制約条件データ２１３が評価装置１００に入力される。つまり、受信制御部１０は、入力フィールド３２２および３２６への入力に応じた目的データ２１２を取得し、入力フィールド３２３、３２４、３２７、および３２８への入力に応じた制約条件データ２１３を取得する。図５の例では、その目的データ２１２は、第１目的特性の最適化目的として、その第１目的特性の値が規格範囲内に収まることを示し、かつ、第２目的特性の最適化目的として、その第２目的特性の値の最小化を示す。さらに、制約条件データ２１３は、第１目的特性の規格範囲が３０～４０であることを示し、かつ、第２目的特性の規格範囲が１０～＋∞であることを示す。
　図６は、制御因子データ２１１の一例を示す図である。
　例えば、図６の（ａ）に示す制御因子データ２１１の例では、第１制御因子および第２制御因子は、－５から５まで１ずつ離散した値を取り得る。図６の（ａ）に示す例では、第１制御因子および第２制御因子は、連続変数である。連続変数は、連続値を取り得るが、連続値のままでは演算処理が困難である。そのため、各制御因子の値を離散化し、有限個の候補実験点を設定することが好ましい。したがって、制御因子が連続変数の場合、ユーザが制御因子の水準（最小値、最大値、離散幅）を入力して、評価装置１００は、制御因子の取り得る値を決定する。なお、離散幅は、一定でなくてもよく、例えば、「1, 3, 7, 15」のように水準となるように変則的な設定がなされてもよい。つまり、受信制御部１０は、ユーザによる入力部１０１ａへの入力操作に応じて制御因子の水準を受信し、その水準に基づいて制御因子の取り得る値を決定する。そして、受信制御部１０は、その決定された制御因子の取り得る値を示す制御因子データ２１１を生成し、例えば図５の受付画像３００の制御因子領域３１０に含まれる入力フィールド３１２または３１４に表示する。
　なお、変数には、連続変数とは異なる離散変数がある。制御因子が離散変数である場合、その離散変数は「リンゴ、ミカン、バナナ」または「触媒あり、触媒なし」のように、大小関係および数値的な大きさを持たない。
　図６の（ａ）の例では、第１制御因子および第２制御因子は、それぞれ同じ値を取り得るが、これに限らない。例えば、図６の（ｂ）に示すように、第１制御因子および第２制御因子が取り得る値は、互いに異なっていてもよい。図６の（ｂ）に示す制御因子データ２１１の例では、第１制御因子は、１０～５０まで１０ずつ離散した値を取り得る。一方、第２制御因子は、１００～５００まで１００ずつ離散した値を取り得る。
　図６の（ａ）および（ｂ）に示す例では、制御因子の値が絶対値であるが、これに限らない。制御因子の値が、他の制御因子の値または全制御因子の値の総和に対する比率などの相対値であってもよい。図６の（ｃ）に示す例では、制御因子データ２１１は、連続変数の値とは異なる比率変数の値を示す。比率変数は、上述の比率などの相対値を取り得る。例えば、制御因子データ２１１は、図６の（ｃ）に示すように、第１制御因子の連続変数の値と、第２制御因子の比率変数の値と、第３制御因子の比率変数の値とを示してもよい。具体的には、第１制御因子の連続変数の値は、例えば１０から３０まで１０ずつ離散した値を取り得る。第２制御因子の比率変数の値は、例えば「０．０，　０．２，　０．４，　０．６，　０．８，　１．０」であり、第３制御因子の比率変数の値は、例えば「０．０，　０．２，　０．４，　０．６，　０．８，　１．０」である。比率変数は、例えば、第１制御因子の材料と、第２制御因子の材料とが配合されることによって生成される合成材料において、第１制御因子または第２制御因子の材料の配合比を示す。
　図７の（ａ）は、目的データ２１２の一例を示す図であり、図７の（ｂ）は、制約条件データ２１３の一例を示す図である。
　図５の受付画像３００の目的特性領域３２０によって入力された目的データ２１２は、例えば図７の（ａ）に示すように、第１目的特性の最適化目的と、第２目的特性の最適化目的とを示す。また、図５の受付画像３００の目的特性領域３２０によって入力された制約条件データ２１３は、例えば図７の（ｂ）に示すように、第１目的特性の規格範囲と、第２目的特性の規格範囲とを示す。具体的には、目的データ２１２には、第１目的特性の最適化目的として「規格範囲内」が示され、第２目的特性の最適化目的として「最小化」が示されている。また、制約条件データ２１３には、第１目的特性の規格範囲として、最小値「３０」～最大値「４０」の範囲が示され、第２目的特性の規格範囲として、最小値「１０」～最大値「＋∞」の範囲が示されている。したがって、第２目的特性の最適化目的は、最小値「１０」以上の規格範囲内での第２目的特性の値の最小化である。
　図８Ａは、規格範囲の一例を示す図である。
　図７の（ｂ）の制約条件データ２１３によって示される規格範囲は、例えば図８Ａのように、特性空間上において矩形の範囲で表現される。なお、図８Ａに示す例では、規格範囲の形状は矩形であるが、他の形状であってもよい。つまり、規格範囲の形状は、後述の評価値の算出が実装可能であれば、任意の形状であってもよい。
　図８Ｂは、規格範囲の他の例を示す図である。
　規格範囲は、図８Ｂに示すように、例えば円形であってもよい。具体的な一例では、第１目的特性および第２目的特性の特性空間における規格範囲は、円の中心（２０，２０）と半径１０とによって表現される。なお、その規格範囲の形状は、円形以外の形状であってもよく、楕円形、星形などであってもよい。
　このように、本実施の形態では、評価値算出部１２は、矩形と異なる形状の規格範囲に基づいて、各候補実験点の評価値を算出してもよい。これにより、特性空間において、円形、楕円形、星形などの規格範囲に基づいて評価値が算出されるため、規格範囲の形状が矩形の場合に限定されることなく、適用場面をさらに拡張することができる。
　［処理動作］
　評価装置１００は、上述のように入力された各データを用いて評価値の算出および出力に関する処理を行う。
　図９は、本実施の形態に係る評価装置１００の処理動作を示すフローチャートである。
　まず、候補実験点作成部１１は、制御因子データ２１１を用いて候補実験点データ２２１を生成する（ステップＳ１）。
　次に、受信制御部１０は、目的データ２１２を取得する（ステップＳ２）。つまり、受信制御部１０は、最適化目的を示す目的データを取得する第２受信ステップを実行する。さらに、受信制御部１０は、制約条件データ２１３を取得する（ステップＳ３）。つまり、受信制御部１０は、少なくとも１つの目的特性に対して付与された制約条件を示す制約条件データ２１３を取得する第３受信ステップを実行する。さらに、受信制御部１０は、実験結果データ２２２を記憶部１０５から読み出す（ステップＳ４）。つまり、受信制御部１０は、実験済みの実験点および既知の特性点を示す実験結果データ２２２を取得する第１受信ステップを実行する。なお、実験結果データ２２２に、何れの特性点も示されていない場合には、このステップＳ４を含むステップＳ４～Ｓ６の処理はスキップされる。
　そして、評価値算出部１２は、目的データ２１２、制約条件データ２１３、候補実験点データ２２１、および実験結果データ２２２に基づいて、各候補実験点の評価値を算出する（ステップＳ５）。つまり、評価値算出部１２は、それらのデータに基づいて、未知の特性点の評価値を算出する算出ステップを実行する。具体的には、評価値算出部１２は、候補実験点データ２２１に示される複数の候補実験点のうち、未だ実験に用いられていない各候補実験点の評価値を算出する。また、この算出ステップにおいて、評価値算出部１２は、後述の（式４）および（式５）のように、制約条件の適合度合いに応じた重み付けを、少なくとも１つの目的特性に対する評価値に付与する。そして、評価値算出部１２は、その算出された各候補実験点の評価値を示す評価値データ２２４を生成する。
　次に、評価値出力部１３は、ステップＳ５で算出された評価値、すなわち評価値データ２２４を表示部１０４に出力する（ステップＳ６）。つまり、評価値出力部１３は、評価値を出力する出力ステップを実行する。これにより、評価値データ２２４が、例えば表示部１０４に表示される。
　そして、受信制御部１０は、ユーザによる入力部１０１ａへの入力操作に応じて、その入力部１０１ａから操作信号を取得する。操作信号は、最適解の探索の終了、または、最適解の探索の続行を示す。なお、最適解の探索は、新規実験結果に基づく各候補実験点の評価値の算出および出力を行う処理である。受信制御部１０は、その操作信号が最適解の探索の終了を示すか、続行を示すかを判定する（ステップＳ７）。
　ここで、受信制御部１０は、操作信号が最適解の探索の終了を示すと判定すると（ステップＳ７の「終了」）、全ての処理を終了する。一方、受信制御部１０は、操作信号が最適解の探索の続行を示すと判定すると（ステップＳ７の「続行」）、次の実験点として選択された候補実験点を、記憶部１０５の実験結果データ２２２に書き込む。例えば、ユーザが入力部１０１ａに対する入力操作を行うことによって、受信制御部１０は、評価値データ２２４から候補実験点を次の実験点として選択する。受信制御部１０は、このように選択された候補実験点を実験結果データ２２２に書き込む。そして、ユーザは、次の実験点に対応する特性点が実験によって得られると、入力部１０１ａに対する入力操作を行うことによって、その特性点を示す特性点データ２０１を評価装置１００に入力する。受信制御部１０は、その入力された特性点データ２０１を取得し、その特性点データ２０１によって示される特性点を、記憶部１０５の実験結果データ２２２に書き込む。このとき、その特性点は、直近に選択されて書き込まれた実験点に対応付けられる。これにより、新規実験結果が実験結果データ２２２に記録される（ステップＳ８）。つまり、実験結果データ２２２が更新される。実験結果データ２２２が更新されると、評価値算出部１２は、ステップＳ４からの処理を繰り返し実行する。
　以上のようなフローを経る過程で、過去の実験結果から、次に行うべき最適な実験条件（すなわち候補実験点）を定量的に解析することができる。その結果、ユーザなどの解析者の力量に依らず開発サイクルの短縮が期待できる。
　図１０Ａは、候補実験点データ２２１の一例を示す図である。
　候補実験点作成部１１は、例えば図６の（ｂ）に示す制御因子データ２１１に基づいて、図１０Ａに示す候補実験点データ２２１を生成する。例えば、候補実験点作成部１１は、制御因子データ２１１によって示される全ての制御因子のそれぞれの値が連続変数の値であって、その値に関して制約がない場合には、各制御因子の値の組み合わせ全通りのそれぞれを候補実験点として作成する。図６の（ｂ）に示す制御因子データ２１１の場合、その制御因子データ２１１は、第１制御因子の連続変数の値「１０，２０，３０，４０，５０」と、第２制御因子の連続変数の値「１００，２００，３００，４００，５００」とを示す。したがって、候補実験点作成部１１は、第１制御因子の値「１０」と第２制御因子の値「１００」との組み合わせ、第１制御因子の値「１０」と第２制御因子の値「２００」との組み合わせなど、全ての組み合わせのそれぞれを候補実験点として作成する。候補実験点作成部１１は、その作成された候補実験点に対して実験点番号を関連付け、その実験点番号が関連付けられた候補実験点を示す候補実験点データ２２１を生成する。
　具体的な一例では、候補実験点データ２２１は、図１０Ａに示すように、実験点番号「１」に関連付けられた候補実験点（１０，１００）、実験点番号「２」に関連付けられた候補実験点（１０，２００）、実験点番号「３」に関連付けられた候補実験点（１０，３００）などを示す。なお、これらの候補実験点の第１成分は、第１制御因子の値を示し、第２成分は、第２制御因子の値を示す。
　ここで、値の組み合わせ全通りのうち、ある制約を満たす値の組み合わせのみが候補実験点として作成されてもよい。例えば、材料開発において、第１制御因子と第２制御因子として第１化合物と第２化合物がそれぞれ設定され、値としてそれらの配合比が設定される場合、候補実験点作成部１１は、和が１を満たす値の組み合わせのみを候補実験点として採用する。図１０Ｂの候補実験点データ２２１には、その一例が示されている。
　図１０Ｂは、候補実験点データ２２１の他の例を示す図である。
　候補実験点作成部１１は、例えば図６の（ｃ）に示す制御因子データ２１１に基づいて、図１０Ｂに示す候補実験点データ２２１を生成する。この場合、制御因子データ２１１は、第２制御因子の比率変数の値として「０．０，　０．２，　０．４，　０．６，　０．８，　１．０」を示し、第３制御因子の比率変数の値として「０．０，　０．２，０．４，　０．６，　０．８，　１．０」を示す。これらの比率変数の値の組み合わせは、上述の第１化合物と第２化合物との配合比に相当する。したがって、候補実験点作成部１１は、第２制御因子の比率変数の値と、第３制御因子の比率変数の値との和が１を満たすように、第１制御因子の値と、第２制御因子の値と、第３制御因子の値との組み合わせを、候補実験点として作成する。例えば、候補実験点作成部１１は、第１制御因子の値「１０」と、第２制御因子の値「０．２」と、第３制御因子の値「０．８」との組み合わせなど、比率変数の値の和が１を満たす値の組み合わせを候補実験点として作成する。候補実験点作成部１１は、その作成された候補実験点に対して実験点番号を関連付け、その実験点番号が関連付けられた候補実験点を示す候補実験点データ２２１を生成する。
　具体的な一例では、候補実験点データ２２１は、図１０Ｂに示すように、実験点番号「１」に関連付けられた候補実験点（１０，　０．０，　１．０）、実験点番号「２」に関連付けられた候補実験点（１０，　０．２，　０．８）、実験点番号「３」に関連付けられた候補実験点（１０，　０．４，　０．６）などを示す。なお、これらの候補実験点の第１成分は、第１制御因子の値を示し、第２成分は、第２制御因子の値を示し、第３成分は、第３制御因子の値を示す。
　このように、本実施の形態では、複数の制御因子がある場合、候補実験点作成部１１は、複数の候補実験点のそれぞれを作成するときには、その複数の制御因子のそれぞれの、所定の条件を満たす値を組み合わせることによって、当該候補実験点を作成する。例えば、所定の条件は、図１０Ｂに示すように、複数の制御因子のそれぞれの比率変数の値の和が１であるという条件である。より具体的な一例では、その比率変数は、制御因子に対応する化合物などの材料の配合比である。したがって、複数種の化合物の配合比の組み合わせごとに、その組み合わせに対する評価値を算出することができる。その結果、それらの化合物の配合によって得られる合成材料の１以上の目的特性に対する最適解を適切に探索することができる。
　図１１は、実験結果データ２２２の一例を示す図である。
　評価値算出部１２は、評価値を算出するために、記憶部１０５に格納されている実験結果データ２２２を読み出す。この実験結果データ２２２は、図１１に示すように、実験番号ごとに、その実験番号によって識別される実験で用いられた実験点と、その実験によって得られた実験結果である特性点とを示す。実験点は、各制御因子の値の組み合わせによって表現される。例えば、実験点は、第１制御因子の値「１０」と、第２制御因子の値「１００」との組み合わせである値の組み合わせによって表現される。特性点は、実験で得られた各目的特性の値の組み合わせによって表現される。なお、目的特性の値は、以下、目的特性値とも呼ばれる。例えば、特性点は、第１目的特性の値「８」と、第２目的特性の値「０．０」との組み合わせによって表現される。
　具体的な一例では、実験結果データ２２２は、図１１に示すように、実験番号「１」に関連付けられた実験点（１０，１００）および特性点（８，　０．０）、実験番号「２」に関連付けられた実験点（１０，５００）および特性点（４０，　１．６）、実験番号「３」に関連付けられた実験点（５０，１００）および特性点（４０，　１．６）などを示す。
　［評価値の算出処理］
　図１２は、評価値算出部１２による処理を説明するための図である。評価値算出部１２は、候補実験点作成部１１によって生成された候補実験点データ２２１と、記憶部１０５にある実験結果データ２２２とに基づいて、予測分布データ２２３を生成する。そして、評価値算出部１２は、各目的特性の最適化目的を示す目的データ２１２と、各目的特性の規格範囲を示す制約条件データ２１３と、予測分布データ２２３とに基づいて、評価値データ２２４を生成する。
　ここで、実験結果データ２２２は、複数の候補実験点のうちの、既に実験に用いられた１以上の候補実験点である１以上の実験点と、その１以上の実験点のそれぞれに対応する特性点であって、その実験点を用いた１以上の目的特性の実験結果とを示す。したがって、本実施の形態における評価値算出部１２は、（ａ）１以上の目的特性のそれぞれの最適化目的および規格範囲と、（ｂ）複数の候補実験点のうちの、既に実験に用いられた１以上の候補実験点である１以上の実験点と、（ｃ）１以上の実験点のそれぞれに対応する特性点であって、当該実験点を用いた１以上の目的特性の実験結果を示す特性点とに基づいて、複数の候補実験点のうちの１以上の実験点を除く残りの各候補実験点の評価値をベイズ最適化に基づいて算出する。
　評価値算出部１２は、その生成された評価値データ２２４を評価値出力部１３に出力する。なお、評価値算出部１２は、予測分布データ２２３も評価値出力部１３に出力してもよい。または、評価値算出部１２は、予測分布データ２２３を記憶部１０５に格納し、評価値出力部１３は、ユーザによる入力部１０１ａへの入力操作に応じて、その記憶部１０５から予測分布データ２２３を読み出してもよい。
　評価値算出部１２は、候補実験点と特性点との対応関係をガウス過程で記述する。ガウス過程は、複数の入力に対応した出力値がガウス分布（正規分布）に従う確率過程である。本実施の形態では、ガウス過程は、有限個の候補実験点のベクトルｘＮに対応する特性点のベクトルｆ（ｘＮ）がＮ次元正規分布に従うと仮定した確率過程である。実験点ｘと実験点ｘ’の距離を正定値カーネルｋ（ｘ，ｘ’）で定め、共分散行列をこのカーネルを用いて表す。なお、Ｎは、１以上の整数であって、実行済み実験結果の数である。
　また、多次元正規分布は一部の要素で条件付けても、正規性が保存される。本実施の形態では、この性質を用いて、候補実験点と既知の対応関係にある実行済み実験結果と、候補実験点と未知の対応関係にある次の実験結果との同時分布を考え、既知の対応関係で条件付けた分布を予測分布として定義する。予測分布の平均は各次元について、以下の（式１）によって算出され、予測分布の分散は各次元について、以下の（式２）によって算出される。
　（式１）および（式２）において、ｘＮ＝（ｘ（１），…，ｘ（Ｎ））Ｔは過去の実験点をまとめた行列を表し、ｘ（Ｎ＋１）は新規候補実験点を表す。ｙＮ＝（ｙ（１），…，ｙ（Ｎ））Ｔは過去の実験点に対応する特性点をまとめた行列を表す。ｋＮ＋１は第ｉ成分にｋ（ｘ（ｉ），ｘ（Ｎ＋１））をとるＮ次元ベクトルを表し、ＫＮ，Ｎは（ｉ，ｊ）成分にｋ（ｘ（ｉ），ｘ（ｊ））をとるＮ×Ｎグラム行列を表す。σ２は観測誤差を表し、想定される観測誤差の影響度に応じて適切な値に設定される。ＩはＮ次単位行列を表す。カーネルｋ（・，・）およびそのハイパーパラメータは、例えばユーザなどの解析者によって適宜設定される。なお、ｉおよびｊは、それぞれ１以上Ｎ以下の整数である。また、ｍは、平均関数と呼ばれ、ｘ（Ｎ＋１）に対するｙ（Ｎ＋１）の挙動がある程度既知である場合は、適切な関数に設定される。その挙動が未知である場合は、０等の定数に設定されてもよい。
　評価値算出部１２は、上記ステップＳ４において記憶部１０５から読み出された実験結果データ２２２に示される既知の実験結果に対して、上記（式１）および（式２）を用いた演算を行うことにより、予測分布データ２２３を生成する。
　図１３は、予測分布データ２２３の一例を示す図である。予測分布データ２２３は、各候補実験点における予測分布の平均と分散とを示す。この予測分布は、各目的特性についてガウス過程による条件付き分布として、（式１）および（式２）によって算出された分布である。例えば、予測分布データ２２３は、図１３に示すように、実験点番号ごとに、その実験点番号に対応する、第１目的特性の予測分布の平均および分散と、第２目的特性の予測分布の平均および分散とを示す。
　具体的な一例では、予測分布データ２２３は、図１３に示すように、実験点番号「１」に対応する第１目的特性の平均「２３．５３２２」および分散「１９．４０１２」と、第２目的特性の平均「０．７７６６１」および分散「０．９７００６」とを示す。さらに、予測分布データ２２３は、実験点番号「２」に対応する第１目的特性の平均「３０．２５３６」および分散「２１．５５２１」と、第２目的特性の平均「１．１１２６８」および分散「１．０７７６１」とを示す。なお、実験点番号は、図１０Ａまたは図１０Ｂに示すように、候補実験点に対応付けられている。
　評価値算出部１２は、ベイズ最適化における獲得関数と呼ばれる評価基準に基づき評価値を算出する。この評価値の算出には、上述の予測分布が用いられる。また、本実施の形態における獲得関数は、制約条件があるベイズ最適化における獲得関数である。
　まず、本実施の形態における獲得関数の説明の前に、制約条件のないベイズ最適化の獲得関数（すなわち非特許文献１のＥＨＶＩ）について説明する。ただし、最大化と最小化については、それらのうちの一方の符号を反転させると、他方と等価になるため、最小化に統一して説明する。ＥＨＶＩでは、改善領域の体積（改善量とも呼ばれる）が大きいほど、暫定の実験結果から大きく改善された特性点が得られたと考える。その改善領域は、行った実験から既に得られている少なくとも１つの特性点の中のパレート点（すなわち非劣解）の座標から定まるパレート境界と、新規特性点が観測された際に新規特性点により新たに定まるパレート境界とで囲まれた領域である。なお、パレート点は、現時点で暫定的にパレート解とされている特性点である。例えば、第１目的特性および第２目的特性のそれぞれの最適化目的が最小化である場合には、パレート点よりも第１目的特性および第２目的特性のいずれの値も小さい他の特性点は存在しない。パレート境界は、パレート点の座標のそれぞれを、第１目的特性および第２目的特性の方向に沿って結ぶことにより定まる境界線である。また、以降では、パレート境界で特性空間全体が区分けされたうち、各目的特性に関して値が小さい側をアクティブ領域、値が大きい側を非アクティブ領域と呼ぶ。新規特性点が非アクティブ領域に入ったときの改善量は０とする。
　図１４Ａは、改善領域の一例を示す図である。
　例えば、図１４Ａに示すように、４つのパレート点２１～２４から定まるパレート境界３１と、１つの新規特性点ｙｎｅｗが得られた際に新たに定まるパレート境界３２とで囲まれた領域が、改善領域として特定される。
　ここで、ガウス過程回帰により、各候補実験点を選択した場合の各目的特性値の振る舞いは正規分布の形で表現されており、観測された特性点の位置によって改善量も変動する。ＥＨＶＩは、以下の（式３）のように、各候補実験点について、予測分布で改善量の期待値を取った量として定義される。ＥＨＶＩによって得られる値が大きい候補実験点ほど改善量の期待値が大きく、次に実行すべき実験点を表している。
　（式３）において、Ｄは目的特性の数（すなわち次元数）を表し、
はＤ次元ユークリッド空間を表し、Ｉ（ｙｎｅｗ）は改善量を表す。また、ｐ（ｙｎｅｗ｜ｘｎｅｗ）は、少なくとも１つの候補実験点の中から１つの候補実験点を新規実験点ｘｎｅｗとして選択した際の、その新規実験点ｘｎｅｗに対応する特性点ｙｎｅｗの予測分布を表す。その特性点ｙｎｅｗの各次元の予測分布、すなわち平均および分散は、上記（式１）および（式２）により求まっている。
　次に、本実施の形態における獲得関数について説明する。本実施の形態における獲得関数は、制約条件がある場合のベイズ最適化の獲得関数である。Ｄ個の目的特性のうち、ｙ１～ｙＤｍｉｎｉｍｉｚｅのＤｍｉｎｉｍｉｚｅ個の目的特性の最適化目的が最小化であり、残りのｙＤｍｉｎｉｍｉｚｅ＋１～ｙＤのＤｒａｎｇｅ（＝Ｄ－Ｄｍｉｎｉｍｉｚｅ）個の目的特性の最適化目的が規格範囲内であるとする。このとき、本実施の形態における獲得関数、すなわち制約条件付きＥＨＶＩＣは、以下の（式４）のように定義される。
　（式４）において、Ｒｍｉｎｉｍｉｚｅは、最適化目的が最小化である目的特性ｙ１～ｙＤｍｉｎｉｍｉｚｅについて、すべて規格範囲内である領域を表す。Ｒｒａｎｇｅは、最適化目的が規格範囲内である目的特性ｙＤｍｉｎｉｍｉｚｅ＋１～ｙＤについて、すべて規格範囲内である領域を表す。なお、ＲｍｉｎｉｍｉｚｅおよびＲｒａｎｇｅのそれぞれの領域は、その領域に対応する規格範囲の形状を示す関数によって表現される。図８Ｂに示すように規格範囲の形状が円であれば、ＲｍｉｎｉｍｉｚｅおよびＲｒａｎｇｅのそれぞれの領域は、その円を示す関数によって表現される。また、規格範囲の形状が星形であれば、ＲｍｉｎｉｍｉｚｅおよびＲｒａｎｇｅのそれぞれの領域は、その星形を示す関数によって表現される。ｙｎｅｗ，ｍｉｎｉｍｉｚｅは、特性点ｙｎｅｗの全ての次元から、最適化目的が最小化である目的特性の各次元を抽出することによって得られるベクトルを表す。ｙｎｅｗ，ｒａｎｇｅは、特性点ｙｎｅｗの全ての次元から、最適化目的が規格範囲内である目的特性の各次元を抽出することによって得られるベクトルを表す。ＩＣ（ｙｎｅｗ）は、制約条件がある場合の改善量であり、既存のパレート境界と、新たに定まるパレート境界とで囲まれた領域の体積を表す。その既存のパレート境界は、規格範囲内に存在する少なくとも１つのパレート点およびその規格範囲のそれぞれの座標から定まる境界である。新たに定まるパレート境界は、新規特性点が観測された際に、その新規特性点であるパレート点および規格範囲のそれぞれの座標から定まる境界である。Ｐｒ｛Ａ｝は、事象Ａが成立する確率を表し、例えば（式１）および（式２）の平均および分散を用いて表現される。
　図１４Ｂは、本実施の形態に係る改善領域の他の例を示す図である。本実施の形態と非特許文献２との大きな違いは、最適化目的が最小化である目的特性について、本実施の形態では積分範囲が特性空間全体から規格範囲内に制限されていて、改善量の測り方が規格範囲に応じて変わっていることである。規格範囲における最大値および最小値が指定されない場合は、最大値は＋∞として設定され、最小値は－∞として設定される。最適化目的が最小化であるすべての目的特性の規格範囲における最大値および最小値がそれぞれ＋∞および－∞で、かつ、Ｄｒａｎｇｅ＝０のとき、本実施の形態における獲得関数であるＥＨＶＩＣは、非特許文献１のＥＨＶＩに帰着される。また、最適化目的が最小化であるすべての目的特性の規格範囲における最大値および最小値がそれぞれ＋∞および－∞で、かつ、Ｄｒａｎｇｅ＞＝１のとき、本実施の形態における獲得関数であるＥＨＶＩＣは、非特許文献２のＥＨＶＩＣに帰着される。したがって、本実施の形態における評価装置１００は、従来手法でも評価値を算出することができる。
　また、非特許文献２では、最適化目的が最小化である目的特性が一つ以上存在する最適化問題、つまり、Ｄｍｉｎｉｍｉｚｅ＞＝１を想定しているが、本実施の形態における獲得関数では、Ｄｍｉｎｉｍｉｚｅ＝０（すなわちＤｒａｎｇｅ＝Ｄ）の場合でも不都合なく定式化が可能である。したがって、本実施の形態における獲得関数は、すべての目的特性の最適化目的が規格範囲内である最適化問題にも自然に拡張される。
　次に、本実施の形態における獲得関数であるＥＨＶＩＣの具体的な算出方法に関して説明する。
　図１５Ａは、改善領域の体積の算出方法を説明するための図である。なお、図１５Ａの（ａ）は、特性空間における改善領域を示し、図１５Ａの（ｂ）は、分割の対象とされるその改善領域を示し、図１５Ａの（ｃ）は、改善領域の分割によって得られる複数の小領域を示す。
　評価値算出部１２は、最適化目的が最小化である目的特性の次元については、図１５Ａのように、改善領域の体積である改善量（すなわちＩＣ（ｙｎｅｗ））を算出する。つまり、評価値算出部１２は、パレート点および新規特性点のそれぞれの座標で改善領域を複数の小領域に分割し、各小領域の体積の期待値を算出したのち、それらの期待値の和を取ることで改善量（すなわちＩＣ（ｙｎｅｗ））を算出する。また、評価値算出部１２は、最適化目的が規格範囲内である目的特性の次元については、各目的特性値が規格範囲に入る確率を算出する。
　図１５Ｂは、特性空間の全体を複数の小領域に分割する例を示す図である。
　評価値算出部１２は、最適化目的が最小化である目的特性の次元と、最適化目的が規格範囲内である目的特性の次元とについて、図１５Ｂのように特性空間全体を複数の小領域に分割し、以下の（式５）を用いることによって、獲得関数を統一的に算出する。つまり、評価値算出部１２は、パレート点、新規特性点、および規格値のそれぞれの座標で特性空間全体を複数の小領域に分割し、各小領域の体積の算出を以下の（式５）のような場合分け計算で実行する。なお、上述の規格値は、規格範囲の最大値および最小値である。そして、評価値算出部１２は、それらの小領域の体積を期待値処理したものの和を取ることで、制約条件がある場合の獲得関数を統一的に算出する。なお、その体積は、Ｎ次元超体積とも呼ばれる。
　（式５）において、ｙｄは、小領域の下端点（ｙ１，…，ｙＤ）の第ｄ成分を表し、ｙｄ’は、小領域の上端点（ｙ１’，…，ｙＤ’）の第ｄ成分を表す。
　図１５Ｃは、小領域の下端点および上端点の一例を示す図である。
　Ｄ＝２の場合、図１５Ｃに示すように、（ｙ１，ｙ２）は、小領域の下端点を表し、（ｙ１’，ｙ２’）は、小領域の上端点を表す。
　また、（式５）における（ｉ）は、区間［ｙｄ，ｙｄ’］が次元ｄに関して規格範囲外であるときに適用される。（ｉｉ）は、区間［ｙｄ，ｙｄ’］が次元ｄに関して規格範囲内であり、かつ、次元ｄの目的特性の最適化目的が規格範囲内であるときに適用される。（ｉｉｉ）は、区間［ｙｄ，ｙｄ’］が次元ｄに関して規格範囲内であり、かつ、次元ｄの目的特性の最適化目的が最小化であるときに適用される。ｃｄは、重み係数であり、目的特性の次元ｄごとに探索の優先度を付与する際等に適宜設定される。例えば、次元ｄの優先度が高いほど小さい重み係数ｃｄが用いられ、逆に、次元ｄの優先度が低いほど大きい重み係数ｃｄが用いられる。重み係数ｃｄの逆数が優先度であってもよい。特に指定がなければ、すなわち、各次元ｄの優先度が等しい場合には、各次元ｄのｃｄは、例えばすべて１に設定される。以上が本実施の形態における獲得関数と、その獲得関数の具体的な算出方法の説明である。
　以上の獲得関数の算出方法は、厳密解を求めるための方法であり、特に最適化目的が最小化である目的特性の数が多い場合には、計算量が膨大になってしまう可能性がある。そこで、計算効率向上のために、モンテカルロ法等の近似手法で獲得関数を算出してもよい。その場合でも、特性空間の小領域への分割および改善領域等は、上述の説明と変わらない。
　［出力］
　評価値出力部１３は、評価値算出部１２によって上述のように算出された各候補実験点の評価値を示す評価値データ２２４を取得し、その評価値データ２２４を表示部１０４に表示させる。なお、評価値出力部１３は、評価値算出部１２からその評価値データ２２４を直接取得してもよく、評価値算出部１２によって記憶部１０５に格納された評価値データ２２４を読み出すことによって、その評価値データ２２４を取得してもよい。
　図１６は、評価値データ２２４の一例を示す図である。評価値データ２２４は、例えば図１６に示すように、各候補実験点における評価値およびその順位を示す。具体的には、評価値データ２２４は、実験点番号ごとに、その実験点番号に対応する評価値と、その評価値の順位とを示す。各実験点番号は、図１０Ａおよび図１０Ｂに示すように、候補実験点に対応付けられている。したがって、評価値データ２２４は、候補実験点ごとに、その候補実験点に対応する評価値と、その評価値の順位とを示していると言える。また、順位は、評価値が大きいほど小さい数値を示し、逆に、評価値が小さいほど大きい数値を示す。
　具体的な一例では、評価値データ２２４は、図１６に示すように、実験点番号「１」に対応する評価値「０．０００００」および順位「２３」、実験点番号「２」に対応する評価値「０．８７６８２」および順位「１」、実験点番号「３」に対応する評価値「０．６２３４２」および順位「４」などを示す。
　このような評価値データ２２４が表示部１０４に表示されることによって、ユーザは、最適解の探索を続行するか終了するかを判断することができる。さらに、ユーザは、最適解の探索を続行する場合には、表示されている各評価値および各順位に基づいて、表示されている全ての実験点番号、すなわち全ての候補実験点から、次の実験点とされる候補実験点を選択することができる。例えば、ユーザは、最も大きい評価値（すなわち、順位が１である評価値）に対応する候補実験点を選択する。このとき、ユーザは、入力部１０１ａに対する入力操作を行うことによって、評価値データ２２４の各評価値を大きい順に並び替えさせてもよい。つまり、評価値出力部１３は、評価値データ２２４の各評価値が降順となり、各順位が昇順となるように、それらをソートする。これにより、最も大きい評価値を見つけやすくすることができる。
　以上のように、本実施の形態における受信制御部１０は、実験結果データ２２２、目的データ２１２および制約条件データ２１３を取得する。評価値算出部１２は、実験結果データ２２２、目的データ２１２および制約条件データ２１３に基づいて、未知の特性点の評価値を算出し、評価値出力部１３は、その評価値を出力する。ここで、評価値算出部１２は、制約条件の適合度合いに応じた重み付けを、少なくとも１つの目的特性に対する評価値に付与する。これにより、評価値算出部１２が、実験結果データ２２２、目的データ２１２および制約条件データ２１３に基づいて、未知の特性点の評価値を算出するときには、制約条件の適合度合いに応じた重み付けを、少なくとも１つの目的特性に対する評価値に付与する。この少なくとも１つの目的特性は最適化目的を有する。したがって、最適化問題の目的を有する目的特性に対して制約条件が付与されている最適化問題に対して、ベイズ最適化を適用することができる。その結果、適用場面を拡張することができる。
　また、本実施の形態では、制約条件は規格範囲であり、最適化目的には、目的特性を規格範囲内に収める第１目的と、目的特性を最小化または最大化する第２目的とがある。そして、評価値算出部１２は、少なくとも１つの目的特性のそれぞれについて、（ｉ）評価値を算出するために用いられる当該目的特性の区間が規格範囲外にある場合と、（ｉｉ）その区間が規格範囲内であって、かつ、最適化目的が第１目的である場合と、（ｉｉｉ）その区間が規格範囲内であって、かつ、最適化目的が第２目的である場合とで、互いに異なる重み付け処理を行うことによって、評価値を算出する。つまり、上記（式４）および（式５）に基づいて評価値が算出される。これにより、目的特性の最適化目的が第１目的であっても、第２目的であっても、候補実験点の評価値をベイズ最適化に基づいて適切に算出することができる。つまり、目的特性の最適化目的が規格範囲内であっても、最大化または最小化であっても、候補実験点の評価値をベイズ最適化に基づいて適切に算出することができる。また、（ｉｉｉ）の場合は、目的特性の区間が規格範囲内であって、かつ、最適化目的が第２目的であるため、非特許文献２の手法とは異なり、最適化目的が最大化または最小化である目的特性に、制約条件として規格範囲がある場合であっても、評価値を定量的に適切に算出することができる。
　その結果、規格範囲などの制約条件がある最適化問題に対しても適用することができる。つまり、適用場面を拡張し、最適解の探索効率向上のための定量評価を行うことができる。
　また、評価値算出部１２は、（式５）のｃｄのように、少なくとも１つの目的特性のそれぞれに優先度を付与し、付与された優先度を用いて各候補実験点の評価値を算出する。これにより、１以上の目的特性に優先度が付されるため、高い優先度が付された目的特性を、低い優先度が付された目的特性よりも早く最適化目的に近づけることができる。
　また、評価値算出部１２は、モンテカルロ法を用いて各候補実験点の評価値を算出してもよい。これにより、モンテカルロ法が近似手法であるため、評価値の算出の処理負担を軽減することができる。具体的には、評価値算出部１２は、（式４）の演算のために、小領域ごとに（式５）によって定まるその小領域の体積の期待値の和を取る。したがって、例えば、小領域の数が多い場合には、（式４）の演算に多大な計算量を要する。そこで、（式４）の演算を厳密に行わずに、モンテカルロ法を用いることによって、処理負担を軽減することができる。なお、近似手法であれば、モンテカルロ法に限らず、他の手法が用いられてもよい。
　（変形例１）
　上記実施の形態では、制約条件として規格範囲が設けられている。本変形例では、規格範囲だけでなく、その規格範囲とは別に範囲が設けられる。例えば、特性点が最低限収まってほしい規格範囲の中に、特性点が可能な限り収まってほしい管理範囲が設定されているケースも、実務においてしばしば要請される。なお、規格範囲および管理範囲は、それぞれ制約条件である制約範囲の一例である。
　図１７は、規格範囲および管理範囲の一例を示す図である。
　例えば、第１目的特性の規格範囲は、最小値「１０」～最大値「５０」であり、第２目的特性の規格範囲は、最小値「１０」～最大値「５０」である。また、第１目的特性の管理範囲は、その規格範囲よりも狭い範囲、すなわち最小値「２０」～最大値「４０」であり、第２目的特性の管理範囲は、その規格範囲よりも狭い範囲、すなわち最小値「２０」～最大値「４０」である。このように、管理範囲は規格範囲に含まれる。
　このような場合、評価値算出部１２は、以下の（式６）のように、０と１との間にある例えば０．５等の中間的な値を、ｌ（ｙｄ，ｙｄ’）に対してさらに設定することで評価値を算出する。なお、０．５は一例であって、他の数値であってもよい。
　（式６）における（ｉ）は、区間［ｙｄ，ｙｄ’］が次元ｄに関して管理範囲および規格範囲のそれぞれの外にあるときに適用される。（ｉｉ）は、区間［ｙｄ，ｙｄ’］が次元ｄに関して規格範囲内および管理範囲外であり、かつ、次元ｄの目的特性の最適化目的が制約範囲内であるときに適用される。（ｉｉｉ）は、区間［ｙｄ，ｙｄ’］が次元ｄに関して管理範囲内であり、かつ、次元ｄの目的特性の最適化目的が制約範囲内であるときに適用される。（ｉｖ）は、区間［ｙｄ，ｙｄ’］が次元ｄに関して管理範囲内であり、かつ、次元ｄの目的特性の最適化目的が最小化であるときに適用される。
　以上のように、本変形例では、制約条件として複数の制約範囲が設けられる場合には、それらの制約範囲に応じて場合分けの数を増やし、それらの場合に互いに異なる重み付け処理を行う。つまり、制約条件として複数の制約範囲がある場合、評価値算出部１２は、（式５）の（ｉｉ）の場合を、（式６）の（ｉｉ）の場合および（ｉｉｉ）の場合のように、さらに、複数の場合に場合分けし、その複数の場合のそれぞれで互いに異なる重み付け処理を行うことによって、評価値を算出する。その複数の場合のそれぞれでは、複数の制約範囲のうちの互いに異なる制約範囲に区間が含まれている。例えば、（式６）の（ｉｉ）および（ｉｉｉ）のように、その（ｉｉ）の場合では、管理範囲外の規格範囲に区間が含まれ、その（ｉｉｉ）の場合では、管理範囲に区間が含まれている。このように、複数の制約範囲があり、（ｉｉ）の場合をさらに複数の場合に場合分けすることによって、複数の制約範囲のそれぞれに段階的に重み付けを行うことができる。したがって、目的特性の値が規格範囲に収まり、可能な限り管理範囲に収まって欲しいような場合であっても、評価値を適切に算出することができる。すなわち、上述のような実務の要請に対しても獲得関数を適切に適用することができる。その結果、最適化問題に対する適用場面をさらに拡張することができる。
　なお、上記（式６）の（ｉ）～（ｉｖ）の場合分けの条件に用いられる規格範囲を管理範囲に置き換えてもよく、逆に、管理範囲を規格範囲に置き換えてもよい。また、本変形例では、規格範囲および管理範囲がそれぞれ制約範囲の例として用いられるが、さらに、これら以外の制約範囲が用いられてもよい。つまり、３つ以上の制約範囲が用いられてもよい。また、複数の制約範囲のそれぞれの形状は同一であってもよく、互いに異なっていてもよい。さらに、それらの形状は、矩形、円形、楕円形、星形など任意の形状であってもよい。また、本変形例では、規格範囲に管理範囲が含まれているように、複数の制約範囲に包含関係があるが、このような包含関係に限定されることなく、それぞれの制約範囲が互いに離れていてもよく、それぞれの制約範囲の一部のみが重なっていてもよい。
　また、上記実施の形態および本変形例のように、本開示では、制約範囲は少なくとも１つあればよい。したがって、上述の（式５）における（ｉ）～（ｉｉｉ）の場合の条件と第１目的に用いられる規格範囲は、少なくとも１つの制約範囲のうちの何れかの制約範囲に置き換えられてもよい。さらに、上述の（式５）における（ｉ）～（ｉｉｉ）のそれぞれの場合の条件、および第１目的に用いられる制約範囲は、同一の制約範囲であってもよく、互いに異なる制約範囲であってもよい。
　（変形例２）
　上記実施の形態では、評価値算出部１２は評価値を算出する。本変形例における評価値算出部１２は、その評価値だけでなく最小距離も算出する。最小距離は、候補実験点と、既に実験に用いられた各実験点との間の距離のうちの最小の距離である。
　図１８は、本変形例に係る評価値算出部１２による処理を説明するための図である。
　評価値算出部１２は、候補実験点データ２２１および実験結果データ２２２に基づいて、各候補実験点の最小距離を算出する。この最小距離は、上述のように、実験空間上における、候補実験点と、既に実験に用いられた少なくとも１つの実験点のそれぞれとの間の距離のうちの、最小の距離である。そして、評価値算出部１２は、各候補実験点の最小距離を示す最小距離データ２２５を生成する。評価値算出部１２は、上記実施の形態と同様に評価値データ２２４を評価値出力部１３に出力するとともに、最小距離データ２２５も評価値出力部１３に出力する。なお、評価値算出部１２は、最小距離データ２２５を記憶部１０５に格納し、評価値出力部１３は、ユーザによる入力部１０１ａへの入力操作に応じて、その記憶部１０５から最小距離データ２２５を読み出してもよい。
　評価値算出部１２は、例えば以下の（式７）のように、Ｌｐ距離等を用いて、候補実験点と、既に実験に用いられた実験点との間の距離を算出してもよい。
　（式７）において、Ｄは、制御因子の数を表し、ｘおよびｘ’のうちの一方は、候補実験点を表し、他方は、既に実験に用いられた実験点を表す。ｐ＝２のとき、Ｌｐ（ｘ，ｘ’）は、ユークリッド距離（すなわち直線距離）を示し、ｐ＝１のとき、Ｌｐ（ｘ，ｘ’）は、マンハッタン距離（すなわち道のり距離）を示す。また、ｐ＝０のとき、Ｌｐ（ｘ，ｘ’）は、異水準因子の数を示し、ｐ＝∞のとき、Ｌｐ（ｘ，ｘ’）は、最大水準差を示す。
　図１９は、最小距離の一例を示す図である。
　評価値算出部１２は、例えば図１９に示すように、ｐ＝２である場合のＬｐ距離（すなわちＬ２距離）を算出する。図１９に示す例の場合、評価値算出部１２は、実験空間において、候補実験点Ａと、既に実験に用いられた候補実験点である実験点Ｂ、Ｃ、Ｄ、およびＥのそれぞれとの間のＬ２距離を算出する。例えば、評価値算出部１２は、候補実験点Ａと実験点Ｂとの間のＬ２距離として、Ｌ２（Ａ，Ｂ）＝３を算出し、候補実験点Ａと実験点Ｃとの間のＬ２距離として、Ｌ２（Ａ，Ｃ）＝１．４１４１２を算出する。同様に、評価値算出部１２は、候補実験点Ａと実験点Ｄとの間のＬ２距離として、Ｌ２（Ａ，Ｄ）＝４．４７２１４を算出し、候補実験点Ａと実験点Ｅとの間のＬ２距離として、Ｌ２（Ａ，Ｅ）＝４．１２３１１を算出する。そして、評価値算出部１２は、これらのＬ２距離のうち最小の距離である「１．４１４１２」を最小Ｌ２距離として決定する。なお、図１９の例では、距離が各制御因子のスケールに依存しないように、評価値算出部１２は、各制御因子における２つの値の差の最小値を基準距離１に設定してＬｐ距離を算出する。
　図２０は、最小距離データ２２５の一例を示す図である。
　最小距離データ２２５は、実験点番号ごとに、その実験点番号に対応する最小距離を示す。各実験点番号は、図１０Ａおよび図１０Ｂに示すように、候補実験点に対応付けられている。したがって、最小距離データ２２５は、候補実験点ごとに、その候補実験点に対応する最小距離を示していると言える。
　具体的な一例では、最小距離データ２２５は、図２０に示すように、実験点番号「１」に対応する最小距離「０．０００００」、実験点番号「２」に対応する最小距離「１．０００００」、実験点番号「３」に対応する最小距離「２．０００００」などを示す。なお、最小距離「０．０００００」に対応する実験点番号の候補実験点は、既に実験に用いられた実験点である。
　評価値出力部１３は、評価値データ２２４に最小距離データ２２５の内容を含めることによって、その評価値データ２２４を変更し、その変更後の評価値データ２２４を表示部１０４に表示してもよい。
　図２１は、表示部１０４に表示される変更後の評価値データ２２４の一例を示す図である。
　変更後の評価値データ２２４は、例えば図２１に示すように、評価値の順位ごとに、その順位に該当する評価値と、その評価値に対応する候補実験点と、その候補実験点に対応する最小距離とを示す。また、評価値の各順位は昇順に配列されている。つまり、評価値の大きい順に各候補実験点が配列されている。例えば、評価値データ２２４は、順位「１」に該当する評価値「０．８７６８２」と、その評価値に対応する候補実験点（１０，２００）と、その候補実験点に対応する最小距離「１．０００００」とを示す。さらに、評価値データ２２４は、順位「２」に該当する評価値「０．８７６８２」と、その評価値に対応する候補実験点（２０，１００）と、その候補実験点に対応する最小距離「１．０００００」とを示す。
　このような評価値データ２２４が表示部１０４に表示されることによって、ユーザは、最適解の探索を続行するか終了するかを判断することができる。さらに、ユーザは、最適解の探索を続行する場合には、評価値データ２２４に示される１以上の候補実験点から次の実験点を選択する。ここで、本変形例では、ユーザは、評価値と最小距離とに基づいて次の実験点を決定する。具体的には、ユーザは、基本的に大きい評価値の候補実験点を次の実験点に決定する。しかしながら、特に実験結果の数が少ない段階においては、過去の実験結果の中でのベストスコアの実験点付近の候補実験点等、過去の実験点に近い候補実験点の評価値が上位に登場する傾向にある。そのような候補実験点で実験を実行しても、大きい改善量の特性点が得られない可能性が高くなる。また、複数の実験点を選択してバッチ処理をしたい場合は、互いの距離が遠い実験点を選択すると、次に算出する予測分布および評価値の精度が向上しやすくなる。よって、ユーザは、次の実験点の決定の材料として、評価値に加えて最小距離を参考にするとよい。
　また、ユーザは、最適解の探索を続行するか終了するかの判断材料にも、評価値および最小距離を参考にしてもよい。例えば、評価値が非ゼロである候補実験点はすべて実行済み実験点付近に存在し、実行済み実験点から距離が遠い候補実験点の評価値がすべてほぼ０であるような場合、それ以上実験を続けても、改善が見込めない。したがって、このような場合には、ユーザは探索を終了するとよい。
　以上のように、本変形例における評価値算出部１２は、各候補実験点について、当該候補実験点と１以上の実験点のそれぞれとの間の距離のうちの最小距離を算出する。そして、評価値出力部１３は、各候補実験点に対応する最小距離を出力する。これにより、評価装置１００のユーザは、評価値だけでなく、その最小距離にも基づいて、次の実験点となる候補実験点を選択することができる。例えば最適解探索の初期段階において、ユーザは、評価値が比較的大きく、かつ、最小距離が比較的長い評価値に対応する候補実験点を次の実験点に選択することによって、評価値の精度を向上し、適切な最適化を行うことができる。
　（変形例３）
　以上、本開示の一態様に係る評価装置１００について、上記実施の形態および各変形例に基づいて説明したが、本開示は、その実施の形態および各変形例に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を上記実施の形態または各変形例に施したものも本開示に含まれてもよい。
　例えば、上記実施の形態および各変形例では、評価値算出部１２は、ＥＩ（Expected Improvement）がベースであるＥＨＶＩを用いて評価値を算出するが、ＰＩ（Probability of Improvement）を用いて評価値を算出してもよい。すなわち、上記実施の形態では、（式４）および（式５）のように、ＥＨＶＩの応用によって評価値が算出される。しかし、ＰＩの応用によって評価値が算出されてもよい。ＰＩが用いられる場合には、評価値算出部１２は、（式５）の代わりに、以下の（式８）を用いて評価値を算出する。
　評価値算出部１２は、ＥＨＶＩと同様、（式８）によって算出される体積に対して期待値処理を行うことによって、評価値を算出する。なお、（式８）における（ｉ）～（ｉｉｉ）の場合分けの条件は、（式５）と同様である。また、ＰＩを用いた評価値の算出と、ＥＩを用いた評価値の算出とを組み合わせてもよい。例えば、第１目的特性にはＰＩが用いられ、第２目的特性にはＥＩが用いられてもよい。
　このように、本開示の評価値算出部１２は、それぞれ評価方法であるＰＩおよびＥＩのうちの少なくとも１つを用いて、各候補実験点の評価値を算出する。これにより、各候補実験点について、特性空間における制約範囲内の体積を、最適化の改善量として算出し、その改善量から評価値を適切に算出することができる。
　また、上記実施の形態では、第１目的特性および第２目的特性のように、目的特性の次元数が２である場合について説明したが、その次元数は１であってもよく、３以上であってもよい。同様に、上記実施の形態では、第１制御因子および第２制御因子のように、制御因子の総数が２である場合について主に説明したが、その総数は１であってもよく、３以上であってもよい。
　（実施の形態２）
　実施の形態１によれば、制約条件のある多目的最適化問題においても、一貫した手続きでの定量的な評価が可能になる。より具体的には、制約条件がある場合のベイズ最適化の獲得関数を利用して、各候補実験点について、特性空間における制約範囲内の体積を、最適化の改善量として算出し、その改善量から評価値を適切に算出することできる。
　しかしながら、実施の形態１では、制約条件がある場合のベイズ最適化の獲得関数を算出する際、例えば図１５Ａのように改善領域を複数の小領域に分割し、各小領域の体積の期待値を算出したのち、それらの期待値の和を取る必要がある。より一般化すると、目的特性の数すなわち次元数をＤとしたとき、改善領域は、複数のＤ次元超直方体の和領域で表すことができる。このため、制約条件がある場合のベイズ最適化の獲得関数を算出する際、改善領域を複数のＤ次元超直方体に分割し、各超直方体の体積の期待値を算出したのち、それらの期待値の和を取ることで算出する必要がある。したがって、獲得関数の計算量は、改善領域を構成する超直方体の個数に大きく依存することになる。超直方体の個数は、目的特性の数（次元数）であるDと、観測された特性点のうちの中のパレート点の数であるパレート点数Nparetoを用いて、
オーダーで指数関数的に増加する。なお、実用的には、概ね3次元（Ｄ＝３）が計算できる限界となる。
　そこで、実施の形態２では、探索効率を保ったまま計算量を削減し、定量的な評価を高速に実行するために改良した改善領域の体積の算出方法について説明する。
　以下、実施の形態１と異なる点を中心に説明する。
　［ハードウェア構成］
　図２２は、本実施の形態に係る評価装置１００Ａの構成を示す図である。図３と同様の要素には同一の符号を付しており、詳細な説明は省略する。
　図２２に示す評価装置１００Ａは、実施の形態１に係る図３に示す評価装置１００に対して、設定情報２１０Ａに領域縮小規則データ２１４が追加されている点と、演算回路１０２Ａの一部機能とが異なる。
　領域縮小規則データ２１４は、パレート境界を算出する規則を示し、改善量の算出方法を変更させる。より具体的には、領域縮小規則データ２１４は、少なくとも２つの目的特性によって表現される特性空間の分割方法を示し、かつ、アクティブ領域を縮小する次元を、分割方法により分割された特性空間の領域ごとに示す。詳細については後述する。
　［機能構成］
　図２３は、本実施の形態に係る演算回路１０２Ａの機能構成を示すブロック図である。図４と同様の要素には同一の符号を付しており、詳細な説明は省略する。
　図２３に示す演算回路１０２Ａは、実施の形態１に係る図４に示す演算回路１０２に対して、受信制御部１０Ａと、評価値算出部１２Ａとの一部機能が異なる。
　受信制御部１０Ａは、第１受信手段、第２受信手段、第３受信手段および第４受信手段に該当し、入力部１０１ａまたは通信部１０１ｂを介して、特性点データ２０１、制御因子データ２１１、目的データ２１２、制約条件データ２１３および領域縮小規則データ２１４を受信する。その他の機能については実施の形態１で説明した通りであるので、説明を省略する。
　評価値算出部１２Ａは、候補実験点データ２２１および実験結果データ２２２を記憶部１０５から読み出し、それらのデータに基づいて予測分布データ２２３を生成し、その予測分布データ２２３を記憶部１０５に格納する。さらに、評価値算出部１２Ａは、その予測分布データ２２３と、受信制御部１０Ａによって取得された目的データ２１２、制約条件データ２１３および領域縮小規則データ２１４とに基づいて、評価値データ２２４を生成し、その評価値データ２２４を記憶部１０５に格納する。
　［入力］
　図２４は、本実施の形態に係る領域縮小規則データ２１４の入力を受け付けるために表示部１０４に表示される受付画像の領域縮小規則領域の一例を示す図である。
　受付画像３００は、図５で説明した制御因子領域３１０と、目的特性領域３２０と以外に、図２４に示す領域縮小規則領域３３０を含む。領域縮小規則領域３３０は、領域縮小規則データ２１４の入力を受け付けるための領域である。
　領域縮小規則領域３３０は、入力フィールド３３１および３３２を有する。入力フィールド３３１は、領域縮小規則を適用するかどうかを入力するためのフィールドである。入力フィールド３３２は、領域縮小規則を適用する場合、領域分割に空集合を含むかどうかを入力するためのフィールドである。具体的には、入力フィールド３３１には、領域縮小規則を「適用する」または「適用しない」を選択するための２つのラジオボタンを有する。また、入力フィールド３３２には、領域分割において空集合設定を行うかどうかを示す「有り」または「なし」を選択するための２つのラジオボタンを有する。
　例えば、ユーザによる入力部１０１ａへの入力操作によって、「適用する」を示すラジオボタンが選択された場合、評価装置１００Ａは、評価値の算出処理において領域縮小規則を適用する。さらに、ユーザによる入力部１０１ａへの入力操作によって、「適用する」を示すラジオボタンが選択された場合、評価装置１００Ａは、評価値の算出処理において、空集合を含む領域分割を行った上で領域縮小規則を適用して改善領域の体積を算出する。
　図２５は、本実施の形態に係る領域縮小規則データ２１４の一例を示す図である。図２４の受付画像３００の領域縮小規則領域３３０によって入力された領域縮小規則データ２１４は、例えば図２５に示すように、パレート境界の定義が変更されることと、アクティブ領域の定義が変更されることと、領域分割が適用されることとを示す。これにより改善量の算出方法が変更される。なお、変更された定義および適用される領域分割の具体例は後述するため、ここでの説明は省略する。
　［処理動作］
　評価装置１００Ａは、上述のように入力された各データを用いて評価値の算出および出力に関する処理を行う。
　図２６は、本実施の形態に係る評価装置１００Ａの処理動作を示すフローチャートである。図２６に示すステップＳ２１～ステップＳ２３、ステップＳ２５、ステップＳ２７～ステップＳ２９は、図９で説明したステップＳ１～ステップＳ４、ステップＳ６～ステップＳ８と同様の処理であるので、ここでの説明は省略する。
　ステップＳ２４において、受信制御部１０Ａは、パレート境界を算出する規則を示す領域縮小規則データ２１４を取得する。より具体的には、受信制御部１０Ａは、少なくとも２つの目的特性によって表現される特性空間の分割方法を示し、かつ、アクティブ領域を縮小する次元を、分割方法により分割された特性空間の領域ごとに示す領域縮小規則データ２１４を取得する第４受信ステップを実行する。
　そして、ステップＳ２６において、評価値算出部１２Ａは、目的データ２１２、制約条件データ２１３、候補実験点データ２２１、実験結果データ２２２および領域縮小規則データ２１４に基づいて、各候補実験点の評価値を算出する。つまり、評価値算出部１２Ａは、上記のデータに基づいて、未知の特性点の評価値を算出する算出ステップを実行する。具体的には、評価値算出部１２Ａは、候補実験点データ２２１に示される各候補実験点の評価値を、領域縮小規則に基づいて変更した改善量の算出方法を用いて算出する。また、この算出ステップにおいて、評価値算出部１２Ａは、制約条件の適合度合いに応じた重み付けを、少なくとも１つの目的特性に対する評価値に付与してもよい。そして、評価値算出部１２Ａは、その算出された各候補実験点の評価値を示す評価値データ２２４を生成する。
　［評価値の算出処理］
　図２７は、評価値算出部１２Ａによる処理を説明するための図である。評価値算出部１２Ａは、候補実験点作成部１１によって生成された候補実験点データ２２１と、記憶部１０５にある実験結果データ２２２とに基づいて、予測分布データ２２３を生成する。そして、評価値算出部１２Ａは、各目的特性の最適化目的を示す目的データ２１２と、各目的特性の規格範囲を示す制約条件データ２１３と、パレート境界を算出する規則を示す領域縮小規則データ２１４と、予測分布データ２２３とに基づいて、評価値データ２２４を生成する。
　本実施の形態における評価値算出部１２Ａは、実施の形態１と同様に、各候補実験点の評価値をベイズ最適化に基づいて算出する。つまり、評価値算出部１２Ａでも、上記ステップＳ２５において記憶部１０５から読み出された実験結果データ２２２に示される既知の実験結果に対して、上記（式１）および（式２）を用いた演算を行うことにより、予測分布データ２２３を生成する。
　また、評価値算出部１２Ａは、ベイズ最適化における獲得関数と呼ばれる評価基準に基づき評価値を算出する。この評価値の算出には、上述の予測分布が用いられる。また、本実施の形態における獲得関数は、制約条件があるベイズ最適化における獲得関数であり、上記（式４）で表される。なお、制約条件がない場合には、評価値算出部１２Ａは、上記（式３）で表される獲得関数を用いればよい。
　本実施の形態でも、（式４）に示されるＩＣ（ｙｎｅｗ）は、制約条件がある場合の改善量であり、既存のパレート境界と、新たに定まるパレート境界とで囲まれた領域の体積を表す。しかしながら、本実施の形態では、パレート境界を算出する規則を示す領域縮小規則により、パレート境界の定義、アクティブ領域の定義が変更されている。この結果、改善領域の算出方法が変更されている。
　以下では、本実施の形態における改善領域の算出方法の前に、パレート境界を算出する規則を示し改善量の算出方法を変更させる領域縮小規則について説明する。
　領域縮小規則では、特性空間を所定数の領域に分割する方法と、パレート境界の算出方法とが示される。以下では、説明を簡単にするため、規格範囲が設定されていないとして説明する。
　領域縮小規則が適用される場合、目的特性の数Ｄ個すなわちＤ次元の目的特性に対して、特性空間全体をＤ＋１個の領域に分割（領域分割）される。領域分割する方法は、任意の方法でよい。領域分割された特性空間の領域は、順に領域１，領域２，・・・，領域Ｄ，領域Ｄ＋１と名付けられるとする。
　図２８は、本実施の形態に係る領域縮小規則が適用される場合に領域分割される特性空間の一例を示す図である。図２８に示される例では、目的特性の数が２個（Ｄ＝２）であることから、特性空間が３個の領域すなわち領域１、領域２及び領域３に領域分割されている。
　図２８に示される例では、特性空間において「－∞」～「１０」の第１目的特性の範囲と「－∞」～「１０」の第２目的特性の範囲とからなる第３領域が示されている。また、特性空間において第３領域を除く領域で４５度の傾きで規定される直線よりも下の領域である第１領域と、第３領域を除く領域で４５度の傾きで規定される直線よりも上の領域である第２領域とが示されている。
　なお、領域縮小規則が適用される場合、領域分割された特性空間のＤ＋１個の領域には、空集合が設定されてもよいが、Ｄ＋１個の領域すべて空集合はナンセンスであるため少なくとも１つは空でない集合とする。
　図２９Ａ～図２９Ｃは、本実施の形態に係る領域縮小規則が適用される場合に領域分割される特性空間の別の例を示す図である。
　図２９Ａに示される例では、２次元の目的特性に対して、領域３が空集合に設定されることで特性空間が２個の領域に分割される場合が示されている。より具体的には、図２９Ａに示されるように、第３領域が空集合であることから、特性空間においてｙ２＝２ｙ１―２０で規定される直線よりも下の領域である第１領域と、特性空間において４５度の傾きで規定される直線よりも上の領域である第２領域とに領域分割されている。
　図２９Ｂに示される例では、２次元の目的特性に対して、領域２及び領域３が空集合に設定されることで特性空間が１個の領域１に分割される場合が示されている。より具体的には、図２９Ｂに示されるように、第２領域及び第３領域が空集合であることから、特性空間全体が第１領域のみに領域分割されている。
　図２９Ｃに示される例では、２次元の目的特性に対して、領域３が空集合に設定されることで特性空間が２個の領域に分割される場合が示されている。つまり、図２９Ｃに示される例では、第３領域が空集合であることから、特性空間全体が第１領域及び第２領域に領域分割されている。より具体的には、図２９Ｃに示されるように、特性空間において、円の中心（１０，１０）と半径５とによって表現される領域である第１領域と、特性空間において第１領域以外の領域である第２領域とに領域分割されている。
　このように、領域縮小規則が適用される場合、領域分割された特性空間のＤ＋１個の領域には、空集合が設定されてもよい。ただし、この場合、特性空間上の任意の点は、空集合以外のいずれか一つの領域に振り分けられる。
　続いて、領域縮小規則が適用される場合におけるパレート境界の算出方法について説明する。
　ここで、パレート点は、上述したように、現時点で暫定的にパレート解とされている特性点であり、非劣解とも称される。例えば２次元の目的特性から構成される特性空間において、第１目的特性および第２目的特性のそれぞれの最適化目的が最小化であるとする。この場合、パレート点は、観測されたすべての他の特性点と比較して、その点よりも第１目的特性および第２目的特性のいずれの値も小さい他の特性点は存在しない特性点となる。
　また、パレート境界は、少なくとも１つのパレート点の座標から定まる境界である。実施の形態１では、例えば図１４Ａに示されるように、パレート境界は、パレート点の座標のそれぞれを、第１目的特性および第２目的特性の値が大きい方向へ延長して結ぶことにより定まる境界線であった。一方、本実施の形態では、領域縮小規則が適用されるとパレート境界の算出方法が変更される。すなわち、領域縮小規則が適用される場合、アクティブ領域を縮小する次元が領域ごとに定められることでパレート境界の定義が変更される。
　ここで、領域縮小規則が適用されてパレート境界の定義が変更された場合におけるパレート境界の算出方法について説明する。
　図３０Ａ～図３３Ｂは、本実施の形態に係るパレート境界の算出方法を説明するための図である。図３０Ａ、図３１Ａ、図３２Ａおよび図３３Ａには、定義変更前のパレート境界の算出方法すなわち領域縮小規則が適用されない実施の形態１におけるパレート境界の算出方法の例が示されている。図３０Ｂ、図３１Ｂ、図３２Ｂおよび図３３Ｂには、定義変更後のパレート境界の算出方法すなわち領域縮小規則が適用される本実施の形態におけるパレート境界の算出方法の例が示されている。なお、図３０Ａ～図３３Ｂでは、例えば２次元の目的特性から構成される特性空間において、第１目的特性および第２目的特性のそれぞれの最適化目的が最小化であるとしている。また、図３０Ｂ、図３１Ｂ、図３２Ｂおよび図３３Ｂでは、特性空間において原点を通り４５度の傾きで規定される直線で領域１と領域２とに領域分割されているとしている。
　例えば図３０Ａおよび図３０Ｂにおいて、１つ目の新規特性点ｙｎｅｗ（１）が得られた際、新規特性点ｙｎｅｗ（１）がパレート点となる。この場合、図３０Ａに示すように、領域縮小規則が適用されず定義変更されないときには、新規特性点ｙｎｅｗ（１）の座標それぞれを、第１目的特性および第２目的特性の方向に沿って結ぶことにより定まる境界線がパレート境界となる。一方、図３０Ｂに示すように、領域縮小規則が適用されて定義変更されるときには、新規特性点ｙｎｅｗ（１）は、領域２に位置するため、新規特性点ｙｎｅｗ（１）の第１目的特性の座標を通り、第２目的特性の軸に平行により定まる境界線がパレート境界となる。換言すると、新規特性点ｙｎｅｗ（１）の第１目的特性の座標ｙｎｅｗ１（１）は、新規特性点ｙｎｅｗ（１）の第２目的特性の座標ｙｎｅｗ２（１）よりも大きい。このため、新規特性点ｙｎｅｗ１（１）より右側の領域を、非アクティブ領域とする。また、このことは、新規特性点ｙｎｅｗ（１）の座標ｙｎｅｗ１（１）でアクティブ領域を縮小（削減）すると表現することもできる。
　次に、例えば図３１Ａおよび図３１Ｂにおいて、２つ目の新規特性点ｙｎｅｗ（２）が得られた際、新規特性点ｙｎｅｗ（２）はパレート点となる。この場合、図３１Ａに示すように、領域縮小規則が適用されず定義変更されないときには、特性点ｙｎｅｗ（１）の座標と新規特性点ｙｎｅｗ（２）の座標とを、第１目的特性および第２目的特性の値が大きい方向へ延長して結ぶことにより定まる境界線がパレート境界となる。一方、図３１Ｂに示すように、領域縮小規則が適用され定義変更されるときには、新規特性点ｙｎｅｗ（２）は、領域１に位置する。このため、新規特性点ｙｎｅｗ（２）の第２目的特性の座標を通り、第１目的特性の軸に平行により定まる線と特性点ｙｎｅｗ（１）の第１目的特性の座標を通り、第２目的特性の軸に平行により定まる線とからなる境界線がパレート境界となる。換言すると、新規特性点ｙｎｅｗ（２）の第２目的特性の座標ｙｎｅｗ２（２）は、新規特性点ｙｎｅｗ（２）の第１目的特性の座標ｙｎｅｗ１（２）よりも大きい。このため、新規特性点ｙｎｅｗ１（１）より右側の領域、または、新規特性点ｙｎｅｗ２（２）より上側の領域を、非アクティブ領域とする。また、このことは、新規特性点ｙｎｅｗ（２）の座標ｙｎｅｗ２（２）でアクティブ領域をさらに縮小（削減）していると表現することもできる。
　なお、例えば図３２Ａおよび図３２Ｂにおいて、３つ目の新規特性点ｙｎｅｗ（３）が得られた際、新規特性点ｙｎｅｗ（３）はパレート点とならない。この場合、図３２Ａおよび図３２Ｂに示すように、パレート境界は変更されないことになる。換言すると、新規特性点ｙｎｅｗ（３）がアクティブ領域に含まれず、非アクティブ領域に含まれる場合には、パレート点とならないため、パレート境界は変更されない。
　次に、例えば図３３Ａにおいて、４つ目の新規特性点ｙｎｅｗ（４）が得られた際、新規特性点ｙｎｅｗ（４）はパレート点となる。この場合、図３３Ａでは、新規特性点ｙｎｅｗ（４）がアクティブ領域に含まれるため、パレート境界は変更される。一方、図３３Ｂでは、新規特性点ｙｎｅｗ（４）が非アクティブ領域に含まれるため、パレート境界は変更されないことになる。
　このように、本実施の形態では、領域縮小規則が適用される場合、アクティブ領域を縮小する次元が領域ごとに定められることでパレート境界の定義が変更されることになる。
　図３４は、本実施の形態に係る制約条件がない場合のパレート境界の一例を示す図である。図３４には、図２８に示されるように領域分割された場合に算出されたパレート境界の一例が示されている。なお、図３４では、例えば２次元の目的特性から構成される特性空間において第１目的特性および第２目的特性のそれぞれの最適化目的は最小化であるとしている。また、図３４に示す例では、領域１および領域２は、パレート境界の算出に用いられる一方で、領域３ではパレート境界の算出には用いられないとしている。
　そして、このようなパレート境界は、（式９）のように定式化できる。
　ここで、Ｄ次元の目的特性に対して、特性空間全体はＤ＋１個の領域に分割されており、各ｄ＝１，…Ｄに対して、観測された特性点のうち、領域ｄに含まれる特性点の中で、ｙｄ座標が一番小さい座標をｙ’ｄとおく。なお、領域Ｄ＋１に含まれる特性点に対しては何もしないする。また、ｙ’ｄの初期値は各規格上限値とする。このとき、（式９）で表される領域が、本実施の形態におけるパレート境界となる。（式９）において、Ｄは目的特性の数（次元数）を表し、
は、ｙがＤ次元ユークリッド空間の要素であることを表す。＼は、バックスラッシュの左側の集合からバックスラッシュの右側の集合に含まれる要素を取り除いた集合（差集合）であることを表す。
すなわちターンエーは、集合における「任意」の要素を取ることを表す。
　したがって、評価値算出部１２Ａは、（式９）により、領域ｄに含まれる特性点の中で、ｙｄ座標が一番小さい座標ｙ’ｄを有する特性点における座標ｙ’ｄで定められる境界をパレート境界として算出することになる。
　図３５は、図３４に示されるパレート境界のもとでの改善領域の一例を示す図である。
　このように、評価値算出部１２Ａは、最適化目的が最小化である目的特性の次元と、最適化目的が規格範囲内である目的特性の次元とについて、図３５のように、改善領域の体積である改善量（すなわちＩ（ｙｎｅｗ））を算出することができる。つまり、領域縮小規則が適用される場合、評価値算出部１２Ａは、既存のパレート境界と、新たに定まるパレート点とで定まる１つの小領域の体積の期待値を算出することで改善量（すなわちＩ（ｙｎｅｗ））を算出することができる。これを直観的に説明すると、評価値算出部１２Ａは、１つの小領域の体積の期待値で表すことのできる非アクティブ領域の増加量により、改善量を算出することができる。
　このような改善量を算出する方法は、新規特性点ｙｎｅｗのｙｄ座標をｙｎｅｗ，ｄとおくと、ｙｎｅｗが観測された際の改善領域の体積（改善量と呼ばれる）として（式１０）のように定義できる。
　（式１０）において、ｙｎｅｗ，ｄは、新規特性点の次元ｄの座標（第ｄ成分）を表し、ｙ’ｄは、パレート境界を定める観測された特性点（パレート点）の次元ｄの座標（第ｄ成分）を表す。また、（式１０）において、ある次元ｄに対して、ｙｎｅｗ，ｄがｙ’ｄ未満であれば、改善量（すなわちＩ（ｙｎｅｗ））は非負実数となる一方で、ある次元ｄに対して、ｙｎｅｗ，ｄがｙ’ｄ以上なら改善量（すなわちＩ（ｙｎｅｗ））は、負実数ではなく０となる。
　そして、このように算出される改善量の体積で表される改善量（すなわちＩ（ｙｎｅｗ））が大きいほど、暫定の実験結果から大きく改善された特性点が得られたと、実施の形態１と同様に考えることができる。
　また、本実施の形態における獲得関数は、ＥＨＶＩと同様に、各候補実験点について、ガウス過程回帰から算出された予測分布数を用いて定義される。より具体的には、本実施の形態における獲得関数は、（式４）のように、改善量の期待値を取った量で定義できる。そして、改善量の期待値を取った量の値の大小で、次に実行すべき実験点の良し悪しを評価する。
　以上のように、本実施の形態における獲得関数の算出方法によれば、実施の形態１で説明したような小領域への分割および和計算を必要とせずに、単一のＤ次元超直方体の体積の期待値さえ算出すれば、獲得関数を算出することができる。これにより、獲得関数の計算量は、パレート点数N_paretoには非依存で、目的特性数Dの増加に関して多項式オーダーでの増加に抑えられるので、探索効率を保ったまま高速な解析処理を実現できる。
　なお、上記では、規格範囲が設定されていない場合に適用される領域縮小規則について説明したがこれに限らない。規格範囲が設定されていてもよく、同様に領域縮小規則が適用される。
　図３６は、本実施の形態に係る制約条件がある場合のパレート境界の一例を示す図である。図３７は、図３６に示されるパレート境界のもと制約条件がある場合に定められる改善領域の一例を示す図である。
　図３６は、図３４と比較して規格範囲が設定されている点が異なり、その他は同じである。すなわち、図３６には、図２８に示されように領域分割され、かつ、２次元の目的特性から構成される特性空間において規格範囲が設定されているときに算出されたパレート境界の一例が示されている。なお、図３６に示される例でも、第１目的特性および第２目的特性のそれぞれの最適化目的は最小化であるとしている。
　このような場合でも、規格範囲内において領域縮小規則が定められるので、新規特性点が観測されるたびに、上述したのと同様の手続きでアクティブ領域の縮小が実行される。すなわち、評価値算出部１２Ａは、（式９）により、領域ｄに含まれる特性点の中で、ｙｄ座標が一番小さい座標ｙ’ｄを有し、かつ規格範囲内にある特性点の座標ｙ’ｄで定められる境界をアクティブ境界として算出する。
　すると、改善領域が図３７のように定まるので、評価値算出部１２Ａは、（式４）および（式５）を用いて、獲得関数の評価を算出することができる。
　なお、領域縮小規則を設定する際、目的特性の次元ｄごとに探索の優先度を付与してもよい。以下、探索の優先度を考慮した領域縮小規則を設定する方法等について説明する。
　図３８Ａは、図２８に示す分割領域における探索優先度を概念的に示す図である。
　例えば、図２８では、特性空間が３個の領域すなわち領域１、領域２及び領域３に領域分割されており、領域１と領域２とは、領域３の部分を除いた特性空間の領域を等分割するように区分けされている。なお、領域３はパレート境界の算出には用いられない特性空間の領域である。また、第１目的特性および第２目的特性のそれぞれの最適化目的が最小化であるとしている。これらのもとで、特性点を順に観測していくと、領域１に入る確率と領域２に入る確率とは同程度になる。このため、同程度の速度でパレート境界が目的特性の各軸の最小方向に移動することになる。つまり、図２８に示されるように領域分割した場合、探索の優先度は付与されないといえる。
　しかし、実施の形態１では、すべてのパレート点をもとにパレート境界が設定されるのに対して、本実施の形態では一部のパレート点をもとにパレート境界が設定される。このため、図２８に示すように分割領域する場合、図３８Ａに示すように、例えば第１目的特性の座標ｙ１は他のパレート点より小さいが、第２目的特性の座標ｙ２は他のパレート点よりも大きいようなパレート点は探索されにくい。同様に、例えば第２目的特性の座標ｙ２は他のパレート点より小さいが、第１目的特性の座標ｙ１は他のパレート点よりも大きいようなパレート点は探索されにくい。したがって、評価値算出部１２Ａは、これらの位置にあるようなパレート点を探索しきれない可能性がある。なお、このようなパレート点を探索したいケースはレアケースであるが、漏れずに探索したい場合には、以下で説明するような領域分割を行えばよい。
　例えば、図２９Ａに示すように領域分割される場合では、図２８に示される分割領域と比較して領域１と領域２とを分割する分割線（境界）の傾きが急になっている。このように領域分割される場合、特性点を順に観測していくと、新規の特性点が領域１に観測される確率は、新規の特性点が領域２に観測される確率よりも高くなる。このため、パレート境界が第１目的特性の軸Y1の最小方向に移動しやすくなる。つまり、図２９Ａに示されるように領域分割した場合、第１目的特性の軸Y1の最小方向への探索の優先度を付与していると解釈できる。
　図３８Ｂは、図２９Ｂに示す分割領域における探索優先度を概念的に示す図である。
　なお、例えば図２９Ｂでは、特性空間が１個の領域１に領域分割される極端な場合が示されていると解釈できる。図３８Ｂに示される例でも、第１目的特性および第２目的特性のそれぞれの最適化目的は最小化であるとする。これらのもとで、特性点を順に観測していくと、図３８Ｂに示すように、特性点が観測される位置に依らず、観測された特性点より第１目的特性の座標y1が小さければ、パレート境界は第１目的特性の軸Y1方向の最小方向に移動するため、第１目的特性の座標y1が小さい特性点が探索されやすくなる。
　以上のことから、各目的特性に探索の優先度を付与する場合、分割領域の大きさと分割線（境界）とを設定することで、付与する優先度を調整することができるのがわかる。また、各目的特性に探索の優先度を付与しない場合、分割領域を等分に区切るとよい。
　なお、図２８に示す領域分割の例では、パレート境界の算出には用いられない特性空間の領域である領域３が設定されている。換言すると、図２８に示す領域３は、パレート境界の算出には用いられないため、パレート点になり得る特性点が観測されても、アクティブ領域を縮小しない。領域縮小規則を設定する際にこのような領域３を設ける意図としては２つある。一つ目の意図は、規格外に外れる確率を抑制するためであり、二つ目の意図は、獲得関数の値がアンダーフローするのを抑制するためである。
　以下では、まず、一つ目の意図について図３９Ａおよび図３９Ｂを用いて説明する。
　図３９Ａおよび図３９Ｂは、本実施の形態に係る規格範囲に領域縮小規則が適用される場合の予測分布とパレート境界との位置関係を説明するための図である。なお、図３９Ａおよび図３９Ｂでは、同じ規格範囲が設定されている。
　図３９Ａまたは図３９Ｂに示すような観測済み特性点によりパレート境界が算出された状況において、実験点Ａおよび実験点Ｂに対する予測分布が与えられた状況を考える。
　図３９Ａに示される状況では、実験点Ａで実験を行うと、実験点Ａに対する予測分布の中心ほど特性点が観測される確率が高い。このため、パレート境界と新規特性点とで定まる改善領域の体積（改善量）が正となる確率が高い上、観測された特性点が規格範囲内に入る確率も十分高い。一方、図３９Ａに示される状況において、実験点Ｂで実験を行うと、実験点Ｂに対する予測分布の中心ほど特性点が観測される確率が高い。しかし、観測された特性点が規格範囲内に入れば大きな改善量を獲得できるが、観測された特性点が規格範囲内に入る確率は極小である。したがって、獲得関数を算出すると実験点Ａが推薦されやすい。
　続いて、図３９Ｂについても同じ考察をする。すなわち、図３９Ｂに示される状況では、実験点Ａで実験を行うと、実験点Ａに対する予測分布の中心ほど特性点が観測される確率が高く、観測される特性点が規格範囲内に入る確率は十分高い。しかし、パレート境界と新規特性点とで定まる改善領域の体積（改善量）が正となる確率は極めて低い。一方、図３９Ｂに示される状況において、実験点Ｂで実験を行うと、実験点Ｂに対する予測分布内に特性点が観測される確率が高い。また、観測される特性点が規格範囲内に入る確率は極小であるが、観測される特性点が規格範囲内に入れば大きな改善量を獲得できる。したがって、獲得関数を算出すると実験点Ｂが推薦されやすい。
　以上から、改善量としては微量でも、極力規格外に外れることなく探索を進めることが目的の一つにあれば、領域３のような領域をある程度の大きさで確保しておくとよい。領域分割の際、このような領域３が設定されることで規格外に外れる確率を抑制することができるからである。なお、観測される特性点が規格範囲外に外れることを厭わず、より最小方向の最適解を探索することが目的であれば、このような領域３を設定する必要はない。
　次に、二つ目の意図について図４０Ａおよび図４０Ｂを用いて説明する。
　図４０Ａは、本実施の形態に係る規格範囲に領域縮小規則が適用される場合において観測され得る特性点の位置を示す図である。図４０Ｂは、本実施の形態に係る規格範囲に領域縮小規則が適用される場合において観測される特性点の順番とパレート境界との関係を説明するための図である。
　図４０Ａでは、パレート境界を算出せずに観測され得る特性点の位置が示されており、規格範囲内に含まれる特性点としてＡ、Ｂ、Ｃ、Ｄの4点がある場合の例が示されている。図４０Ｂでは、実験が実施されて特性点が観測されつつあり、図４０Ａに示すような位置に観測され得る特性点Ａ、Ｂ、Ｃ、Ｄの４点の特性点のうち、特性点Ａが観測された状況を示している。
　そして、図４０Ｂに示される状況では、特性点Ａにおける第１目的特性の座標y1でパレート境界が引かれることになる。この場合、評価値算出部１２Ａは、（式４）を用いて次の特性点の良さを評価することになるが、図４０Ｂに示す規格範囲とパレート境界とで囲まれる小さな範囲で、予測分布の積分計算をすることになる。すると、評価値算出部１２Ａは、桁数が極めて小さい評価値を算出することになってしまうので、演算回路１０２Ａの中で０として処理されてしまう恐れがある。このため、評価値算出部１２Ａは、理論上は差がある実験点同士であっても当該実験点同士に対して正しい評価ができなくなる可能性がある。
　そこで、桁数が極めて小さい評価値を算出しないように、領域３のような領域をある程度の大きさで確保しておくとよい。領域分割の際、このような領域３が設定されることで獲得関数の値がアンダーフローするのを抑制することができるからである。
　以上の獲得関数の算出方法は、厳密解を求めるための方法である。ガウス過程回帰のように正規分布で求まる手法を用いて予測分布の算出を行う場合には、このように獲得関数を解析的に算出できる。
　なお、候補実験点と特性点の対応関係が何らかの確率分布で推定できるのであれば、ガウス過程回帰以外の手法を用いてもよい。ガウス過程回帰以外の手法としては、カルマンフィルタなどが挙げられる。しかし、算出される予測分布が正規分布とは限らない別の手法を用いた場合、獲得関数を解析的に算出できない可能性がある。そこで、モンテカルロ法等の手法で獲得関数を近似的に算出してもよい。
　また、本実施の形態では、制約条件として規格範囲が設けられている場合があることを説明したが、実施の形態１の変形例１と同様に、規格範囲だけでなく、その規格範囲とは別に範囲が設けられてもよい。例えば、図１７に示すように、特性点が最低限収まってほしい規格範囲の中に、特性点が可能な限り収まってほしい管理範囲が設定されていてもよい。なお、管理範囲が設定される場合の詳細については、実施の形態１の変形例１と同様であるため、説明は省略する。
　また、本実施の形態では、評価値算出部１２Ａは評価値を算出するとして説明したが、これに限らない。評価値算出部１２Ａは、実施の形態１の変形例２と同様に、その評価値だけでなく最小距離も算出してもよい。
　図４１は、本実施の形態に係る評価値算出部１２Ａが最小距離も算出する場合の処理を説明するための図である。図２７と同様の要素には同一の符号を付しており、詳細な説明は省略する。なお、評価値算出部１２Ａは、候補実験点データ２２１および実験結果データ２２２に基づいて、各候補実験点の最小距離を算出するが、この算出処理は、実施の形態１の変形例２で説明した通りであるので、説明を省略する。
　これにより、評価装置１００Ａのユーザは、評価値だけでなく、その最小距離にも基づいて、次の実験点となる候補実験点を選択することができる。例えば最適解探索の初期段階において、ユーザは、評価値が比較的大きく、かつ、最小距離が比較的長い評価値に対応する候補実験点を次の実験点に選択することによって、評価値の精度を向上し、適切な最適化を行うことができる。
　以上のようなフローを経る過程で、過去の実験結果から、次に行うべき最適な実験条件（すなわち候補実験点）を定量的にかつ高速に解析することができる。その結果、ユーザなどの解析者の力量に依らず開発サイクルの短縮と解析処理の高速化が期待できる。
　つまり、実施の形態２によれば、評価値算出部１２Ａは、領域縮小規則データに基づき、パレート境界の定義を変更できるので、単一の超直方体の体積の期待値の算出のみで、ベイズ最適化における獲得関数を算出できるようになる。これにより、評価値算出部１２Ａは、探索効率を保ったまま獲得関数の計算量を抑制できるので、各候補実験点の評価を高速で行えるようになる。
　よって、実施の形態２によれば、規格範囲による制約条件のある最適化問題に対して、探索効率を保ったまま計算量を多項式関数オーダーまで削減し、最適解探索のための定量評価を高速に実行することができる。
　（実施例）
　領域縮小規則を適用して目的特性の最適解の探索を行う際の処理の一例、すなわちアクティブ領域を縮小させてパレート境界を算出する処理の一例を実施例として以下説明する。
　図４２は、本実施の形態の実施例に係る最適解の探索を行う際に得られた実験結果データシートの一例を示す図である。なお、予測分布の算出処理および獲得関数の算出処理は、実施の形態１でＥＨＶＩおよびＥＨＶＩＣを用いて説明した通りであるので、説明を省略する。
　図４２には、実験番号ごとに、その実験番号によって識別される実験で用いられた実験点と、その実験によって得られた実験結果である特性点とが示されている。また、図４２には、制御因子の数が３つ、目的特性の数が３であり、各制御因子の取り得る水準が１，２，…，１０である場合の例が示されている。また、各目的特性数の最適化目的はいずれも最小化であり、各目的特性の規格範囲は１０～４０であるとしている。そして、この規格範囲は、（式１１）のように表記できる。また、本実施例における領域縮小規則は、（式１２）のように定めている。ただし、（式１２）において０は原点（０，０，０）を表すとしている。
　以下では、図４２に示される実験番号に従って実験を順に繰り返すことで目的特性の最適解を探索する際の処理の流れについて説明する。
　まず、初めに、パレート境界を定める座標（以下、パレート境界座標と称する）を規格最大値である（４０，４０，４０）に初期化する。つまり、３つの目的特性（第１制御因子～第３制御因子）によって表現される特性空間において、領域縮小規則に従ってアクティブ領域を、規格最大値で表される領域に初期化する。このアクティブ領域は、パレート境界座標で表現できるので、本実施の形態では、パレート境界座標の最大値を削ることで、アクティブ領域の縮小化を表現する。
　また、実験番号が６番目までの実験によって得られた実験結果が初期値として与えられているとするが、６番目までの実験によって得られた実験結果である特性点はすべて規格外となっている。このため、６番目までの実験が終了した時点ではパレート境界座標は（４０，４０，４０）である。
　次に、実験番号が６番目までの実験結果をもとに、評価値算出部１２Ａは、実験番号が７番目の実験点候補ごとの予測分布を算出し、（式４）を用いて、実験点候補ごとに獲得関数を算出する。算出した獲得関数から得た評価値が最大となる実験点が７番目の実験点として採用されて、実験番号が７番目の実験結果が図４２に示されるように与えられる。ここで、実験番号が７番目の実験結果である特性点は規格範囲内であり、（式１２）によって定められる領域２に属している。このため、パレート境界座標は、第２目的特性の座標で更新されてすなわちＹ２次元で削られて、（４０，２４，４０）となる。
　次に、実験番号が７番目の実験結果をもとに、評価値算出部１２Ａは、実験番号が８番目の実験点候補ごとの予測分布を算出し、（式４）を用いて、実験点候補ごとに獲得関数を算出する。算出した獲得関数から得た評価値が最大となる実験点が８番目の実験点として採用されて、実験番号が８番目の実験結果が図４２に示されるように与えられる。ここで、実験番号が８番目の実験結果である特性点は規格範囲内であり、（式１２）によって定められる領域３に属している。このため、パレート境界座標は、第３目的特性の座標で更新されてすなわちＹ３次元で削られて、（４０，２４，２８）となる。
　次に、実験番号が８番目の実験結果をもとに、評価値算出部１２Ａは、実験番号が９番目の実験点候補ごとの予測分布を算出し、（式４）を用いて、実験点候補ごとに獲得関数を算出する。算出した獲得関数から得た評価値が最大となる実験点が９番目の実験点として採用されて、実験番号が９番目の実験結果が図４２に示されるように与えられる。ここで、実験番号が９番目の実験結果である特性点は規格範囲外である。このため、パレート境界座標は、更新されず、（４０，２４，２８）のままである。
　次に、実験番号が９番目の実験結果をもとに、評価値算出部１２Ａは、実験番号が１０番目の実験点候補ごとの予測分布を算出し、（式４）を用いて、実験点候補ごとに獲得関数を算出する。算出した獲得関数から得た評価値が最大となる実験点が１０番目の実験点として採用されて、実験番号が１０番目の実験結果が図４２に示されるように与えられる。ここで、実験番号が１０番目の実験結果である特性点は規格範囲内であり、（式１２）によって定められる領域１に属している。このため、パレート境界座標は、第１目的特性の座標で更新されてすなわちＹ１次元で削られて、（２１，２４，２８）となる。
　次に、実験番号が１０番目の実験結果をもとに、評価値算出部１２Ａは、実験番号が１１番目の実験点候補ごとの予測分布を算出し、（式４）を用いて、実験点候補ごとに獲得関数を算出する。算出した獲得関数から得た評価値が最大となる実験点が１１番目の実験点として採用されて、実験番号が１１番目の実験結果が図４２に示されるように与えられる。ここで、実験番号が１１番目の実験結果である特性点は規格範囲内であり、（式１２）によって定められる領域１に属している。しかし、実験番号が１１番目の実験結果である特性点の第１目的特性の値（ｙ１座標）は、パレート境界のｙ１座標より大きいため、パレート境界座標は、更新されず、（２１，２４，２８）のままである。
　以上のような処理を、実験結果が一組追加されるごとに行うことで、探索効率を保ったまま計算効率の問題を改善した最適解探索が可能となる。
　（変形例）
　領域縮小規則により領域分割される分割線は、上記の実施の形態２で説明したものに限定されない。
　図４３Ａおよび図４３Ｂは、領域縮小規則により領域分割する分割線の別の例を説明するための図である。
　例えば図４０Ａに示すように、規格範囲の制限条件がある領域縮小規則により分割される領域として、規格範囲の最小点を基準点とした分割線で領域が分割されるとして説明したが、これに限らない。
　例えば図４３Ａに示すように、規格範囲の最小点を基準点としない分割線で領域が分割されてもよい。また、例えば図４３Ｂの上部に示されるように、分割線が４５度の傾きで規定される直線でなくてもよいし、図４３Ｂの下部に示されるように、分割線が階段状の線であってもよい。
　いずれの場合においても、上記の実施の形態２で説明したパレート境界の算出方法を適用できる。
　以上、本開示の一態様に係る評価装置１００、１００Ａについて、上記実施の形態および各変形例に基づいて説明したが、本開示は、その実施の形態および各変形例に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を上記実施の形態または各変形例に施したものも本開示に含まれてもよい。
　なお、上記実施の形態等において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記実施の形態等の評価装置などを実現するソフトウェアは、例えば図９または図２６に示すフローチャートの各ステップをコンピュータに実行させるプログラムである。
　なお、以下のような場合も本開示に含まれる。
　（１）上記の少なくとも１つの装置は、具体的には、マイクロプロセッサ、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。そのＲＡＭまたはハードディスクユニットには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、上記の少なくとも１つの装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
　（２）上記の少なくとも１つの装置を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Large Scale Integration：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。前記ＲＡＭには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、システムＬＳＩは、その機能を達成する。
　（３）上記の少なくとも１つの装置を構成する構成要素の一部または全部は、その装置に脱着可能なＩＣカードまたは単体のモジュールから構成されているとしてもよい。ＩＣカードまたはモジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。ＩＣカードまたはモジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、ＩＣカードまたはモジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。
　（４）本開示は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、コンピュータプログラムからなるデジタル信号であるとしてもよい。
　また、本開示は、コンピュータプログラムまたはデジタル信号をコンピュータで読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ（Compact Disc）－ＲＯＭ、ＤＶＤ、ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭ、ＢＤ（Blu-ray（登録商標） Disc）、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されているデジタル信号であるとしてもよい。
　また、本開示は、コンピュータプログラムまたはデジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。
　また、プログラムまたはデジタル信号を記録媒体に記録して移送することにより、またはプログラムまたはデジタル信号を、ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
　本開示の評価装置によれば、最適化問題の目的を有する目的特性に対して制約条件が付与されている最適化問題に対して、ベイズ最適化を適用することができる。
　本開示の評価装置は、最適化問題の目的を有する目的特性に対して制約条件が付与されている最適化問題に対して、ベイズ最適化を適用することができるという効果を奏し、工業製品開発または製造プロセス開発などに限らず、例えば材料開発等、一般の開発業務における最適制御の装置またはシステムに適用できる。
　１０、１０Ａ　　受信制御部
　１１　　候補実験点作成部
　１２、１２Ａ　　評価値算出部
　１３　　評価値出力部
　１００、１００Ａ　　評価装置
　１０１ａ　　入力部
　１０１ｂ　　通信部
　１０２、１０２Ａ　　演算回路
　１０３　　メモリ
　１０４　　表示部
　１０５　　記憶部
　２００　　プログラム
　２０１　　特性点データ
　２１０、２１０Ａ　　設定情報
　２１１　　制御因子データ
　２１２　　目的データ
　２１３　　制約条件データ
　２１４　　領域縮小規則データ
　２２１　　候補実験点データ
　２２２　　実験結果データ
　２２３　　予測分布データ
　２２４　　評価値データ
　２２５　　最小距離データ
　３００　　受付画像
　３１０　　制御因子領域
　３１１～３１４　　入力フィールド
　３２０　　目的特性領域
　３２１～３２８　　入力フィールド
　３３０　　領域縮小規則領域

Claims (11)

  1. 　実験済みの実験点に対応する既知の特性点に基づいて、候補実験点に対応する未知の特性点をベイズ最適化によって評価する評価装置であって、
    　前記実験済みの実験点および前記既知の特性点を示す実験結果データを取得する第１受信手段と、
    　前記未知の特性点は、１または複数の目的特性の値を示し、少なくとも１つの目的特性が最適化目的を有し、当該最適化目的を示す目的データを取得する第２受信手段と、
    　前記少なくとも１つの目的特性に対して付与された制約条件を示す制約条件データを取得する第３受信手段と、
    　少なくとも２つの目的特性によって表現される特性空間の分割方法を示し、かつ、アクティブ領域を縮小する次元を、前記分割方法により分割された特性空間の領域ごとに示す領域縮小規則データを取得する第４受信手段と、
    　前記実験結果データ、前記目的データ、前記制約条件データおよび前記領域縮小規則データに基づいて、前記未知の特性点の評価値を算出する算出手段と、
    　前記評価値を出力する出力手段と、を備え、
    　前記算出手段は、前記制約条件の適合度合いに応じた重み付けを、前記少なくとも１つの目的特性に対する評価値に付与する、
    　評価装置。
  2. 　前記最適化目的には、目的特性を少なくとも１つの制約範囲のうちの何れかの制約範囲内に収める第１目的と、目的特性を最小化または最大化する第２目的とがあり、
    　前記算出手段は、
    　前記少なくとも１つの目的特性のそれぞれについて、
    　（ｉ）前記評価値を算出するために用いられる当該目的特性の区間が前記少なくとも１つの制約範囲のそれぞれの外にある場合と、
    　（ｉｉ）前記区間が前記少なくとも１つの制約範囲のうちの何れかの制約範囲内であって、かつ、前記最適化目的が前記第１目的である場合と、
    　（ｉｉｉ）前記区間が前記少なくとも１つの制約範囲のうちの何れかの制約範囲内であって、かつ、最適化目的が前記第２目的である場合とで、
    　互いに異なる重み付け処理を行うことによって、前記評価値を算出する、
    　請求項１に記載の評価装置。
  3. 　複数の制御因子のそれぞれの所定の条件を満たす値を組み合わせることによって、前記候補実験点を作成する候補実験点作成手段をさらに備える、
    　請求項２に記載の評価装置。
  4. 　前記算出手段は、
    　前記少なくとも１つの制約範囲のうち、矩形と異なる形状の制約範囲に基づいて、前記評価値を算出する、
    　請求項２または３に記載の評価装置。
  5. 　前記少なくとも１つの制約範囲として複数の制約範囲がある場合、
    　前記算出手段は、
    　前記（ｉｉ）の場合を、さらに、複数の場合に場合分けし、前記複数の場合のそれぞれで互いに異なる重み付け処理を行うことによって、前記評価値を算出し、
    　前記複数の場合のそれぞれでは、前記複数の制約範囲のうちの互いに異なる制約範囲に前記区間が含まれている、
    　請求項２～４の何れか１項に記載の評価装置。
  6. 　前記算出手段は、さらに、
    　前記候補実験点と１以上の前記実験済みの実験点のそれぞれとの間の距離のうちの最小距離を算出し、
    　前記出力手段は、さらに、
    　前記候補実験点に対応する前記最小距離を出力する、
    　請求項１～５の何れか１項に記載の評価装置。
  7. 　前記算出手段は、
    　ガウス過程回帰またはカルマンフィルタを用いて前記候補実験点における予測分布を算出し、算出した前記予測分布を用いて、前記評価値を算出する、
    　請求項１～６の何れか１項に記載の評価装置。
  8. 　前記算出手段は、
    　モンテカルロ法を用いて前記評価値を算出する、
    　請求項１～７の何れか１項に記載の評価装置。
  9. 　前記算出手段は、
    　それぞれ評価方法であるＰＩ（Probability of Improvement）およびＥＩ（Expected Improvement）のうちの少なくとも１つを用いて、前記評価値を算出する、
    　請求項１～８の何れか１項に記載の評価装置。
  10. 　評価装置が、実験済みの実験点に対応する既知の特性点に基づいて、候補実験点に対応する未知の特性点をベイズ最適化によって評価する評価方法であって、
    　前記実験済みの実験点および前記既知の特性点を示す実験結果データを取得する第１受信ステップと、
    　前記未知の特性点は、１または複数の目的特性の値を示し、少なくとも１つの目的特性が最適化目的を有し、当該最適化目的を示す目的データを取得する第２受信ステップと、
    　前記少なくとも１つの目的特性に対して付与された制約条件を示す制約条件データを取得する第３受信ステップと、
    　少なくとも２つの目的特性によって表現される特性空間の分割方法を示し、かつ、アクティブ領域を縮小する次元を、前記分割方法により分割された特性空間の領域ごとに示す領域縮小規則データを取得する第４受信ステップと、
    　前記実験結果データ、前記目的データ、前記制約条件データおよび前記領域縮小規則データに基づいて、前記未知の特性点の評価値を算出する算出ステップと、
    　前記評価値を出力する出力ステップと、を含み、
    　前記算出ステップにおいて、前記制約条件の適合度合いに応じた重み付けを、前記少なくとも１つの目的特性に対する評価値に付与する、
    　評価方法。
  11. 　コンピュータが、実験済みの実験点に対応する既知の特性点に基づいて、候補実験点に対応する未知の特性点をベイズ最適化によって評価するためのプログラムであって、
    　前記実験済みの実験点および前記既知の特性点を示す実験結果データを取得する第１受信ステップと、
    　前記未知の特性点は、１または複数の目的特性の値を示し、少なくとも１つの目的特性が最適化目的を有し、当該最適化目的を示す目的データを取得する第２受信ステップと、
    　前記少なくとも１つの目的特性に対して付与された制約条件を示す制約条件データを取得する第３受信ステップと、
    　少なくとも２つの目的特性によって表現される特性空間の分割方法を示し、かつ、アクティブ領域を縮小する次元を、前記分割方法により分割された特性空間の領域ごとに示す領域縮小規則データを取得する第４受信ステップと、
    　前記実験結果データ、前記目的データ、前記制約条件データおよび前記領域縮小規則データに基づいて、前記未知の特性点の評価値を算出する算出ステップと、
    　前記評価値を出力する出力ステップと、を前記コンピュータに実行させ、
    　前記算出ステップにおいて、前記制約条件の適合度合いに応じた重み付けを、前記少なくとも１つの目的特性に対する評価値に付与する、
    　プログラム。
PCT/JP2022/043278 2022-03-23 2022-11-24 評価装置、評価方法、およびプログラム WO2023181497A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-046987 2022-03-23
JP2022046987 2022-03-23

Publications (1)

Publication Number Publication Date
WO2023181497A1 true WO2023181497A1 (ja) 2023-09-28

Family

ID=88100402

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/043278 WO2023181497A1 (ja) 2022-03-23 2022-11-24 評価装置、評価方法、およびプログラム

Country Status (1)

Country Link
WO (1) WO2023181497A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011048768A (ja) * 2009-08-28 2011-03-10 Hitachi Ltd 最適設計装置
JP2012123592A (ja) * 2010-12-08 2012-06-28 Fujitsu Ltd 最適化プログラム、装置及びプログラム
JP2018045266A (ja) * 2016-09-12 2018-03-22 株式会社日立製作所 設計支援装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011048768A (ja) * 2009-08-28 2011-03-10 Hitachi Ltd 最適設計装置
JP2012123592A (ja) * 2010-12-08 2012-06-28 Fujitsu Ltd 最適化プログラム、装置及びプログラム
JP2018045266A (ja) * 2016-09-12 2018-03-22 株式会社日立製作所 設計支援装置

Similar Documents

Publication Publication Date Title
Banka et al. A Hamming distance based binary particle swarm optimization (HDBPSO) algorithm for high dimensional feature selection, classification and validation
US8972312B2 (en) Methods and apparatus for performing transformation techniques for data clustering and/or classification
Asyali et al. Gene expression profile classification: a review
US7653646B2 (en) Method and apparatus for quantum clustering
Duval et al. Advances in metaheuristics for gene selection and classification of microarray data
JP2018045559A (ja) 情報処理装置、情報処理方法およびプログラム
Salesi et al. TAGA: Tabu asexual genetic algorithm embedded in a filter/filter feature selection approach for high-dimensional data
Alrefai et al. Optimized feature selection method using particle swarm intelligence with ensemble learning for cancer classification based on microarray datasets
Schölkopf et al. Statistical learning and kernel methods in bioinformatics
CN112102899A (zh) 一种分子预测模型的构建方法和计算设备
Wang et al. Subtype dependent biomarker identification and tumor classification from gene expression profiles
Wang et al. Tool condition monitoring system based on support vector machine and differential evolution optimization
Ghosh et al. A two-stage approach towards protein secondary structure classification
CN114463587A (zh) 一种异常数据检测方法、装置、设备及存储介质
Baten et al. Fast splice site detection using information content and feature reduction
Patra et al. Evolutionary hybrid feature selection for cancer diagnosis
WO2023181497A1 (ja) 評価装置、評価方法、およびプログラム
Wong et al. A probabilistic mechanism based on clustering analysis and distance measure for subset gene selection
JP2022185927A (ja) 評価装置、評価方法、およびプログラム
Hua et al. Combining multiple biomarkers to linearly maximize the diagnostic accuracy under ordered multi-class setting
Gunavathi et al. A survey on feature selection methods in microarray gene expression data for cancer classification
WO2023238606A1 (ja) 評価装置、評価方法、およびプログラム
Carrizosa et al. Variable neighborhood search for parameter tuning in support vector machines
Bala et al. Mutual information and cross entropy framework to determine relevant gene subset for cancer classification
Sun et al. Efficient gene selection with rough sets from gene expression data

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22933627

Country of ref document: EP

Kind code of ref document: A1