WO2020090821A1 - 解析装置、機械学習装置、解析システム、解析方法および記録媒体 - Google Patents

解析装置、機械学習装置、解析システム、解析方法および記録媒体 Download PDF

Info

Publication number
WO2020090821A1
WO2020090821A1 PCT/JP2019/042388 JP2019042388W WO2020090821A1 WO 2020090821 A1 WO2020090821 A1 WO 2020090821A1 JP 2019042388 W JP2019042388 W JP 2019042388W WO 2020090821 A1 WO2020090821 A1 WO 2020090821A1
Authority
WO
WIPO (PCT)
Prior art keywords
value
parameter value
evaluation target
candidate
machine learning
Prior art date
Application number
PCT/JP2019/042388
Other languages
English (en)
French (fr)
Inventor
慶一 木佐森
雄斗 小森
鷲尾　隆
義男 亀田
Original Assignee
日本電気株式会社
国立研究開発法人産業技術総合研究所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社, 国立研究開発法人産業技術総合研究所 filed Critical 日本電気株式会社
Priority to JP2020553941A priority Critical patent/JP7117686B2/ja
Priority to US17/289,154 priority patent/US20210383157A1/en
Publication of WO2020090821A1 publication Critical patent/WO2020090821A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G06F18/2113—Selection of the most significant subset of features by ranking or filtering the set of features, e.g. using a measure of variance or of feature cross-correlation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks

Definitions

  • the present invention relates to an analysis device, a machine learning device, an analysis system, an analysis method, and a recording medium.
  • Patent Document 1 describes an extraction method for extracting a trial to be analyzed from a plurality of trials of simulation. With this extraction method, measures such as the number of cashiers and layout (measures against the subject), and uncertainties such as the behavior of visitors to the store, etc.
  • the simulation is executed a plurality of times by changing the environmental element based on the element that the user has.
  • execution of each simulation is called trial.
  • a trial whose evaluation value deviates from other trials is extracted as a trial to be analyzed.
  • Patent Document 2 describes an event analysis device for analyzing an event that occurs in a plant.
  • This event analysis device groups events based on an event matrix that indicates the occurrence or non-occurrence of each event in time series, and constructs a causal model with probabilities by Bayesian network based on the event matrix for the obtained related event groups. To do.
  • This event analysis device extracts a probabilistic causal relationship model that matches any of the set improvement candidate patterns from the probabilistic models for each event.
  • Patent Document 3 describes an arrangement location and arrangement pattern calculation device for determining an arrangement location of base stations and an arrangement pattern of cells in microdiversity using a sector antenna. This arrangement location and arrangement pattern calculation device is based on the arrangement of base stations and the arrangement pattern of cells under the condition that convex polygons indicating cells are arranged on a predetermined two-dimensional plane so that there is no overlap or gap. To decide.
  • Patent Document 4 describes a determination device for improving the accuracy of image retrieval. This determination device associates three images that are the determination target of the relevance with each other in the metric space and determines the relevance of the three images as an angle defined by the three images in the metric space.
  • the analysis device When the analysis device searches for a parameter value as a solution, it may fall into a local solution, and it is preferable to be able to detect a solution with a high evaluation as much as possible.
  • the analysis device calculates an evaluation target value and searches for a solution, if an index for evaluating the evaluation target value is obtained, it can be useful for detecting a highly evaluated solution. In particular, if the variation in the evaluation target value can be reflected in the evaluation of the parameter value (solution), it is expected that a search region having a large evaluation target value (high evaluation) can be detected.
  • the analysis device determines the update target parameter value and the candidate as a plurality of machine learning. Applying to the result, a difference information acquisition unit that acquires, for each machine learning result, information indicating the degree of difference between the evaluation target value in the case of the update target parameter value and the evaluation target value in the case of the candidate, and the candidate For each and every machine learning result, an evaluation target value in the case of a candidate is evaluated based on the degree of difference in the evaluation target value and the evaluation target value in the case of the update target parameter value.
  • Target value calculation means for each of the candidates, a selection index value is calculated using the variation of the evaluation target value for each of the machine learning results, and the selection index values of each of the plurality of candidates are compared, Conclusion A candidate is selected from the plurality of candidates based on, and the update target parameter value and the evaluation target value in the case of the update target parameter value are updated to the selected candidate and the evaluation target value in the case of the selected candidate, respectively. And an updated parameter value selecting means.
  • a machine learning device includes a parameter value acquisition unit that acquires a plurality of sets of an update target parameter value and an updated parameter value, and the update target parameter value for each of the plurality of sets.
  • Evaluation target value in the case of, and the simulation execution means for calculating the evaluation target value in the case of the updated parameter value by simulation, for each of the plurality of sets, for the evaluation target value in the case of the update target parameter value, Difference calculating means for calculating the degree of difference of the evaluation target value in the case of the updated parameter value, and the degree of difference of the update target parameter value of the plurality of sets, the updated parameter value, and the evaluation target value
  • Difference calculating means for calculating the degree of difference of the evaluation target value in the case of the updated parameter value, and the degree of difference of the update target parameter value of the plurality of sets, the updated parameter value, and the evaluation target value
  • the analysis system includes a machine learning device and an analysis device.
  • the machine learning device is a parameter value acquisition unit that acquires a plurality of sets of an update target parameter value and an updated parameter value; an evaluation target value in the case of the update target parameter value for each of the plurality of sets; Simulation executing means for calculating an evaluation target value in the case of a post-parameter value by simulation, and an evaluation target in the case of the post-update parameter value, for each of the plurality of sets, with respect to the evaluation target value in the case of the update target parameter value
  • a difference calculation means for calculating the degree of difference in value, the update target parameter value of the plurality of sets, the updated parameter value, and the degree of difference in the evaluation target value, the update target parameter value and Mechanics for obtaining a plurality of machine learning results of the relationship between the updated parameter value and the degree of difference between the evaluation target values Comprising a processing means.
  • the analysis device for each of a plurality of candidates for the updated parameter value set according to the update parameter value, by applying the update target parameter value and the candidate to a plurality of machine learning results, the update target parameter Difference information acquisition means for acquiring, for each machine learning result, information indicating the degree of difference in the evaluation target value in the case of the value, with respect to the evaluation target value in the case of each candidate, and for each of the machine learning results ,
  • An evaluation target value calculation means for calculating an evaluation target value in the case of the candidate based on the degree of difference in the evaluation target value and the evaluation target value in the case of the update target parameter value, and for each of the candidates , Calculating a selection index value using the variation of the evaluation target value for each machine learning result, comparing the selection index values of each of the plurality of candidates, and determining whether the plurality of candidates are based on the result of the comparison. Selecting a candidate and updating the update target parameter value and the evaluation target value in the case of the update target parameter value to the selected candidate and the evaluation target value in the
  • an analysis method is implemented by a computer, and for each of a plurality of candidates for updated parameter values set according to an updated parameter value, the update target parameter value and its candidate Is applied to a plurality of machine learning results, with respect to the evaluation target value in the case of the update target parameter value, information indicating the degree of difference in the evaluation target value in the case of the candidate is acquired for each machine learning result, and the candidate For each, and for each machine learning result, based on the degree of difference in the evaluation target value and the evaluation target value in the case of the update target parameter value, to calculate the evaluation target value in the case of the candidate, For each of the candidates, a selection index value is calculated using the variation of the evaluation target value for each of the machine learning results, the selection index values of each of the plurality of candidates are compared, and based on the result of the comparison, Selecting a candidate from a plurality of candidates, and updating the update target parameter value, the evaluation target value in the case of the update target parameter value, to the selected candidate,
  • a recording medium causes a computer to store a plurality of update target parameter values and a plurality of candidates for each of a plurality of updated parameter value candidates set according to an update parameter value.
  • information indicating the degree of difference in the evaluation target value in the case of the candidate is acquired for each machine learning result, and for each candidate,
  • the selection index value is calculated using the variation of the evaluation target value for each machine learning result, the selection index value of each of the plurality of candidates is compared, and whether the plurality of candidates are based on the result of the comparison.
  • FIG. 6 It is a schematic block diagram which shows the example of a function structure of the analysis apparatus which concerns on 1st Embodiment.
  • 6 is a flowchart illustrating an example of a processing procedure in which the machine learning device according to the first embodiment learns a relationship between a parameter value before and after updating and a difference ratio Y between evaluation target values. It is a flow chart which shows an example of a processing procedure in which a machine learning device concerning a 1st embodiment generates training data. 6 is a flowchart showing an example of a processing procedure in which the analysis device according to the first embodiment searches for a parameter value. It is a figure which shows the example of selection of the candidate of the updated parameter value by the updated parameter value selection part which concerns on 2nd Embodiment.
  • the parameter is, for example, information indicating a state regarding the analysis target or a state regarding the analysis target.
  • the analysis target is, for example, the flow velocity problem as shown in FIG.
  • the phenomenon of interest is, for example, the flow velocity in the region A12. Details of the example of FIG. 2 will be described later.
  • the machine learning device 100 machine-learns the relationship between the parameter value to be analyzed and the evaluation target value.
  • the machine learning device 100 acquires training data (Training Data) using a simulator that receives an analysis target parameter value and outputs an evaluation target value, and performs machine learning.
  • the analysis apparatus 200 searches for a parameter value for which the evaluation target value satisfies a predetermined condition, using the relationship between the analysis target parameter value and the evaluation target value obtained by machine learning.
  • the predetermined condition is, for example, a numerical value that quantitatively represents a desired condition regarding an analysis target (for example, a design target).
  • the predetermined condition represents a condition that a phenomenon of interest satisfies a quantitatively evaluated index when a desired design is performed on a design target.
  • the machine learning device 100 and the analysis device 200 are both configured using a computer (information processing device) such as a personal computer (PC) or a workstation.
  • the machine learning device 100 and the analysis device 200 may be configured as the same device or may be configured as separate devices.
  • FIG. 2 is a diagram showing an example of an analysis target by the analysis system 1.
  • FIG. 2 shows a design problem that determines the arrangement of the cylinder C11.
  • a predetermined number for example, 6) of cylinders C11 are arranged in the area A11.
  • the fluid flows as shown by the arrow B11, and the arrangement of the cylinder C11 is determined so that the average flow velocity of the fluid in the area A12 behind the area A11 is maximized.
  • the desired design is a design for determining the arrangement of the cylinders when the average flow velocity of the fluid in the region A12 is maximum.
  • FIG. 3 is a diagram showing an example of setting parameters in an analysis target by the analysis system 1.
  • a grid is set in the area A11 of FIG. 2, and a cylinder C11 is arranged at the grid point as shown in FIG.
  • the binary (Binary, binary value of "1” or "0") parameter variable is set for each grid point, and the presence or absence of the cylinder C11 is indicated for each grid point by using this parameter variable. Can be shown.
  • “1” indicates that a cylinder is arranged at the lattice point.
  • “0” indicates that no cylinder is arranged at the grid point.
  • a simulator for calculating the average flow velocity of the fluid in the area A12 when the arrangement of the cylinders C11 in the area A11 is determined can be used.
  • the average flow velocity of the fluid in the region A12 is calculated by a simulator for each of all the arrangements of the cylinder C11, and the arrangement having the maximum average flow velocity is obtained.
  • the law is considered.
  • this method as the number of grid points increases, so-called combinatorial explosion occurs, and the number of times simulations are performed becomes enormous, so it is conceivable that the design problem cannot be solved within a realistic time.
  • the machine learning device 100 machine-learns the relationship between the input and the output in the simulation.
  • the learning result (learning model, score function, etc.) represents the relationship between the input and the output in the simulation.
  • the learning result (learning model, score function, etc.) is created in advance by applying the machine learning algorithm to the input in the simulation and the output in the simulation.
  • the machine learning algorithm for example, a method such as a neural network or a support vector machine can be used.
  • the analysis system 1 can handle various problems that can be expressed by parameters and can perform machine learning for simulation execution, and in this respect, the processing target of the analysis system 1 is wide. As in the design problem above, the analysis system 1 can be used for design, but is not limited to this.
  • FIG. 5 is a diagram showing an example of searching for parameter values by the analysis device 200.
  • Each circle in FIG. 5 indicates the state of the analysis target indicated by the parameter value.
  • the state of the analysis target indicated by the parameter value is simply referred to as a state.
  • the parameter value and the state are in one-to-one correspondence.
  • states s1 to s13 are shown.
  • the analysis device 200 arranges a predetermined number of cylinders C11 at grid points at random, for example.
  • the state in this initial setting is shown as a state s1.
  • the analysis device 200 randomly changes the arrangement of the cylinders C11 so as to satisfy the condition of one step of changing the arrangement of the cylinders C11 described above, and generates a plurality of candidates for the updated state.
  • the updated state candidates are in one-to-one correspondence with the updated parameter value candidates.
  • the candidate of the updated state and the candidate of the updated parameter value are identified as the same and are also simply referred to as candidates.
  • FIG. 5 shows an example in which the analysis device 200 generates three updated state candidates.
  • the analysis device 200 generates three states of states s2, s3, and s4 as candidates for updating from the state s1.
  • the analysis device 200 calculates an evaluation target value for each of the generated candidates using the machine learning result by the machine learning device 100, and uses the obtained evaluation target value as a selection index value to select one of the candidates. Choose one.
  • the selection index value here is a value used by the analysis device 200 to select any one of the candidates.
  • the analysis device 200 calculates a selection index value for each candidate. In the example of FIG. 5, the analysis device 200 selects the state s2 among the states s2, s3, and s4. In the first embodiment, the analysis device 200 selects the candidate with the highest evaluation in the selection index value among the generated candidates. In the case of the above design problem, the average flow velocity of the fluid in the area A12 is the evaluation target value. In this example, since the selection index value is the evaluation target value, the analysis device 200 selects the candidate having the fastest average flow velocity.
  • the analysis apparatus 200 repeats the generation and selection of updated state candidates to search for parameter values.
  • the analysis apparatus 200 repeats the generation and selection of the updated state candidates until a predetermined termination condition is satisfied. For example, due to the above design problem, the analysis device 200 repeats generation and selection of candidates for the updated state until the average flow velocity of the fluid in the region A12 becomes equal to or higher than the predetermined threshold value. In the example of FIG. 5, the ending condition is satisfied in the state s11, and the analysis device 200 acquires the parameter value in the state s11 as the processing result.
  • FIG. 6 is a schematic block diagram showing an example of the functional configuration of the machine learning device 100.
  • the machine learning device 100 includes a learning-side communication unit 110, a learning-side storage unit 180, and a learning-side control unit 190.
  • the learning-side control unit 190 includes a parameter value acquisition unit 191, a simulation execution unit 192, a difference calculation unit 193, and a machine learning processing unit 194.
  • the learning-side communication unit 110 communicates with another device.
  • the learning-side communication unit 110 may transmit the learning result of the machine learning device 100 to the analysis device 200.
  • the learning storage unit 180 stores various data.
  • the learning-side storage unit 180 is configured using a storage device included in the machine learning device 100.
  • the learning-side control unit 190 controls each unit of the machine learning device 100 to perform various processes.
  • the function of the learning-side control unit 190 can be executed by a CPU (Central Processing Unit) included in the machine learning device 100 by reading a program from the learning-side storage unit 180 and executing the program.
  • CPU Central Processing Unit
  • the parameter value acquisition unit 191 acquires the update target parameter value and the updated parameter value. Both the update target parameter value and the post-update parameter value are possible values for the parameter in the problem targeted by the analysis device 200.
  • the update target parameter value and the updated parameter value become part of the training data for the machine learning device 100 to perform machine learning.
  • the parameter value acquisition unit 191 may randomly set the update target parameter value in accordance with the parameter value setting condition. Further, the parameter value acquisition unit 191 may randomly update the update target parameter value according to the parameter value update condition to generate the updated parameter value.
  • the parameter value acquisition unit 191 may acquire a predetermined update target parameter value and updated parameter value.
  • the learning side storage unit 180 stores the update target parameter value and the updated parameter value set by the user
  • the parameter value acquisition unit 191 stores the update target parameter value and the updated parameter value from the learning side storage unit 180. It may be read.
  • the simulation execution unit 192 calculates the evaluation target value for each of the update target parameter value and the updated parameter value by simulation.
  • the evaluation target value is obtained as a simulation output (result of prediction by simulation).
  • the difference calculation unit 193 calculates the degree of difference (difference) between the evaluation target value in the case of the updated parameter value and the evaluation target value in the case of the updated parameter value. Specifically, the difference calculation unit 193 calculates the difference by subtracting the evaluation target value in the case of the updated target parameter value from the evaluation target value in the case of the updated parameter value, for example. Furthermore, the difference calculation unit 193 performs normalization by dividing the calculated difference by the evaluation target value in the case of the update target parameter value. The normalized value is referred to as the ratio of the difference between the evaluation target values.
  • the machine learning processing unit 194 machine-learns the relationship between the update target parameter value and the post-update parameter value and the degree of difference between the evaluation target values. Specifically, the machine learning processing unit 194 machine-learns the relationship between the update target parameter value and the post-update parameter value and the ratio of the difference between the evaluation target values.
  • the machine learning method used by the machine learning processing unit 194 is not limited to a specific method.
  • the machine learning processing unit 194 may perform machine learning by a technique such as so-called deep learning, but is not limited to this.
  • the analysis-side communication unit 210 communicates with another device.
  • the analysis-side communication unit 210 may receive the learning result by the machine learning device 100 transmitted by the learning-side communication unit 110.
  • the analysis-side storage unit 280 stores various data.
  • the analysis-side storage unit 280 is configured using a storage device included in the analysis device 200.
  • the function of the analysis-side control unit 290 controls each unit of the analysis device 200 to perform various processes.
  • the analysis-side control unit 290 can be executed by the CPU included in the analysis device 200 by reading the program from the analysis-side storage unit 280 and executing the program.
  • the initial value acquisition unit 291 acquires the update target parameter value and the evaluation target value in the case of the update target parameter value.
  • the update target parameter value acquired by the initial value acquisition unit 291 is used as the initial value of the parameter when the analysis device 200 searches for the parameter value.
  • the evaluation target value in the case of the update target parameter value acquired by the initial value acquisition unit 291 is used to convert the ratio of the difference between the evaluation target values obtained from the learning result by the machine learning device 100 into the evaluation target value.
  • the initial value acquisition unit 291 acquires the evaluation target value in the case of the update target parameter value by using the simulation by the simulation execution unit 192 of the machine learning device 100, for example.
  • the updated candidate setting unit 292 sets a plurality of updated parameter value candidates.
  • the post-update candidate setting unit 292 sets, for example, a post-update parameter value candidate by randomly updating the update target parameter value according to the parameter value updating condition.
  • the difference information acquisition unit 293 applies the update target parameter value and the post-update parameter value candidate to the machine learning result by the machine learning device 100 for each update parameter value candidate, and in the case of the update target parameter value.
  • Information indicating the degree of difference between the evaluation target value and the evaluation target value in the case of the updated parameter value candidate is acquired.
  • the difference information acquisition unit 293 acquires, for example, the ratio of the difference between the evaluation target values.
  • the degree of difference between the evaluation target values here is not limited to the ratio of the difference between the evaluation target values.
  • the difference information acquisition unit 293 subtracts the evaluation value in the case of the update target parameter value candidate from the evaluation target value in the case of the updated parameter value candidate as the information indicating the degree of the difference in the evaluation target value. You may make it acquire the information which shows.
  • the difference information acquisition unit 293 divides the evaluation target value in the case of the updated parameter value candidate by the evaluation value in the case of the updated target parameter value candidate as the information indicating the degree of the difference in the evaluation target value. You may make it acquire the information which shows.
  • Information indicating the degree of difference in the evaluation target value in the case of the updated parameter value candidate with respect to the evaluation target value in the case of the update target parameter value is referred to as difference information.
  • the end condition determination unit 296 determines whether or not the evaluation target value for the update target parameter value satisfies a predetermined end condition.
  • the analysis-side control unit 290 corresponds to an example of the iterative control unit, and when the end condition determination unit 296 determines that the evaluation target value in the case of the update target parameter value does not satisfy the predetermined end condition, the post-update candidate setting unit The process of 292 and the subsequent processes are repeated.
  • the process of the post-update candidate setting unit 292 and the processes after that include the following processes (1A) to (6A), as described later with reference to FIG. (1A)
  • the updated candidate setting unit 292 sets a plurality of updated parameter value candidates.
  • the difference information acquisition unit 293 applies the update target parameter value and the post-update parameter value candidate to the machine learning result for each update parameter value candidate, and evaluates in the case of the update target parameter value. Information indicating the degree of difference between the target value and the evaluation target value in the case of the updated parameter value candidate is acquired.
  • the evaluation target value calculation unit 294 determines the post-update parameter value based on the degree of difference between the evaluation target values and the evaluation target value in the case of the update target parameter value for each candidate of the post-update parameter value.
  • the evaluation target value for the candidate is calculated.
  • the updated parameter value selection unit 295 selects, from the updated parameter value candidates, the candidate whose selection index value (in this example, the evaluation target value) best matches the target, and updates the updated parameter value and update target parameter value.
  • the evaluation target value in the case of the target parameter value is updated to the evaluation target value in the case of the selected updated parameter value candidate and the selected updated parameter value candidate, respectively.
  • the simulation output when the parameter value X is input to the simulator of the simulation executing unit 192 is expressed as Y sim .
  • the simulation output Y sim is expressed as in equation (2).
  • Equation (3) Elements of the parameter value X ′, that is, individual parameter values are described as b ′ 1 , b ′ 2 , ..., B ′ n (n is a positive integer indicating the number of parameters).
  • the parameter value X ′ is represented by a vector as in Expression (3).
  • the simulation output when the parameter value X ′ is input to the simulator of the simulation executing unit 192 is expressed as Y ′ sim .
  • the simulation output Y ′ sim is represented by the equation (4).
  • Simulation output Y for simulation output Y sim 'difference sim for example, Y' is represented as sim -Y sim.
  • a value normalized by dividing this difference by Y sim is expressed as a ratio Y of the difference between the evaluation target values.
  • the ratio Y of the difference between the evaluation target values is expressed as in Expression (5).
  • the prediction value based on the learning result performed by the machine learning processing unit 194 is expressed as ⁇ sur .
  • ⁇ sur is expressed as in equation (6).
  • the predicted value ⁇ sur the ratio of the difference between the evaluation target values is obtained.
  • F sur represents the learning result used by the difference information acquisition unit 293 as a function.
  • Expression (6) indicates that the predicted value ⁇ sur can be obtained by inputting the parameter value X and the updated parameter value X ′ to the learning result (learning model, score function).
  • Each parameter value b i indicates the presence or absence of a cylinder at the position indicated by “i” (lattice point in this example).
  • the position indicated by "i” is referred to as the position of i.
  • the constraint condition that the number of cylinders is constant is expressed by Expression (8).
  • FIG. 8 is a flowchart showing an example of a processing procedure for the machine learning device 100 to learn the relationship between the parameter value before and after the update and the difference ratio Y between the evaluation target values.
  • the learning-side control unit 190 starts a loop L11 that repeats the process by the number of training data set in advance (step S111).
  • the learning-side control section 190 Through the processing of loop L11, the learning-side control section 190 generates training data (step S112). After step S112, the learning-side control unit 190 performs the termination process of the loop L11 (step S113). Specifically, the learning-side control unit 190 determines whether or not the number of repetitions of the processing of the loop L11 has reached the predetermined number of training data. When it is determined that the number of repetitions has not reached the number of training data, the learning-side control unit 190 continuously repeats the processing of the loop L11. On the other hand, when it is determined that the number of repetitions has reached the number of training data, the learning-side control unit 190 ends the loop L11.
  • the learning-side control unit 190 starts the loop L12 that repeats the process for the number of training data (step S114).
  • the machine learning processing unit 194 performs machine learning using the obtained training data (step S115).
  • the learning-side control unit 190 performs the termination process of the loop L12 (step S116). Specifically, the learning-side control unit 190 determines whether or not the number of times the process of the loop L12 is repeated has reached the predetermined number of training data. When it is determined that the number of iterations has not reached the number of training data, the learning-side control unit 190 continues to repeat the process of loop L12. On the other hand, when it is determined that the number of repetitions has reached the number of training data, the learning-side control unit 190 ends the loop L12. After the processing of loop L12 ends, the machine learning device 100 ends the processing of FIG.
  • FIG. 9 is a flowchart showing an example of a processing procedure in which the machine learning device 100 generates training data.
  • the machine learning device 100 performs the process of FIG. 9 in step S112 of FIG.
  • the parameter value acquisition unit 191 acquires the parameter value X (step S211).
  • the parameter value acquisition unit 191 may automatically generate the parameter value X, for example, by randomly setting the parameter value X.
  • the parameter value acquisition unit 191 may generate the parameter value X based on a user operation of inputting the parameter value X.
  • the parameter value acquisition unit 191 may acquire the parameter value X from another device via the learning-side communication unit 110.
  • the parameter value acquisition unit 191 acquires the parameter value X '(step S212).
  • the parameter value acquisition unit 191 may automatically generate the parameter value X ′, such as randomly updating the parameter value X within the range of the parameter value update condition.
  • the parameter value acquisition unit 191 may generate the parameter value X ′ based on a user operation of inputting the parameter value X ′.
  • the parameter value acquisition unit 191 may acquire the parameter value X ′ from another device via the learning-side communication unit 110.
  • the simulation executing unit 192 executes the simulation using the parameter value X (step S213). Specifically, the simulation executing unit 192 inputs the parameter value X into the simulator included in the simulation executing unit 192 to execute the simulation, and calculates the simulation output Y sim in the case of the parameter value X. Further, the simulation executing unit 192 executes the simulation using the parameter value X ′ (step S214). Specifically, the simulation executing unit 192 inputs the parameter value X ′ into the simulator of the simulation executing unit 192 itself to execute the simulation, and calculates the simulation output Y ′ sim for the parameter value X ′.
  • the difference calculation unit 193 calculates the ratio Y of the difference between the evaluation target values (step S215). Specifically, the difference calculation unit 193 calculates the ratio Y of the difference between the evaluation target values by performing the calculation of the above equation (5) using the simulation output Y sim and the simulation output Y ′ sim . Then, the learning-side control unit 190 generates training data in which the parameter value X, the parameter value X ′, and the ratio Y of the difference between the evaluation target values are combined into one (step S216). After step S216, the machine learning device 100 ends the process of FIG. 9 and returns to the process of FIG.
  • FIG. 10 is a flowchart showing an example of a processing procedure in which the analysis device 200 searches for a parameter value.
  • the initial value acquisition unit 291 sets the initial value of the parameter (step S311).
  • the initial value acquisition unit 291 automatically sets the initial value of the parameter, for example, randomly setting the initial value of the parameter.
  • the initial value acquisition unit 291 may set the initial value of the parameter based on a user operation of inputting the initial value of the parameter.
  • the initial value acquisition unit 291 may acquire the initial value of the parameter from another device via the analysis-side communication unit 210.
  • the initial value of the parameter is used as the update target parameter value.
  • the difference information acquisition unit 293 acquires information indicating the degree of difference in the evaluation target value in the case of the updated parameter value candidate with respect to the evaluation target value in the case of the update target parameter value (step S314). ). Specifically, the difference information acquisition unit 293 acquires the ratio of the difference between the evaluation target values by applying the update target parameter value and the updated parameter value candidates to the machine learning result. Further, the evaluation target value calculation unit 294 calculates the evaluation target value in the case of the candidate of the updated parameter value, based on the obtained difference ratio of the evaluation target values and the evaluation target value in the case of the update target parameter value. Yes (step S315).
  • the analysis side control unit 290 performs the termination process of the loop L31 (step S316). Specifically, the analysis-side control unit 290 determines whether or not the processing of the loop L31 has been performed on all the candidates of the updated parameter value. When determining that there is an unprocessed candidate, the analysis-side control unit 290 continues to repeat the process of the loop L31. On the other hand, when it is determined that the processing of the loop L31 has been executed for all the candidates, the analysis-side control unit 290 ends the loop L31.
  • the updated parameter value selection unit 295 selects any of the updated parameter value candidates (step S317).
  • the updated parameter value selection unit 295 uses the evaluation target value (in this example, the selection index value) calculated by the difference information acquisition unit 293 for each candidate of the updated parameter value (in this example, the evaluation target value). , A candidate whose selection index value) satisfies a predetermined target value, or a candidate whose evaluation target value is closest to the target value is selected.
  • the end condition determination unit 296 determines whether or not the end condition for searching the parameter value is satisfied (step S318). For example, the end condition determination unit 296 determines whether or not the evaluation target value in the case of the parameter value selected in step S317 satisfies the target value, and if it is determined that the target value is satisfied, the search for the parameter value is performed. It is determined that the end condition is satisfied. When the end condition determination unit 296 determines that the end condition of the parameter value search is not satisfied (step S318: NO), the process proceeds to step S312.
  • the analysis device 200 outputs the processing result (step S319). Specifically, the analysis device 200 presents the evaluation target value that satisfies the target value and the parameter value at that time to the user as the processing result.
  • the method by which the analysis device 200 outputs the processing result is not limited to a specific method.
  • the analysis device 200 may include a display device to display the processing result.
  • the analysis-side communication unit 210 may transmit the processing result to another device. After step S319, the analysis device 200 ends the process of FIG.
  • the difference information acquisition unit 293 machine-learns the update target parameter value and the post-update parameter value candidate for each of the plurality of post-update parameter value candidates set according to the update target parameter value.
  • information indicating the degree of difference between the evaluation target value in the case of the update target parameter value and the evaluation target value in the case of the candidate of the updated parameter value is acquired.
  • the evaluation target value calculation unit 294 determines, for each candidate of the updated parameter value, the evaluation target value of the candidate based on the degree of difference in the evaluation target value and the evaluation target value of the updated parameter value. calculate.
  • the updated parameter value selection unit 295 selects, from the updated parameter value candidates, the candidate whose evaluation target value (in this example, the evaluation target value is used as the selection index value) best matches the target, and updates the updated target parameter value.
  • the value and the evaluation target value in the case of the update target parameter value are updated to the evaluation target value in the case of the selected candidate and the selected candidate, respectively.
  • the updated parameter value selection unit 295 compares the evaluation target values calculated for the updated parameter value candidates, selects the candidate based on the comparison result, and selects the updated target parameter value or the updated target parameter value.
  • the evaluation target value is updated to the selected candidate and the evaluation target value for the selected candidate, respectively.
  • the analysis device 200 when a highly evaluated pattern is selected from a plurality of patterns by setting parameter values, the candidate is selected by using the machine learning result. There is no need to run a simulation on. In this respect, the analysis apparatus 200 can efficiently perform an analysis for selecting a highly evaluated pattern from a plurality of patterns. In particular, since the analysis apparatus 200 acquires the evaluation target value using the machine learning result, the processing time is shorter than when the simulation is executed. Further, the analysis device 200 acquires information indicating the degree of difference between the evaluation target values before and after updating the parameter value from the machine learning result. The analysis device 200 can perform analysis on various analysis targets having parameters, and is relatively versatile.
  • the analysis device 200 acquires the relative value of the degree of difference between the evaluation target values from the machine learning result, and thus the update target parameter is calculated when the evaluation target value in the case of the updated parameter value candidate is calculated.
  • the evaluation target value in the case of a value can be reflected. It is considered that there is a relatively strong relationship (for example, correlation) in the degree of difference between the evaluation target values before and after the parameter value is updated, and according to the analysis device 200, the evaluation target value can be more accurately determined in this respect. Therefore, the analysis can be performed with higher accuracy.
  • the difference information acquisition unit 293 uses the difference between the evaluation target value in the case of the candidate of the updated parameter value with respect to the evaluation target value in the case of the update target parameter value as the information indicating the degree of the difference in the evaluation target value. Gets the normalized value that is divided by the evaluation target value for the parameter value.
  • the analysis apparatus 200 calculates the evaluation target value in the case of the candidate of the updated parameter value by using the difference between the normalized evaluation target values, so that the update target parameter is calculated as compared with the case where the non-normalized data is used.
  • the size of the evaluation target value in the case of a value can be more strongly reflected in the size of the evaluation target value in the case of the updated parameter value candidate. It is considered that the evaluation target value before and after the parameter value is updated has a relatively strong relationship (for example, correlation), and according to the analysis device 200, the evaluation target value can be calculated with higher accuracy at this point.
  • the analysis system 1 uses the evaluation target value for the update target parameter value as the information indicating the degree of difference between the evaluation target value for the update target parameter value and the evaluation target value for the updated parameter value candidate.
  • a value other than the normalized value that divides the difference in the evaluation target value in the case of the updated parameter value candidate with respect to the evaluation target value in the case of the update target parameter value may be used.
  • the analysis system 1 uses the evaluation target value for the update target parameter value as the information indicating the degree of difference between the evaluation target value for the update target parameter value and the evaluation target value for the updated parameter value candidate. And the ratio of the updated parameter value to the evaluation target value in the case of a candidate.
  • the analysis system 1 uses the evaluation target value in the case of the update target parameter value as the information indicating the degree of difference between the evaluation target value in the case of the update target parameter value and the evaluation target value in the case of the updated parameter value candidate. And the difference between the updated parameter value and the evaluation target value in the case of the candidate of the updated parameter value may be used.
  • the parameter value acquisition unit 191 also acquires the update target parameter value and the updated parameter value.
  • the simulation execution unit 192 calculates the evaluation target value for each of the update target parameter value and the updated parameter value by simulation.
  • the difference calculation unit 193 calculates the degree of difference between the evaluation target value in the case of the updated parameter value and the evaluation target value in the case of the updated parameter value.
  • the machine learning processing unit 194 machine-learns the relationship between the update target parameter value and the post-update parameter value and the degree of difference between the evaluation target values. In this way, the machine learning apparatus 100 performs machine learning on the degree of difference in the evaluation target values, and thus can provide the analysis apparatus 200 with a machine learning result that outputs the degree of difference in the evaluation target values.
  • the analysis apparatus 200 can perform analysis as described above using the machine learning result.
  • the machine learning device 100 In order to realize the method of selecting candidates by the updated parameter value selection unit 295, the machine learning device 100 generates a plurality of learning models.
  • the learning model here is the result of machine learning.
  • Each of the learning models generated by the machine learning device 100 receives the parameter value before update and the parameter value after update, and outputs the ratio of the difference between the evaluation target values.
  • the difference information acquisition unit 293 acquires the ratio of the difference between the evaluation target values for each learning model generated by the machine learning device 100.
  • the analysis system 1 according to the second embodiment is similar to the case of the first embodiment.
  • the machine learning device 100 generates different training data sets in order to generate a plurality of learning models.
  • the training data set mentioned here is a set of training data used for one learning model.
  • the machine learning device 100 may create a plurality of mutually different learning models for one training data set.
  • Such a machine learning device 100 can be realized by, for example, repeating a process of randomly selecting a plurality of training samples from a given training data set and creating a learning model for the plurality of selected training samples a plurality of times. it can.
  • the individual training data included in the training data set is different for each training data set.
  • the plurality of learning models generated by the machine learning device 100 receive the same value input and output different values for each learning model.
  • the variance of the output of the learning model can be calculated, and this variance can be used to select any of the updated parameter value candidates.
  • the number of training data generated by the machine learning device 100 may be different for each learning model. Alternatively, the machine learning device 100 may generate the same number of training data for all learning models.
  • FIG. 11 is a diagram showing an example of selection of updated parameter value candidates by the updated parameter value selection unit 295 according to the second embodiment.
  • i indicates the progress of the search by the number of times the parameter value is updated.
  • the number of parameter updates is indicated by L ().
  • the i-th parameter value update is expressed as “L (i)”.
  • j is an index for identifying the state in which the same parameter value is updated. As described above, each of the states is a state in which the parameter value is set, and is associated with the parameter value.
  • FIG. 11 shows an example in which the parameter value in the state s i ⁇ 1,1 is updated to either the parameter value in the state s i, 1 or the parameter value in the state s i, 2 .
  • FIG. 11 illustrates an example of a case where the parameter value update is prefetched and the selection of the state in L (i) is performed based on the state information in L (i + 2).
  • the number of times of updating the parameter value to be selected as the state is referred to as depth L (i). Therefore, the number of updates before updating the parameter value is represented as the depth L (i-1).
  • the difference information acquisition unit 293 calculates the ratio of the difference between the evaluation target values for the number of learning models using a plurality of learning models for the parameter value in one state. When there are a plurality of prefetched states, the difference information acquisition unit 293 calculates the ratio of the difference between the evaluation target values of the number of “states ⁇ learning model”.
  • the evaluation target value calculation unit 294 calculates the evaluation target value for each ratio of the difference between the evaluation target values calculated by the difference information acquisition unit 293.
  • the evaluation target value calculation unit 294 converts the difference ratio into a difference by multiplying the evaluation target value in the state corresponding to the parent node by the evaluation target value difference ratio.
  • the evaluation target value calculation unit 294 calculates the evaluation target value by adding the obtained difference to the evaluation target value in the state corresponding to the parent node.
  • the state corresponding to the parent node here is the state immediately before in the depth direction (direction i).
  • the processing for the evaluation target value calculation unit 294 to calculate the evaluation target value is expressed by Expression (10).
  • G (S i, j ) indicates the evaluation target value of the calculation target (for example, the evaluation target value in the case of the updated parameter value candidate).
  • G (S i ⁇ 1, L ) indicates an evaluation target value (for example, an evaluation target value in the case of an update target parameter value) in a state corresponding to the parent node of the evaluation target value calculation target state.
  • L represents some constant.
  • ⁇ sur (s i ⁇ 1, L , S i, j ) indicates the ratio of the difference between the evaluation target values. The process in which the evaluation target value calculation unit 294 calculates the evaluation target value is determined depending on the process in the difference information acquisition unit 293.
  • the evaluation target value calculation unit 294 calculates the sum of the difference information and the evaluation target value in the state corresponding to the parent node. For example, when the difference information acquisition unit 293 creates the difference information by the ratio, the evaluation target value calculation unit 294 calculates the product of the difference information and the evaluation target value in the state corresponding to the parent node.
  • the post-update parameter value selection unit 295 For the evaluation target value calculated by the evaluation target value calculation unit 294, the post-update parameter value selection unit 295, for each candidate of the post-update parameter value, the average value of the evaluation target values in the state corresponding to the descendant among the prefetch target states. And calculate the variance.
  • the updated parameter value selection unit 295 obtains in the states s i + 2,1 , s i + 2,2 , and s i + 2,3 in order to calculate the selection index value in the state s i, 1 . Calculate the average and variance of all evaluated values. Further, the updated parameter value selection unit 295 calculates the average and variance of all evaluation target values obtained in the states s i + 2,4 and s i + 2,5 in order to calculate the selection index value in the state s i, 2 . calculate.
  • the updated parameter value selection unit 295 calculates the average and variance of all evaluation target values in the updated parameter value candidates themselves. As described above, by using a plurality of learning models, a plurality of evaluation target values can be obtained for one updated parameter value candidate. The updated parameter value selection unit 295 calculates the selection index value of each of the updated parameter value candidates using Expression (11), and selects one candidate having the largest selection index value.
  • n N i, j indicates the number of states developed at the depth L (N) that is the depth of the prefetch target (the number of states corresponding to the descendants of the state s i, j ).
  • N the depth of the prefetch target
  • k indicates the number of updated parameter value candidates. Therefore, k indicates the number of states at the depth L (i).
  • k 2”.
  • the value of Expression (11) corresponds to an example of the selection index value.
  • the value of the variance ⁇ i, j 2 is large, it is considered that the evaluation target value is significantly different for each state of the prefetch destination, or the error of the evaluation target value due to the machine learning result is relatively large. In any case, it can be considered that there is a possibility that a suitable state can be reached by further searching. According to equation (11), candidates for updated parameter values in this case are relatively easy to select.
  • the updated parameter value selection unit 295 calculates the selection index value of each of the updated parameter value candidates using Expression (12) instead of Expression (11), and the candidate with the largest selection index value is set to 1 One may be selected.
  • V k, Tk (t ⁇ 1) shows a variance similar to ⁇ i, j 2 in equation (11).
  • T k (t ⁇ 1) represents the number of states corresponding to the descendants of candidates for the updated parameter value, similar to n N i, j in Expression (11).
  • c indicates a hyper parameter for weighting the third term.
  • b shows a prediction width. The prediction width here is the size of the range of the average value ⁇ i, j of the evaluation target values.
  • FIG. 12 is a flowchart showing an example of a processing procedure in which the machine learning device 100 learns the relationship between the parameter value before and after the update and the ratio of the difference between the evaluation target values.
  • the learning-side control unit 190 starts a loop L41 that repeats the process for the number of learning models to be generated (step S411).
  • Steps S412 to S414 are the same as steps S111 to S113 in FIG.
  • the machine learning device 100 performs the process of FIG.
  • the machine learning device 100 generates training data for each learning model. That is, the processing procedure for the machine learning device 100 according to the second embodiment to generate training data for each learning model is the same as the processing procedure for the machine learning device 100 according to the first embodiment to generate training data.
  • the learning side control unit 190 performs the termination process of the loop L41. Specifically, the learning-side control unit 190 determines whether or not the training data sets have been generated by the number of learning models to be generated. When it is determined that the number of generated training data sets is smaller than the number of learning models, the learning-side control unit 190 continues to repeat the process of loop L41. On the other hand, when it is determined that the training data sets have been generated by the number of learning models to be generated, the analysis-side control unit 290 ends the loop L41.
  • the learning-side control unit 190 starts the loop L43 that repeats the process for the number of learning models to be generated (step S416).
  • Steps S417 to S419 are the same as steps S114 to S116 of FIG.
  • the machine learning device 100 generates a learning model. That is, the processing procedure for the machine learning device 100 according to the second embodiment to generate individual learning models is the same as the processing procedure for the machine learning device 100 according to the first embodiment to generate learning models.
  • the learning-side control unit 190 performs the termination process of the loop L43. Specifically, the learning-side control unit 190 determines whether or not the learning models of the number to be generated have been generated. If it is determined that the number of generated learning models is less than the number to be generated, the learning-side control unit 190 continues to repeat the process of loop L43. On the other hand, when it is determined that the learning models of the number to be generated have been generated, the analysis-side control unit 290 ends the loop L43. When the loop L43 is finished, the machine learning device 100 finishes the process of FIG.
  • FIG. 13 is a flowchart showing an example of a processing procedure in which the analysis device 200 searches for a parameter value.
  • Steps S511 to S513 are the same as steps S311 to S313 in FIG.
  • the analysis-side control unit 290 starts the loop L52 that performs processing for each learning model (step S514).
  • the difference information acquisition unit 293 acquires information indicating the degree of difference in the evaluation target value in the case of the updated parameter value candidate with respect to the evaluation target value in the case of the update target parameter value (step S515). ).
  • the evaluation target value calculation unit 294 calculates the evaluation target value of the candidate of the updated parameter value based on the obtained difference ratio of the evaluation target values and the evaluation target value in the case of the update target parameter value (Ste S516).
  • Steps S515 and S516 are the same as steps S314 and S315 of FIG. That is, the difference information acquisition unit 293 and the evaluation target value calculation unit 294 according to the second embodiment calculate the evaluation target value for each learning model by the difference information acquisition unit 293 and the evaluation target value according to the first embodiment.
  • the calculation unit 294 is similar to the process of obtaining the evaluation target value.
  • the difference information acquisition unit 293 determines in step S515 the updated parameter value in the pre-reading destination state with respect to the evaluation target value in the case of the update target parameter value for each pre-reading destination state. In this case, information indicating the degree of difference between the evaluation target values is acquired. Then, in step S516, the evaluation target value calculation unit 294 calculates an evaluation target value for each state of the prefetch destination.
  • the analysis-side control unit 290 performs the termination process of the loop L52 (step S517). Specifically, the analysis-side control unit 290 determines whether or not the processing of the loop L52 has been performed for all learning models. When it is determined that there is an unprocessed learning model, the analysis-side control unit 290 continuously repeats the process of loop L52. On the other hand, when it is determined that the processing of the loop L32 has been executed for all learning models, the analysis-side control unit 290 ends the loop L52.
  • the updated parameter value selection unit 295 calculates the average value and the variance of the evaluation target values for each updated parameter value candidate (step S518).
  • the analysis side control part 290 performs the termination process of the loop L51 (step S519). Specifically, the analysis-side control unit 290 determines whether or not the processing of the loop L51 has been performed on all the updated parameter value candidates. When determining that there is an unprocessed candidate, the analysis-side control unit 290 continuously repeats the processing of loop L51. On the other hand, when it is determined that the processing of the loop L51 has been executed for all the candidates, the analysis-side control unit 290 ends the loop L51.
  • Step S519 is similar to step S316 of FIG.
  • the updated parameter value selection unit 295 selects any of the updated parameter value candidates (step S520). Specifically, the post-update parameter value selection unit 295 uses the average and variance of the evaluation target values calculated for each of the post-update parameter value candidates to select one candidate having the largest value of the above-described formula (11). select. As described above, the value of Expression (11) corresponds to an example of the selection index value, and the updated parameter value selection unit 295 selects the candidate having the largest selection index value.
  • the end condition determination unit 296 determines whether or not the end condition for the parameter value search is satisfied (step S521). For example, the analysis-side control unit 290 calculates the evaluation target value for the selected parameter value, as in the case of the first embodiment. The end condition determination unit 296 determines whether or not the evaluation target value for the selected parameter value satisfies the target value, and when it is determined that the target value is satisfied, the end condition for the parameter value search is satisfied. It is determined that When the end condition determination unit 296 determines that the end condition of the parameter value search is not satisfied (step S521: NO), the process proceeds to step S512.
  • step S521 determines that the end condition of the parameter value search is satisfied (step S521: YES)
  • the analysis device 200 outputs the processing result (step S522).
  • Step S522 is the same as step S319 of FIG. After step S522, the analysis device 200 ends the process of FIG.
  • the difference information acquisition unit 293 determines, for each of the plurality of updated parameter value candidates set according to the updated parameter value, the update target parameter value and the updated parameter value candidate as a plurality of machine parameters. By applying to the learning result, information indicating the degree of difference between the evaluation target value in the case of the update target parameter value and the evaluation target value in the case of the updated parameter value candidate is acquired for each machine learning result.
  • the evaluation target value calculation unit 294 determines the candidate based on the degree of difference between the evaluation target values and the evaluation target value in the case of the update target parameter value for each candidate of the updated parameter value and each machine learning result. In this case, the evaluation target value is calculated.
  • the updated parameter value selection unit 295 selects a candidate whose selection index value calculated using the variation of the plurality of evaluation target values for each candidate of the update target parameter value is the most suitable for the predetermined selection condition, and which is to be updated.
  • the evaluation target value in the case of the parameter value and the update target parameter value is updated to the evaluation target value in the case of the selected candidate and the selected candidate, respectively.
  • the updated parameter value selection unit 295 compares the selection index values calculated using the variations of the plurality of evaluation target values for each candidate of the update target parameter value, and selects the candidate based on the comparison result,
  • the update target parameter value and the evaluation target value for the update target parameter value are updated to the selected candidate and the evaluation target value for the selected candidate, respectively.
  • the analysis device 200 uses a plurality of machine learning results to calculate an evaluation target value in the case of a candidate for an updated parameter value for each machine learning result.
  • the analysis device 200 can obtain a plurality of evaluation target values for one candidate of the updated parameter value, and the evaluation using the variation of the evaluation values becomes possible.
  • the value used by the analysis system 1 as the index indicating the variation in the evaluation target value is not limited to the variance of the evaluation target value.
  • the analysis system 1 may use a value other than the variance, such as using the standard deviation as an index indicating the variation in the evaluation target value.
  • the analysis device 200 acquires information indicating the degree of difference in the evaluation target value at the time of updating the parameter value from the machine learning result.
  • the analysis device 200 calculates the evaluation target value in the case of the candidate of the updated parameter value, in that the relative value of the degree of difference in the evaluation target value is acquired from the machine learning result, the update target parameter value In this case, the evaluation target value can be reflected. It is considered that the evaluation target value before and after the parameter value is updated has a relatively strong relationship (for example, correlation), and according to the analysis device 200, the evaluation target value can be calculated with higher accuracy at this point. You can
  • the processing of the updated candidate setting unit 292 and the subsequent processing include the following processing (1B) to (6B).
  • (1B) The updated candidate setting unit 292 sets a plurality of updated parameter value candidates.
  • the evaluation target value calculation unit 294 determines, for each candidate of the updated parameter value and for each machine learning result.
  • the evaluation target value in the case of the updated parameter value candidate is calculated.
  • the updated parameter value selection unit 295 selects the candidate with the best evaluation in the evaluation using the average value and the variance (an example of the selection index value) of the evaluation target value for each of the updated parameter value candidates.
  • the update target parameter value and the evaluation target value in the case of the update target parameter value are selected and updated to the selected candidate and the evaluation target value in the case of the selected candidate, respectively.
  • the end condition determination unit 296 determines whether the evaluation target value for the update target parameter value satisfies a predetermined end condition. (6B) Until the analysis-side control unit 290 determines in (5B) that the end condition determination unit 296 determines that the evaluation target value for the update target parameter value satisfies a predetermined end condition (1B) to (6B). Repeat the process of.
  • the updated parameter value selection unit 295 selects a candidate whose selection index value calculated using the average value of the evaluation target values in addition to the variation of the evaluation target values best matches the predetermined selection condition.
  • the updated parameter value selection unit 295 can reflect the average value of the evaluation target values in the selection of candidates by using the selection index value based on the average value of the evaluation target values.
  • the updated parameter value selection unit 295 preferentially selects a candidate having a large average value of the evaluation target values using this selection index value, so that the evaluation target value obtained for the selected candidate becomes large (evaluation is Expected to be higher).
  • the post-update parameter value selection unit 295 performs pre-reading on the update of the parameter value, and the candidate having a smaller number of pre-read parameter values has higher evaluation. It can be considered that there is a possibility that a pre-reading candidate having a small number of parameter values has not been sufficiently evaluated by the pre-reading, and if a further search is performed, a suitable state may be reached. According to the analysis device 200, candidates for updated parameter values in this case are relatively easy to be selected.
  • the parameter value acquisition unit 191 also acquires the update target parameter value and the updated parameter value.
  • the simulation execution unit 192 calculates the evaluation target value for each of the update target parameter value and the updated parameter value by simulation.
  • the difference calculation unit 193 calculates the degree of difference between the evaluation target value in the case of the updated parameter value and the evaluation target value in the case of the updated parameter value.
  • the machine learning processing unit 194 uses the update target parameter value, the post-update parameter value, and the degree of difference of the evaluation target value for, for example, a plurality of sets, and uses the update target parameter value, the post-update parameter value, and the evaluation target value. Multiple machine learning results of the relationship with the degree of difference of are acquired.
  • the machine learning apparatus 100 performs machine learning on the degree of difference in the evaluation target values, and thus can provide the analysis apparatus 200 with a machine learning result that outputs the degree of difference in the evaluation target values.
  • the analysis apparatus 200 can perform analysis as described above using the machine learning result. Furthermore, by acquiring a plurality of machine learning results of the machine learning device 100, the analysis device 200 can acquire a plurality of evaluation target values using the plurality of machine learning results, and evaluates the variance of the evaluation target values. It is possible to obtain an index indicating the magnitude of the variation in the target value. It is expected that the analysis device 200 can evaluate the parameter value using the index indicating the magnitude of the variation in the evaluation target value, and can detect the search region having a large evaluation target value (high evaluation).
  • a Bayesian Neural Network may be used for machine learning by the machine learning device 100.
  • the Bayesian neural network outputs with a probability distribution.
  • the analysis apparatus 200 can obtain the average value and variance of the evaluation target values from the output of the Bayesian neural network, and need not separately calculate these average value and variance.
  • the Bayesian neural network will be described using equations.
  • the number of training data is M (M is a positive integer), and each training data is ⁇ i (i is an integer of 1 ⁇ i ⁇ M), and the training data set is expressed as in Expression (13). ..
  • the training data set is represented by a vector in consideration of the order of applying the training data.
  • the k-th training data ⁇ k is shown as in equation (14).
  • y k represents the output value of the neural network in the k-th training data ⁇ k .
  • x k represents an input value to the neural network in the k-th training data ⁇ k .
  • the likelihood function is represented by L, and the likelihood is expressed as in equation (16).
  • L indicates a likelihood function.
  • ⁇ is a hyper-parameter and is assumed to follow the distribution ⁇ ( ⁇ ) as in Expression (17).
  • ⁇ ( ⁇ ) represents a prior probability density function.
  • the new prediction (prediction other than the learning data) is expressed as a prediction of the input value x M + 1 to the output value y M + 1 , and is expressed by Expression (18) according to Bayes' theorem.
  • N ( ⁇ p ′, ⁇ p ′) is assumed as ⁇ ( ⁇ ), and an informationless prior distribution is assumed as ⁇ ( ⁇ p ).
  • ⁇ p ′ and ⁇ p ′ each represent a certain value (real number constant). From Bayes' theorem, it is expressed as in Expression (20).
  • ⁇ indicates proportionality.
  • Equation (16) by treating p (y M + 1
  • T sim indicates the calculation time per simulation execution.
  • N data indicates the number of input data to the simulator (therefore, the number of times of simulation execution) for machine learning by the machine learning device 100.
  • the time required to generate data is T sim ⁇ N data .
  • T Lrn indicates the time required for the machine learning device 100 to perform machine learning.
  • the time required for the machine learning device 100 to perform machine learning is proportional to the time required for data generation.
  • D indicates the depth of look-ahead performed by the analysis device 200.
  • T sur indicates the calculation time per state and per learning model.
  • N model indicates the number of learning models used by the analysis device 200.
  • N play indicates the number of states (playout number) corresponding to the descendants at the time when the maximum depth of prefetching is reached.
  • L indicates the final depth.
  • N node D indicates the number of candidates for the next placement location at the look-ahead depth.
  • T sim 2.0 [seconds]
  • N data 3000
  • N node D 390
  • T sim ⁇ N data 6112.5 [seconds]
  • T Lrn 20.0 [seconds]
  • N model 10.
  • T sur 0.0037 [seconds]
  • the calculation time required in each case is (A) In the case of the analysis system 1 according to the second embodiment (equation (21)): about 209.5 minutes (b) In the case of performing similar processing by executing simulation without performing machine learning (equation (22) )): Approximately 5959.7 minutes (approximately 28.5 times that in the case of (a)) (c) Prefetch in the same manner, perform similar processing by executing simulation without performing machine learning, and search. In the case of (formula (23)): about 20983.1 days (about 144256 times of (a)) Becomes In the process of (b), the analysis device 200 proceeds with the search while narrowing down to any one of the plurality of candidates by the same process as in (a).
  • the analysis device 200 does not narrow down to one candidate and leaves the number of candidates up to N node D. Comparing the calculation times of (a) to (c), the calculation time is short in the case of the analysis system 1 according to the second embodiment.
  • FIG. 14 is a diagram showing an example of the configuration of the analysis device according to the third embodiment.
  • the analysis device 310 shown in FIG. 14 includes a difference information acquisition unit 311, an evaluation target value calculation unit 312, and an updated parameter value selection unit 313.
  • the difference information acquisition unit 311 determines, for each of the plurality of updated parameter value candidates set according to the updated parameter value, the update target parameter value and the updated parameter value candidate as a plurality of machine parameters.
  • the learning result information indicating the degree of difference between the evaluation target value in the case of the update target parameter value and the evaluation target value in the case of the updated parameter value candidate is acquired for each machine learning result.
  • the updated parameter value selection unit 313 compares the selection index values calculated using the variations of the plurality of evaluation target values for each updated parameter value candidate, selects the candidate based on the comparison result, and updates the updated parameter value. , The evaluation target value for the update target parameter value is updated to the evaluation target value for the selected candidate and the selected candidate, respectively.
  • the analysis device 310 uses a plurality of machine learning results to calculate the evaluation target value in the case of the updated parameter value candidates for each machine learning result.
  • the analysis apparatus 310 can obtain a plurality of evaluation target values for one updated parameter value candidate, and can perform evaluation using an index (for example, variance) indicating the variation of the evaluation target values.
  • the analysis device 310 acquires information indicating the degree of difference between the evaluation target values when updating the parameter value from the machine learning result.
  • the analysis device 310 acquires the relative value of the degree of difference between the evaluation target values from the machine learning result. In this case, the evaluation target value can be reflected. It is considered that the evaluation target value before and after the parameter value is updated has a relatively strong relationship (for example, correlation), and according to the analysis device 310, the evaluation target value can be calculated with higher accuracy at this point. You can
  • FIG. 16 is a diagram showing an example of the configuration of the analysis system according to the fifth embodiment.
  • the analysis system 330 shown in FIG. 16 includes a machine learning device 340 and an analysis device 350.
  • the machine learning device 340 includes a parameter value acquisition unit 341, a simulation execution unit 342, a difference calculation unit 343, and a machine learning processing unit 344.
  • the analysis device 350 includes a difference information acquisition unit 351, an evaluation target value calculation unit 352, and an updated parameter value selection unit 353.
  • the parameter value acquisition unit 341 acquires the update target parameter value and the updated parameter value.
  • the simulation executing unit 342 calculates the evaluation target value for each of the update target parameter value and the updated parameter value by simulation.
  • the difference calculation unit 343 calculates the degree of difference between the evaluation target value for the updated parameter value and the evaluation target value for the updated parameter value.
  • the machine learning processing unit 344 uses the update target parameter value, the updated parameter value, and the degree of difference of the evaluation target value for a plurality of sets to determine the difference between the update target parameter value and the updated parameter value and the evaluation target value. Acquire multiple machine learning results of the relationship with the degree.
  • the difference information acquisition unit 351 regards each of the plurality of updated parameter value candidates set according to the updated parameter value as the update target parameter value and the updated parameter value candidate as a plurality of machine learning results. By applying it, information indicating the degree of difference between the evaluation target value in the case of the update target parameter value and the evaluation target value in the case of the candidate of the updated parameter value is acquired for each machine learning result.
  • the evaluation target value calculation unit 352 determines the candidate based on the degree of difference between the evaluation target values and the evaluation target value in the case of the update target parameter value for each candidate of the updated parameter value and each machine learning result. In this case, the evaluation target value is calculated.
  • the updated parameter value selection unit 353 compares the selection index values calculated by using the variations of the plurality of evaluation target values for each updated parameter value candidate, selects the candidate based on the comparison result, and updates the updated parameter value. , The evaluation target value for the update target parameter value is updated to the evaluation target value for the selected candidate and the selected candidate, respectively.
  • the machine learning device 340 performs the machine learning on the degree of difference in the evaluation target value, and thus the machine learning result that outputs the degree of difference in the evaluation target value can be provided to the analysis device 350.
  • the analysis device 350 can perform analysis using this machine learning result. Furthermore, since the machine learning device 340 acquires a plurality of machine learning results, the analysis device 350 can acquire a plurality of evaluation target values by using these plurality of machine learning results, such as the variance of the evaluation target values. It is possible to acquire an index indicating the magnitude of variation in the evaluation target value. It is expected that the analysis device 350 can evaluate the parameter value using the index indicating the magnitude of the variation in the evaluation target value, and can detect the search area having a large evaluation target value (high evaluation).
  • the analysis device 350 uses a plurality of machine learning results to calculate an evaluation target value in the case of a candidate of the updated parameter value for each machine learning result.
  • the analysis device 350 can obtain a plurality of evaluation target values for one updated parameter value candidate and can perform evaluation using an index (for example, variance) indicating the variation of the evaluation target values.
  • the analysis device 350 acquires information indicating the degree of difference between the evaluation target values at the time of updating the parameter value from the machine learning result.
  • the analysis device 350 obtains a relative value, which is the degree of difference between the evaluation target values, from the machine learning result, and when calculating the evaluation target value in the case of the updated parameter value candidates, the update target parameter value In this case, the evaluation target value can be reflected. It is considered that the evaluation target value before and after the parameter value is updated has a relatively strong relationship (for example, correlation), and the analysis device 350 can calculate the evaluation target value with higher accuracy at this point. You can
  • a program for executing all or part of the processing performed by the learning-side control unit 190 and the search-side control unit 290 is recorded in a computer-readable recording medium, and the program recorded in this recording medium is recorded. You may perform the process of each part by making it read into a computer system and executing it.
  • the “computer system” mentioned here includes an OS and hardware such as peripheral devices.
  • the "computer-readable recording medium” refers to a portable medium such as a flexible disk, a magneto-optical disk, a ROM, a CD-ROM, or a storage device such as a hard disk built in a computer system.
  • the program may be for realizing a part of the above-described functions, and may be a program for realizing the above-mentioned functions in combination with a program already recorded in the computer system.
  • the present invention may be applied to an analysis device, a machine learning device, an analysis system, an analysis method and a recording medium.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Testing And Monitoring For Control Systems (AREA)
  • Feedback Control In General (AREA)

Abstract

解析装置は、更新パラメータ値に応じて設定される更新後パラメータ値の複数の候補の各々について、前記更新対象パラメータ値とその候補とを複数の機械学習結果に適用して、前記更新対象パラメータ値の場合の評価対象値に対する、その候補の場合の評価対象値の相違の程度を示す情報を機械学習結果毎に取得する相違情報取得手段と、前記候補毎、かつ、前記機械学習結果毎に、前記評価対象値の相違の程度と、前記更新対象パラメータ値の場合の前記評価対象値とに基づいて、その候補の場合の評価対象値を算出する評価対象値算出手段と、前記候補毎に、前記機械学習結果毎の前記評価対象値のばらつきを用いて選択指標値を算出し、前記複数の候補各々の前記選択指標値を比較し、前記比較の結果に基づき前記複数の候補から候補を選択し、前記更新対象パラメータ値、前記更新対象パラメータ値の場合の評価対象値を、それぞれ、前記選択した候補、前記選択した候補の場合の評価対象値に更新する、更新後パラメータ値選択手段とを備える。

Description

解析装置、機械学習装置、解析システム、解析方法および記録媒体
　本発明は、解析装置、機械学習装置、解析システム、解析方法および記録媒体に関する。
　シミュレーションを用いた解析技術など幾つかの解析技術が提案されている。
　例えば、特許文献１には、シミュレーションの複数の試行の中から分析対象の試行を抽出するための抽出方法が記載されている。この抽出方法では、店舗のレジの待ち時間を短縮したい等の主題（検討課題）に対し、レジの台数およびレイアウト等の施策（主題に対する対策）、および、来店客の行動等の不確実性を有する要素に基づく環境要素を変えてシミュレーションを複数回実行する。特許文献１では、個々のシミュレーションの実行を試行と呼んでいる。特許文献１に記載の抽出方法では、他の試行と評価値が乖離している試行を分析対象の試行として抽出する。
　また、特許文献２には、プラントで発生するイベントを解析するためのイベント解析装置が記載されている。このイベント解析装置は、イベント毎に発生の有無を時系列で示すイベントマトリクスに基づいてイベントをグルーピングし、得られた関連イベントグループについて、イベントマトリックスに基づいてベイジアンネットワークによる確率付き因果関係モデルを構築する。このイベント解析装置は、イベント毎の確率付きモデルのうち、設定された改善候補パターンのいずれかに合致する確率付き因果関係モデルを抽出する。
　また、特許文献３には、セクタアンテナを用いたマイクロダイバーシティにおける基地局の配置場所とセルの配置パターンを決定するための、配置場所および配置パターン計算装置が記載されている。この配置場所および配置パターン計算装置は、セルを示す凸多角形が所定の二次元平面上に重複及び隙間がないように配置されるという条件のもとで、基地局の配置およびセルの配置パターンを決定する。
　また、特許文献４には、画像検索の精度を向上させるための判定装置が記載されている。この判定装置は、関連性の判定対象となる３つの画像を距離空間上に対応付け、３つの画像が有する関連性を、距離空間上で３つの画像により定義付けられる角度として判定する。
日本国特開２０１６－１５７１７３号公報 日本国特開２０１６－０９９９３０号公報 日本国特開２０１６－０９１４００号公報 日本国特開２０１７－１６７９８７号公報
　解析装置が解としてのパラメータ値の探索を行う場合、局所解に陥る可能性があり、なるべく評価の高い解を検出できることが好ましい。解析装置が評価対象値を算出して解の探索を行う場合、評価対象値を評価する指標を得られれば、評価の高い解の検出に役立てることができる。特に、評価対象値のばらつきをパラメータ値（解）の評価に反映させることができれば、評価対象値が大きい（評価が高い）探索領域を検知できると期待される。
　本発明の目的の一例は、上述の課題を解決することのできる解析装置、機械学習装置、解析システム、解析方法および記録媒体を提供することである。
　本発明の第１の態様によれば、解析装置は、更新パラメータ値に応じて設定される更新後パラメータ値の複数の候補の各々について、前記更新対象パラメータ値とその候補とを複数の機械学習結果に適用して、前記更新対象パラメータ値の場合の評価対象値に対する、その候補の場合の評価対象値の相違の程度を示す情報を機械学習結果毎に取得する相違情報取得手段と、前記候補毎、かつ、前記機械学習結果毎に、前記評価対象値の相違の程度と、前記更新対象パラメータ値の場合の前記評価対象値とに基づいて、その候補の場合の評価対象値を算出する評価対象値算出手段と、前記候補毎に、前記機械学習結果毎の前記評価対象値のばらつきを用いて選択指標値を算出し、前記複数の候補各々の前記選択指標値を比較し、前記比較の結果に基づき前記複数の候補から候補を選択し、前記更新対象パラメータ値、前記更新対象パラメータ値の場合の評価対象値を、それぞれ、前記選択した候補、前記選択した候補の場合の評価対象値に更新する、更新後パラメータ値選択手段と、を備える。
　本発明の第２の態様によれば、機械学習装置は、更新対象パラメータ値および更新後パラメータ値とのセットを複数取得するパラメータ値取得手段と、前記複数のセット毎に、前記更新対象パラメータ値の場合の評価対象値と、前記更新後パラメータ値の場合の評価対象値とをシミュレーションで算出するシミュレーション実行手段と、前記複数のセット毎に、前記更新対象パラメータ値の場合の評価対象値に対する、前記更新後パラメータ値の場合の評価対象値の相違の程度を算出する相違算出手段と、前記複数のセットの前記更新対象パラメータ値、前記更新後パラメータ値、および、前記評価対象値の相違の程度を用いて、前記更新対象パラメータ値および前記更新後パラメータ値と、前記評価対象値の相違の程度との関係の機械学習結果を複数取得する機械学習処理手段と、を備える。
　本発明の第３の態様によれば、解析システムは、機械学習装置と解析装置とを備える。前記機械学習装置は、更新対象パラメータ値および更新後パラメータ値とのセットを複数取得するパラメータ値取得手段と、前記複数のセット毎に、前記更新対象パラメータ値の場合の評価対象値と、前記更新後パラメータ値の場合の評価対象値とをシミュレーションで算出するシミュレーション実行手段と、前記複数のセット毎に、前記更新対象パラメータ値の場合の評価対象値に対する、前記更新後パラメータ値の場合の評価対象値の相違の程度を算出する相違算出手段と、前記複数のセットの前記更新対象パラメータ値、前記更新後パラメータ値、および、前記評価対象値の相違の程度を用いて、前記更新対象パラメータ値および前記更新後パラメータ値と、前記評価対象値の相違の程度との関係の機械学習結果を複数取得する機械学習処理手段と、を備える。前記解析装置は、更新パラメータ値に応じて設定される更新後パラメータ値の複数の候補の各々について、前記更新対象パラメータ値とその候補とを複数の機械学習結果に適用して、前記更新対象パラメータ値の場合の評価対象値に対する、その候補の場合の評価対象値の相違の程度を示す情報を機械学習結果毎に取得する相違情報取得手段と、前記候補毎、かつ、前記機械学習結果毎に、前記評価対象値の相違の程度と、前記更新対象パラメータ値の場合の前記評価対象値とに基づいて、その候補の場合の評価対象値を算出する評価対象値算出手段と、前記候補毎に、前記機械学習結果毎の前記評価対象値のばらつきを用いて選択指標値を算出し、前記複数の候補各々の前記選択指標値を比較し、前記比較の結果に基づき前記複数の候補から候補を選択し、前記更新対象パラメータ値、前記更新対象パラメータ値の場合の評価対象値を、それぞれ、前記選択した候補、前記選択した候補の場合の評価対象値に更新する、更新後パラメータ値選択手段と、を備える。
　本発明の第４の態様によれば、解析方法は、コンピュータによって実施され、更新パラメータ値に応じて設定される更新後パラメータ値の複数の候補の各々について、前記更新対象パラメータ値とその候補とを複数の機械学習結果に適用して、前記更新対象パラメータ値の場合の評価対象値に対する、その候補の場合の評価対象値の相違の程度を示す情報を機械学習結果毎に取得し、前記候補毎、かつ、前記機械学習結果毎に、前記評価対象値の相違の程度と、前記更新対象パラメータ値の場合の前記評価対象値とに基づいて、その候補の場合の評価対象値を算出し、前記候補毎に、前記機械学習結果毎の前記評価対象値のばらつきを用いて選択指標値を算出し、前記複数の候補各々の前記選択指標値を比較し、前記比較の結果に基づき前記複数の候補から候補を選択し、前記更新対象パラメータ値、前記更新対象パラメータ値の場合の評価対象値を、それぞれ、前記選択した候補、前記選択した候補の場合の評価対象値に更新する、ことを含む。
　本発明の第５の態様によれば、記録媒体は、コンピュータに、更新パラメータ値に応じて設定される更新後パラメータ値の複数の候補の各々について、前記更新対象パラメータ値とその候補とを複数の機械学習結果に適用して、前記更新対象パラメータ値の場合の評価対象値に対する、その候補の場合の評価対象値の相違の程度を示す情報を機械学習結果毎に取得し、前記候補毎、かつ、前記機械学習結果毎に、前記評価対象値の相違の程度と、前記更新対象パラメータ値の場合の前記評価対象値とに基づいて、その候補の場合の評価対象値を算出し、前記候補毎に、前記機械学習結果毎の前記評価対象値のばらつきを用いて選択指標値を算出し、前記複数の候補各々の前記選択指標値を比較し、前記比較の結果に基づき前記複数の候補から候補を選択し、前記更新対象パラメータ値、前記更新対象パラメータ値の場合の評価対象値を、それぞれ、前記選択した候補、前記選択した候補の場合の評価対象値に更新する、ことを実行させるためのプログラムを記憶する。
　この発明の実施形態によれば、評価対象値のばらつきをパラメータ値の評価に反映させることができる。
第１実施形態に係る解析システムの装置構成の例を示す概略構成図である。 第１実施形態に係る解析システムによる解析の対象の例を示す図である。 第１実施形態に係る解析システムによる解析の対象におけるパラメータの設定例を示す図である。 第１実施形態に係る解析システムにおけるパラメータ値の更新の例を示す図である。 第１実施形態に係る解析装置によるパラメータ値の探索の例を示す図である。 第１実施形態に係る機械学習装置の機能構成の例を示す概略ブロック図である。 第１実施形態に係る解析装置の機能構成の例を示す概略ブロック図である。 第１実施形態に係る機械学習装置が更新前後のパラメータ値と評価対象値の差分の割合Ｙとの関係を学習する処理手順の例を示すフローチャートである。 第１実施形態に係る機械学習装置が訓練データを生成する処理手順の例を示すフローチャートである。 第１実施形態に係る解析装置がパラメータ値を検索する処理手順の例を示すフローチャートである。 第２実施形態に係る更新後パラメータ値選択部による更新後パラメータ値の候補の選択の例を示す図である。 第２実施形態に係る機械学習装置が更新前後のパラメータ値と評価対象値の差分の割合との関係を学習する処理手順の例を示すフローチャートである。 第２実施形態に係る解析装置がパラメータ値を検索する処理手順の例を示すフローチャートである。 第３実施形態に係る解析装置の構成の例を示す図である。 第４実施形態に係る機械学習装置の構成の例を示す図である。 第５実施形態に係る解析システムの構成の例を示す図である。
　以下、本発明の実施形態を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
＜第１実施形態＞
　図１は、第１実施形態に係る解析システム１の装置構成の例を示す概略構成図である。図１に示す構成で、解析システム１は、機械学習装置１００と、解析装置２００とを備える。
　解析システム１は、パラメータを用いて表されている解析対象（例えば、設計対象）と、パラメータ値に応じて定まる評価対象値との関係を機械学習し、評価対象値が所定の条件を満たすためのパラメータ値を探索する。ここでいう評価対象値は、解析装置２００が探索にて取得するパラメータ値を、探索の解として評価するために用いられる値である。言い換えると、評価対象値は、解析対象に関して生じる事象のうち、注目している事象（注目事象）が定量的に評価された値を表す。また、パラメータは、例えば、解析対象に関する状態、または、解析対象における状態を表す情報である。解析対象は、例えば、図２に示すような流速問題である。注目している事象は、例えば、領域Ａ１２における流速である。図２の例の詳細については、後述する。
　機械学習装置１００は、解析対象のパラメータ値と評価対象値との関係を機械学習する。機械学習装置１００は、解析対象のパラメータ値の入力を受けて評価対象値を出力するシミュレータを用いて訓練データ（Training Data）を取得して機械学習を行う。
　解析装置２００は、機械学習にて得られた解析対象のパラメータ値と評価対象値との関係を用いて、評価対象値が所定の条件を満たすためのパラメータ値を探索する。所定の条件は、例えば、解析対象（例えば、設計対象）に関する所望の条件を定量的に表した数値である。解析装置２００を設計に適用する場合、所定の条件は、設計対象に関して所望の設計を行う場合に、注目している事象が定量的に評価された指標が満たしている条件を表す。
　機械学習装置１００及び解析装置２００は、いずれも、例えばパソコン（Personal Computer；ＰＣ）またはワークステーション（Workstation）等のコンピュータ（情報処理装置）を用いて構成される。機械学習装置１００と解析装置２００とが同一の装置として構成されていてもよいし、別々の装置として構成されていてもよい。
　図２は、解析システム１による解析の対象の例を示す図である。図２は、円柱Ｃ１１の配置を決定する設計問題を示している。
　図２に示す設計問題では、領域Ａ１１内に所定数（例えば、６個）の円柱Ｃ１１を配置する。この設計問題では、矢印Ｂ１１で示すように流体が流れており、領域Ａ１１の背後の領域Ａ１２における流体の平均流速が最大となるような円柱Ｃ１１の配置を決定する。すなわち、この例では、所望の設計は、領域Ａ１２における流体の平均流速が最大となる場合における円柱の配置を求める設計である。
　図３は、解析システム１による解析の対象におけるパラメータの設定例を示す図である。図２の領域Ａ１１内に格子を設定し、図３に示すように格子点に円柱Ｃ１１を配置する。格子点毎にバイナリ（Binary、「１」または「０」の２値）のパラメータ変数を設定し、このパラメータ変数を用いて格子点毎に円柱Ｃ１１の有無を示すことで、円柱Ｃ１１の配置を示すことができる。この例では、「１」は、格子点に円柱が配置されていることを表す。また、「０」は、格子点に円柱が配置されていないことを表す。
　図２及び図３に示す設計問題を解くために、領域Ａ１１内における円柱Ｃ１１の配置を決定した場合の、領域Ａ１２における流体の平均流速を算出するシミュレータを使用可能であるとする。
　この場合、設計問題を解く方法の１つとして、円柱Ｃ１１の全ての配置それぞれについて、領域Ａ１２における流体の平均流速をシミュレータで算出して、平均流速が最大となる配置を求める、いわば全解探索法が考えられる。しかしながらこの方法では、格子点の数が増えるにつれて、いわゆる組み合わせ爆発が生じてシミュレーションの実行回数が膨大になり、現実的な時間内に設計問題を解けないことが考えられる。
　そこで、解析システム１では、機械学習装置１００が、シミュレーションにおける入力と出力との関係を機械学習する。解析装置２００が、機械学習装置１００による学習結果（学習モデル、スコア関数等）を用いることで、解析装置２００の処理実行時にはシミュレーションの実行が不要となる。これにより、解析システム１全体の処理時間を短縮することができる。学習結果（学習モデル、スコア関数等）は、シミュレーションにおける入力と出力との関係性を表す。たとえば、学習結果（学習モデル、スコア関数等）は、あらかじめ、シミュレーションにおける入力と、シミュレーションにおける出力とに対して機械学習アルゴリズムを適用することによって、作成される。機械学習アルゴリズムとして、たとえば、ニューラルネットワーク、サポートベクターマシン等の手法を用いることができる。
　解析システム１は、パラメータで表現可能、かつ、シミュレーションの実行を機械学習可能ないろいろな問題を扱うことができ、この点で、解析システム１の処理対象が広い。上記の設計問題のように、解析システム１を設計に用いることができるが、これに限定されない。
　図４は、解析システム１におけるパラメータ値の更新の例を示す図である。
　上記のように所定の個数の円柱Ｃ１１を格子点に配置した状態で、円柱Ｃ１１の配置変更の１ステップでは、１つの円柱Ｃ１１の配置を変更する。この変更は、図４において、矢印Ｂ１２によって表されている。この１ステップは、格子点毎のパラメータのうち、円柱Ｃ１１が配置されていた格子点のパラメータ値を「１」から「０」に変更し、円柱Ｃ１１が新たに配置される格子点のパラメータ値を「０」から「１」に変更することで示される。
　図５は、解析装置２００によるパラメータ値の探索の例を示す図である。
　図５における丸の各々は、パラメータ値によって示される解析対象の状態を示している。パラメータ値によって示される解析対象の状態を、単に状態と称する。パラメータ値と状態とは一対一に対応付けられる。図５では、状態ｓ１～ｓ１３が示されている。
　解析装置２００は、初期設定において、所定の個数の円柱Ｃ１１を格子点に例えばランダムに配置する。図５では、この初期設定における状態を状態ｓ１で示している。
　解析装置２００は、上述した円柱Ｃ１１の配置変更の１ステップの条件を満たすように円柱Ｃ１１の配置をランダムに変更して、更新後の状態の候補を複数生成する。更新後の状態の候補は、更新後のパラメータ値の候補と一対一に対応付けられる。以下では、更新後の状態の候補と更新後のパラメータ値の候補とを同一視し、単に候補とも称する。
　図５では、解析装置２００が更新後の状態の候補を３つずつ生成する場合の例を示している。解析装置２００は、状態ｓ１からの更新の候補として、状態ｓ２、ｓ３、ｓ４の３つの状態を生成している。
　解析装置２００は、生成した候補の各々について、機械学習装置１００による機械学習結果を用いて評価対象値を算出し、得られた評価対象値を選択指標値として用いて、候補のうち何れか１つを選択する。ここでいう選択指標値は、解析装置２００が候補のうち何れか１つを選択するために用いられる値である。解析装置２００は、候補毎に選択指標値を算出する。図５の例では、解析装置２００は、状態ｓ２、ｓ３、ｓ４のうち状態ｓ２を選択している。
　第１実施形態では、解析装置２００は、生成した候補のうち選択指標値での評価が最も高い候補を選択する。上記の設計問題の場合、領域Ａ１２における流体の平均流速が評価対象値となっている。この例では、選択指標値が評価対象値であるため、解析装置２００は、この平均流速が最も速い候補を選択する。
　解析装置２００は、更新後の状態の候補の生成および選択を繰り返すことでパラメータ値の探索を行う。解析装置２００は更新後の状態の候補の生成および選択を、所定の終了条件が成立するまで繰り返す。例えば上記の設計問題で、解析装置２００は、領域Ａ１２における流体の平均流速が所定の閾値以上になるまで更新後の状態の候補の生成および選択を繰り返す。
　図５の例では、状態ｓ１１において終了条件が成立しており、解析装置２００は、状態ｓ１１におけるパラメータ値を処理結果として取得している。
　図６は、機械学習装置１００の機能構成の例を示す概略ブロック図である。図６に示す構成で、機械学習装置１００は、学習側通信部１１０と、学習側記憶部１８０と、学習側制御部１９０とを備える。学習側制御部１９０は、パラメータ値取得部１９１と、シミュレーション実行部１９２と、相違算出部１９３と、機械学習処理部１９４とを備える。
　学習側通信部１１０は、他の装置と通信を行う。学習側通信部１１０が、機械学習装置１００による学習結果を、解析装置２００へ送信するようにしてもよい。
　学習側記憶部１８０は、各種データを記憶する。学習側記憶部１８０は、機械学習装置１００が備える記憶デバイスを用いて構成される。
　学習側制御部１９０は、機械学習装置１００の各部を制御して各種処理を行う。学習側制御部１９０の機能は、機械学習装置１００が備えるＣＰＵ（Central Processing Unit、中央処理装置）が、学習側記憶部１８０からプログラムを読み出して実行することで実行可能になる。
　パラメータ値取得部１９１は、更新対象パラメータ値および更新後パラメータ値を取得する。更新対象パラメータ値、更新後パラメータ値の何れも、解析装置２００が対象としている問題におけるパラメータが取り得る値である。更新対象パラメータ値および更新後パラメータ値は、機械学習装置１００が機械学習を行うための訓練データの一部となる。
　パラメータ値取得部１９１が、パラメータ値設定の条件に従って更新対象パラメータ値をランダムに設定するようにしてもよい。また、パラメータ値取得部１９１が、パラメータ値更新の条件に従って、更新対象パラメータ値をランダムに更新して更新後パラメータ値を生成するようにしてもよい。
　あるいは、パラメータ値取得部１９１が、予め定められている更新対象パラメータ値及び更新後パラメータ値を取得するようにしてもよい。例えば、学習側記憶部１８０が、ユーザ設定による更新対象パラメータ値及び更新後パラメータ値を記憶しておき、パラメータ値取得部１９１が、学習側記憶部１８０から更新対象パラメータ値及び更新後パラメータ値を読み出すようにしてもよい。
　シミュレーション実行部１９２は、更新対象パラメータ値、更新後パラメータ値それぞれの場合の評価対象値をシミュレーションで算出する。この場合、評価対象値はシミュレーション出力（シミュレーションによる予測結果）として得られる。
　相違算出部１９３は、更新対象パラメータ値の場合の評価対象値に対する、更新後パラメータ値の場合の評価対象値の相違（差異）の程度を算出する。具体的には、相違算出部１９３は、例えば、更新後パラメータ値の場合の評価対象値から更新対象パラメータ値の場合の評価対象値を減算した差分を算出する。さらに、相違算出部１９３は、算出した差分を、更新対象パラメータ値の場合の評価対象値で除算することで正規化（normalization、規格化）を行う。正規化後の値を、評価対象値の差分の割合と称する。
　機械学習処理部１９４は、更新対象パラメータ値および更新後パラメータ値と、評価対象値の相違の程度との関係を機械学習する。具体的には、機械学習処理部１９４は、更新対象パラメータ値および更新後パラメータ値と、評価対象値の差分の割合との関係を機械学習する。
　機械学習処理部１９４が用いる機械学習手法は、特定の手法に限定されない。例えば、機械学習処理部１９４が、いわゆる深層学習（Deep Learning）等の手法によって機械学習を行うようにしてもよいが、これに限定されない。
　図７は、解析装置２００の機能構成の例を示す概略ブロック図である。図７に示す構成で、解析装置２００は、解析側通信部２１０と、解析側記憶部２８０と、解析側制御部２９０とを備える。解析側制御部２９０は、初期値取得部２９１と、更新後候補設定部２９２と、相違情報取得部２９３と、評価対象値算出部２９４と、更新後パラメータ値選択部２９５と、終了条件判定部２９６とを備える。
　解析側通信部２１０は、他の装置と通信を行う。解析側通信部２１０が、学習側通信部１１０が送信する機械学習装置１００による学習結果を受信するようにしてもよい。
　解析側記憶部２８０は、各種データを記憶する。解析側記憶部２８０は、解析装置２００が備える記憶デバイスを用いて構成される。
　解析側制御部２９０の機能は、解析装置２００の各部を制御して各種処理を行う。解析側制御部２９０は、解析装置２００が備えるＣＰＵが、解析側記憶部２８０からプログラムを読み出して実行することで実行可能になる。
　初期値取得部２９１は、更新対象パラメータ値と、その更新対象パラメータ値の場合の評価対象値とを取得する。初期値取得部２９１が取得する更新対象パラメータ値は、解析装置２００がパラメータ値を探索する際の、パラメータの初期値として用いられる。初期値取得部２９１が取得する更新対象パラメータ値の場合の評価対象値は、機械学習装置１００による学習結果から得られる評価対象値の差分の割合を評価対象値に換算するために用いられる。初期値取得部２９１は、例えば、機械学習装置１００のシミュレーション実行部１９２によるシミュレーションを利用して、更新対象パラメータ値の場合の評価対象値を取得する。
　初期値取得部２９１が、更新対象パラメータ値と、その更新対象パラメータ値の場合の評価対象値との組み合わせを複数取得するようにしてもよい。
　解析装置２００が、これら複数の更新対象パラメータ値の各々について、その更新対象パラメータ値をパラメータの初期値としてパラメータ値の探索を行うことで、一部の探索で局所解に陥った場合でも、他の探索で、評価対象値による評価がより高い解（パラメータ値）を得られると期待される。
　更新後候補設定部２９２は、更新後パラメータ値の候補を複数設定する。更新後候補設定部２９２は、パラメータ値更新の条件に従い、例えば、更新対象パラメータ値をランダムに更新して更新後パラメータ値の候補を設定する。
　相違情報取得部２９３は、更新後パラメータ値の候補毎に、更新対象パラメータ値とその更新後パラメータ値の候補とを機械学習装置１００による機械学習結果に適用して、更新対象パラメータ値の場合の評価対象値に対する、その更新後パラメータ値の候補の場合の評価対象値の相違の程度を示す情報を取得する。具体的には、相違情報取得部２９３は、例えば、評価対象値の差分の割合を取得する。但し、ここでの評価対象値の相違の程度は、評価対象値の差分の割合に限定されない。例えば、相違情報取得部２９３が、評価対象値の相違の程度を示す情報として、更新後パラメータ値の候補の場合の評価対象値から、更新対象パラメータ値の候補の場合の評価値を減算した差分を示す情報を取得するようにしてもよい。あるいは、相違情報取得部２９３が、評価対象値の相違の程度を示す情報として、更新後パラメータ値の候補の場合の評価対象値を、更新対象パラメータ値の候補の場合の評価値で除算した比を示す情報を取得するようにしてもよい。
　更新対象パラメータ値の場合の評価対象値に対する、更新後パラメータ値の候補の場合の評価対象値の相違の程度を示す情報を、相違情報と称する。
　評価対象値算出部２９４は、更新後パラメータ値の候補毎に、評価対象値の差分の割合と、更新対象パラメータ値の場合の評価対象値とに基づいて、その更新後パラメータ値の候補の場合の評価対象値を算出する。
　更新後パラメータ値選択部２９５は、更新後パラメータ値の候補のうち、評価対象値が目標に最も合致する候補を選択し、更新対象パラメータ値、更新対象パラメータ値の場合の評価対象値を、それぞれ、選択した候補、選択した候補の場合の評価対象値に更新する。言い換えると、更新後パラメータ値選択部２９５は、候補に関して算出した評価対象値を比較し、比較結果に基づき候補を選択し、更新対象パラメータ値、更新対象パラメータ値の場合の評価対象値を、それぞれ、選択した候補、選択した候補の場合の評価対象値に更新する。
　終了条件判定部２９６は、更新対象パラメータ値の場合の評価対象値が所定の終了条件を満たすか否かを判定する。
　解析側制御部２９０は、繰り返し制御部の例に該当し、更新対象パラメータ値の場合の評価対象値が所定の終了条件を満たさないと終了条件判定部２９６が判定した場合、更新後候補設定部２９２の処理およびそれ以降の処理を繰り返し行わせる。
　ここでいう更新後候補設定部２９２の処理およびそれ以降の処理は、図１０を参照して後述するように、以下の処理（１Ａ）～（６Ａ）を含む。
（１Ａ）更新後候補設定部２９２が、更新後パラメータ値の候補を複数設定する。
（２Ａ）相違情報取得部２９３が、更新後パラメータ値の候補毎に、更新対象パラメータ値と、その更新後パラメータ値の候補とを機械学習結果に適用して、更新対象パラメータ値の場合の評価対象値に対する、その更新後パラメータ値の候補の場合の評価対象値の相違の程度を示す情報を取得する。
（３Ａ）評価対象値算出部２９４が、更新後パラメータ値の候補毎に、評価対象値の相違の程度と、更新対象パラメータ値の場合の評価対象値とに基づいて、その更新後パラメータ値の候補の場合の評価対象値を算出する。
（４Ａ）更新後パラメータ値選択部２９５が、更新後パラメータ値の候補のうち、選択指標値（この例では、評価対象値）が目標に最も合致する候補を選択し、更新対象パラメータ値、更新対象パラメータ値の場合の評価対象値を、それぞれ、選択した更新後パラメータ値の候補、選択した更新後パラメータ値の候補の場合の評価対象値に更新する。
（５Ａ）終了条件判定部２９６が、更新対象パラメータ値の場合の評価対象値が所定の終了条件を満たすか否かを判定する。
（６Ａ）解析側制御部２９０が、上記（５Ａ）で終了条件判定部２９６が、更新対象パラメータ値の場合の評価対象値が所定の終了条件を満たすと判定するまで（１Ａ）～（６Ａ）の処理を繰り返し行わせる。
　ここで、解析システム１が行う処理を定式化する。
　解析対象が有するパラメータの値をＸで示す。パラメータ値Ｘは複数のパラメータ値の組み合わせであってもよく、ベクトルで示される。パラメータ値Ｘの要素、すなわち、個々のパラメータ値をｂ１、ｂ２、・・・、ｂｎ（ｎは、パラメータの個数を示す正の整数）と表記する。パラメータ値Ｘは、式（１）のようにベクトルで示される。
Figure JPOXMLDOC01-appb-M000001
　シミュレーション実行部１９２のシミュレータにパラメータ値Ｘを入力した場合のシミュレーション出力をＹｓｉｍと表記する。シミュレーション出力Ｙｓｉｍは、式（２）のように示される。
Figure JPOXMLDOC01-appb-M000002
　Ｆｓｉｍは、シミュレーション実行部１９２が実行するシミュレーションを関数として模式的に表したものである。
　パラメータ値Ｘを更新したパラメータ値をパラメータ値Ｘ’と表記する。パラメータ値Ｘは、更新対象パラメータ値に該当する。パラメータ値Ｘ’は、更新後パラメータ値に該当する。パラメータ値Ｘ’は、パラメータ値の更新について予め定められている更新の条件（制約条件）に従って、パラメータ値Ｘを更新して得られる。
　パラメータ値Ｘ’は、パラメータ値Ｘの場合と同様、ベクトルで示される。パラメータ値Ｘ’の要素、すなわち、個々のパラメータ値をｂ’１、ｂ’２、・・・、ｂ’ｎ（ｎは、パラメータの個数を示す正の整数）と表記する。パラメータ値Ｘ’は、式（３）のようにベクトルで示される。
Figure JPOXMLDOC01-appb-M000003
　シミュレーション実行部１９２のシミュレータにパラメータ値Ｘ’を入力した場合のシミュレーション出力をＹ’ｓｉｍと表記する。シミュレーション出力Ｙ’ｓｉｍは、式（４）のように示される。
Figure JPOXMLDOC01-appb-M000004
　シミュレーション出力Ｙｓｉｍに対するシミュレーション出力Ｙ’ｓｉｍの差分は、例えば、Ｙ’ｓｉｍ－Ｙｓｉｍと表される。
　この差分をＹｓｉｍで除算することで正規化した値を、評価対象値の差分の割合Ｙと表記する。評価対象値の差分の割合Ｙは、式（５）のように示される。
Figure JPOXMLDOC01-appb-M000005
　機械学習処理部１９４が行う学習結果に基づく予測値をμｓｕｒと表記する。μｓｕｒは、式（６）のように示される。予測値μｓｕｒとして、評価対象値の差分の割合が得られる。
Figure JPOXMLDOC01-appb-M000006
　Ｆｓｕｒは、相違情報取得部２９３が用いる学習結果を関数として表したものである。式（６）は、パラメータ値Ｘ及び更新後のパラメータ値Ｘ’を学習結果（学習モデル、スコア関数）に入力して、予測値μｓｕｒを得られることを示している。
　以上の定式化を用いて、図３～図５の設計問題の例を式で示す。
　上記のように、この場合のパラメータ値Ｘの要素（個々のパラメータ値ｂｉ）としてバイナリを用いる。「１≦ｉ≦ｎ（ｎはパラメータの個数を示す正の整数）」として、個々のパラメータ値ｂｉは、式（７）のように示される。
Figure JPOXMLDOC01-appb-M000007
　個々のパラメータ値ｂｉは、「ｉ」で示される位置（この例では格子点）における円筒の有無を示す。ｂｉの値が０である場合（ｂｉ＝０）、「ｉ」で示される位置に円筒が配置されていないことを示す。ｂｉの値が１である場合（ｂｉ＝１）、「ｉ」で示される位置に円筒が配置されていることを示す。
　「ｉ」で示される位置を、ｉの位置と表記する。
　円筒の個数が一定であるとの制約条件は、式（８）のように示される。
Figure JPOXMLDOC01-appb-M000008
　Ｍは、円筒の個数を示す正の整数定数である。
　ここでは、パラメータ値を更新する際の制約条件は、円筒のうちいずれか１つを移動させることである。ｉの位置の円筒をｊの位置に移動させた場合、更新後のパラメータ値Ｘ’は、式（９）のように示される。
Figure JPOXMLDOC01-appb-M000009
　式（１）と、式（９）とを比較すると、ｂｉとｂｊとが、この移動に応じて入れ換えられている。このように設計問題など解析対象を、パラメータを用いて表すことで、解析システム１が解析を行うことができる。
　次に、図８～図１０を参照して、解析システム１の動作について説明する。
　図８は、機械学習装置１００が更新前後のパラメータ値と評価対象値の差分の割合Ｙとの関係を学習する処理手順の例を示すフローチャートである。
　図８の処理で、学習側制御部１９０は、予め定められている訓練データの個数の分だけ処理を繰り返すループＬ１１を開始する（ステップＳ１１１）。
　ループＬ１１の処理で、学習側制御部１９０は、訓練データを生成する（ステップＳ１１２）。
　ステップＳ１１２の後、学習側制御部１９０は、ループＬ１１の終端処理を行う（ステップＳ１１３）。具体的には、学習側制御部１９０は、ループＬ１１の処理の繰り返し回数が、予め定められている訓練データの個数分に到達したか否かを判定する。繰り返し回数が訓練データの個数分に到達していないと判定した場合、学習側制御部１９０は、引き続きループＬ１１の処理を繰り返す。一方、繰り返し回数が訓練データの個数分に到達したと判定した場合、学習側制御部１９０は、ループＬ１１を終了する。
　ループＬ１１を終了した場合、学習側制御部１９０は、訓練データの個数の分だけ処理を繰り返すループＬ１２を開始する（ステップＳ１１４）。
　ループＬ１２の処理で、機械学習処理部１９４は、得られた訓練データを用いて機械学習を行う（ステップＳ１１５）。
　ステップＳ１１５の後、学習側制御部１９０は、ループＬ１２の終端処理を行う（ステップＳ１１６）。具体的には、学習側制御部１９０は、ループＬ１２の処理の繰り返し回数が、予め定められている訓練データの個数分に到達したか否かを判定する。繰り返し回数が訓練データの個数分に到達していないと判定した場合、学習側制御部１９０は、引き続きループＬ１２の処理を繰り返す。一方、繰り返し回数が訓練データの個数分に到達したと判定した場合、学習側制御部１９０は、ループＬ１２を終了する。
　ループＬ１２の処理の終了後、機械学習装置１００は、図８の処理を終了する。
　図９は、機械学習装置１００が訓練データを生成する処理手順の例を示すフローチャートである。機械学習装置１００は、図８のステップＳ１１２で図９の処理を行う。
　図９の処理で、パラメータ値取得部１９１は、パラメータ値Ｘを取得する（ステップＳ２１１）。パラメータ値取得部１９１が、パラメータ値Ｘをランダムに設定するなど、パラメータ値Ｘを自動生成するようにしてもよい。あるいは、パラメータ値Ｘを入力するユーザ操作に基づいて、パラメータ値取得部１９１がパラメータ値Ｘを生成するようにしてもよい。あるいは、パラメータ値取得部１９１が、学習側通信部１１０を介して他の装置からパラメータ値Ｘを取得するようにしてもよい。
　次に、パラメータ値取得部１９１は、パラメータ値Ｘ’を取得する（ステップＳ２１２）。パラメータ値取得部１９１が、パラメータ値の更新の条件の範囲内でパラメータ値Ｘをランダムに更新するなど、パラメータ値Ｘ’を自動生成するようにしてもよい。あるいは、パラメータ値Ｘ’を入力するユーザ操作に基づいて、パラメータ値取得部１９１がパラメータ値Ｘ’を生成するようにしてもよい。あるいは、パラメータ値取得部１９１が、学習側通信部１１０を介して他の装置からパラメータ値Ｘ’を取得するようにしてもよい。
　次に、シミュレーション実行部１９２は、パラメータ値Ｘを用いてシミュレーションを実行する（ステップＳ２１３）。具体的には、シミュレーション実行部１９２は、シミュレーション実行部１９２自らが有するシミュレータにパラメータ値Ｘを入力してシミュレーションを実行し、パラメータ値Ｘの場合のシミュレーション出力Ｙｓｉｍを算出する。
　さらに、シミュレーション実行部１９２は、パラメータ値Ｘ’を用いてシミュレーションを実行する（ステップＳ２１４）。具体的には、シミュレーション実行部１９２は、シミュレーション実行部１９２自らが有するシミュレータにパラメータ値Ｘ’を入力してシミュレーションを実行し、パラメータ値Ｘ’の場合のシミュレーション出力Ｙ’ｓｉｍを算出する。
　次に、相違算出部１９３は、評価対象値の差分の割合Ｙを算出する（ステップＳ２１５）。具体的には、相違算出部１９３は、シミュレーション出力Ｙｓｉｍ及びシミュレーション出力Ｙ’ｓｉｍを用いて上記の式（５）の演算を行って、評価対象値の差分の割合Ｙを算出する。
　そして、学習側制御部１９０は、パラメータ値Ｘ、パラメータ値Ｘ’、及び評価対象値の差分の割合Ｙを１つに纏めた訓練データを生成する（ステップＳ２１６）。
　ステップＳ２１６の後、機械学習装置１００は、図９の処理を終了し、図８の処理へ戻る。
　図１０は、解析装置２００がパラメータ値を検索する処理手順の例を示すフローチャートである。
　図１０の処理で、初期値取得部２９１は、パラメータの初期値を設定する（ステップＳ３１１）。初期値取得部２９１は、例えばパラメータの初期値をランダムに設定するなど、パラメータの初期値を自動設定する。あるいは、パラメータの初期値を入力するユーザ操作に基づいて、初期値取得部２９１がパラメータの初期値を設定するようにしてもよい。あるいは、初期値取得部２９１が、解析側通信部２１０を介して他の装置からパラメータの初期値を取得するようにしてもよい。
　パラメータの初期値は、更新対象パラメータ値として用いられる。
　次に、更新後候補設定部２９２は、更新後パラメータ値の候補を複数設定する（ステップＳ３１２）。更新後候補設定部２９２は、パラメータ値の更新の条件の範囲内で更新対象パラメータ値をランダムに更新するなど、更新後パラメータ値の候補を自動生成する。
　次に、解析側制御部２９０は、更新後パラメータ値の候補毎に処理を行うループＬ３１を開始する（ステップＳ３１３）。
　ループＬ３１の処理で、相違情報取得部２９３は、更新対象パラメータ値の場合の評価対象値に対する、更新後パラメータ値の候補の場合の評価対象値の相違の程度を示す情報を取得する（ステップＳ３１４）。具体的には、相違情報取得部２９３は、更新対象パラメータ値と更新後パラメータ値の候補とを機械学習結果に適用して、評価対象値の差分の割合を取得する。
　さらに評価対象値算出部２９４は、得られた評価対象値の差分の割合と、更新対象パラメータ値の場合の評価対象値とに基づいて、更新後パラメータ値の候補の場合の評価対象値を算出する（ステップＳ３１５）。
　次に、解析側制御部２９０は、ループＬ３１の終端処理を行う（ステップＳ３１６）。具体的には、解析側制御部２９０は、更新後パラメータ値の候補全てに対してループＬ３１の処理を行ったか否かを判定する。未処理の候補があると判定した場合、解析側制御部２９０は、引き続きループＬ３１の処理を繰り返す。一方、全ての候補に対してループＬ３１の処理を実行済であると判定した場合、解析側制御部２９０は、ループＬ３１を終了する。
　ループＬ３１を終了した場合、更新後パラメータ値選択部２９５は、更新後パラメータ値の候補のうちいずれかを選択する（ステップＳ３１７）。例えば、更新後パラメータ値選択部２９５は、相違情報取得部２９３が更新後パラメータ値の候補毎に算出した評価対象値（この例では、選択指標値）に基づいて、評価対象値（この例では、選択指標値）が予め定められた目標値を満たす候補、または、評価対象値が目標値に最も近い候補を１つ選択する。
　次に、終了条件判定部２９６は、パラメータ値の探索の終了条件が成立しているか否かを判定する（ステップＳ３１８）。例えば、終了条件判定部２９６は、ステップＳ３１７で選択されたパラメータ値の場合の評価対象値が目標値を満たすか否かを判定し、目標値を満たすと判定した場合に、パラメータ値の探索の終了条件が成立していると判定する。
　パラメータ値の探索の終了条件が成立していないと終了条件判定部２９６が判定した場合（ステップＳ３１８：ＮＯ）、処理がステップＳ３１２へ遷移する。
　一方、パラメータ値の探索の終了条件が成立していると終了条件判定部２９６が判定した場合（ステップＳ３１８：ＹＥＳ）、解析装置２００は、処理結果を出力する（ステップＳ３１９）。具体的には、解析装置２００は、目標値を満たす評価対象値と、そのときのパラメータ値とを処理結果としてユーザに提示する。
　解析装置２００が処理結果を出力する方法は、特定の方法に限定されない。例えば、解析装置２００が表示装置を備えて、処理結果を表示するようにしてもよい。あるいは解析側通信部２１０が、処理結果を他の装置へ送信するようにしてもよい。
　ステップＳ３１９の後、解析装置２００は、図１０の処理を終了する。
　以上のように、相違情報取得部２９３は、更新対象パラメータ値に応じて設定される複数の更新後パラメータ値の候補の各々について、更新対象パラメータ値とその更新後パラメータ値の候補とを機械学習結果に適用して、更新対象パラメータ値の場合の評価対象値に対する、その更新後パラメータ値の候補の場合の評価対象値の相違の程度を示す情報を取得する。評価対象値算出部２９４は、更新後パラメータ値の候補毎に、評価対象値の相違の程度と、更新対象パラメータ値の場合の評価対象値とに基づいて、その候補の場合の評価対象値を算出する。更新後パラメータ値選択部２９５は、更新後パラメータ値の候補のうち、評価対象値（この例では、評価対象値を選択指標値として用いる）が目標に最も合致する候補を選択し、更新対象パラメータ値、更新対象パラメータ値の場合の評価対象値を、それぞれ、選択した候補、選択した候補の場合の評価対象値に更新する。言い換えると、更新後パラメータ値選択部２９５は、更新後パラメータ値の候補に関して算出された評価対象値を比較し、比較結果に基づき候補を選択し、更新対象パラメータ値、更新対象パラメータ値の場合の評価対象値を、それぞれ、選択した候補、選択した候補の場合の評価対象値に更新する。
　このように、解析装置２００によれば、パラメータ値の設定による複数のパターンの中から評価の高いものを選択する場合に機械学習結果を用いて候補の選択を行うことで、候補の選択の際にシミュレーションを実行する必要がない。解析装置２００によれば、この点で、複数のパターンの中から評価の高いものを選択する解析を、効率的に行うことができる。特に、解析装置２００が機械学習結果を用いて評価対象値を取得する点で、シミュレーションを実行する場合よりも処理時間が短くて済む。
　また、解析装置２００は、パラメータ値の更新前後における評価対象値の相違の程度を示す情報を機械学習結果から取得する。解析装置２００は、パラメータを有するいろいろな解析対象に対して解析を行うことができ、汎用性が比較的高い。また、解析装置２００が、評価対象値の相違の程度という相対的な値を機械学習結果から取得する点で、更新後パラメータ値の候補の場合の評価対象値を算出する際に、更新対象パラメータ値の場合の評価対象値を反映させることができる。パラメータ値の更新前後の評価対象値の相違の程度には比較的強い関係性（例えば、相関性）があると考えられ、解析装置２００によれば、この点で、評価対象値をより高精度に算出することができ、解析をより高精度に行うことができる。
　また、相違情報取得部２９３は、評価対象値の相違の程度を示す情報として、更新対象パラメータ値の場合の評価対象値に対する更新後パラメータ値の候補の場合の評価対象値の差分を、更新対象パラメータ値の場合の評価対象値で除算する正規化を行った値を取得する。
　解析装置２００が、正規化された評価対象値の差分を用いて更新後パラメータ値の候補の場合の評価対象値を算出することで、正規化されていないデータを用いる場合よりも、更新対象パラメータ値の場合の評価対象値の大きさを、更新後パラメータ値の候補の場合の評価対象値の大きさに、より強く反映させることができる。パラメータ値の更新前後の評価対象値には比較的強い関係性（例えば、相関性）があると考えられ、解析装置２００によれば、この点で、評価対象値をより高精度に算出することができる。
　但し、解析システム１が、更新対象パラメータ値の場合の評価対象値に対する、更新後パラメータ値の候補の場合の評価対象値の相違の程度を示す情報として、更新対象パラメータ値の場合の評価対象値に対する更新後パラメータ値の候補の場合の評価対象値の差分を、更新対象パラメータ値の場合の評価対象値で除算する正規化を行った値以外の値を用いるようにしてもよい。
　例えば、解析システム１が、更新対象パラメータ値の場合の評価対象値に対する、更新後パラメータ値の候補の場合の評価対象値の相違の程度を示す情報として、更新対象パラメータ値の場合の評価対象値と、更新後パラメータ値の候補の場合の評価対象値との比を用いるようにしてもよい。
　あるいは、解析システム１が、更新対象パラメータ値の場合の評価対象値に対する、更新後パラメータ値の候補の場合の評価対象値の相違の程度を示す情報として、更新対象パラメータ値の場合の評価対象値と、更新後パラメータ値の候補の場合の評価対象値との差分を用いるようにしてもよい。
　また、パラメータ値取得部１９１は、更新対象パラメータ値および更新後パラメータ値を取得する。シミュレーション実行部１９２は、更新対象パラメータ値、更新後パラメータ値それぞれの場合の評価対象値をシミュレーションで算出する。相違算出部１９３は、更新対象パラメータ値の場合の評価対象値に対する、更新後パラメータ値の場合の評価対象値の相違の程度を算出する。機械学習処理部１９４は、更新対象パラメータ値および更新後パラメータ値と、評価対象値の相違の程度との関係を機械学習する。
　このように機械学習装置１００が、評価対象値の相違の程度について機械学習を行うことで、評価対象値の相違の程度を出力する機械学習結果を解析装置２００に提供できる。
解析装置２００は、この機械学習結果を用いて、上記のように解析を行うことができる。
＜第２実施形態＞
　第２実施形態における解析システム１、機械学習装置１００、解析装置２００の各々の構成は第１実施形態の場合と同様である。
　第２実施形態では、解析装置２００の更新後パラメータ値選択部２９５が、更新後パラメータ値の候補のうち何れか１つを選択する方法が第１実施形態の場合と異なる。第２実施形態に係る更新後パラメータ値選択部２９５は、更新後パラメータ値の候補毎に評価対象値のばらつきを算出し、得られたばらつきを用いて選択指標値を算出して候補の選択を行う。以下では、更新後パラメータ値選択部２９５が、評価対象値のばらつきとして分散を用いる場合を例に説明するが、これに限定されない。例えば、更新後パラメータ値選択部２９５が、評価対象値のばらつきとして標準偏差を用いるようにしてもよい。
　更新後パラメータ値選択部２９５による候補の選択方法を実現するために、機械学習装置１００は、複数の学習モデルを生成する。
　ここでいう学習モデルは、機械学習の結果である。機械学習装置１００が生成する学習モデルの各々が、更新前のパラメータ値および更新後パラメータ値の入力を受けて、評価対象値の差分の割合を出力する。
　また、更新後パラメータ値選択部２９５による候補の選択方法を実現するために、相違情報取得部２９３は、機械学習装置１００が生成した学習モデル毎に評価対象値の差分の割合を取得する。
　それ以外の点では、第２実施形態に係る解析システム１は、第１実施形態の場合と同様である。
　機械学習装置１００は、複数の学習モデルを生成するために、異なる訓練データセットを生成する。ここでいう訓練データセットは、１つの学習モデルに用いられる訓練データの一纏まりである。機械学習装置１００が、１つの訓練データセットに関して、相互に異なる複数の学習モデルを作成するようにしてもよい。このような機械学習装置１００は、例えば、与えられた訓練データセットから訓練サンプルをランダムに複数選び出し、選び出した複数の訓練サンプルについて学習モデルを作成するという処理を複数回繰り返すことによって実現することができる。
　訓練データセットに含まれる個々の訓練データは、訓練データセット毎に異なる。これにより、機械学習装置１００が生成する複数の学習モデルは、同じ値の入力を受けて学習モデル毎に異なる値を出力する。これにより学習モデルの出力の分散を算出することができ、この分散を更新後パラメータ値の候補から何れかを選択するために用いることができる。
　機械学習装置１００が生成する訓練データの数は、学習モデル毎に異なっていてもよい。あるいは、機械学習装置１００が、全ての学習モデル用に同数の訓練データを生成するようにしてもよい。
　図１１は、第２実施形態に係る更新後パラメータ値選択部２９５による更新後パラメータ値の候補の選択の例を示す図である。
　図１１において、ｉは、パラメータ値の更新回数にて探索の進行を示す。パラメータの更新回数をＬ（）で示す。例えば、ｉ回目のパラメータ値の更新を「Ｌ（ｉ）」と表記する。
　図１１において、ｊは、同じパラメータ値の更新回数における状態を識別するためのインデックスである。上述したように状態の各々は、パラメータ値が設定された状態であり、パラメータ値と対応付けられる。
　図１１は、状態ｓｉ－１，１におけるパラメータ値から、状態ｓｉ，１におけるパラメータ値および状態ｓｉ，２におけるパラメータ値のうち何れかに更新する場合の例を示している。
　また、図１１は、パラメータ値の更新の先読みを行って、Ｌ（ｉ）における状態の選択を、Ｌ（ｉ＋２）における状態の情報に基づいて行う場合の例を示している。
　以下では、状態選択対象となるパラメータ値の更新回数を深さＬ（ｉ）と表記する。従って、パラメータ値の更新前における更新回数は深さＬ（ｉ－１）と示される。また、先読みの対象となるパラメータ値の更新回数を深さＬ（Ｎ）で表す。図１１の例では、「Ｌ（Ｎ）＝Ｌ（ｉ＋２）」である。
　第２実施形態では、相違情報取得部２９３は、１つの状態におけるパラメータ値について、複数の学習モデルを用いて学習モデルの個数分だけ評価対象値の差分の割合を算出する。先読み先の状態が複数ある場合、相違情報取得部２９３は、「状態数×学習モデル」の個数の評価対象値の差分の割合を算出する。
　評価対象値算出部２９４は、相違情報取得部２９３が算出する評価対象値の差分の割合毎に、評価対象値を算出する。評価対象値算出部２９４は、評価対象値の差分の割合に、親ノードに相当する状態における評価対象値を乗算することで、差分の割合を差分に換算する。そして、評価対象値算出部２９４は、得られた差分を親ノードに相当する状態における評価対象値に加算することで、評価対象値を算出する。ここでいう親ノードに相当する状態は、深さ方向（ｉの方向）における直前の状態である。
　相違情報取得部２９３が差分の割合を算出する場合に、評価対象値算出部２９４が評価対象値を算出する処理は、式（１０）のように示される。
Figure JPOXMLDOC01-appb-M000010
　Ｇ（Ｓｉ，ｊ）は、算出対象の評価対象値（例えば、更新後パラメータ値の候補の場合の評価対象値）を示す。Ｇ（Ｓｉ－１，Ｌ）は、評価対象値算出対象の状態の親ノードに相当する状態における評価対象値（例えば、更新対象パラメータ値の場合の評価対象値）を示す。Ｌは、何らかの定数を示す。
　μｓｕｒ（ｓｉ－１，Ｌ，Ｓｉ，ｊ）は、評価対象値の差分の割合を示す。
　評価対象値算出部２９４が評価対象値を算出する処理は、相違情報取得部２９３における処理に依存して決定される。例えば、相違情報取得部２９３が差分によって相違情報を作成する場合、評価対象値算出部２９４は、その相違情報と、親ノードに相当する状態における評価対象値との和を算出する。例えば、相違情報取得部２９３が比によって相違情報を作成する場合、評価対象値算出部２９４は、その相違情報と、親ノードに相当する状態における評価対象値との積を算出する。
　更新後パラメータ値選択部２９５は、評価対象値算出部２９４が算出した評価対象値について、更新後パラメータ値の候補毎に、先読み対象の状態のうち子孫に相当する状態における評価対象値の平均値および分散を算出する。図１１の例の場合、更新後パラメータ値選択部２９５は、状態ｓｉ，１における選択指標値の算出のために、状態ｓｉ＋２，１、ｓｉ＋２，２、および、ｓｉ＋２，３で得られる全ての評価対象値の平均及び分散を算出する。また、更新後パラメータ値選択部２９５は、状態ｓｉ，２における選択指標値の算出のために、状態ｓｉ＋２，４および、ｓｉ＋２，５で得られる全ての評価対象値の平均及び分散を算出する。
　先読みを行わない場合は、更新後パラメータ値選択部２９５は、更新後パラメータ値の候補自らにおける全ての評価対象値の平均及び分散を算出する。上記のように、学習モデルを複数用いることで、１つの更新後パラメータ値の候補について複数の評価対象値が得られる。
　更新後パラメータ値選択部２９５は、式（１１）を用いて更新後パラメータ値の候補の各々の選択指標値を算出し、選択指標値が最も大きい候補を１つ選択する。
Figure JPOXMLDOC01-appb-M000011
　μｉ，ｊは、深さＬ（Ｎ）における状態のうち、状態ｓｉ，ｊの子孫に相当する状態における評価対象値の平均値を示す。上記のように、深さＬ（Ｎ）は先読み対象の深さである。状態ｓｉ，ｊは、更新後の状態の候補（更新後パラメータ値の候補）である。状態ｓｉ，ｊの子孫の状態とは、状態ｓｉ，ｊからパラメータ値の更新回数が増加する方向に辿っていって到達可能なノードである。
　δｉ，ｊ ２は、深さＬ（Ｎ）における状態のうち、状態ｓｉ，ｊの子孫に相当する状態における評価対象値の分散を示す。
　ｎＮ ｉ，ｊは、先読み対象の深さである深さＬ（Ｎ）で展開されている状態の数（状態ｓｉ，ｊの子孫に相当する状態の数）を示す。図１１の例では、「ｎＮ ｉ，１＝３」、「ｎＮ ｉ，２＝２」である。
　ｋは、更新後パラメータ値の候補の数を示す。従って、ｋは、深さＬ（ｉ）における状態の数を示す。図１１の例では、「ｋ＝２」である。
　式（１１）の値（式（１１）の演算の結果得られる値）が、選択指標値の例に該当する。
　更新後パラメータ値選択部２９５は、更新後パラメータ値の候補のうち、式（１１）の値が最大となる候補を選択する。
　更新後パラメータ値の候補の子孫に相当する状態の数ｎＮ ｉ，ｊが少ないほど（値が小さいほど）、式（１１）の値が大きくなる。更新後パラメータ値の候補の子孫に相当する状態の数ｎＮ ｉ，ｊが少ない場合、この候補からの先読みが十分に行われていない可能性があり、さらに探索を行えば、好適な状態（評価対象値による評価が高い状態）に到達できる可能性があると考えらえる。式（１１）によれば、この場合の更新後パラメータ値の候補が比較的選ばれ易くなる。
　また、分散δｉ，ｊ ２の値が大きいほど、式（１１）の値が大きくなる。分散δｉ，ｊ ２の値が大きい場合、先読み先の状態毎に評価対象値が大きく異なっているか、あるいは、機械学習結果による評価対象値の誤差が比較的大きいことが考えられる。何れの場合も、さらに探索を行えば、好適な状態に到達できる可能性があると考えらえる。式（１１）によれば、この場合の更新後パラメータ値の候補が比較的選ばれ易くなる。
　あるいは、更新後パラメータ値選択部２９５が、式（１１）に代えて式（１２）を用いて更新後パラメータ値の候補の各々の選択指標値を算出し、選択指標値が最も大きい候補を１つ選択するようにしてもよい。
Figure JPOXMLDOC01-appb-M000012
　Ｖｋ，Ｔｋ（ｔ－１）は、式（１１）のδｉ，ｊ ２と同様の分散を示す。
　εＴｋ（ｔ－１），ｔは、式（１１）のΣｊ＝１，ｋ（ｎＮ ｉ，ｊ）と同様、先読み対象の深さであるＬ（Ｎ）における状態の数を示す。
　Ｔｋ（ｔ－１）は、式（１１）のｎＮ ｉ，ｊと同様、更新後パラメータ値の候補の子孫に相当する状態の数を示す。
　ｃは、第３項に対する重み付けを行うハイパーパラメータを示す。
　ｂは、予測幅を示す。ここでいう予測幅は、評価対象値の平均値μｉ，ｊの値域の大きさである。
　なお、初期値取得部２９１が、更新対象パラメータ値と、その更新対象パラメータ値の場合の評価対象値との組み合わせを複数取得するようにしてもよい点も、第１実施形態の場合と同様である。
　解析装置２００が、これら複数の更新対象パラメータ値の各々について、その更新対象パラメータ値をパラメータの初期値としてパラメータ値の探索を行うことで、一部の探索で局所解に陥った場合でも、他の探索で、評価対象値による評価がより高い解を得られると期待される。
　次に、図１２～図１３を参照して第２実施形態に係る解析システム１の動作について説明する。
　図１２は、機械学習装置１００が更新前後のパラメータ値と評価対象値の差分の割合との関係を学習する処理手順の例を示すフローチャートである。
　図１２の処理で、学習側制御部１９０は、生成する学習モデルの個数分だけ処理を繰り返すループＬ４１を開始する（ステップＳ４１１）。
　ステップＳ４１２～ステップＳ４１４は、図８のステップＳ１１１～ステップＳ１１３と同様である。ステップＳ４１３において、機械学習装置１００は、図９の処理を行う。
　ステップＳ４１２～ステップＳ４１４で、機械学習装置１００は、学習モデル毎の訓練データを生成する。すなわち、第２実施形態に係る機械学習装置１００が学習モデル毎の訓練データを生成する処理手順は、第１実施形態に係る機械学習装置１００が訓練データを生成する処理手順と同様である。
　ステップＳ４１４の後、学習側制御部１９０は、ループＬ４１の終端処理を行う。具体的には、学習側制御部１９０は、生成する学習モデルの個数分だけ訓練データセットを生成したか否かを判定する。生成した訓練データセットの個数が学習モデルの個数より少ないと判定した場合、学習側制御部１９０は、引き続きループＬ４１の処理を繰り返す。一方、生成する学習モデルの個数分だけ訓練データセットを生成したと判定した場合、解析側制御部２９０は、ループＬ４１を終了する。
　ループＬ４１を終了した場合、学習側制御部１９０は、生成する学習モデルの個数分だけ処理を繰り返すループＬ４３を開始する（ステップＳ４１６）。
　ステップＳ４１７～ステップＳ４１９は、図８のステップＳ１１４～ステップＳ１１６と同様である。ステップＳ４１７～ステップＳ４１９で、機械学習装置１００は、学習モデルを生成する。すなわち、第２実施形態に係る機械学習装置１００が個々の学習モデルを生成する処理手順は、第１実施形態に係る機械学習装置１００が学習モデルを生成する処理手順と同様である。
　ステップＳ４１９の後、学習側制御部１９０は、ループＬ４３の終端処理を行う。具体的には、学習側制御部１９０は、生成予定の個数分の学習モデルを生成したか否かを判定する。生成した学習モデルの個数が生成予定の個数より少ないと判定した場合、学習側制御部１９０は、引き続きループＬ４３の処理を繰り返す。一方、生成予定の個数分の学習モデルを生成したと判定した場合、解析側制御部２９０は、ループＬ４３を終了する。
　ループＬ４３を終了した場合、機械学習装置１００は、図１２の処理を終了する。
　図１３は、解析装置２００がパラメータ値を検索する処理手順の例を示すフローチャートである。
　ステップＳ５１１～Ｓ５１３は、図１０のステップＳ３１１～Ｓ３１３と同様である。
　ステップＳ５１３で開始するループＬ５１の処理で、解析側制御部２９０は、学習モデル毎に処理を行うループＬ５２を開始する（ステップＳ５１４）。
　ループＬ５２の処理で、相違情報取得部２９３は、更新対象パラメータ値の場合の評価対象値に対する、更新後パラメータ値の候補の場合の評価対象値の相違の程度を示す情報を取得する（ステップＳ５１５）。
　さらに評価対象値算出部２９４は、得られた評価対象値の差分の割合と、更新対象パラメータ値の場合の評価対象値とに基づいて、更新後パラメータ値の候補の評価対象値を算出する（ステップＳ５１６）。
　ステップＳ５１５およびＳ５１６は、図１０のステップＳ３１４およびＳ３１５と同様である。すなわち、第２実施形態に係る相違情報取得部２９３および評価対象値算出部２９４が、個々の学習モデルについて評価対象値を求める処理は、第１実施形態に係る相違情報取得部２９３および評価対象値算出部２９４が評価対象値を求める処理と同様である。
　なお、先読み先の状態が複数ある場合、ステップＳ５１５で相違情報取得部２９３は、先読み先の状態毎に、更新対象パラメータ値の場合の評価対象値に対する、先読み先の状態における更新後パラメータ値の場合の評価対象値の相違の程度を示す情報を取得する。そして、ステップＳ５１６で評価対象値算出部２９４は、先読み先の状態毎に評価対象値を算出する。
　ステップＳ５１６の後、解析側制御部２９０は、ループＬ５２の終端処理を行う（ステップＳ５１７）。具体的には、解析側制御部２９０は、全ての学習モデルについてループＬ５２の処理を行ったか否かを判定する。未処理の学習モデルがある判定した場合、解析側制御部２９０は、引き続きループＬ５２の処理を繰り返す。一方、全ての学習モデルについてループＬ３２の処理を実行済であると判定した場合、解析側制御部２９０は、ループＬ５２を終了する。
　ループＬ５２の処理を終了した場合、更新後パラメータ値選択部２９５は、更新後パラメータ値の候補毎に、評価対象値の平均値及び分散を算出する（ステップＳ５１８）。
　次に、解析側制御部２９０は、ループＬ５１の終端処理を行う（ステップＳ５１９）。具体的には、解析側制御部２９０は、更新後パラメータ値の候補全てに対してループＬ５１の処理を行ったか否かを判定する。未処理の候補があると判定した場合、解析側制御部２９０は、引き続きループＬ５１の処理を繰り返す。一方、全ての候補に対してループＬ５１の処理を実行済であると判定した場合、解析側制御部２９０は、ループＬ５１を終了する。ステップＳ５１９は、図１０のステップＳ３１６と同様である。
　ループＬ５１を終了した場合、更新後パラメータ値選択部２９５は、更新後パラメータ値の候補のうちいずれかを選択する（ステップＳ５２０）。具体的には、更新後パラメータ値選択部２９５は、更新後パラメータ値の候補毎に算出した評価対象値の平均および分散を用いて、上述した式（１１）の値が最も大きい候補を１つ選択する。上記のように、式（１１）の値は選択指標値の例に該当し、更新後パラメータ値選択部２９５は、選択指標値が最も大きい候補を選択する。
　次に、終了条件判定部２９６は、パラメータ値の探索の終了条件が成立しているか否かを判定する（ステップＳ５２１）。例えば、解析側制御部２９０が、第１実施形態の場合と同様、選択されたパラメータ値の場合の評価対象値を算出しておく。終了条件判定部２９６は、選択されたパラメータ値の場合の評価対象値が目標値を満たすか否かを判定し、目標値を満たすと判定した場合に、パラメータ値の探索の終了条件が成立していると判定する。
　パラメータ値の探索の終了条件が成立していないと終了条件判定部２９６が判定した場合（ステップＳ５２１：ＮＯ）、処理がステップＳ５１２へ遷移する。一方、パラメータ値の探索の終了条件が成立していると終了条件判定部２９６が判定した場合（ステップＳ５２１：ＹＥＳ）、解析装置２００は、処理結果を出力する（ステップＳ５２２）。ステップＳ５２２は、図１０のステップＳ３１９と同様である。
　ステップＳ５２２の後、解析装置２００は、図１３の処理を終了する。
　以上のように、相違情報取得部２９３は、更新パラメータ値に応じて設定される複数の更新後パラメータ値の候補の各々について、更新対象パラメータ値とその更新後パラメータ値の候補とを複数の機械学習結果に適用して、更新対象パラメータ値の場合の評価対象値に対する、その更新後パラメータ値の候補の場合の評価対象値の相違の程度を示す情報を機械学習結果毎に取得する。評価対象値算出部２９４は、更新後パラメータ値の候補毎、かつ、機械学習結果毎に、評価対象値の相違の程度と、更新対象パラメータ値の場合の評価対象値とに基づいて、その候補の場合の評価対象値を算出する。更新後パラメータ値選択部２９５は、更新対象パラメータ値の候補毎に複数の評価対象値のばらつきを用いて算出される選択指標値が、所定の選択条件に最も適合する候補を選択し、更新対象パラメータ値、更新対象パラメータ値の場合の評価対象値を、それぞれ、選択した候補、選択した候補の場合の評価対象値に更新する。言い換えると、更新後パラメータ値選択部２９５は、更新対象パラメータ値の候補毎に複数の評価対象値のばらつきを用いて算出される選択指標値を比較し、比較結果に基づいて候補を選択し、更新対象パラメータ値、更新対象パラメータ値の場合の評価対象値を、それぞれ、選択した候補、選択した候補の場合の評価対象値に更新する。
　このように、解析装置２００は、複数の機械学習結果を用いて機械学習結果毎に、更新後パラメータ値の候補の場合の評価対象値を算出する。これにより、解析装置２００は、１つの更新後パラメータ値の候補について複数の評価対象値を得ることができ、評価値のばらつきを用いた評価が可能になる。
　上記のように、解析システム１が評価対象値のばらつきを示す指標として用いる値は、評価対象値の分散に限定されない。例えば、解析システム１が評価対象値のばらつきを示す指標として標準偏差を用いるなど、分散以外の値を用いるようにしてもよい。
　また、解析装置２００は、パラメータ値の更新時における評価対象値の相違の程度を示す情報を機械学習結果から取得する。解析装置２００が、評価対象値の相違の程度という相対的な値を機械学習結果から取得する点で、更新後パラメータ値の候補の場合の評価対象値を算出する際に、更新対象パラメータ値の場合の評価対象値を反映させることができる。パラメータ値の更新前後の評価対象値には比較的強い関係性（例えば、相関性）があると考えられ、解析装置２００によれば、この点で、評価対象値をより高精度に算出することができる。
　第２実施形態では、更新後候補設定部２９２の処理およびそれ以降の処理は、以下の処理（１Ｂ）～（６Ｂ）を含む。
（１Ｂ）更新後候補設定部２９２が、更新後パラメータ値の候補を複数設定する。
（２Ｂ）相違情報取得部２９３が、更新後パラメータ値の候補毎に、更新対象パラメータ値と、その更新後パラメータ値の候補とを複数の機械学習結果に適用して、更新対象パラメータ値の場合の評価対象値に対する、その更新後パラメータ値の候補の場合の評価対象値の相違の程度を示す情報を機械学習結果毎に取得する。
（３Ｂ）評価対象値算出部２９４が、更新後パラメータ値の候補毎、かつ、機械学習結果毎に、評価対象値の相違の程度と、更新対象パラメータ値の場合の評価対象値とに基づいて、その更新後パラメータ値の候補の場合の評価対象値を算出する。
（４Ｂ）更新後パラメータ値選択部２９５が、更新後パラメータ値の候補の各々に対する、評価対象値の平均値および分散（選択指標値の一例）を用いた評価にて、評価が最も良い候補を選択し、更新対象パラメータ値、更新対象パラメータ値の場合の評価対象値を、それぞれ、選択した候補、選択した候補の場合の評価対象値に更新する。
（５Ｂ）終了条件判定部２９６が、更新対象パラメータ値の場合の評価対象値が所定の終了条件を満たすか否かを判定する。
（６Ｂ）解析側制御部２９０が、上記（５Ｂ）で終了条件判定部２９６が、更新対象パラメータ値の場合の評価対象値が所定の終了条件を満たすと判定するまで（１Ｂ）～（６Ｂ）の処理を繰り返し行わせる。
　また、更新後パラメータ値選択部２９５は、評価対象値のばらつき（例えば、分散）が大きい候補ほど評価を高い評価とする。
　評価対象値のばらつきが大きい場合、先読み先の状態毎に評価対象値が大きく異なっているか、あるいは、機械学習結果による評価対象値の誤差が比較的大きいことが考えられる。何れの場合も、さらに探索を行えば、好適な状態に到達できる可能性があると考えらえる。解析装置２００によれば、この場合の更新後パラメータ値の候補が比較的選ばれ易くなる。
　また、更新後パラメータ値選択部２９５は、評価対象値のばらつきに加えて評価対象値の平均値を用いて算出される選択指標値が、所定の選択条件に最も適合する候補を選択する。
　更新後パラメータ値選択部２９５が、評価対象値の平均値に基づく選択指標値を用いることで、評価対象値の平均値を候補の選択に反映させることができる。更新後パラメータ値選択部２９５が、この選択指標値を用いて評価対象値の平均値が大きい候補を優先的に選択することで、選択された候補について得られる評価対象値が大きくなる（評価が高くなる）ことが期待される。
　また、更新後パラメータ値選択部２９５は、パラメータ値の更新について先読みを行い、先読みされたパラメータ値が少ない候補ほど評価を高い評価とする。
　先読みされたパラメータ値が少ない候補については、先読みによる評価が十分に行われていない可能性があり、さらに探索を行えば、好適な状態に到達できる可能性があると考えらえる。解析装置２００によれば、この場合の更新後パラメータ値の候補が比較的選ばれ易くなる。
　また、相違情報取得部２９３は、評価対象値の相違の程度を示す情報として、更新対象パラメータ値の場合の評価対象値に対する更新後パラメータ値の候補の場合の評価対象値の差分を、更新対象パラメータ値の場合の評価対象値で除算する正規化を行った値を取得する。
　解析装置２００が、正規化された評価対象値の差分を用いて更新後パラメータ値の候補の場合の評価対象値を算出することで、正規化されていないデータを用いる場合よりも、更新対象パラメータ値の場合の評価対象値の大きさを、更新後パラメータ値の候補の場合の評価対象値の大きさに、より強く反映させることができる。パラメータ値の更新前後の評価対象値には比較的強い関係性（例えば、相関性）があると考えられ、解析装置２００によれば、この点で、評価対象値をより高精度に算出することができる。
　但し、解析システム１が、更新対象パラメータ値の場合の評価対象値に対する、更新後パラメータ値の候補の場合の評価対象値の相違の程度を示す情報として、更新対象パラメータ値の場合の評価対象値に対する更新後パラメータ値の候補の場合の評価対象値の差分を、更新対象パラメータ値の場合の評価対象値で除算する正規化を行った値以外の値を用いるようにしてもよい。
　例えば、解析システム１が、更新対象パラメータ値の場合の評価対象値に対する、更新後パラメータ値の候補の場合の評価対象値の相違の程度を示す情報として、更新対象パラメータ値の場合の評価対象値と、更新後パラメータ値の候補の場合の評価対象値との比を用いるようにしてもよい。
　あるいは、解析システム１が、更新対象パラメータ値の場合の評価対象値に対する、更新後パラメータ値の候補の場合の評価対象値の相違の程度を示す情報として、更新対象パラメータ値の場合の評価対象値と、更新後パラメータ値の候補の場合の評価対象値との差分を用いるようにしてもよい。
　また、パラメータ値取得部１９１は、更新対象パラメータ値および更新後パラメータ値を取得する。シミュレーション実行部１９２は、更新対象パラメータ値、更新後パラメータ値それぞれの場合の評価対象値をシミュレーションで算出する。相違算出部１９３は、更新対象パラメータ値の場合の評価対象値に対する、更新後パラメータ値の場合の評価対象値の相違の程度を算出する。機械学習処理部１９４は、更新対象パラメータ値、更新後パラメータ値、および、評価対象値の相違の程度を、例えば、複数セット分用いて、更新対象パラメータ値および更新後パラメータ値と、評価対象値の相違の程度との関係の機械学習結果を複数取得する。
　このように機械学習装置１００が、評価対象値の相違の程度について機械学習を行うことで、評価対象値の相違の程度を出力する機械学習結果を解析装置２００に提供できる。
解析装置２００は、この機械学習結果を用いて、上記のように解析を行うことができる。
さらに、機械学習装置１００複数の機械学習結果を取得することで、解析装置２００は、これら複数の機械学習結果を用いて評価対象値を複数取得することができ、評価対象値の分散など、評価対象値のばらつきの大きさを示す指標を取得できる。解析装置２００は、評価対象値のばらつきの大きさを示す指標を用いてパラメータ値の評価を行うことができ、評価対象値が大きい（評価が高い）探索領域を検知できると期待される。
　機械学習装置１００による機械学習にベイジアンニューラルネットワーク（Bayesian Neural Network）を用いるようにしてもよい。ベイジアンニューラルネットワークは、確率分布による出力を行う。解析装置２００は、ベイジアンニューラルネットワークの出力から評価対象値の平均値及び分散を得られ、これら平均値及び分散を別途算出する必要がない。
　ベイジアンニューラルネットワークについて、式を用いて説明する。
　訓練データの数をＭ個（Ｍは、正の整数）とし、個々の訓練データをξｉ（ｉは、１≦ｉ≦Ｍの整数）として、訓練データセットを式（１３）のように表す。
Figure JPOXMLDOC01-appb-M000013
　式（１３）では、訓練データを適用する順番を考慮して、訓練データセットをベクトルで表している。
　ｋ番目の訓練データξｋは、式（１４）のように示される。
Figure JPOXMLDOC01-appb-M000014
　ｙｋは、ｋ番目の訓練データξｋにおけるニューラルネットワークの出力値を示す。ｘｋは、ｋ番目の訓練データξｋにおけるニューラルネットワークへの入力値を示す。
　ｘｋにおける特徴量(feature)の数（要素の数）をｎ個として、個々の特徴量をｘｉ ｋ（ｉは、１≦ｉ≦ｎの整数）と表記すると、ｘｋは式（１５）のように示される。
Figure JPOXMLDOC01-appb-M000015
　また、尤度関数をＬで表して、尤度が式（１６）のように示されるものとする。
Figure JPOXMLDOC01-appb-M000016
　Ｌは、尤度関数を示す。θは、ハイパーパラメータであり、式（１７）のように分布π（θ）に従うものとする。
Figure JPOXMLDOC01-appb-M000017
　π（θ）は、事前確率密度関数を示す。
　新たな予測（学習データ以外の予測）を、入力値ｘＭ＋１から出力値ｙＭ＋１の予測と表記して、ベイズの定理より、式（１８）のように示される。
Figure JPOXMLDOC01-appb-M000018
　ｐ、ρは、何れも条件付き確率密度分布（尤度関数）を示す。π（θ｜ξ）は、事後確率密度関数を示す。
　ｐ（ｙＭ＋１｜ｘＭ＋１，θ）をニューラルネットワークモデルとして扱う。ハイパーパラメータθは、式（１９）に従うものとする。
Figure JPOXMLDOC01-appb-M000019
　π（β）として正規分布Ｎ（βｐ’，σｐ’）を仮定し、π（σｐ）に無情報事前分布を仮定する。βｐ’，σｐ’は、それぞれ、ある値（実数定数）を示す。
　ベイズの定理より、式（２０）のように示される。
Figure JPOXMLDOC01-appb-M000020
　「∝」は比例を示す。
　メトロポリスヘイスティングス法（Metropolis-Hastings Algorithm）を用いて得られるパラメータ集合θ（ｉ）＝（β（ｉ），σ２（ｉ））から、事後分布π（θ｜ξ１，・・・，ξＭ）を近似する。上付きの「（ｉ）」は、サンプリングタイムを示すインデックスである。
　つまり、（メトロポリスヘイスティングス法の収束仮定の部分を除き）θ（ｉ）＝（β（ｉ），σ２（ｉ））を得て離散近似する。
　また、ｐ（ｙＭ＋１｜ｘＭ＋１，θ）についても同様に、θ（ｉ）により離散近似する。
　式（１６）に戻り、上記のようにｐ（ｙＭ＋１｜ｘＭ＋１，θ）をニューラルネットワークモデルとして扱うことで、予測値の確率分布（の近似）を得られる。
　ここで、第２実施形態に係る解析システム１による処理時間は、式（２１）のように示される。
Figure JPOXMLDOC01-appb-M000021
　Ｔｓｉｍは、シミュレーション実行の１回あたりの計算時間を示す。
　Ｎｄａｔａは、機械学習装置１００が機械学習のための、シミュレータへの入力データ数（従って、シミュレーションの実行回数）を示す。
　データ生成に要する時間は、Ｔｓｉｍ×Ｎｄａｔａとなる。
　ＴＬｒｎは、機械学習装置１００が機械学習を行うのに要する時間を示す。機械学習装置１００が機械学習を行うのに要する時間は、データ生成に要する時間に比例する。ＴＬｒｎ∝Ｔｓｉｍ×Ｎｄａｔａである。
　Ｄは、解析装置２００が行う先読みの深さを示す。
　Ｔｓｕｒは、状態１つあたり、かつ、学習モデル１つあたりの計算時間を示す。
　Ｎｍｏｄｅｌは、解析装置２００が用いる学習モデルの数を示す。
　Ｎｐｌａｙは、先読みの最大深さに達した時点での子孫に相当する状態の数（プレイアウト数）を示す。
　Ｌは、最終的な深さを示す。
　機械学習を行わずにシミュレーションの実行にて同様の処理を行う場合の計算時間は、式（２２）のように示される。
Figure JPOXMLDOC01-appb-M000022
　同じように先読みし、機械学習を行わずにシミュレーションの実行にて同様の処理を行い、かつ探索する場合の計算時間は式（２３）のように示される。
Figure JPOXMLDOC01-appb-M000023
　Ｎｎｏｄｅ Ｄは、先読みの深さでの、次の配置場所の候補の数を示す。
　例えば、Ｔｓｉｍ＝２．０［秒］、Ｎｄａｔａ＝３０００、Ｎｎｏｄｅ Ｄ＝３９０、Ｔｓｉｍ×Ｎｄａｔａ＝６１１２．５［秒］、ＴＬｒｎ＝２０．０［秒］、Ｎｍｏｄｅｌ＝１０、Ｔｓｕｒ＝０．００３７［秒］、Ｄ＝３、Ｎｐｌａｙ＝３９００、Ｌ＝１５とする。この場合、それぞれの場合に要する計算時間は、
（ａ）第２実施形態に係る解析システム１の場合（式（２１））：約２０９．５分（ｂ）機械学習を行わずにシミュレーションの実行にて同様の処理を行う場合（式（２２））：約５９５９．７分（（ａ）の場合の約２８．５倍）（ｃ）同じように先読みし、機械学習を行わずにシミュレーションの実行にて同様の処理を行い、かつ探索する場合（式（２３））：約２０９８３．１日（（ａ）の約１４４２５６倍）
となる。
（ｂ）の場合の処理では、解析装置２００は、（ａ）の場合と同様の処理によって複数の候補のうち何れか１つに絞り込みながら探索を進めていく。これに対し、（ｃ）の場合の処理では、解析装置２００は、１つの候補までの絞り込みは行わず、Ｎｎｏｄｅ Ｄまでの数の候補を残す。
　これら（ａ）～（ｃ）の計算時間を比較すると、第２実施形態に係る解析システム１の場合、計算時間が短くて済む。
＜第３実施形態＞
　第３実施形態では、解析装置の構成の例について説明する。
　図１４は、第３実施形態に係る解析装置の構成の例を示す図である。図１４に示す解析装置３１０は、相違情報取得部３１１と、評価対象値算出部３１２と、更新後パラメータ値選択部３１３と、を備える。
　かかる構成にて、相違情報取得部３１１は、更新パラメータ値に応じて設定される複数の更新後パラメータ値の候補の各々について、更新対象パラメータ値とその更新後パラメータ値の候補とを複数の機械学習結果に適用して、更新対象パラメータ値の場合の評価対象値に対する、その更新後パラメータ値の候補の場合の評価対象値の相違の程度を示す情報を機械学習結果毎に取得する。評価対象値算出部３１２は、更新後パラメータ値の候補毎、かつ、機械学習結果毎に、評価対象値の相違の程度と、更新対象パラメータ値の場合の評価対象値とに基づいて、その候補の場合の評価対象値を算出する。更新後パラメータ値選択部３１３は、更新後パラメータ値の候補毎に複数の評価対象値のばらつきを用いて算出される選択指標値を比較し、比較結果に基づき候補を選択し、更新対象パラメータ値、更新対象パラメータ値の場合の評価対象値を、それぞれ、選択した候補、選択した候補の場合の評価対象値に更新する。
　このように、解析装置３１０は、複数の機械学習結果を用いて機械学習結果毎に、更新後パラメータ値の候補の場合の評価対象値を算出する。これにより、解析装置３１０は、１つの更新後パラメータ値の候補について複数の評価対象値を得ることができ、評価対象値のばらつきを示す指標（例えば、分散）を用いた評価が可能になる。
　また、解析装置３１０は、パラメータ値の更新時における評価対象値の相違の程度を示す情報を機械学習結果から取得する。解析装置３１０が、評価対象値の相違の程度という相対的な値を機械学習結果から取得する点で、更新後パラメータ値の候補の場合の評価対象値を算出する際に、更新対象パラメータ値の場合の評価対象値を反映させることができる。パラメータ値の更新前後の評価対象値には比較的強い関係性（例えば、相関性）があると考えられ、解析装置３１０によれば、この点で、評価対象値をより高精度に算出することができる。
＜第４実施形態＞
　第４実施形態では、機械学習装置の構成の例について説明する。
　図１５は、第４実施形態に係る機械学習装置の構成の例を示す図である。図１５に示す機械学習装置３２０は、パラメータ値取得部３２１と、シミュレーション実行部３２２と、相違算出部３２３と、機械学習処理部３２４と、を備える。
　かかる構成にて、パラメータ値取得部３２１は、更新対象パラメータ値および更新後パラメータ値を取得する。シミュレーション実行部３２２は、更新対象パラメータ値、更新後パラメータ値それぞれの場合の評価対象値をシミュレーションで算出する。相違算出部３２３は、更新対象パラメータ値の場合の評価対象値に対する、更新後パラメータ値の場合の評価対象値の相違の程度を算出する。機械学習処理部３２４は、更新対象パラメータ値および更新後パラメータ値と、評価対象値の相違の程度との関係を機械学習する。
　このように機械学習装置３２０が、評価対象値の相違の程度について機械学習を行うことで、評価対象値の相違の程度を出力する機械学習結果を解析装置に提供できる。解析装置は、この機械学習結果を用いて解析を行うことができる。
＜第５実施形態＞
　第５実施形態では、解析システムの構成の例について説明する。
　図１６は、第５実施形態に係る解析システムの構成の例を示す図である。図１６に示す解析システム３３０は、機械学習装置３４０と、解析装置３５０とを備える。機械学習装置３４０は、パラメータ値取得部３４１と、シミュレーション実行部３４２と、相違算出部３４３と、機械学習処理部３４４と、を備える。解析装置３５０は、相違情報取得部３５１と、評価対象値算出部３５２と、更新後パラメータ値選択部３５３と、を備える。
　かかる構成にて、パラメータ値取得部３４１は、更新対象パラメータ値および更新後パラメータ値を取得する。シミュレーション実行部３４２は、更新対象パラメータ値、更新後パラメータ値それぞれの場合の評価対象値をシミュレーションで算出する。相違算出部３４３は、更新対象パラメータ値の場合の評価対象値に対する、更新後パラメータ値の場合の評価対象値の相違の程度を算出する。機械学習処理部３４４は、更新対象パラメータ値、更新後パラメータ値、および、評価対象値の相違の程度を複数セット分用いて、更新対象パラメータ値および更新後パラメータ値と、評価対象値の相違の程度との関係の機械学習結果を複数取得する。
　また、相違情報取得部３５１は、更新パラメータ値に応じて設定される複数の更新後パラメータ値の候補の各々について、更新対象パラメータ値とその更新後パラメータ値の候補とを複数の機械学習結果に適用して、更新対象パラメータ値の場合の評価対象値に対する、その更新後パラメータ値の候補の場合の評価対象値の相違の程度を示す情報を機械学習結果毎に取得する。評価対象値算出部３５２は、更新後パラメータ値の候補毎、かつ、機械学習結果毎に、評価対象値の相違の程度と、更新対象パラメータ値の場合の評価対象値とに基づいて、その候補の場合の評価対象値を算出する。更新後パラメータ値選択部３５３は、更新後パラメータ値の候補毎に複数の評価対象値のばらつきを用いて算出される選択指標値を比較し、比較結果に基づき候補を選択し、更新対象パラメータ値、更新対象パラメータ値の場合の評価対象値を、それぞれ、選択した候補、選択した候補の場合の評価対象値に更新する。
　このように機械学習装置３４０が、評価対象値の相違の程度について機械学習を行うことで、評価対象値の相違の程度を出力する機械学習結果を解析装置３５０に提供できる。
解析装置３５０は、この機械学習結果を用いて解析を行うことができる。さらに、機械学習装置３４０が複数の機械学習結果を取得することで、解析装置３５０は、これら複数の機械学習結果を用いて評価対象値を複数取得することができ、評価対象値の分散など、評価対象値のばらつきの大きさを示す指標を取得できる。解析装置３５０は、評価対象値のばらつきの大きさを示す指標を用いてパラメータ値の評価を行うことができ、評価対象値が大きい（評価が高い）探索領域を検知できると期待される。
　解析装置３５０は、複数の機械学習結果を用いて機械学習結果毎に、更新後パラメータ値の候補の場合の評価対象値を算出する。これにより、解析装置３５０は、１つの更新後パラメータ値の候補について複数の評価対象値を得ることができ、評価対象値のばらつきを示す指標（例えば、分散）を用いた評価が可能になる。
　また、解析装置３５０は、パラメータ値の更新時における評価対象値の相違の程度を示す情報を機械学習結果から取得する。解析装置３５０が、評価対象値の相違の程度という相対的な値を機械学習結果から取得する点で、更新後パラメータ値の候補の場合の評価対象値を算出する際に、更新対象パラメータ値の場合の評価対象値を反映させることができる。パラメータ値の更新前後の評価対象値には比較的強い関係性（例えば、相関性）があると考えられ、解析装置３５０によれば、この点で、評価対象値をより高精度に算出することができる。
　なお、学習側制御部１９０、および、探索側制御部２９０が行う処理の全部または一部を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
　また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
　以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
　この出願は、２０１８年１０月３０日に出願された日本国特願２０１８－２０４０１５を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　本発明は、解析装置、機械学習装置、解析システム、解析方法および記録媒体に適用してもよい。
　１、３３０　解析システム
　１００、３２０、３４０　機械学習装置
　１１０　学習側通信部
　１８０　学習側記憶部
　１９０　学習側制御部
　１９１、３２１、３４１　パラメータ値取得部
　１９２、３２２、３４２　シミュレーション実行部
　１９３、３２３、３４３　相違算出部
　１９４、３２４、３４４　機械学習処理部
　２００、３１０、３５０　解析装置
　２１０　解析側通信部
　２８０　解析側記憶部
　２９０　解析側制御部
　２９１　初期値取得部
　２９２　更新後候補設定部
　２９３、３１１、３５１　相違情報取得部
　２９４、３１２、３５２　評価対象値算出部
　２９５、３１３、３５３　更新後パラメータ値選択部
　２９６　終了条件判定部

Claims (9)

  1. 　更新パラメータ値に応じて設定される更新後パラメータ値の複数の候補の各々について、前記更新対象パラメータ値とその候補とを複数の機械学習結果に適用して、前記更新対象パラメータ値の場合の評価対象値に対する、その候補の場合の評価対象値の相違の程度を示す情報を機械学習結果毎に取得する相違情報取得手段と、
    　前記候補毎、かつ、前記機械学習結果毎に、前記評価対象値の相違の程度と、前記更新対象パラメータ値の場合の前記評価対象値とに基づいて、その候補の場合の評価対象値を算出する評価対象値算出手段と、
    　前記候補毎に、前記機械学習結果毎の前記評価対象値のばらつきを用いて選択指標値を算出し、前記複数の候補各々の前記選択指標値を比較し、前記比較の結果に基づき前記複数の候補から候補を選択し、前記更新対象パラメータ値、前記更新対象パラメータ値の場合の評価対象値を、それぞれ、前記選択した候補、前記選択した候補の場合の評価対象値に更新する、更新後パラメータ値選択手段と、
    　を備える解析装置。
  2. 　前記更新後パラメータ値選択手段は、前記ばらつきが大きいほど前記選択指標値をより高い値とし、前記複数の候補から、前記選択指標値が最も高い値の候補を選択する
    　請求項１に記載の解析装置。
  3. 　前記更新後パラメータ値選択手段は、前記候補毎に、前記機械学習結果毎の前記ばらつきと前記複数の候補各々の前記評価対象値の平均値とを用いて、選択指標値を算出する、
    　請求項１または請求項２に記載の解析装置。
  4. 　前記更新後パラメータ値選択手段は、前記パラメータ値の更新について先読みを行い、先読みされたパラメータ値が数が少ない候補ほど選択指標値をより高い値とし、前記複数の候補から、前記選択指標値が最も高い値の候補を選択する
    　請求項１から３の何れか一項に記載の解析装置。
  5. 　前記相違情報取得手段は、前記評価対象値の相違の程度を示す情報として、前記複数の候補の各々について、前記更新対象パラメータ値の場合の評価対象値に対する前記候補の場合の評価対象値の差分を、前記更新対象パラメータ値の場合の評価対象値で除算する正規化を行った値を取得する、
    　請求項１から４の何れか一項に記載の解析装置。
  6. 　更新対象パラメータ値および更新後パラメータ値とのセットを複数取得するパラメータ値取得手段と、
    　前記複数のセット毎に、前記更新対象パラメータ値の場合の評価対象値と、前記更新後パラメータ値の場合の評価対象値とをシミュレーションで算出するシミュレーション実行手段と、
    　前記複数のセット毎に、前記更新対象パラメータ値の場合の評価対象値に対する、前記更新後パラメータ値の場合の評価対象値の相違の程度を算出する相違算出手段と、
    　前記複数のセットの前記更新対象パラメータ値、前記更新後パラメータ値、および、前記評価対象値の相違の程度を用いて、前記更新対象パラメータ値および前記更新後パラメータ値と、前記評価対象値の相違の程度との関係の機械学習結果を複数取得する機械学習処理手段と、
    　を備える機械学習装置。
  7. 　機械学習装置と解析装置とを備え、
    　前記機械学習装置は、
    　更新対象パラメータ値および更新後パラメータ値とのセットを複数取得するパラメータ値取得手段と、
    　前記複数のセット毎に、前記更新対象パラメータ値の場合の評価対象値と、前記更新後パラメータ値の場合の評価対象値とをシミュレーションで算出するシミュレーション実行手段と、
    　前記複数のセット毎に、前記更新対象パラメータ値の場合の評価対象値に対する、前記更新後パラメータ値の場合の評価対象値の相違の程度を算出する相違算出手段と、
    　前記複数のセットの前記更新対象パラメータ値、前記更新後パラメータ値、および、前記評価対象値の相違の程度を用いて、前記更新対象パラメータ値および前記更新後パラメータ値と、前記評価対象値の相違の程度との関係の機械学習結果を複数取得する機械学習処理手段と、
    　を備え、
    　前記解析装置は、
    　更新パラメータ値に応じて設定される更新後パラメータ値の複数の候補の各々について、前記更新対象パラメータ値とその候補とを複数の機械学習結果に適用して、前記更新対象パラメータ値の場合の評価対象値に対する、その候補の場合の評価対象値の相違の程度を示す情報を機械学習結果毎に取得する相違情報取得手段と、
    　前記候補毎、かつ、前記機械学習結果毎に、前記評価対象値の相違の程度と、前記更新対象パラメータ値の場合の前記評価対象値とに基づいて、その候補の場合の評価対象値を算出する評価対象値算出手段と、
    　前記候補毎に、前記機械学習結果毎の前記評価対象値のばらつきを用いて選択指標値を算出し、前記複数の候補各々の前記選択指標値を比較し、前記比較の結果に基づき前記複数の候補から候補を選択し、前記更新対象パラメータ値、前記更新対象パラメータ値の場合の評価対象値を、それぞれ、前記選択した候補、前記選択した候補の場合の評価対象値に更新する、更新後パラメータ値選択手段と、
    　を備える、
    　解析システム。
  8. 　コンピュータによって実施される解析方法であって、
    　更新パラメータ値に応じて設定される更新後パラメータ値の複数の候補の各々について、前記更新対象パラメータ値とその候補とを複数の機械学習結果に適用して、前記更新対象パラメータ値の場合の評価対象値に対する、その候補の場合の評価対象値の相違の程度を示す情報を機械学習結果毎に取得し、
    　前記候補毎、かつ、前記機械学習結果毎に、前記評価対象値の相違の程度と、前記更新対象パラメータ値の場合の前記評価対象値とに基づいて、その候補の場合の評価対象値を算出し、
    　前記候補毎に、前記機械学習結果毎の前記評価対象値のばらつきを用いて選択指標値を算出し、前記複数の候補各々の前記選択指標値を比較し、
    　前記比較の結果に基づき前記複数の候補から候補を選択し、
    　前記更新対象パラメータ値、前記更新対象パラメータ値の場合の評価対象値を、それぞれ、前記選択した候補、前記選択した候補の場合の評価対象値に更新する、
    　ことを含む解析方法。
  9. 　コンピュータに、
    　更新パラメータ値に応じて設定される更新後パラメータ値の複数の候補の各々について、前記更新対象パラメータ値とその候補とを複数の機械学習結果に適用して、前記更新対象パラメータ値の場合の評価対象値に対する、その候補の場合の評価対象値の相違の程度を示す情報を機械学習結果毎に取得し、
    　前記候補毎、かつ、前記機械学習結果毎に、前記評価対象値の相違の程度と、前記更新対象パラメータ値の場合の前記評価対象値とに基づいて、その候補の場合の評価対象値を算出し、
    　前記候補毎に、前記機械学習結果毎の前記評価対象値のばらつきを用いて選択指標値を算出し、前記複数の候補各々の前記選択指標値を比較し、
    　前記比較の結果に基づき前記複数の候補から候補を選択し、
    　前記更新対象パラメータ値、前記更新対象パラメータ値の場合の評価対象値を、それぞれ、前記選択した候補、前記選択した候補の場合の評価対象値に更新する、
    　ことを実行させるためのプログラムを記憶した記録媒体。
PCT/JP2019/042388 2018-10-30 2019-10-29 解析装置、機械学習装置、解析システム、解析方法および記録媒体 WO2020090821A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020553941A JP7117686B2 (ja) 2018-10-30 2019-10-29 解析装置、解析システム、解析方法およびプログラム
US17/289,154 US20210383157A1 (en) 2018-10-30 2019-10-29 Analysis device, machine learning device, analysis system, analysis method, and recording medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-204015 2018-10-30
JP2018204015 2018-10-30

Publications (1)

Publication Number Publication Date
WO2020090821A1 true WO2020090821A1 (ja) 2020-05-07

Family

ID=70463713

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/042388 WO2020090821A1 (ja) 2018-10-30 2019-10-29 解析装置、機械学習装置、解析システム、解析方法および記録媒体

Country Status (3)

Country Link
US (1) US20210383157A1 (ja)
JP (1) JP7117686B2 (ja)
WO (1) WO2020090821A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023067666A1 (ja) * 2021-10-18 2023-04-27 日本電信電話株式会社 算出装置、算出方法及び算出プログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007018490A (ja) * 2005-02-23 2007-01-25 Sony Corp 行動制御装置および行動制御方法、並びに、プログラム
JP2016006587A (ja) * 2014-06-20 2016-01-14 インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ 解析装置、解析方法及びプログラム
WO2018143019A1 (ja) * 2017-01-31 2018-08-09 日本電気株式会社 情報処理装置、情報処理方法およびプログラム記録媒体

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007018490A (ja) * 2005-02-23 2007-01-25 Sony Corp 行動制御装置および行動制御方法、並びに、プログラム
JP2016006587A (ja) * 2014-06-20 2016-01-14 インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ 解析装置、解析方法及びプログラム
WO2018143019A1 (ja) * 2017-01-31 2018-08-09 日本電気株式会社 情報処理装置、情報処理方法およびプログラム記録媒体

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023067666A1 (ja) * 2021-10-18 2023-04-27 日本電信電話株式会社 算出装置、算出方法及び算出プログラム

Also Published As

Publication number Publication date
JP7117686B2 (ja) 2022-08-15
JPWO2020090821A1 (ja) 2021-09-16
US20210383157A1 (en) 2021-12-09

Similar Documents

Publication Publication Date Title
Kundu et al. AltWOA: Altruistic Whale Optimization Algorithm for feature selection on microarray datasets
WO2020090826A1 (ja) 解析装置、機械学習装置、解析システム、解析方法および記録媒体
Bomarito et al. Development of interpretable, data-driven plasticity models with symbolic regression
JP2022522641A (ja) トレーニング・データと性能トレンドとの相関付けに基づいたコンピュータ・モデル機械学習
Li et al. Regularized parametric regression for high-dimensional survival analysis
Sowjanya et al. Investigation of butterfly optimization and gases Brownian motion optimization algorithms for optimal multilevel image thresholding
Balakrishnan et al. A novel control factor and Brownian motion-based improved Harris Hawks Optimization for feature selection
Ray et al. Cuckoo search with differential evolution mutation and Masi entropy for multi-level image segmentation
WO2020090821A1 (ja) 解析装置、機械学習装置、解析システム、解析方法および記録媒体
Thakre et al. Quantification of similarity and physical awareness of microstructures generated via generative models
Neggaz et al. Boosting Archimedes optimization algorithm using trigonometric operators based on feature selection for facial analysis
CN115936773A (zh) 一种互联网金融黑产识别方法与系统
Boige et al. Gradient-informed quality diversity for the illumination of discrete spaces
CN114758771A (zh) 一种基于约束型鲸鱼优化算法的肝癌生存预测方法
Traub et al. Towards automatic embryo staging in 3D+ t microscopy images using convolutional neural networks and PointNets
Gower et al. Inference of population genetics parameters using discriminator neural networks: an adversarial Monte Carlo approach
Klawonn et al. Exploiting class learnability in noisy data
Urbanowicz et al. Retooling fitness for noisy problems in a supervised Michigan-style learning classifier system
Davies et al. Sparse Bayesian variable selection for the identification of antigenic variability in the foot-and-mouth disease virus
He et al. Text matching with Monte Carlo tree search
Lee et al. An efficient method for determining the optimal convolutional neural network structure based on Taguchi method
Fitra et al. Deep transformer model with pre-layer normalization for covid-19 growth prediction
Ling et al. Survival analysis of high-dimensional data with graph convolutional networks and geometric graphs
Shiri et al. A NEW HYBRID FILTER-WRAPPER FEATURE SELECTION USING EQUILIBRIUM OPTIMIZER AND SIMULATED ANNEALING.
Lalwani et al. An efficient bi-level discrete PSO variant for multiple sequence alignment

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19878560

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020553941

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19878560

Country of ref document: EP

Kind code of ref document: A1