WO2022264262A1 - モデル生成支援装置、モデル生成支援方法及びプログラム - Google Patents

モデル生成支援装置、モデル生成支援方法及びプログラム Download PDF

Info

Publication number
WO2022264262A1
WO2022264262A1 PCT/JP2021/022691 JP2021022691W WO2022264262A1 WO 2022264262 A1 WO2022264262 A1 WO 2022264262A1 JP 2021022691 W JP2021022691 W JP 2021022691W WO 2022264262 A1 WO2022264262 A1 WO 2022264262A1
Authority
WO
WIPO (PCT)
Prior art keywords
trial
trials
model
nodes
parameter
Prior art date
Application number
PCT/JP2021/022691
Other languages
English (en)
French (fr)
Inventor
悦子 市原
純明 榮
裕樹 多賀戸
貴史 小梨
淳 西岡
佑嗣 小林
純 児玉
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to PCT/JP2021/022691 priority Critical patent/WO2022264262A1/ja
Priority to JP2023528801A priority patent/JPWO2022264262A1/ja
Publication of WO2022264262A1 publication Critical patent/WO2022264262A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Definitions

  • the present invention relates to a model generation support device, a model generation support method, and a program.
  • Patent Literature 1 discloses a computer system that presents a prediction result output from a prediction model and decision logic indicating the prediction logic of the prediction model.
  • Patent Document 2 at a stage where there is very little learning data to be analyzed, a prediction model is constructed using the target learning data and similar learning data, and at the stage when the target learning data is sufficiently accumulated discloses a learning model selection system that constructs a prediction model using only target learning data.
  • One aspect of the present invention has been made in view of the above problems, and an example of its purpose is to provide a technique for supporting model generation by presenting the model building process in a more comprehensible manner. That is.
  • a model generation support device includes acquisition means for acquiring trial information including parameters used in trials of an AI model building process, and based on the difference in the trial information of each of the plurality of trials, estimating means for estimating relevance between the plurality of trials; and output means for outputting display data including a plurality of nodes indicating each of the plurality of trials and links indicating the relevance.
  • At least one processor acquires trial information including parameters used in trials in an AI model construction process, estimating relationships between the plurality of trials based on the results, and outputting display data including a plurality of nodes representing each of the plurality of trials and links representing the relationships.
  • a program provides a computer with an acquisition process of acquiring trial information including parameters used in trials in an AI model building process, and based on the difference in the trial information of each of the plurality of trials, An estimation process of estimating the relevance between the plurality of trials, and an output process of outputting display data including a plurality of nodes indicating each of the plurality of trials and a link indicating the relevance are executed.
  • FIG. 1 is a block diagram showing the configuration of an information processing device according to exemplary Embodiment 1 of the present invention
  • FIG. 6 is an example of display elements of nodes and links output by the information processing apparatus according to Exemplary Embodiment 1.
  • FIG. 4 is a flow chart showing the flow of an information processing method S1 according to exemplary embodiment 1
  • FIG. 4 is a block diagram showing the configuration of an information processing system according to exemplary embodiment 2 of the present invention
  • FIG. 4 is a conceptual diagram showing the flow of processing for one trial performed by a user
  • FIG. 10 is an example of input data and parameter data that are input to the model construction device according to the second exemplary embodiment
  • FIG. It is an example showing a part of all trial information table recorded in the database.
  • FIG. 10 is an example of a trial information table acquired by the information processing apparatus according to exemplary embodiment 2;
  • FIG. 11 is an example of estimated data obtained by estimating the relevance between trials by the information processing apparatus according to exemplary embodiment 2;
  • FIG. 10 is an example of display data generated and output by the information processing apparatus according to exemplary embodiment 2;
  • 10 is an example of a color density table including color densities of nodes indicating each trial estimated by the information processing apparatus according to exemplary embodiment 3.
  • FIG. 10 is an example of a thickness table including thicknesses of links connecting nodes estimated by the information processing apparatus according to exemplary embodiment 3.
  • FIG. FIG. 11 is an example of display data in which the color density of nodes and the thickness of links are highlighted based on the loss value, output by the information processing apparatus according to exemplary embodiment 3;
  • FIG. 11 is an example of display data in another mode output by the information processing apparatus according to exemplary embodiment 3;
  • FIG. FIG. 11 is an example of display data in another mode output by the information processing apparatus according to exemplary embodiment 3;
  • FIG. 11 is an example of display data in another mode output by the information processing apparatus according to exemplary embodiment 3;
  • FIG. 11 is an example of display data in another mode output by the information processing apparatus according to exemplary embodiment 3;
  • FIG. It is a figure which comprises each part by software.
  • FIG. 1 is a block diagram showing the configuration of an information processing device 1.
  • the information processing device 1 is a device that visualizes the process in which a model building device builds a model.
  • the model construction device may be a device physically different from the information processing device 1, or may be the same device.
  • the information processing device 1 is one form of the "model generation support device" described in the claims.
  • the model in this exemplary embodiment outputs inference results for input information.
  • the inferences made by the model include, but are not limited to, regression, classification, prediction, optimization, and the like.
  • inference results include regression results, classification results, prediction results, optimal results, and the like.
  • the type of model is not limited, it may be, for example, a rule-based model generated with reference to background knowledge, or a machine learning model generated by a machine learning algorithm.
  • Machine learning models also include regression analysis models, support vector machines, decision tree models, genetic algorithm models, neural network models, and the like.
  • AI Artificial Intelligence
  • repeating attempts to generate or modify an AI model is referred to as "building a model.” Further, such trials may be repeated by the model construction device based on user's operation, or may be repeated by the model construction device without user's operation. In the present exemplary embodiment, such trials shall be repeated by the model builder based on user manipulation.
  • an AI model to be constructed may be referred to as a "target model”.
  • the information processing device 1 includes an acquisition unit 11, an estimation unit 12, and an output unit 13.
  • the acquisition unit 11 is one form of the "acquisition means” described in the claims
  • the estimation unit 12 is one form of the “estimation means” described in the claims
  • the output unit 13 is one form of the "estimation means” described in the claims. It is one form of the described "output means”.
  • the information processing device 1 includes at least one processor, and the acquisition unit 11, the estimation unit 12, and the output unit 13 are one form of configuration realized by "at least one processor" described in the claims. .
  • the model building device executes multiple trials to build the AI model based on the user's operation.
  • the acquisition unit 11 acquires trial information including parameters used in trials in the process of building an AI model.
  • the trial information includes, for example, information indicating parameters used in the trial, evaluation results, and the like.
  • the trial information is recorded in a database outside the information processing device 1 by the model construction device, and the acquisition unit 11 acquires the trial information from the database.
  • Acquisition unit 11 transmits the acquired information to estimation unit 12 .
  • the trial information may be recorded in a memory (not shown) of the information processing device 1, and the acquisition unit 11 may acquire the trial information from the memory. A specific example of trial information will be described later.
  • the estimating unit 12 estimates the relevance between multiple trials based on the difference in the trial information of each of the multiple trials received from the acquiring unit 11 .
  • the estimating unit 12 transmits items related to the estimated relevance to the output unit 13 .
  • a specific example of the relationship between the difference or change in the trial information and the trials will be described later.
  • the output unit 13 refers to the items related to the relevance received from the estimation unit 12, and outputs display data including a plurality of nodes representing each of the multiple trials and a link representing the relevance.
  • the display data may be generated by the output unit 13 .
  • the output unit 13 outputs the generated display data to a display device (for example, display) via an output interface (not shown). Thereby, the display data is displayed on the display device.
  • a node in this exemplary embodiment is a display element representing one trial, and may be displayed in a frame such as a rectangle, an oval, or a rhombus, for example.
  • Links are display elements that indicate relationships between trials, and may be displayed as line segments or arrows that connect nodes, for example.
  • FIG. 2 is an example of a node N and a link R generated by the output unit 13.
  • FIG. 2 a node N1 representing trial 1 and a node N2 representing trial 2 are connected by a link R1, which is an arrow.
  • the fact that the node N1 and the node N2 are connected by the link R1 means that the trials 1 and 2 are related.
  • node N2 and node N3 are connected by link R2
  • node N3 and node N4 are connected by link R3
  • node N4 and node N5 are connected by link R4.
  • the display data may include at least a portion of the trial information corresponding to the node N within or near the node N, as described below.
  • the display data may also include, within or near the link R, at least a portion of trial information that has changed between trials having the relevance indicated by the link R.
  • a trial is, for example, a series of processes including a process of generating a target model using input information set or updated by a user's operation, and a process of evaluating the inference results output from the generated target model. .
  • Such trials are repeated multiple times while changing some or all of the input information. For example, if the target model is a machine learning model, such trials are repeatedly performed as a learning phase.
  • "generating the target model” includes generating the target model for the first time and modifying the target model in order to adjust the performance, etc. of the generated target model.
  • FIG. 1 shows that the acquisition unit 11, the estimation unit 12, and the output unit 13 are collectively arranged in one device that is physically integrally formed, this is not necessarily the case. . That is, these functional blocks may be distributed and arranged in a plurality of physically different devices, and these devices may be connected to each other by wire or wirelessly so as to be able to communicate with each other. Also, at least some of these functional blocks may be arranged on the cloud.
  • the information processing device 1 includes at least one processor, and this processor reads a program recorded in a memory (not shown) and has a configuration that functions as an acquisition unit 11, an estimation unit 12, and an output unit 13. You may have Such a configuration will be described later.
  • the acquisition unit that acquires the trial information including the parameters used in the trial of the building process of the AI model, and an output unit for outputting display data including a plurality of nodes indicating each of the plurality of trials and a link indicating the relationship, based on is adopted. Therefore, according to the information processing apparatus 1 according to the present exemplary embodiment, the user can visually recognize the process of constructing the AI model by the nodes indicating trials and the links connecting the nodes. As a result, it is possible to present the process in a more comprehensible manner, thereby providing the effect of supporting model generation.
  • FIG. 3 is a flow chart showing the flow of the information processing method S1. As shown in FIG. 3, the information processing method S1 includes steps S11, S12 and S13.
  • the information processing method S1 is one form of the "model generation support method" described in the claims.
  • step S11 the acquisition unit 11 acquires trial information including parameters used in trials in the process of building an AI model.
  • step S12 the estimation unit 12 estimates the relevance between the multiple trials based on the difference in the trial information of each of the multiple trials.
  • step S13 the output unit 13 outputs display data including a plurality of nodes indicating each of the plurality of trials and links indicating relationships. The output display data is displayed on a display device as shown in FIG. 2, for example.
  • the information processing device 1 acquires trial information including parameters used in the AI model building process, and performs each trial of a plurality of trials. Based on the information difference, the relationship between multiple trials is estimated, and display data including multiple nodes representing each of the multiple trials and links representing the relationships are output. there is Therefore, according to the information processing method S1 according to the present exemplary embodiment, the user can visually recognize the process of constructing the AI model by the nodes indicating trials and the links connecting the nodes. As a result, it is possible to present the process in a more comprehensible manner, thereby providing the effect of supporting model generation.
  • FIG. 4 is a block diagram showing the configuration of the information processing system 3 according to the second exemplary embodiment.
  • the information processing system 3 includes a model building device 50, a database 60, an information processing device 2, and a display 70.
  • the model construction device 50 is a device used by the user to generate the target model L.
  • the database 60 records output information in each trial output by the model construction device 50 .
  • the information processing device 2 uses the output information recorded in the database 60 to estimate the relationship between multiple trials, generate display data, and output the display data to the display 70 .
  • the display 70 displays display data.
  • the information processing device 2 includes an acquisition unit 21 , an estimation unit 22 and an output unit 23 .
  • the functions of the acquiring unit 21, the estimating unit 22, and the output unit 23 are basically the same as those of the acquiring unit 11, the estimating unit 12, and the output unit 13 described in the first exemplary embodiment. explain.
  • FIG. 5 is a conceptual diagram showing the flow of processing for one trial T performed by the user using the model construction device 50 .
  • the user inputs input information 100 into the model construction device 50 using an input device (not shown).
  • the model building device 50 inputs the input information 100 to the target model L, causes it to make an inference, and evaluates the inference result. Evaluating an inference result means, for example, deriving a loss value.
  • the model construction device 50 generates output information 200 including input information 100 and information indicating evaluation results.
  • the user modifies the target model L based on the output information 200 output from the model construction device 50 .
  • the user updates the parameters that configure the target model L.
  • FIG. Based on the output information 200 , the user determines the input information 100 to be input in the next trial and inputs it to the model construction device 50 . Also, the user may decide to change the type of the target model L based on the output information 200 and include information indicating the type of the target model L in the input information 100 .
  • the input information 100 includes input data 101, parameter data 102, model ID 103 and tag data 104, for example.
  • Input data 101 is data to be input to the target model L.
  • FIG. The input data 101 includes, for example, labels given to the input data 101 .
  • the parameter data 102 includes weighting factors, hyperparameters, and the like applied to the parameter group that configures the target model L.
  • FIG. The model ID 103 is an ID that identifies the target model L to be generated in the trial.
  • Tag data 104 is an ID that identifies a series of trials.
  • the input data 101 includes chronological data of the output values of sensors 1, 2, 3, and 4.
  • One line of the input data 101 is the output value of each sensor at a certain point in time, arranged along the passage of time.
  • Input data 101 is stored in a data file named X.cvs.
  • Such data is, for example, sensor data of certain plant equipment, and is an example of input data when constructing a target model L for detecting an abnormality in the equipment based on the sensor data.
  • the parameter data 102 includes, as an example, the names and values of four parameters. Specifically, the parameter A and its value 10, the parameter B and its value 0.005, the parameter C and its value 1000, the parameter Input File (that is, the parameter indicating the input data 101) and its data file
  • the name is X.cvs.
  • the data contained in the file X.cvs is, for example, data obtained by subjecting raw data (output values from each sensor) to Fourier transform processing. In other words, in this example, since the input data 101 contains a lot of data, the data file names are included in the parameter data 102 as parameters.
  • the parameters A to C may include, for example, weighting coefficients (weights) applied to a group of parameters that make up the target model L, or may include hyperparameters.
  • weights weighting coefficients
  • hyperparameters include, but are not limited to, the total number of neural networks, the number of units, the activation function, the dropout rate, the optimization function, and the like.
  • the model construction device 50 inputs at least part of the input data 101 and the parameter data 102 into the target model L and generates the target model L so that the label given to the input data 101 is output.
  • the process of generating the target model L is a process of repeating the process of updating the parameter group that configures the target model L.
  • the model construction device 50 generates the target model L by repeating the updating process of the parameter group until the parameter group converges or reaches a set number of times.
  • the model construction device 50 evaluates the inference results output by inputting at least part of the input data 101 to the target model L. For example, the model construction device 50 calculates a loss value 201, an abnormality degree 202, etc., which will be described later, as evaluation results.
  • the output information 200 output from the model construction device 50 includes, for example, a loss value 201, anomaly degree 202, trial time 203, input data 101, parameter data 102, model ID 103, and tag data 104. .
  • the loss value 201 or the degree of abnormality 202 is an example of an index indicating the performance of the target model L, and one of them is output depending on the type of the target model L, for example.
  • the loss value 201 is an error function value that indicates the error between the output value of the target model L and the correct value when there is a correct value that the target model L should output for the input information.
  • the degree of abnormality 202 is a numerical value that indicates the identification of abnormal data and the extent to which it differs from normal values when the target model L is an AI model that extracts abnormal data from the input data 101. .
  • an index different from the loss value 201 or the degree of abnormality 202 may be output.
  • the trial time is the time when the trial T is started, for example, the time when the input data is input to the target model L.
  • the input data 101, parameter data 102, model ID 103, and tag data 104 are the same as the information included in the input information 100.
  • the output information 200 is transmitted to the database 60 and recorded as trial information.
  • the output information 200 of seven trials T1 to T7 in the process of constructing the target model L is transmitted and recorded as trial information.
  • the database 60 may record trial information in the process of constructing other AI models.
  • the trial information indicating a series of trials in the process of constructing the target model L can be distinguished by one or both of the model ID 103 and the tag data 104, for example.
  • the information processing device 2 acquires trial information in trials T1 to T7 performed using the model building device 50, and estimates the relevance between these trials. Specifically, first, the acquisition unit 21 extracts (acquires) trial information having similar model IDs and tag data from all the trial information recorded in the database 60 .
  • FIG. 7 is part of a trial information table 250 that records all trial information recorded in the database 60.
  • the trial information table 250 includes, for example, data recorded in columns of trial ID, model ID, tag data, trial time, loss value, parameter A, parameter B, parameter C, and input data file name. .
  • T1 to T7, S1, and R3 recorded in the trial ID column are IDs that identify each trial.
  • “L001” recorded in the model ID column is the ID given to the target model L.
  • FIG. For the model ID the same code may be used in a series of trials, or a partially changed code may be used for each trial.
  • the AI model with the model ID “L001” is also referred to as model L001, assuming that the same reference numerals are used in the series of trials.
  • "TAG001" recorded in the column of tag data is data commonly attached to a series of trials T1 to T7 in the process of constructing the target model L001.
  • TAG002 recorded in the column of tag data is data attached in common to a series of other trials including trial S1 in the process of constructing the target model L001.
  • a series of trials T1 to T7 with TAG001 and a series of trials (including trial S1) with a different approach from TAG001. is being done.
  • the trial information recorded as L002 in the model ID column and TAG003 in the tag data column indicates trial R3 that was performed to build the AI model L002 different from the target model L001. .
  • FIG. 8 is an example of a trial information table 300 in which trial information extracted by the acquisition unit 21 from all trial information recorded in the database 60 is recorded.
  • the acquisition unit 21 extracts (acquires) trial information having similar model IDs and tag data as shown in the trial information table 300 from all the trial information recorded in the database 60 .
  • the model IDs are similar means “the model IDs match (the same)", but the model IDs may indicate a predetermined similarity condition.
  • similar tag data means “matching tag data”, but is not limited to this, and may indicate that the tag data indicates a predetermined similarity condition.
  • the similarity condition may be, for example, that part of the text indicating the model ID or tag data matches.
  • the acquisition unit 21 may extract, as a series of trials in the process of building the target model L, a plurality of trials in which at least one of the model ID and tag data is similar.
  • the acquisition unit 21 extracts trials T1 to T7 having the same model ID and the same tag data.
  • the acquisition unit 21 may extract trial information in which at least one of the model ID and tag data is the same, or may extract trial information in which at least one of the model ID and tag data is similar.
  • FIG. 9 is an example of an estimated data table 400 in which the estimation unit 22 estimates the relevance between trials.
  • the estimation unit 22 estimates the relevance between two consecutive trials in the time series of multiple trials.
  • trial T1 and trial T2 are consecutive trials.
  • Consecutive trials are adjacent trials in a time series arranged in the order in which multiple trials were performed (in order of trial start time).
  • the estimating unit 22 extracts consecutive trials T1 and T2 from a plurality of trials. is associated with the subsequent (end) trial T2.
  • the estimating unit 22 extracts consecutive trials T2 and T3, and the following trial T3 is performed in order to modify the target model L generated in the preceding trial T2. Presume that. In this way, the estimation unit 22 extracts all combinations of two consecutive trials in time series and estimates their relevance.
  • the estimating unit 22 extracts a plurality of trials in which the first parameter is common and the second parameter is changed as a related first trial group.
  • the first parameter and the second parameter are examples of trial information.
  • the second parameter is a parameter different in type from the first parameter.
  • the number of parameters to be changed in the subsequent trial is one with respect to the preceding trial, and that the other parameters are not changed.
  • the number of parameters to be changed may be two or more.
  • the estimation unit 22 extracts the trials T1 to T4 as the first trial group. Then, among the extracted trials T1 to T4, it is estimated that the successive trials T1 and T2, T2 and T3, and T3 and T4 have the relationships described above.
  • the trial information further includes a third parameter different from the first parameter and the second parameter, and the estimation unit 22 determines that the second parameter and the third parameter are common and the first parameter changes Multiple trials are extracted as a related second set of trials.
  • the estimation unit 22 extracts the trials T5 to T7 as the trials T of the second trial group. Then, among the extracted trials T5 to T7, it is estimated that the successive trials T2 and T5, T5 and T6, and T6 and T7 have the relationships described above.
  • the data contained in the file X.cvs is the Fourier transform of the raw data (output values from each sensor).
  • the data contained in the file Y.cvs is the data obtained by converting the raw data into polar coordinates.
  • the estimating unit 22 regards the trial in the first trial group, in which the first parameter and the second parameter are common to the temporally leading trial in the second trial group, as the first trial Identify as a branch point in the group.
  • the estimating unit 22 determines the first trial group in which the first parameter (B) and the second parameter (A) are common in the temporally leading trial (trial T5) of the second trial group Identify trial T2 in as the branching point in the first group of trials. Furthermore, the estimating unit 22 associates the trial T5 and the trial T2, which are the heads of the second trial group, with the branched link R4. By performing the above processing, the estimation unit 22 generates the estimated data table 400 shown in FIG.
  • FIG. 10 is an example of display data 500 generated and output by the output unit 23 .
  • the output unit 23 refers to the estimated data table 400 and generates display data including the nodes N1 to N7 and the links R1 to R6 as shown in FIG.
  • Nodes N1-N7 are display elements representing trials T1-T7.
  • Links R1 to R6 are display elements that indicate the relationship between two corresponding trials T among trials T1 to T7.
  • the nodes N1 to N7 are each represented by a rectangular frame. Also, when the node is not specified, it is described as node N, and when the link is not specified, it is described as link R.
  • the link R has an orientation and is represented, for example, by an arrow.
  • the starting point of the link R is connected to a node N indicating the preceding trial T in the time series among the two trials T having the corresponding relationship.
  • the end point of the link R is connected to a node N that indicates the latter trial T in the time series among the two trials T having the corresponding relationship.
  • the nodes N1-N7 and the links R1-R6 represent a directed graph.
  • the node indicating the trial in the preceding stage is also referred to as the preceding node
  • the node indicating the trial in the subsequent stage is also referred to as the subsequent node.
  • the multiple nodes included in the display data are arranged in the order in which the trials were performed. That is, the output unit 23 generates display data in which a plurality of nodes N are arranged in the order in which each trial was performed. Specifically, as shown in FIG. 10, the output unit 23 generates and outputs display data 500 in which a plurality of nodes N are arranged in order from left to right in the drawing. In other words, in the display data 500, the node N representing the early trial T is arranged on the left side of the link R, and the node N representing the late trial T is arranged on the right side of the link R.
  • the output unit 23 outputs display data including a plurality of nodes (N1 to N4) indicating the first trial group and links (R1 to R3) connecting the plurality of nodes. Output as the first column. At this time, the output unit 23 outputs display data in which the nodes included in the trial group are arranged in the order in which the trials were performed. Furthermore, as shown in FIG. 10, the output unit 23 determines that the nodes (N5 to N7) and the links (R4 to R6) indicating the second trial group are branched out of the plurality of nodes indicating the first trial group. The display data branched and connected from the node (R2) representing the trial of points is output as the second column.
  • the display data 500 branches into links R2 and R4 on the way.
  • the column of each branch destination node N indicates the process of searching for the influence of different parameters on the performance of the target model L.
  • FIG. That is, the user can easily understand the construction process of the target model L by visually recognizing the construction process of the target model L in the graph structure as shown in FIG.
  • the information processing apparatus 2 employs a configuration in which a plurality of nodes included in the display data are arranged in the order in which the trials were performed. Therefore, according to the information processing apparatus 2 according to the present exemplary embodiment, in addition to the effects of the information processing apparatus 1 according to the first exemplary embodiment, the chronological process of constructing the target model L can be easily understood. You can get the effect that you can.
  • the estimating unit 22 extracts a plurality of trials in which the first parameter is common and the second parameter changes as a related first trial group, and the output unit 23 extracts the first A configuration is adopted in which display data including a plurality of nodes indicating one trial group and links connecting the plurality of nodes are output. Further, the information processing device 2 further includes a third parameter different from the first parameter and the second parameter as the trial information, and the estimation unit 22 determines that the second parameter and the third parameter are common to the third parameter.
  • a configuration is adopted in which the display data branched and connected from the node indicating the trial of the branch point is output.
  • the information processing device 4 according to the third exemplary embodiment is a modification of the information processing device 2 according to the second exemplary embodiment as follows. Below, each functional block of the information processing apparatus 4 will be sequentially described with respect to the points modified from the exemplary embodiment 2.
  • FIG. 1 A schematic diagram of an information processing apparatus
  • the acquisition unit 21 of the information processing device 4 acquires trial information of a series of trials from the database 60 .
  • the set of trial information is the same as the trial information table 300 (see FIG. 8) described in the second exemplary embodiment. Therefore, the estimation unit 22 generates an estimated data table 400 (see FIG. 9) from the trial information table 300.
  • FIG. The output unit 23 then generates display data 500 (see FIG. 10) and outputs it to the display 70 .
  • the estimating unit 22 identifies, among the multiple trials, a trial in which the AI model's performance improved or deteriorated compared to the related preceding trial. Further, the output unit 23 outputs one or both of the node indicating the identified trial and the link connecting the node and the node indicating the previous trial in a manner different from other nodes or other links. Different aspects may mean, for example, emphasizing one over another. Alternatively, different aspects may conversely be less conspicuous than others.
  • the estimating unit 22 refers to the loss value of the trial information table 300, and the loss value of the preceding node in the combination of the two nodes connected by the link R of the estimated data table 400 is Identify the subsequent nodes that have decreased or increased.
  • the output unit 23 outputs display data in which one or both of the subsequent node and the link connecting the preceding node and the subsequent node are different from others.
  • the output unit 23 outputs the color tone of the node (later node) indicating the identified trial, the size and shape of the node, and the shape of the link. At least one of the color tone and the thickness of the link can be made different from other nodes or other links.
  • the output unit 23 highlights the latter node with a smaller loss value and the link connecting the latter node and the former node.
  • the method of highlighting is not limited, for example, highlighting can be performed by lightening the color tone of the node and thickening the thickness of the link.
  • the output unit 23 can make a certain node less conspicuous than other nodes by making it smaller.
  • hue refers to color type or color intensity.
  • FIG. 11 is an example of a color density table 600 obtained by adding the color density of the node indicating each trial to the trial information table 300.
  • FIG. The rightmost column of the color density table 600 indicates the color density (%) of the node.
  • Node N1 whose trial ID is indicated by T1
  • the output unit 23 calculates the density of each node N based on this.
  • the density C of each node N in the color density table 600 is a value calculated by the following formula (1).
  • C (%) 100 ⁇ (Loss T - Loss min ) / (Loss max - Loss min ) (1)
  • Loss T is the loss value of each node N
  • Loss min is the minimum loss value
  • Loss max is the maximum loss value.
  • the above formula (1) is a calculation formula for setting the node with the maximum loss value to 100% cardinality and the node with the minimum loss value to 0% cardinality in a series of trials. In other words, a node with better performance is displayed in a lighter color. Note that the method for obtaining the density of the color of the node is not limited to the method described above and is arbitrary.
  • FIG. 12 is an example of a thickness table 700 showing the thickness of links R connecting nodes N.
  • FIG. A thickness table 700 is a table obtained by adding the thickness of links to the estimated data table 400 .
  • the thickness of the link in the thickness table 700 is a value obtained based on the difference in loss value between the preceding node and the succeeding node. Specifically, the loss value of the subsequent node is subtracted from the loss value of the preceding node, and if the difference is less than 0.5, the thickness of the link is set to 1.0. is 2.0, and if the difference is 0.7 or more, the thickness is 3.0.
  • the thickness of the link R4 from node N2 to node N5 is 3.0 because the amount of decrease in the loss value is greatly reduced to 1.0.
  • the link R2 connecting the node N2 and the node N3, the link R3 connecting the node N3 and the node N4, and the like have a small decrease in the loss value, so the thickness is 1.0.
  • the unit of thickness is arbitrary, but the greater the decrease in loss value, the thicker the thickness. Note that the method for obtaining the thickness of the link is not limited to the method described above, and is arbitrary.
  • FIG. 13 shows the emphasized display data 801 reflecting the color density of the nodes and the thickness of the links obtained by the above method.
  • the first node N1 is filled with black.
  • the smaller the loss value (the better the performance) the lighter the color of the node N is displayed.
  • the thickness of the link R the link R4, which has a large decrease in loss value, is indicated by a thick arrow.
  • This display data is displayed on the display 70 . That is, on the display 70, it is possible to visually understand the construction process for improving the performance of the target model L by following the route with thicker links and tracing the nodes in lighter colors.
  • the output unit 23 outputs display data in which a plurality of nodes including branched nodes are arranged in a predetermined direction corresponding to the time when the trial was performed.
  • a plurality of nodes corresponding to a plurality of trials included in the first trial group and the second trial group are arranged in a predetermined direction in order of the trials.
  • a coordinate system whose x-axis is the direction indicating the temporal order in the display data is defined, and the x-coordinate of the first node indicating the first trial included in the first column and the x-coordinate of the first node in the second column
  • the first node and the second node such that the relationship with the x-coordinate of the second node indicating the included second trial represents the temporal order relationship between the first trial and the second trial. are placed. That is, in FIG. 13, the nodes N tried earlier in time are arranged toward the left side, and the nodes N tried later in time are arranged toward the right side of the figure.
  • the trial start time of each trial T is indicated by the position of the left side of the node N rectangle.
  • the time axis 802 need not be included in the display data 801 .
  • the display data includes information indicating the performance of the AI model obtained in each trial.
  • the output unit 23 outputs display data including information indicating the performance of the AI model obtained in each trial. That is, the loss value is displayed in the rectangle of each node N of the display data 801 .
  • the display data includes the parameters used in each trial.
  • the output unit 23 outputs display data including at least the parameters changed in the subsequent trial among the parameters used in the previous trial. For example, information "A: 10 ⁇ 50" indicating that the parameter A has been changed from 10 to 50 is displayed below the link R1 connecting the nodes N1 and N2. Also, information indicating that the input file has been changed from X.csv to Y.csv "input file change input file: X.csv ⁇ Y.csv" is displayed below the link R4. By displaying the changed parameter in this way, it is possible to easily visually understand which parameter caused the change in performance.
  • the model ID, input file name, and parameter values used in the last node N7 cannot be displayed inside the node N7, so they are collectively displayed outside the node N7.
  • the finally constructed target model L refers to the target model L with the best performance value in this exemplary embodiment. Therefore, it is not necessarily the AI model tried last in terms of time.
  • node and link color only the shortest route from the first trial T1 to trial T7 with the best results may be changed in node and link color. For example, assuming that the link information shown in FIG. 9 is obtained, all nodes (N1, N2, N5 to N7) and links (R1, R4 to 6) that pass from the first trial T1 to the best trial T7 change the color of Such highlighting has the effect of facilitating tracking of which parameter should be changed and how much when performing a similar experiment.
  • the display data may include nodes in a mode according to the degree of performance improvement or deterioration. For example, the greater the degree of performance improvement, the darker the color of the node and the larger the size. Conversely, the larger the degree of performance degradation, the lighter the color of the node and the smaller the size. Such highlighting makes it easy to identify nodes that have contributed to performance improvement.
  • FIG. 14 shows another form of display data 803 generated by the output unit 23 .
  • the output unit 23 arranges a plurality of nodes in a virtual three-dimensional space and includes them in the display data, and places the identified trial node in the three-dimensional space with respect to the preceding trial node. They are placed at different distances from the viewpoint. Specifically, in FIG. 14, nodes N1, N2, N3, and N4 are displayed as being farther from the viewpoint than the other nodes N.
  • the display data 803 is display data that simulates the appearance when each node N is arranged in a virtual three-dimensional space.
  • the output unit 23 displays the node N, which indicates a trial in which the degree of improvement in the performance of the target model L is relatively large, in a large size and in a dark color.
  • a node N representing a relatively small trial is displayed with a relatively small size and a light color.
  • objects closer to the viewpoint viewer's eyes
  • objects farther away from the viewpoint appear smaller and lighter.
  • the size and density of each node N can be appropriately derived from the loss value of the node N.
  • FIG. In this way, by simulating the appearance when each node N is arranged in a virtual three-dimensional space, the process of improving the performance of the target model L can be visually understood easily.
  • FIG. 15 shows display data 804 in another mode generated by the output unit 23.
  • FIG. If the difference between the performance of the AI model obtained in the identified trial and the performance of the AI model obtained in the preceding trial is within a predetermined threshold, display data 804 displays a node indicating the identified trial and a node indicating the preceding trial. with at least some of these nodes overlapping.
  • the output unit 23 outputs such display data 804 .
  • the user sets the threshold for the difference in loss values between consecutive nodes to 0.2.
  • the difference in loss value between the node N3 and the node N4 is 0.1, the node N3 and the node N4 are partially overlapped and displayed.
  • the superimposed nodes are nodes whose performance is not much improved.
  • the difference in loss value between the node N2 and the node N3 is 0, which is smaller than the threshold, but the node N2 and the node N3 are not shown overlapping because the node N2 is a branching node.
  • FIG. 16 shows display data 805 in another mode generated by the output unit 23.
  • FIG. 16 shows display data 805 in another mode generated by the output unit 23.
  • FIG. 16 shows display data 805 in another mode generated by the output unit 23.
  • the display data 805 when the difference in loss values between consecutive nodes is smaller than a predetermined threshold, the display of the consecutive nodes is made inconspicuous. Specifically, assuming that the predetermined threshold value is 0.2, the difference in loss value between the node N3 and the node N4 is 0.1 as shown in FIG. It is made smaller than other nodes, and information on loss values and parameter changes is omitted. As a result, the nodes N3 and N4 are less conspicuous than the other nodes. Therefore, it is easy to visually understand that the trials indicated by these nodes did not contribute to the improvement of the target model L's performance. Since the node N2 is a branching node, the display of the node N2 is not simplified.
  • FIG. 17 shows display data 806 in another mode generated by the output unit 23.
  • the display data 806 displays preprocessing information indicating what kind of preprocessing was used to generate the input data. For example, the user adds a preprocessing method for raw data to the input information 100 . As a result, information on the preprocessing method is added to the output information 200 as well.
  • the output unit 23 displays this preprocessing information as display data in association with the link R.
  • the raw data node RD is displayed and connected to the node N1 by the link R0.
  • a display frame PT1 for preprocessing information is displayed in the link R0, and "preprocessing: FFT” indicating that the preprocessing method is FFT (Fast Fourier Transform) is displayed in the display frame PT1.
  • FFT Fast Fourier Transform
  • a display frame PT2 is added to the link R4 from the node N2 to the node N5, and the input data used in the display frame PT2 is changed to data obtained by converting the raw data into polar coordinates.
  • Preprocessing: FFT ⁇ Polar Coordinates is displayed.
  • the estimating unit 22 performs a trial in which the performance of the AI model is improved compared to the relevant preceding trial among a plurality of trials, or Identify trials with degraded performance. Furthermore, the output unit 23 outputs one or both of the node indicating the identified trial and the link connecting the node and the node indicating the previous trial in a manner different from other nodes or links. configuration is adopted. Therefore, according to the information processing apparatus 4 according to the present exemplary embodiment, in addition to the effects of the information processing apparatuses 1 and 2 according to the first and second exemplary embodiments, nodes and links displayed in different modes can be displayed. By tracing, it is possible to obtain the effect of making it easier to visually understand the construction process for improving the performance of the target model.
  • the input information 100 may include other data instead of or in addition to some or all of the input data 101, the parameter data 102, the model ID 103, and the tag data 104. may contain.
  • the output information 200 replaces or in addition to a part or all of the loss value 201, the degree of abnormality 202, the trial time 203, the input data 101, the parameter data 102, the model ID 103, and the tag data 104, and other data may contain
  • the information indicating the evaluation result of the target model L in each trial may be another index instead of or in addition to one or both of the loss value 201 and the degree of abnormality 202 .
  • the technique of extracting the first column and the second column to identify the branch point is based on the first parameter, the second parameter, and the third parameter.
  • the method is not limited to the method of referring to parameters, and other methods may be used.
  • the aspects of the nodes and associated links that exhibit performance-improved or degraded attempts are not limited to the aspects described above, and may be other aspects.
  • Some or all of the functions of the information processing apparatuses 1, 2, and 4 may be implemented by hardware such as integrated circuits (IC chips), or may be implemented by software.
  • the information processing apparatuses 1, 2, and 4 are implemented by computers that execute instructions of programs, which are software that implements each function, for example.
  • An example of such a computer (hereinafter referred to as computer C) is shown in FIG.
  • Computer C comprises at least one processor C1 and at least one memory C2.
  • a program P for operating the computer C as the information processing apparatuses 1, 2, and 4 is recorded in the memory C2.
  • the processor C1 reads the program P from the memory C2 and executes it, thereby realizing each function of the information processing apparatuses 1, 2, and 4.
  • processor C1 for example, CPU (Central Processing Unit), GPU (Graphic Processing Unit), DSP (Digital Signal Processor), MPU (Micro Processing Unit), FPU (Floating point number Processing Unit), PPU (Physics Processing Unit) , a microcontroller, or a combination thereof.
  • memory C2 for example, a flash memory, HDD (Hard Disk Drive), SSD (Solid State Drive), or a combination thereof can be used.
  • the computer C may further include a RAM (Random Access Memory) for expanding the program P during execution and temporarily storing various data.
  • Computer C may further include a communication interface for sending and receiving data to and from other devices.
  • Computer C may further include an input/output interface for connecting input/output devices such as a keyboard, mouse, display, and printer.
  • the program P can be recorded on a non-temporary tangible recording medium M that is readable by the computer C.
  • a recording medium M for example, a tape, disk, card, semiconductor memory, programmable logic circuit, or the like can be used.
  • the computer C can acquire the program P via such a recording medium M.
  • the program P can be transmitted via a transmission medium.
  • a transmission medium for example, a communication network or broadcast waves can be used.
  • Computer C can also obtain program P via such a transmission medium.
  • (Appendix 1) Acquisition means for acquiring trial information including parameters used in trials in the AI model building process, and estimation for estimating the relevance between the plurality of trials based on the difference in the trial information of each of the plurality of trials and an output means for outputting display data including a plurality of nodes indicating each of the plurality of trials and a link indicating the relationship.
  • Appendix 2 The model generation support device according to appendix 1, wherein the plurality of nodes included in the display data are arranged in the order in which the trials were performed.
  • the trial information includes a first parameter and a second parameter different from the first parameter, and the estimation means performs a plurality of trials in which the first parameter is common and the second parameter varies. , extracting as a related first trial group, and said output means outputs said display data including a plurality of nodes indicating said first trial group and links connecting said plurality of nodes;
  • the model generation support device according to appendix 1 or 2, characterized by:
  • the trial information further includes a third parameter different from the first parameter and the second parameter, and the estimating means determines that the second parameter and the third parameter are common to the first parameter.
  • a plurality of trials with varying parameters are extracted as a related second trial group, and the first parameter and the second parameter are extracted for the temporally leading trial of the second trial group
  • a common trial in the first trial group is specified as a branching point in the first trial group, and the output means specifies that the node and the link indicating the second trial group are the first 3.
  • the model generation support device according to appendix 3, wherein the display data branched and connected from a node indicating the trial of the branch point among the plurality of nodes indicating the trial group is output.
  • the estimating means identifies, among the plurality of trials, a trial in which the performance of the AI model has improved or deteriorated compared to the preceding trial having the relevance, and the output means specifies the trial Supplementary note 1 characterized by outputting one or both of the node indicating the trial performed and the link connecting the node and the node indicating the previous trial in a manner different from that of other nodes or other links 8.
  • the model generation support device according to any one of 7.
  • the output means compares at least one of the color tone of the node indicating the identified trial, the size and shape of the node, the color tone of the link, and the thickness of the link with other nodes or other links.
  • the model generation support device according to appendix 8, wherein output is performed in different modes.
  • Appendix 10 10.
  • the display data indicates the identified trial.
  • the model generation support device according to any one of Appendices 8 to 10, further comprising a node indicating the trial and a node indicating the trial in the previous stage in such a manner that at least a part of these nodes are overlapped.
  • the superimposed nodes are nodes whose performance does not improve much.
  • At least one processor obtains trial information including parameters used in trials in the AI model building process, and based on the difference in the trial information of each of the plurality of trials, the relevance between the plurality of trials estimating, and outputting display data including a plurality of nodes indicating each of the plurality of trials and a link indicating the relationship.
  • At least one processor is provided, and the processor acquires trial information including parameters used in trials in the AI model building process, and based on the difference in the trial information of each of the plurality of trials, the plurality of and an output process for outputting display data including a plurality of nodes indicating each of the plurality of trials and a link indicating the relationship.
  • the processor acquires trial information including parameters used in trials in the AI model building process, and based on the difference in the trial information of each of the plurality of trials, the plurality of and an output process for outputting display data including a plurality of nodes indicating each of the plurality of trials and a link indicating the relationship.
  • the processor acquires trial information including parameters used in trials in the AI model building process, and based on the difference in the trial information of each of the plurality of trials, the plurality of and an output process for outputting display data including a plurality of nodes indicating each of the plurality of trials and a link indicating the relationship.
  • the processor acquires trial information including parameters used in trials in
  • the model generation support device may further include a memory, and the memory stores a program for causing the processor to execute the acquisition process, the estimation process, and the output process. may Also, this program may be recorded in a computer-readable non-temporary tangible recording medium.
  • Model generation support device 3... Information processing system (model generation support system) 11, 21... Acquisition unit 12, 22... Estimation unit 13, 23... Output unit 50... Model building device 60... Database 70... Display 100... Input information 101... Input data 102 Parameter data 200 Output information 250, 300 Trial information table 400 Estimated data table 500 Display data 600 Color density table 700 Thickness Tables 801, 802, 803, 804, 805, 806 ... display data

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

モデルの構築の過程をより理解し易く提示することができる技術を提供するという課題を解決するために、モデル生成支援装置（１）は、ＡＩモデルの構築過程の試行で用いられるパラメータを含む試行情報を取得する取得手段（１１）と、複数の試行それぞれの試行情報の差異に基づいて、複数の試行の間の関連性を推定する推定手段（１２）と、複数の試行それぞれを示す複数のノードと、関連性を示すリンクとを含む表示データを出力する出力手段（１３）と、を備えている。

Description

モデル生成支援装置、モデル生成支援方法及びプログラム
　本発明は、モデル生成支援装置、モデル生成支援方法及びプログラムに関する。
　近年、予測モデルに基づいて、さまざまな事象の予測が行われている。例えば、特許文献１には、予測モデルから出力された予測結果と、当該予測モデルの予測ロジックを示す決定論理とを提示する計算機システムが開示されている。
　また、例えば特許文献２には、分析対象の学習データが非常に少ない段階では、対象の学習データ及び類似する学習データを用いて予測モデルを構築し、対象の学習データが十分に蓄積された段階では、対象の学習データのみを用いて予測モデルを構築する学習モデル選択システムが開示されている。
特開2020-126510号公報 国際公開2015/146026号明細書
　ここで、より精度のよい予測モデルを構築する過程では、構築条件等を変化させながら予測モデルを構築する処理が繰り返される。このような構築の過程は、他の予測モデルを構築する際に参考にできる場合がある。また、このような構築の過程は、当該予測モデルの性能の良さを示す根拠として提示できる場合がある。しかしながら、特許文献１、２に記載された技術では、どのような経過で予測モデルが構築されたのかがわかりにくく、モデルの生成を支援することが難しいという問題があった。
　本発明の一態様は、上記の問題に鑑みてなされたものであり、その目的の一例は、モデルの構築の過程をより理解し易く提示することにより、モデルの生成を支援する技術を提供することである。
　本発明の一側面に係るモデル生成支援装置は、ＡＩモデルの構築過程の試行で用いられるパラメータを含む試行情報を取得する取得手段と、複数の前記試行それぞれの前記試行情報の差異に基づいて、前記複数の試行の間の関連性を推定する推定手段と、前記複数の試行それぞれを示す複数のノードと、前記関連性を示すリンクとを含む表示データを出力する出力手段と、を備える。
　本発明の一側面に係るモデル生成支援方法は、少なくとも１つのプロセッサが、ＡＩモデルの構築過程の試行で用いられるパラメータを含む試行情報を取得し、複数の前記試行それぞれの前記試行情報の差異に基づいて、前記複数の試行の間の関連性を推定し、前記複数の試行それぞれを示す複数のノードと、前記関連性を示すリンクとを含む表示データを出力する、ことを含む。
　本発明の一側面に係るプログラムは、コンピュータに、ＡＩモデルの構築過程の試行で用いられるパラメータを含む試行情報を取得する取得処理と、複数の前記試行それぞれの前記試行情報の差異に基づいて、前記複数の試行の間の関連性を推定する推定処理と、前記複数の試行それぞれを示す複数のノードと、前記関連性を示すリンクとを含む表示データを出力する出力処理と、を実行させる。
　本発明の一態様によれば、モデルの構築の過程をより理解し易く提示することにより、モデルの生成を支援することができる。
本発明の例示的実施形態１に係る情報処理装置の構成を示すブロック図である。 例示的実施形態１に係る情報処理装置が出力するノード及びリンクの表示要素の一例である。 例示的実施形態１に係る情報処理方法Ｓ１の流れを示すフローチャートである。 本発明の例示的実施形態２に係る情報処理システムの構成を示すブロック図である。 ユーザが実行する１回の試行の処理の流れを示す概念図である。 例示的実施形態２に係るモデル構築装置に入力される入力データとパラメータデータの一例である。 データベースに記録されたすべての試行情報表の一部を示す例である。 例示的実施形態２に係る情報処理装置が取得する試行情報表の一例である。 例示的実施形態２に係る情報処理装置が試行間の関連性を推定した推定データの一例である。 例示的実施形態２に係る情報処理装置が生成して出力する表示データの一例である。 例示的実施形態３に係る情報処理装置が推定した、各試行を示すノードの色濃度を含む色濃度表の一例である。 例示的実施形態３に係る情報処理装置が推定した、ノードを接続するリンクの太さを含む太さ表の一例である。 例示的実施形態３に係る情報処理装置が出力した、ノードの色濃度とリンクの太さをロス値に基づいて強調表示した表示データの一例である。 例示的実施形態３に係る情報処理装置が出力した別の態様の表示データの一例である。 例示的実施形態３に係る情報処理装置が出力した別の態様の表示データの一例である。 例示的実施形態３に係る情報処理装置が出力した別の態様の表示データの一例である。 例示的実施形態３に係る情報処理装置が出力した別の態様の表示データの一例である。 ソフトウェアによって各部を構成する図である。
　〔例示的実施形態１〕
　本発明の第１の例示的実施形態について、図面を参照して詳細に説明する。本例示的実施形態は、後述する例示的実施形態の基本となる形態である。
　（情報処理装置の構成）
　本例示的実施形態に係る情報処理装置１の構成について、図１を参照して説明する。図１は、情報処理装置１の構成を示すブロック図である。情報処理装置１は、モデル構築装置がモデルを構築する過程を可視化する装置である。モデル構築装置は、情報処理装置１とは物理的に異なる装置であってもよいし、同一の装置であってもよい。なお、情報処理装置１は、請求の範囲に記載した「モデル生成支援装置」の一形態である。
　本例示的実施形態におけるモデルは、入力情報に対する推論結果を出力する。モデルが行う推論の内容は限定されないが、例えば、回帰、分類、予測、最適化等を含む。この場合、推論結果とは、回帰結果、分類結果、予測結果、最適結果等を含む。モデルの種類は限定されないが、例えば、背景知識を参照して生成されるルールベースモデルであってもよいし、機械学習アルゴリズムによって生成される機械学習モデルであってもよい。また、機械学習モデルは、回帰分析モデル、サポートベクターマシン、決定木モデル、遺伝的アルゴリズムモデル、ニューラルネットワークモデル等を含む。以降、本実施形態におけるモデルを、「ＡＩ（Ａｒｔｉｆｉｃｉａｌ　Ｉｎｔｅｌｌｉｇｅｎｃｅ）モデル」ともいう。
　本例示的実施形態では、ＡＩモデルを生成又は改変する試行を繰り返すことを、「モデルを構築する」と称する。また、このような試行は、ユーザ操作に基づいてモデル構築装置が繰り返すものであってもよいし、ユーザ操作によらずにモデル構築装置が繰り返すものであってもよい。本例示的実施形態では、このような試行は、ユーザ操作に基づいてモデル構築装置が繰り返すものとする。以下、構築する対象のＡＩモデルを、「対象モデル」と称することがある。
　図１に示すように、情報処理装置１は、取得部１１、推定部１２及び出力部１３を備えている。なお、取得部１１は請求の範囲に記載した「取得手段」の一形態であり、推定部１２は請求の範囲に記載した「推定手段」の一形態であり、出力部１３は請求の範囲に記載した「出力手段」の一形態である。また、情報処理装置１は、少なくとも１つのプロセッサを含み、取得部１１、推定部１２及び出力部１３は、請求の範囲に記載した「少なくとも１つのプロセッサ」によって実現される構成の一形態である。
　モデル構築装置は、ユーザ操作に基づき、ＡＩモデルを構築するために複数の試行を実行する。取得部１１は、ＡＩモデルの構築過程の試行で用いられるパラメータを含む試行情報を取得する。以下では、試行の各々を示す情報の全体、又は個々の情報を「試行情報」とも称する。試行情報には、一例として、当該試行において用いられたパラメータ、評価結果等を示す情報が含まれる。例えば、試行情報は、モデル構築装置によって情報処理装置１の外部にあるデータベースに記録されており、取得部１１は、試行情報をデータベースから取得する。取得部１１は、取得した情報を推定部１２に送信する。あるいは、この試行情報は、情報処理装置１の図示しないメモリに記録されており、取得部１１は、メモリから試行情報を取得してもよい。試行情報の具体例については後述する。
　推定部１２は、取得部１１から受信した複数の試行それぞれの試行情報の差異に基づいて、複数の試行の間の関連性を推定する。推定部１２は、推定した関連性に関する事項を、出力部１３に送信する。試行情報の差異又は変化と試行の関連性の具体例については後述する。
　出力部１３は、推定部１２から受信した関連性に関する事項を参照して、複数の試行それぞれを示す複数のノードと、関連性を示すリンクとを含む表示データを出力する。表示データは、出力部１３が生成してもよい。出力部１３は、生成した表示データを、図示しない出力インタフェースを介して表示装置（例えばディスプレイ）に出力する。これにより、表示データが表示装置に表示される。
　本例示的実施形態におけるノードとは、１つの試行を表す表示要素であり、例えば、矩形、楕円形、菱形等の枠で表示されてもよい。リンクは、試行間の関連性を示す表示要素であり、例えば、ノードとノードとを接続する線分又は矢印で表示されてもよい。
　図２は、出力部１３が生成するノードＮ及びリンクＲの一例である。図２に示す例では、試行１を表すノードＮ１と試行２を表すノードＮ２とが、矢印であるリンクＲ１によって接続されている。ノードＮ１とノードＮ２とがリンクＲ１によって接続されているということは、試行１と試行２とに関連性があるということである。同様に、ノードＮ２とノードＮ３とがリンクＲ２によって接続され、ノードＮ３とノードＮ４とがリンクＲ３によって接続され、ノードＮ４とノードＮ５とがリンクＲ４によって接続されている。後述するように、表示データは、ノードＮの内部又は近傍に、当該ノードＮに対応する試行情報の少なくとも一部を含んでもよい。また、表示データは、リンクＲの内部又は近傍に、当該リンクＲが示す関連性を有する試行間で変化した試行情報の少なくとも一部を含んでもよい。
　試行とは、一例として、ユーザ操作により設定又は更新した入力情報を用いて対象モデルを生成する処理と、生成された対象モデルから出力された推論結果を評価する処理とを含む一連の処理である。通常、このような試行は、入力情報の一部又は全部を変化させながら複数回繰り返される。例えば、対象モデルが機械学習モデルである場合は、学習フェーズとしてこのような試行が繰り返し実行される。なお、「対象モデルを生成する」とは、当該対象モデルを初めて生成すること、及び、生成した対象モデルの性能等を調整するために当該対象モデルを改変することを含むものとする。
　なお、図１では、取得部１１、推定部１２及び出力部１３は、物理的に一体に形成された１つの装置にまとめて配置されているように記載しているが、必ずしもその必要はない。即ち、これらの機能ブロックは物理的に異なる複数の装置に分散して配置され、これらの装置が有線又は無線で互いに情報通信可能に接続されていてもよい。また、これらの機能ブロックのうちの少なくとも一部がクラウド上に配置されていてもよい。
　また、情報処理装置１は、少なくとも１つのプロセッサを備えており、このプロセッサが、図示しないメモリに記録されたプログラムを読み込んで、取得部１１、推定部１２及び出力部１３として機能する構成を有していてもよい。このような構成については後述する。
　（情報処理装置１の効果）
　以上のように、本例示的実施形態に係る情報処理装置１においては、ＡＩモデルの構築過程の試行で用いられるパラメータを含む試行情報を取得する取得部と、複数の試行それぞれの試行情報の差異に基づいて、複数の試行の間の関連性を推定する推定部と、複数の試行それぞれを示す複数のノードと、関連性を示すリンクとを含む表示データを出力する出力部と、を備える構成が採用されている。このため、本例示的実施形態に係る情報処理装置１によれば、ユーザは、ＡＩモデルの構築の過程を、試行を示すノードとノード間を接続するリンクとによって視認できる。その結果、当該過程をより理解し易く提示することにより、モデルの生成を支援することができる、という効果が得られる。
　（情報処理方法）
　次に、情報処理装置１が実行する、ＡＩモデルを構築する過程を可視化する情報処理方法Ｓ１の流れについて説明する。図３は、情報処理方法Ｓ１の流れを示すフローチャートである。図３に示すように、情報処理方法Ｓ１はステップＳ１１、ステップＳ１２及びステップＳ１３を含む。なお、情報処理方法Ｓ１は、請求の範囲に記載した「モデル生成支援方法」の一形態である。
　ステップＳ１１において、取得部１１は、ＡＩモデルの構築過程の試行で用いられるパラメータを含む試行情報を取得する。ステップＳ１２において、推定部１２は、複数の試行それぞれの試行情報の差異に基づいて、複数の試行の間の関連性を推定する。ステップＳ１３において、出力部１３は、複数の試行それぞれを示す複数のノードと、関連性を示すリンクとを含む表示データを出力する。出力された表示データは、例えば図２に示すように、表示装置に表示される。
　（情報処理方法Ｓ１の効果）
　以上のように、本例示的実施形態に係る情報処理方法Ｓ１においては、情報処理装置１が、ＡＩモデルの構築過程の試行で用いられるパラメータを含む試行情報を取得し、複数の試行それぞれの試行情報の差異に基づいて、複数の試行の間の関連性を推定し、複数の試行それぞれを示す複数のノードと、関連性を示すリンクとを含む表示データを出力する、という構成が採用されている。このため、本例示的実施形態に係る情報処理方法Ｓ１によれば、ユーザは、ＡＩモデルの構築の過程を、試行を示すノードとノード間を接続するリンクとによって視認できる。その結果、当該過程をより理解し易く提示することにより、モデルの生成を支援することができる、という効果が得られる。
　〔例示的実施形態２〕
　本発明の第２の例示的実施形態について、図面を参照して詳細に説明する。なお、例示的実施形態１にて説明した構成要素と同じ機能を有する構成要素については、同じ符号を付し、その説明を適宜省略する。本例示的実施形態に係る情報処理装置２は、例示的実施形態１で説明した情報処理装置１の機能に加えて、あるいはそれに代えて以下に説明する機能を実行することができる。
　図４は、例示的実施形態２に係る情報処理システム３の構成を示すブロック図である。図４に示すように、情報処理システム３は、モデル構築装置５０、データベース６０、情報処理装置２及びディスプレイ７０を備えている。モデル構築装置５０は、ユーザが対象モデルＬを生成するために用いる装置である。データベース６０には、モデル構築装置５０が出力した各試行における出力情報が記録される。情報処理装置２は、データベース６０に記録された出力情報を用いて、複数の試行間の関連性を推定し、表示データを生成してディスプレイ７０に出力する。ディスプレイ７０は、表示データを表示する。
　情報処理装置２は、取得部２１、推定部２２及び出力部２３を備える。取得部２１、推定部２２及び出力部２３の機能は、基本的に例示的実施形態１で説明した取得部１１、推定部１２及び出力部１３と同様であるが、これらと異なる機能については順次説明する。
　（試行Ｔの処理の流れ）
　前述のように、ユーザは、モデル構築装置５０を用いて対象モデルＬを構築する。図５は、ユーザがモデル構築装置５０を用いて行う１回の試行Ｔの処理の流れを示す概念図である。図５に示すように、ある試行において、ユーザは、入力装置（図示せず）を用いて入力情報１００をモデル構築装置５０に入力する。モデル構築装置５０は、対象モデルＬに入力情報１００を入力して推論させ、推論結果を評価する。推論結果を評価するとは、例えばロス値を導出することである。モデル構築装置５０は、入力情報１００と評価結果を示す情報とを含む出力情報２００を生成する。ユーザは、モデル構築装置５０から出力された出力情報２００に基づいて対象モデルＬを改変する。具体的には、ユーザは、対象モデルＬを構成するパラメータを更新する。ユーザは、出力情報２００に基づいて、次の試行で入力する入力情報１００を決定し、モデル構築装置５０に入力する。また、ユーザは、出力情報２００に基づいて、対象モデルＬの種類を変更することを決定し、当該対象モデルＬの種類を示す情報を入力情報１００に含めてもよい。
　入力情報１００は、一例として、入力データ１０１、パラメータデータ１０２、モデルＩＤ１０３及びタグデータ１０４を含む。入力データ１０１は、対象モデルＬに入力するデータである。入力データ１０１は、例えば、当該入力データ１０１に付与されたラベルを含んでいる。パラメータデータ１０２は、対象モデルＬを構成するパラメータ群に適用される重み係数、ハイパーパラメータ等を含む。モデルＩＤ１０３は、当該試行において生成すべき対象モデルＬを識別するＩＤである。タグデータ１０４は、一連の試行を識別するＩＤである。
　一例として、図６に示すように、入力データ１０１は、センサ１、センサ２、センサ３、センサ４の出力値の経時データを含む。入力データ１０１の１行はある時点での各センサの出力値であり、これが時間の経過に沿って配列されている。入力データ１０１は、X.cvsという名称のデータファイルに保存されている。このようなデータは、例えば、あるプラント設備のセンサデータであり、センサデータに基づき設備の異常を検出する対象モデルＬを構築する際の入力データの例である。
　また、パラメータデータ１０２は、一例として、４つのパラメータの名称と値を含む。具体的には、パラメータＡとその値である１０、パラメータＢとその値である０．００５、パラメータＣとその値である１０００、パラメータInput File（つまり入力データ１０１を示すパラメータ）とそのデータファイル名であるX.cvsである。ファイルX.cvsに含まれるデータは、例えば、生データ（各センサからの出力値）をフーリエ変換処理したデータである。換言すると、この例では、入力データ１０１は多数のデータを含むため、そのデータファイル名がパラメータとしてパラメータデータ１０２に含まれる。
　パラメータＡ～Ｃは、例えば、対象モデルＬを構成するパラメータ群に適用される重み係数（重み）を含んでいてもよいし、ハイパーパラメータを含んでもよい。例えば、対象モデルＬがニューラルネットワークモデルである場合、ハイパーパラメータの一例としては、ニューラルネットワークの総数、ユニット数、活性化関数、ドロップアウト率、最適化関数等が挙げられるが、これらに限られない。
　モデル構築装置５０は、入力データ１０１の少なくとも一部及びパラメータデータ１０２を対象モデルＬに入力して当該入力データ１０１に付与されたラベルが出力されるよう、対象モデルＬを生成する。例えば、対象モデルＬが機械学習モデルである場合、対象モデルＬを生成する処理は、対象モデルＬを構成するパラメータ群を更新する処理を繰り返す処理である。この場合、モデル構築装置５０は、当該パラメータ群の更新処理を、当該パラメータ群が収束するまで又は設定された回数に達するまで繰り返すことにより、対象モデルＬを生成する。
　また、モデル構築装置５０は、対象モデルＬに、入力データ１０１の少なくとも一部を入力することにより出力される推論結果を評価する。例えば、モデル構築装置５０は、評価結果として、後述するロス値２０１、異常度２０２等を算出する。
　図５に戻り、モデル構築装置５０から出力される出力情報２００は、一例として、ロス値２０１、異常度２０２、試行時刻２０３、入力データ１０１、パラメータデータ１０２、モデルＩＤ１０３、及びタグデータ１０４を含む。
　ロス値２０１又は異常度２０２は、対象モデルＬの性能を示す指標の一例であり、対象モデルＬの種類により、例えばいずれか１つが出力される。ロス値２０１は、入力情報に対して対象モデルＬが出力すべき正解値がある場合に、対象モデルＬの出力値と正解値との誤差を示す誤差関数値である。異常度２０２は、対象モデルＬが入力データ１０１の中の異常なデータを抽出するＡＩモデルである場合に、異常なデータの特定とそれがどの程度正常な値から異なっているかを示す数値である。あるいは、対象モデルＬの種類により、ロス値２０１又は異常度２０２とは異なる指標が出力されてもよい。試行時刻は、試行Ｔを開始した時刻であり、例えば対象モデルＬに入力データを入力した時刻である。
　入力データ１０１、パラメータデータ１０２、モデルＩＤ１０３、及びタグデータ１０４は、入力情報１００に含まれる情報と同じである。
　出力情報２００は、データベース６０に送信され、試行情報として記録される。一例として、データベース６０には、対象モデルＬの構築の過程における７回の試行Ｔ１～Ｔ７の出力情報２００が送信され、試行情報として記録されている。なお、データベース６０には、他のＡＩモデルを構築する過程における試行情報が記録されていてもよい。記録された試行情報のうち、対象モデルＬの構築の過程における一連の試行を示す試行情報は、一例として、モデルＩＤ１０３及びタグデータ１０４の一方又は両方により区別することができる。
　本例示的実施形態に係る情報処理装置２は、モデル構築装置５０を用いて行った試行Ｔ１～Ｔ７における試行情報を取得し、これらの試行の間の関連性を推定する。具体的には、まず、取得部２１は、データベース６０に記録されたすべての試行情報のうち、モデルＩＤ及びタグデータの両方が類似する試行情報を抽出（取得）する。
　図７は、データベース６０に記録されたすべての試行情報を記録した試行情報表２５０の一部である。試行情報表２５０は、一例として、試行ＩＤ、モデルＩＤ、タグデータ、試行時刻、ロス値、パラメータＡ、パラメータＢ、パラメータＣ、及び入力データファイル名の各欄に記録されたデータで構成される。
　図７において、試行ＩＤの欄に記録されたＴ１～Ｔ７、Ｓ１、Ｒ３は、それぞれの試行を識別するＩＤである。モデルＩＤの欄に記録された「Ｌ００１」は、対象モデルＬに付されたＩＤである。モデルＩＤは、一連の試行で同じ符号を用いてもよく、試行ごとに一部を変更した符号を用いてもよい。本例示的実施形態では、一連の試行で同じ符号を用いるものとし、以降、モデルＩＤ「Ｌ００１」が付されたＡＩモデルを、モデルＬ００１とも記載する。また、タグデータの欄に記録された「ＴＡＧ００１」は、対象モデルＬ００１を構築する過程における一連の試行Ｔ１～Ｔ７に共通して付されたデータである。また、タグデータの欄に記録された「ＴＡＧ００２」は、対象モデルＬ００１を構築する過程における試行Ｓ１を含む他の一連の試行に共通して付されたデータである。換言すると、図７の例では、同じ対象モデルＬ００１を構築するために、ＴＡＧ００１が付された一連の試行Ｔ１～Ｔ７と、ＴＡＧ００１とは異なるアプローチがなされた一連の試行（試行Ｓ１を含む）とが行われている。また、モデルＩＤの欄にＬ００２と記録され、タグデータの欄にＴＡＧ００３と記録された試行情報は、対象モデルＬ００１とは異なるＡＩモデルＬ００２を構築するために行われた試行Ｒ３を示すものである。
　図８は、データベース６０に記録されたすべての試行情報から、取得部２１が抽出した試行情報を記録した試行情報表３００の一例である。前述のように、取得部２１は、データベース６０に記録されたすべての試行情報のうち、モデルＩＤ及びタグデータの両方が類似する試行情報を試行情報表３００のように抽出（取得）する。ここで、「モデルＩＤが類似する」とは「モデルＩＤが一致する（同じである）」こととするが、これに限らず、モデルＩＤが所定の類似条件を示すことであってもよい。また、「タグデータが類似する」とは、「タグデータが一致する」こととするが、これに限らず、タグデータが所定の類似条件を示すことであってもよい。類似条件とは、例えば、モデルＩＤ又はタグデータを示すテキストの一部が一致することであってもよい。また、取得部２１は、対象モデルＬの構築の過程における一連の試行として、モデルＩＤ及びタグデータの少なくとも一方が類似する複数の試行を抽出してもよい。
　本例示的実施形態では、図８に示すように、取得部２１は、モデルＩＤが同じかつタグデータが同じである試行Ｔ１～Ｔ７を抽出している。なお、取得部２１は、モデルＩＤ及びタグデータの少なくとも一方が同じ試行情報を抽出してもよく、モデルＩＤ及びタグデータの少なくとも一方が類似の試行情報を抽出してもよい。
　図９は、推定部２２が試行間の関連性を推定した推定データ表４００の一例である。具体的には、推定部２２は、複数の試行の時系列において連続する２つの試行間の関連性を推定する。例えば、試行Ｔ１と試行Ｔ２とは、連続する試行である。連続する試行とは、複数の試行を行った順（試行開始時刻の順）に並べた時系列において、隣接する試行である。つまり、推定部２２は、複数の試行から連続する試行Ｔ１と試行Ｔ２とを抽出し、これらの間には、時系列において前段（スタート）の試行Ｔ１で生成された対象モデルＬを改変するために、後段（エンド）の試行Ｔ２が行われた、という関連性があることを推定する。
　同様に、推定部２２は、連続する試行Ｔ２と試行Ｔ３を抽出し、前段の試行Ｔ２で生成された対象モデルＬを改変するために、後段の試行Ｔ３が行われた、という関連性があることを推定する。このように、推定部２２は、時系列において連続する２つの試行の組み合わせ全てについて抽出してその関連性を推定する。
　（試行間の関連性の推定の具体例）
　推定部２２が実行する、試行間の関連性の推定について、具体例を説明する。一例として、推定部２２は、第１のパラメータが共通し第２のパラメータが変化する複数の試行を、関連する第１の試行群として抽出する。第１のパラメータと第２のパラメータは試行情報の一例である。第２のパラメータは、第１のパラメータとは種類が異なるパラメータである。本例示的実施形態では、前段の試行に対して後段の試行において変更するパラメータの個数が１つであり、それ以外のパラメータは変更しないことを想定している。ただし、変更するパラメータの個数は、２以上であってもよい。
　具体的には、図８に示す試行情報表３００を参照し、図８の例では、推定部２２は、試行Ｔ１～Ｔ７のうち、パラメータＢが共通するとともにパラメータＡが前段の試行に対して変化している試行Ｔ２、Ｔ３、Ｔ４を抽出する。パラメータＢは、第１のパラメータの一例であり、パラメータＡは第２のパラメータの一例である。そこで、推定部２２は、試行Ｔ１から試行Ｔ４までを第１の試行群として抽出する。そして、抽出した試行Ｔ１から試行Ｔ４までのうち、連続する試行Ｔ１及びＴ２、Ｔ２及びＴ３、Ｔ３及びＴ４の間に、それぞれ上述した関連性があると推定する。
　また、試行情報は、第１のパラメータ及び第２のパラメータとは異なる第３のパラメータをさらに含み、推定部２２は、第２のパラメータ及び第３のパラメータが共通し第１のパラメータが変化する複数の試行を、関連する第２の試行群として抽出する。
　具体的には、図８の例で、入力データファイル名を第３のパラメータとすると、試行Ｔ５から試行Ｔ７までは、第２のパラメータ（Ａ）と第３のパラメータ（入力データファイル名）は同じ値である一方、第１のパラメータ（Ｂ）はすべて異なっている。そこで、推定部２２は、試行Ｔ５から試行Ｔ７までを第２の試行群の試行Ｔとして抽出する。そして、抽出した試行Ｔ５から試行Ｔ７のうち、連続する試行Ｔ２及びＴ５、Ｔ５及びＴ６、Ｔ６及びＴ７の間に、それぞれ上述した関連性があると推定する。なお、入力データファイル名が異なるのは、データの前処理方法が異なるためである。本例示的実施形態では、ファイルX.cvsに含まれるデータは、生データ（各センサからの出力値）をフーリエ変換したデータである。一方、ファイルY.cvsに含まれるデータは、生データを極座標変換したデータである。
　さらに、推定部２２は、第２の試行群のうちの時間的に先頭の試行に対して第１のパラメータ及び第２のパラメータが共通する、第１の試行群における試行を、第１の試行群における分岐点として特定する。
　具体的には、推定部２２は、第２の試行群の時間的に先頭の試行（試行Ｔ５）における第１のパラメータ（Ｂ）及び第２のパラメータ（Ａ）が共通する第１の試行群における試行Ｔ２を、第１の試行群における分岐点として特定する。さらに、推定部２２は、第２の試行群の先頭である試行Ｔ５と試行Ｔ２とを、分岐したリンクＲ４で関連付ける。以上の処理を行うことにより、推定部２２は、図９に示す推定データ表４００を生成する。
　図１０は、出力部２３が生成して出力する表示データ５００の一例である。出力部２３は、推定データ表４００を参照して、図１０に示すように、ノードＮ１～Ｎ７とリンクＲ１～Ｒ６を含む表示データを生成する。ノードＮ１～Ｎ７は、試行Ｔ１～Ｔ７を示す表示要素である。リンクＲ１～Ｒ６は、試行Ｔ１～Ｔ７のうち該当する２つの試行Ｔ間の関連性を示す表示要素である。このように図示することで、第２の試行群（ノードＮ５～ノードＮ７）が示す試行Ｔ５～Ｔ７は、分岐点であるノードＮ２が示す試行Ｔ２から別のアプローチでパラメータを変化させて行った一連の試行であることが容易に視認できる。
　ノードＮ１～Ｎ７は、それぞれ矩形の枠で表されている。また、ノードを特定しない場合はノードＮと記載し、リンクを特定しない場合はリンクＲと記載する。リンクＲは、向きを有し、例えば、矢印で表されている。リンクＲの始点には、対応する関連性を有する２つの試行Ｔのうち、時系列において前段の試行Ｔを示すノードＮが接続される。リンクＲの終点には、対応する関連性を有する２つの試行Ｔのうち、時系列において後段の試行Ｔを示すノードＮが接続される。これにより、ノードＮ１～Ｎ７及びリンクＲ１～Ｒ６は、有向グラフを表す。以下、前段の試行を示すノードを前段ノード、後段の試行を示すノードを後段ノードとも称する。
　表示データに含まれる複数のノードは、試行を行った順に配列される。つまり、出力部２３は、複数のノードＮを、各試行を行った順に配列した表示データを生成する。具体的には、図１０に示すように、出力部２３は、複数のノードＮを、試行を行った順に図の左から右に向かって配列した表示データ５００を生成して出力する。換言すると、表示データ５００では、時間的に早い試行Ｔを示すノードＮがリンクＲの左側に、時間的に遅い試行Ｔを示すノードＮがリンクＲの右側に配列される。
　また、出力部２３は、図１０に示すように、第１の試行群を示す複数のノード（Ｎ１～Ｎ４）と当該複数のノード間を接続するリンク（Ｒ１～Ｒ３）とを含む表示データを第１の列として出力する。この際、出力部２３は、試行群に含まれるノードを試行を行った順に配列した表示データを出力する。さらに、出力部２３は、図１０に示すように、第２の試行群を示すノード（Ｎ５～Ｎ７）及びリンク（Ｒ４～Ｒ６）が、第１の試行群を示す複数のノードのうちの分岐点の試行を示すノード（Ｒ２）から分岐して接続された表示データを第２の列として出力する。
　図１０に示すように、表示データ５００は、途中でリンクＲ２とＲ４とに分岐している。分岐先のそれぞれのノードＮの列は、異なるパラメータが対象モデルＬの性能に与える影響を探索した過程を示している。つまり、ユーザは、対象モデルＬの構築過程を図１０のようなグラフ構造で視認することにより、対象モデルＬの構築の過程を容易に理解することができる。
　（情報処理装置２の効果）
　以上のように、本例示的実施形態に係る情報処理装置２においては、表示データに含まれる複数のノードは、試行を行った順に配列されるという構成が採用されている。このため、本例示的実施形態に係る情報処理装置２によれば、例示的実施形態１に係る情報処理装置１の奏する効果に加えて、対象モデルＬの構築の経時的な過程が容易に理解できるという効果が得られる。
　さらに、情報処理装置２においては、推定部２２は、第１のパラメータが共通し第２のパラメータが変化する複数の試行を、関連する第１の試行群として抽出し、出力部２３は、第１の試行群を示す複数のノードと当該複数のノード間を接続するリンクとを含む表示データを出力するという構成が採用されている。さらに、情報処理装置２においては、試行情報として第１のパラメータ及び第２のパラメータとは異なる第３のパラメータをさらに含み、推定部２２は、第２のパラメータ及び第３のパラメータが共通し第１のパラメータが変化する複数の試行を、関連する第２の試行群として抽出し、第２の試行群のうちの時間的に先頭の試行に対して第１のパラメータ及び第２のパラメータが共通する、第１の試行群における試行を、第１の試行群における分岐点として特定し、出力部は、第２の試行群を示すノード及びリンクが、第１の試行群を示す複数のノードのうちの分岐点の試行を示すノードから分岐されて接続された表示データを出力するという構成が採用されている。このため、情報処理装置２によれば、例示的実施形態１に係る情報処理装置１の奏する効果に加えて、対象モデルＬを改変するために、複数通りに入力情報を異ならせてそれぞれ試行を行ったという経過を容易に理解することができるという効果が得られる。
　〔例示的実施形態３〕
　本発明の第３の例示的実施形態について、図面を参照して詳細に説明する。なお、例示的実施形態１にて説明した構成要素と同じ機能を有する構成要素については、同じ符号を付し、その説明を適宜省略する。
　（情報処理装置の構成）
　例示的実施形態３に係る情報処理装置４は、例示的実施形態２に係る情報処理装置２を、以下のように変形した態様である。以下では、情報処理装置４の各機能ブロックについて、例示的実施形態２から変形した点について、順次説明する。
　情報処理装置４の取得部２１は、データベース６０から一連の試行の試行情報を取得する。本例示的実施形態では、一連の試行情報は、例示的実施形態２で説明した試行情報表３００（図８参照）と同じである。従って、推定部２２は、試行情報表３００から、推定データ表４００（図９参照）を生成する。そして出力部２３は、表示データ５００（図１０参照）を生成してディスプレイ７０に出力する。
　（異なる態様の表示）
　本例示的実施形態では、推定部２２は、複数の試行のうち、関連性を有する前段の試行に比べてＡＩモデルの性能が向上した試行、又は性能が劣化した試行を特定する。さらに、出力部２３は、特定した試行を示すノードと、当該ノードと前段の試行を示すノードとを接続するリンクとの一方又は両方を、他のノード又は他のリンクと異なる態様で出力する。異なる態様ということは、例えば、他よりも強調するということである。あるいは、異なる態様ということは、逆に他よりも目立たなくすることでもよい。
　具体的には、推定部２２は、試行情報表３００のロス値を参照して、推定データ表４００のリンクＲで接続された２つのノードの組み合わせのうち、前段のノードに対してロス値が減少又は増加した後段のノードを特定する。出力部２３は、その後段ノードと、前段ノードと後段ノードを接続するリンクと、の一方又は両方の態様を、他と異ならせた表示データを出力する。
　ノード又はリンクを他と異ならせた態様とする方法は限定されないが、一例として、出力部２３は、特定した試行を示すノード（後段ノード）の色調、当該ノードの大きさ、形状、当該リンクの色調、及び当該リンクの太さのうちの少なくともいずれかを、他のノード又は他のリンクと異ならせることができる。
　例えば、ロス値は小さいほうが性能が良いことを示すため、一例として、出力部２３は、ロス値が小さくなった後段ノードと、後段ノードと前段ノードを接続するリンクに対して強調表示を行う。強調表示の方法は限定されないが、例えば、ノードの色調を薄くし、リンクの太さを太くすることにより、強調表示をすることができる。逆に、出力部２３は、あるノードを小さくすることにより、他のノードよりも目立たなくすることができる。本例示的実施形態では、色調とは色の種類又は色の濃度を指す。
　図１１は、試行情報表３００に各試行を示すノードの色濃度を加えた色濃度表６００の一例である。色濃度表６００の右端の欄は、ノードの色の濃度（％）を示す。試行ＩＤがＴ１で示されるノードＮ１は、試行の最初でロス値が最も大きいため、濃度１００％とする。出力部２３は、これを基準として、各ノードＮの濃度を計算する。
　色濃度表６００の各ノードＮの濃度Ｃは、以下の式（１）で計算した値である。
　Ｃ（％）＝１００×（LossT－Lossmin）／（Lossmax－Lossmin）…（１）
　ここで、LossTは各ノードＮのロス値、Lossminは最小ロス値、Lossmaxは最大ロス値である。上記式（１）は、一連の試行のうち、ロス値が最大のノードを１００％の濃度とし、ロス値が最小のノードを０％の濃度とするための計算式である。つまり、性能が良いノードほど色が薄くなるように表示する。なお、ノードの色の濃度を求める方法は上記の方法に限らず任意である。
　図１２は、ノードＮを接続するリンクＲの太さを示す太さ表７００の一例である。太さ表７００は、推定データ表４００にリンクの太さを加えた表である。太さ表７００のリンクの太さは、前段ノードと後段ノードとのロス値の差に基づいて求めた値である。具体的には、前段ノードのロス値から後段ノードのロス値を差し引き、その差が０．５未満ならリンクの太さを１．０とし、差が０．５以上０．７未満なら太さを２．０とし、差が０．７以上であれば太さを３．０とする。
　例えば、ノードＮ２からノードＮ５のリンクＲ４は、ロス値の減少量が１．０と大きく減少しているため、太さが３．０である。一方、ノードＮ２とノードＮ３を接続するリンクＲ２、ノードＮ３とノードＮ４を接続するリンクＲ３等はロス値の減少量が小さいため、太さが１．０である。太さの単位は任意であるが、ロス値の減少が大きいほど太さを太くする。なお、リンクの太さを求める方法は上記の方法に限らず任意である。
　以上の方法で求めたノードの色濃度とリンクの太さが反映された、強調された表示データ８０１を図１３に示す。図１３に示すように、最初のノードＮ１は黒色で塗りつぶされている。しかしロス値が小さくなる（性能が良くなる）ほど、ノードＮの色が薄く表示されている。また、リンクＲの太さは、ロス値の減少量が大きいリンクＲ４は太い矢印で表示されている。この表示データは、ディスプレイ７０に表示される。つまり、ディスプレイ７０上で、リンクの太さが太いルートに従って、色が薄くなるようにノードを辿ることにより、対象モデルＬの性能を高める構築過程を視覚的に理解し易くすることができる。
　なお、図１３に示すように、出力部２３は、分岐されたノードを含む複数のノードが、試行を行った時刻に対応させて所定の方向に配置された表示データを出力する。言い換えれば、表示データでは、第１の試行群及び第２の試行群に含まれる複数の試行に対応する複数のノードが、試行を行った順に所定の方向に配置される。一例として、表示データにおいて時間的な順序を示す方向をｘ軸とする座標系を定め、第１の列に含まれる第１の試行を示す第１のノードのｘ座標と、第２の列に含まれる第２の試行を示す第２のノードのｘ座標との関係が、第１の試行と第２の試行との時間的な順序関係を表すように、第１のノード及び第２のノードを配置している。つまり、図１３では、左側ほど時間的に早く試行されたノードＮが配置されており、図の右側ほど時間的に後で試行されたノードＮが配置されている。より具体的には、時間軸８０２に示すように、各試行Ｔの試行開始時刻は、ノードＮの矩形の左辺の位置で示されている。例えば、ノードＮ３及びノードＮ５の配置関係により、試行Ｔ２から分岐した一方の列に含まれる試行Ｔ３は、他方の列に含まれる試行Ｔ５より時間的に先行して行われていることが容易に視認できる。このように、複数のノードＮを時間的な前後関係を保って配列することにより、対象モデルＬが構築された過程の時間的な前後関係を視覚的に理解し易くすることができる。なお、時間軸８０２は表示データ８０１に含める必要はない。
　また、図１３に示すように、表示データは、各試行において得られるＡＩモデルの性能を示す情報を含む。出力部２３は、各試行において得られるＡＩモデルの性能を示す情報を含む表示データを出力する。つまり、表示データ８０１の各ノードＮの矩形の中に、ロス値を表示している。このように、対象モデルＬの性能を示す情報を表示することにより、性能の向上を具体的な数値として確認し易くすることができる。
　さらに、図１３に示すように、表示データは、各試行で用いたパラメータを含む。出力部２３は、前段の試行で用いたパラメータのうち、少なくとも後段の試行で変更されたパラメータを含む表示データを出力する。例えば、ノードＮ１とノードＮ２を接続するリンクＲ１に対応する下方位置に、パラメータＡが１０から５０に変更されたことを示す情報「Ａ：１０→５０」が表示されている。また、リンクＲ４に対応する下方位置に、入力ファイルがX.csvからY.csvに変更されたことを示す情報「入力ファイル変更　入力ファイル：X.csv→Y.csv」が表示されている。このように、変化させたパラメータを表示することにより、性能の変化がどのパラメータによるものかを視覚的に理解し易くすることができる。
　また、図１３に示すように、最後のノードＮ７で用いたモデルＩＤ、入力ファイル名、パラメータの値は、ノードＮ７の内側に表示できないため、ノードＮ７の外側にまとめて表示されている。これは、最終的に構築された対象モデルＬの仕様を表すデータである。最終的に構築された対象モデルＬとは、本例示的実施形態では、最も性能値が良い対象モデルＬを指す。従って、必ずしも時間的に最後に試行したＡＩモデルとは限らない。
　また、最初の試行Ｔ１から最も結果が良くなった試行Ｔ７までの最短ルートのみノードとリンクの色を変更してもよい。例えば、図９に示すリンク情報が得られたとして、最初に試行した試行Ｔ１から最も良かった試行Ｔ７までに通る全てのノード（Ｎ１，Ｎ２，Ｎ５～Ｎ７）とリンク（Ｒ１，Ｒ４～６）の色を変更する。このような強調表示により、類似の実験をする場合にどのパラメータをどの程度変更すればよいか追跡しやすい効果がある。
　また、表示データは、性能の向上又は劣化の程度に応じた態様のノードを含んでもよい。例えば、性能向上の程度が大きいほど、ノードの色は濃く、大きさを大きくしてもよい。逆に、性能劣化の程度が大きいほど、ノードの色は薄く、大きさを小さくしてもよい。このような強調表示により、性能向上に寄与したノードを見分けることが容易となる。
　（他の強調表示例）
　次に、出力部２３が生成する表示データの強調表示の他の例について、図面を参照して説明する。図１４は、出力部２３が生成した他の態様の表示データ８０３である。表示データ８０３では、出力部２３は、複数のノードを仮想的な三次元空間に配置して表示データに含め、特定した試行を示すノードを、前段の試行を示すノードに対して三次元空間の視点からの距離を異ならせて配置している。具体的には、図１４では、ノードＮ１、Ｎ２、Ｎ３、及びＮ４を、他のノードＮよりも視点から遠い距離にあるように表示している。表示データ８０３は、仮想的な三次元空間に各ノードＮを配置した時に見える様子を模擬した表示データである。
　具体的には、出力部２３は、対象モデルＬの性能の向上の程度が相対的に大きい試行を示すノードＮは、大きさを大きくかつ色を濃く表示し、対象モデルＬの性能の向上の程度が相対的に小さい試行を示すノードＮは、大きさを相対的に小さくかつ色を薄く表示する。三次元空間では、視点（見る人の眼）に近い位置にあるものは大きく、濃く見え、視点から遠い位置にあるものは小さく、薄く見える。各ノードＮの大きさと濃さは、そのノードＮのロス値の大きさから適宜導出することができる。このように、仮想的な三次元空間に各ノードＮを配置した時に見える様子を模擬することにより、対象モデルＬの性能の向上の過程を視覚的に理解し易くすることができる。
　図１５は、出力部２３が生成した他の態様の表示データ８０４である。表示データ８０４は、特定した試行で得られたＡＩモデルの性能と、前段の試行で得られたＡＩモデルの性能との差が所定の閾値以内である場合、特定した試行を示すノードと、前段の試行を示すノードとを、これらのノードの少なくとも一部を重ねた態様で含む。出力部２３は、このような表示データ８０４を出力する。
　例えば、ユーザは、連続するノード間でロス値の差の閾値を０．２と設定する。図１５に示すように、ノードＮ３とノードＮ４とのロス値の差は０．１であるので、ノードＮ３とノードＮ４とを一部重ねて表示している。これにより、重ねて表示されたノードは、性能があまり向上しないノードであると容易に理解することができる。なお、ノードＮ２とノードＮ３とのロス値の差は０であり、閾値よりも小さいが、ノードＮ２は分岐するノードであるため、ノードＮ２とノードＮ３とを重ねる表示はしていない。
　図１６は、出力部２３が生成した他の態様の表示データ８０５である。表示データ８０５では、連続するノード間でロス値の差が所定の閾値より小さい場合は、その連続するノードの表示を目立たなくしている。具体的には、所定の閾値を０．２として、図１６に示すように、ノードＮ３とノードＮ４とのロス値の差は０．１であるので、ノードＮ３とノードＮ４の大きさを、他のノードよりも小さくするとともに、ロス値とパラメータの変化の情報を省略している。これにより、ノードＮ３とノードＮ４は他のノードに比べて目立たない。従って、これらのノードで示される試行は対象モデルＬの性能の向上に寄与しなかったということ視覚的に容易に理解することができる。なお、ノードＮ２は分岐するノードであるため、ノードＮ２の表示を簡略化することはしていない。
　図１７は、出力部２３が生成した他の態様の表示データ８０６である。表示データ８０６では、入力データはどのような前処理によって生成されたかの前処理情報を表示している。例えば、ユーザは入力情報１００に、生データの前処理方法を加えておく。これにより、出力情報２００にも前処理方法の情報が加えられる。出力部２３は、この前処理情報を表示データとしてリンクＲに関連させて表示する。
　より具体的には、表示データ８０６では、生データのノードＲＤが表示され、リンクＲ０でノードＮ１に接続されている。そして、リンクＲ０には、前処理情報の表示枠ＰＴ１が表示され、表示枠ＰＴ１には前処理方法がＦＦＴ（高速フーリエ変換）であることを示す「前処理：ＦＦＴ」が表示されている。さらに、ノードＮ２からノードＮ５へのリンクＲ４には、表示枠ＰＴ２が追加され、表示枠ＰＴ２には、使用した入力データが生データを極座標変換処理をして得られたデータに変更されたことを示す「前処理：ＦＦＴ→極座標」が表示されている。
　このように、生データを前処理した方法によってロス値が変わる場合、前処理方法を表示データに加えることにより、ロス値の変化が前処理方法の変更の効果であることを視覚的に理解し易くすることができる。
　（情報処理装置４の効果）
　以上のように、本例示的実施形態に係る情報処理装置４においては、推定部２２は、複数の試行のうち、関連性を有する前段の試行に比べてＡＩモデルの性能が向上した試行、又は性能が劣化した試行を特定する。さらに、出力部２３は、特定した試行を示すノードと、当該ノードと前段の試行を示すノードとを接続するリンクとの一方又は両方を、他のノード又は他のリンクと異なる態様で出力する、という構成が採用されている。このため、本例示的実施形態に係る情報処理装置４によれば、例示的実施形態１、２に係る情報処理装置１、２の奏する効果に加えて、異なる態様で表示されたノードとリンクを辿ることにより、対象モデルの性能を高める構築の過程を視覚的に理解し易くすることができる、という効果が得られる。
　〔変形例〕
　なお、上述した例示的実施形態２、３において、入力情報１００は、入力データ１０１、パラメータデータ１０２、モデルＩＤ１０３、及びタグデータ１０４の一部又は全部に替えて、又は加えて、他のデータを含んでいてもよい。また、出力情報２００は、ロス値２０１、異常度２０２、試行時刻２０３、入力データ１０１、パラメータデータ１０２、モデルＩＤ１０３、及びタグデータ１０４の一部又は全部に替えて、又は加えて、他のデータを含んでいてもよい。また、各試行において対象モデルＬの評価結果を示す情報は、ロス値２０１及び異常度２０２の一方又は両方に替えて、又は加えて、他の指標であってもよい。
　また、上述した例示的実施形態２、３において、第１の列、及び第２の列を抽出して分岐点を特定する手法は、第１のパラメータ、第２のパラメータ、及び、第３のパラメータを参照する手法に限らず、その他の手法であってもよい。
　また、上述した例示的実施形態２、３において、性能が向上又は劣化した試行を示すノード及び関連するリンクの態様は、上述した態様に限られず、その他の態様であってもよい。
　〔ソフトウェアによる実現例〕
　情報処理装置１，２，４の一部又は全部の機能は、集積回路（ＩＣチップ）等のハードウェアによって実現してもよいし、ソフトウェアによって実現してもよい。
　後者の場合、情報処理装置１，２，４は、例えば、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータによって実現される。このようなコンピュータの一例（以下、コンピュータＣと記載する）を図１８に示す。コンピュータＣは、少なくとも１つのプロセッサＣ１と、少なくとも１つのメモリＣ２と、を備えている。メモリＣ２には、コンピュータＣを情報処理装置１，２，４として動作させるためのプログラムＰが記録されている。コンピュータＣにおいて、プロセッサＣ１は、プログラムＰをメモリＣ２から読み取って実行することにより、情報処理装置１，２，４の各機能が実現される。
　プロセッサＣ１としては、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphic Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＭＰＵ（Micro Processing Unit）、ＦＰＵ（Floating point number Processing Unit）、ＰＰＵ（Physics Processing Unit）、マイクロコントローラ、又は、これらの組み合わせなどを用いることができる。メモリＣ２としては、例えば、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、又は、これらの組み合わせなどを用いることができる。
　なお、コンピュータＣは、プログラムＰを実行時に展開したり、各種データを一時的に記憶したりするためのＲＡＭ（Random Access Memory）を更に備えていてもよい。また、コンピュータＣは、他の装置との間でデータを送受信するための通信インタフェースを更に備えていてもよい。また、コンピュータＣは、キーボードやマウス、ディスプレイやプリンタなどの入出力機器を接続するための入出力インタフェースを更に備えていてもよい。
　また、プログラムＰは、コンピュータＣが読み取り可能な、一時的でない有形の記録媒体Ｍに記録することができる。このような記録媒体Ｍとしては、例えば、テープ、ディスク、カード、半導体メモリ、又はプログラマブルな論理回路などを用いることができる。コンピュータＣは、このような記録媒体Ｍを介してプログラムＰを取得することができる。また、プログラムＰは、伝送媒体を介して伝送することができる。このような伝送媒体としては、例えば、通信ネットワーク、又は放送波などを用いることができる。コンピュータＣは、このような伝送媒体を介してプログラムＰを取得することもできる。
　〔付記事項１〕
　本発明は、上述した実施形態に限定されるものでなく、請求項に示した範囲で種々の変更が可能である。例えば、上述した実施形態に開示された技術的手段を適宜組み合わせて得られる実施形態についても、本発明の技術的範囲に含まれる。
　〔付記事項２〕
　上述した実施形態の一部又は全部は、以下のようにも記載され得る。ただし、本発明は、以下の記載する態様に限定されるものではない。
　（付記１）
　ＡＩモデルの構築過程の試行で用いられるパラメータを含む試行情報を取得する取得手段と、複数の前記試行それぞれの前記試行情報の差異に基づいて、前記複数の試行の間の関連性を推定する推定手段と、前記複数の試行それぞれを示す複数のノードと、前記関連性を示すリンクとを含む表示データを出力する出力手段と、を備えるモデル生成支援装置。
　上記の構成によれば、モデルの構築の過程をより理解し易く提示することにより、モデルの生成を支援することができる。
　（付記２）
　前記表示データに含まれる複数の前記ノードは、前記試行を行った順に配列される、ことを特徴とする付記１に記載のモデル生成支援装置。
　上記の構成によれば、対象モデルの構築の経時的過程を容易に理解することができる。
　（付記３）
　前記試行情報は、第１のパラメータ及び前記第１のパラメータとは異なる第２のパラメータを含み、前記推定手段は、前記第１のパラメータが共通し前記第２のパラメータが変化する複数の試行を、関連する第１の試行群として抽出し、前記出力手段は、前記第１の試行群を示す複数のノードと当該複数のノード間を接続するリンクとを含む前記表示データを出力する、、ことを特徴とする付記１又は２に記載のモデル生成支援装置。
　上記の構成によれば、対象モデルを改変するために、複数通りに入力情報を異ならせてそれぞれ試行を行ったという経過を容易に理解することができる。
　（付記４）
　前記試行情報は、前記第１のパラメータ及び前記第２のパラメータとは異なる第３のパラメータをさらに含み、前記推定手段は、前記第２のパラメータ及び前記第３のパラメータが共通し前記第１のパラメータが変化する複数の試行を、関連する第２の試行群として抽出し、前記第２の試行群のうちの時間的に先頭の試行に対して前記第１のパラメータ及び前記第２のパラメータが共通する、前記第１の試行群における試行を、前記第１の試行群における分岐点として特定し、前記出力手段は、前記第２の試行群を示す前記ノード及び前記リンクが、前記第１の試行群を示す複数のノードのうちの前記分岐点の試行を示すノードから分岐して接続された前記表示データを出力する、ことを特徴とする付記３に記載のモデル生成支援装置。
　上記の構成によれば、対象モデルを改変するために、複数通りに入力情報を異ならせてそれぞれ試行を行ったという経過を容易に理解することができる。
　（付記５）
　前記表示データでは、前記第１の試行群及び前記第２の試行群に含まれる複数の試行に対応する複数のノードが、試行を行った順に所定の方向に配置される、ことを特徴とする付記４に記載のモデル生成支援装置。
　上記の構成によれば、複数のノードを時間的な前後関係を保って配列することにより、対象モデルが構築された過程の時間的な前後関係を視覚的に理解し易くすることができる。
　（付記６）
　前記表示データは、各前記試行において得られる前記ＡＩモデルの性能を示す情報を含む、ことを特徴とする付記１から５のいずれか１つに記載のモデル生成支援装置。
　上記の構成によれば、対象モデルの性能を示す情報を表示することにより、性能の向上を具体的な数値として確認し易くすることができる。
　（付記７）
　前記表示データは、各試行で用いたパラメータを含む、ことを特徴とする付記１から６のいずれか１つに記載のモデル生成支援装置。
　上記の構成によれば、変化させたパラメータを表示することにより、性能の変化がどのパラメータによるものかを視覚的に理解し易くすることができる。
　（付記８）
　前記推定手段は、前記複数の試行のうち、前記関連性を有する前段の試行に比べて前記ＡＩモデルの性能が向上した試行、又は性能が劣化した試行を特定し、前記出力手段は、前記特定した試行を示すノードと、当該ノードと前記前段の試行を示すノードとを接続するリンクとの一方又は両方を、他のノード又は他のリンクと異なる態様で出力する、ことを特徴とする付記１から７のいずれか１つに記載のモデル生成支援装置。
　上記の構成によれば、異なる態様で表示されたノードとリンクを辿ることにより、対象モデルの性能を高める構築過程を視覚的に理解し易くすることができる。
　（付記９）
　前記出力手段は、前記特定した試行を示すノードの色調、当該ノードの大きさ、形状、当該リンクの色調、及び当該リンクの太さのうちの少なくともいずれかを、他のノード又は他のリンクと異なる態様で出力する、ことを特徴とする付記８に記載のモデル生成支援装置。
　上記の構成によれば、ノード又はリンクの少なくとも一方を、他のそれと異ならせることで、他よりも強調する、あるいは目立たなくすることができる。
　（付記１０）
　前記表示データは、性能の向上又は劣化の程度に応じた態様のノードを含む、、ことを特徴とする付記８又は９に記載のモデル生成支援装置。
　上記の構成によれば、対象モデルの性能の向上の過程を視覚的に理解し易くすることができる。
　（付記１１）
　前記表示データは、前記特定した試行で得られた前記ＡＩモデルの性能と、前記前段の試行で得られた前記ＡＩモデルの性能との差が所定の閾値以内である場合、前記特定した試行を示すノードと、前記前段の試行を示すノードとを、これらのノードの少なくとも一部を重ねた態様で含む、ことを特徴とする付記８から１０のいずれか１項に記載のモデル生成支援装置。
　上記の構成によれば、重ねて表示されたノードは、性能があまり向上しないノードであると容易に理解することができる。
　（付記１２）
　少なくとも１つのプロセッサが、ＡＩモデルの構築過程の試行で用いられるパラメータを含む試行情報を取得し、複数の前記試行それぞれの前記試行情報の差異に基づいて、前記複数の試行の間の関連性を推定し、前記複数の試行それぞれを示す複数のノードと、前記関連性を示すリンクとを含む表示データを出力する、ことを含むモデル生成支援方法。
　上記の構成によれば、モデルの構築の過程をより理解し易く提示することにより、モデルの生成を支援することができる。
　（付記１３）
　コンピュータに、ＡＩモデルの構築過程の試行で用いられるパラメータを含む試行情報を取得する取得処理と、複数の前記試行それぞれの前記試行情報の差異に基づいて、前記複数の試行の間の関連性を推定する推定処理と、前記複数の試行それぞれを示す複数のノードと、前記関連性を示すリンクとを含む表示データを出力する出力処理と、を実行させるプログラム。
　〔付記事項３〕
　上述した実施形態の一部又は全部は、更に、以下のように表現することもできる。
　少なくとも１つのプロセッサを備え、前記プロセッサは、ＡＩモデルの構築過程の試行で用いられるパラメータを含む試行情報を取得する取得処理と、複数の前記試行それぞれの前記試行情報の差異に基づいて、前記複数の試行の間の関連性を推定する推定処理と、前記複数の試行それぞれを示す複数のノードと、前記関連性を示すリンクとを含む表示データを出力する出力処理と、を実行するモデル生成支援装置。
　なお、このモデル生成支援装置は、更にメモリを備えていてもよく、このメモリには、前記取得処理と、前記推定処理と、前記出力処理とを前記プロセッサに実行させるためのプログラムが記憶されていてもよい。また、このプログラムは、コンピュータ読み取り可能な一時的でない有形の記録媒体に記録されていてもよい。
　１，２，４・・・情報処理装置（モデル生成支援装置）
　３・・・情報処理システム（モデル生成支援システム）
　１１，２１・・・取得部
　１２，２２・・・推定部
　１３，２３・・・出力部
　５０・・・モデル構築装置
　６０・・・データベース
　７０・・・ディスプレイ
　１００・・・入力情報
　１０１・・・入力データ
　１０２・・・パラメータデータ
　２００・・・出力情報
　２５０，３００・・・試行情報表
　４００・・・推定データ表
　５００・・・表示データ
　６００・・・色濃度表
　７００・・・太さ表
　８０１，８０２，８０３，８０４，８０５，８０６・・・表示データ

Claims (13)

  1. 　ＡＩモデルの構築過程の試行で用いられるパラメータを含む試行情報を取得する取得手段と、
    　複数の前記試行それぞれの前記試行情報の差異に基づいて、前記複数の試行の間の関連性を推定する推定手段と、
    　前記複数の試行それぞれを示す複数のノードと、前記関連性を示すリンクとを含む表示データを出力する出力手段と、
    　を備えるモデル生成支援装置。
  2. 　前記表示データに含まれる複数の前記ノードは、前記試行を行った順に配列される、
    請求項１に記載のモデル生成支援装置。
  3. 　前記試行情報は、
    　　第１のパラメータ及び前記第１のパラメータとは異なる第２のパラメータを含み、
    　前記推定手段は、前記第１のパラメータが共通し前記第２のパラメータが変化する複数の試行を、関連する第１の試行群として抽出し、
    　前記出力手段は、前記第１の試行群を示す複数のノードと当該複数のノード間を接続するリンクとを含む前記表示データを出力する、
    　請求項１又は２に記載のモデル生成支援装置。
  4. 　前記試行情報は、
    　　前記第１のパラメータ及び前記第２のパラメータとは異なる第３のパラメータをさらに含み、
    　前記推定手段は、前記第２のパラメータ及び前記第３のパラメータが共通し前記第１のパラメータが変化する複数の試行を、関連する第２の試行群として抽出し、
    　　前記第２の試行群のうちの時間的に先頭の試行に対して前記第１のパラメータ及び前記第２のパラメータが共通する、前記第１の試行群における試行を、前記第１の試行群における分岐点として特定し、
    　前記出力手段は、
    　　前記第２の試行群を示す前記ノード及び前記リンクが、前記第１の試行群を示す複数のノードのうちの前記分岐点の試行を示すノードから分岐して接続された前記表示データを出力する、
    　請求項３に記載のモデル生成支援装置。
  5. 　前記表示データでは、前記第１の試行群及び前記第２の試行群に含まれる複数の試行に対応する複数のノードが、試行を行った順に所定の方向に配置される、
    　請求項４に記載のモデル生成支援装置。
  6. 　前記表示データは、各前記試行において得られる前記ＡＩモデルの性能を示す情報を含む、
    　請求項１から５のいずれか１項に記載のモデル生成支援装置。
  7. 　前記表示データは、各試行で用いたパラメータを含む、
    　請求項１から６のいずれか１項に記載のモデル生成支援装置。
  8. 　前記推定手段は、前記複数の試行のうち、前記関連性を有する前段の試行に比べて前記ＡＩモデルの性能が向上した試行、又は性能が劣化した試行を特定し、
    　前記出力手段は、前記特定した試行を示すノードと、当該ノードと前記前段の試行を示すノードとを接続するリンクとの一方又は両方を、他のノード又は他のリンクと異なる態様で出力する、
    　ことを特徴とする請求項１から７のいずれか１項に記載のモデル生成支援装置。
  9. 　前記出力手段は、前記特定した試行を示すノードの色調、当該ノードの大きさ、形状、当該リンクの色調、及び当該リンクの太さのうちの少なくともいずれかを、他のノード又は他のリンクと異なる態様で出力する、
    　ことを特徴とする請求項８に記載のモデル生成支援装置。
  10. 　前記表示データは、性能の向上又は劣化の程度に応じた態様のノードを含む、
    　ことを特徴とする請求項８又は９に記載のモデル生成支援装置。
  11. 　前記表示データは、前記特定した試行で得られた前記ＡＩモデルの性能と、前記前段の試行で得られた前記ＡＩモデルの性能との差が所定の閾値以内である場合、前記特定した試行を示すノードと、前記前段の試行を示すノードとを、これらのノードの少なくとも一部を重ねた態様で含む、
    ことを特徴とする請求項８から１０のいずれか１項に記載のモデル生成支援装置。
  12. 　少なくとも１つのプロセッサが、
    　ＡＩモデルの構築過程の試行で用いられるパラメータを含む試行情報を取得し、
    　複数の前記試行それぞれの前記試行情報の差異に基づいて、前記複数の試行の間の関連性を推定し、
    　前記複数の試行それぞれを示す複数のノードと、前記関連性を示すリンクとを含む表示データを出力する、
    　ことを含むモデル生成支援方法。
  13. 　コンピュータに、
    　ＡＩモデルの構築過程の試行で用いられるパラメータを含む試行情報を取得する取得処理と、
    　複数の前記試行それぞれの前記試行情報の差異に基づいて、前記複数の試行の間の関連性を推定する推定処理と、
    　前記複数の試行それぞれを示す複数のノードと、前記関連性を示すリンクとを含む表示データを出力する出力処理と、
    　を実行させるプログラム。

     
PCT/JP2021/022691 2021-06-15 2021-06-15 モデル生成支援装置、モデル生成支援方法及びプログラム WO2022264262A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2021/022691 WO2022264262A1 (ja) 2021-06-15 2021-06-15 モデル生成支援装置、モデル生成支援方法及びプログラム
JP2023528801A JPWO2022264262A1 (ja) 2021-06-15 2021-06-15

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/022691 WO2022264262A1 (ja) 2021-06-15 2021-06-15 モデル生成支援装置、モデル生成支援方法及びプログラム

Publications (1)

Publication Number Publication Date
WO2022264262A1 true WO2022264262A1 (ja) 2022-12-22

Family

ID=84526356

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/022691 WO2022264262A1 (ja) 2021-06-15 2021-06-15 モデル生成支援装置、モデル生成支援方法及びプログラム

Country Status (2)

Country Link
JP (1) JPWO2022264262A1 (ja)
WO (1) WO2022264262A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5885875B1 (ja) * 2015-08-28 2016-03-16 株式会社Ｕｂｉｃ データ分析システム、データ分析方法、プログラム、および、記録媒体
JP2018109906A (ja) * 2017-01-05 2018-07-12 住友電気工業株式会社 画像データ作成プログラム、画像データ作成装置および画像データ作成方法
JP2020004080A (ja) * 2018-06-28 2020-01-09 ファナック株式会社 出力装置、制御装置、及び評価関数値の出力方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5885875B1 (ja) * 2015-08-28 2016-03-16 株式会社Ｕｂｉｃ データ分析システム、データ分析方法、プログラム、および、記録媒体
JP2018109906A (ja) * 2017-01-05 2018-07-12 住友電気工業株式会社 画像データ作成プログラム、画像データ作成装置および画像データ作成方法
JP2020004080A (ja) * 2018-06-28 2020-01-09 ファナック株式会社 出力装置、制御装置、及び評価関数値の出力方法

Also Published As

Publication number Publication date
JPWO2022264262A1 (ja) 2022-12-22

Similar Documents

Publication Publication Date Title
vanden Broucke et al. Fodina: A robust and flexible heuristic process discovery technique
CN107609652B (zh) 执行机器学习的分布式系统及其方法
JP6990371B2 (ja) 予測装置、パラメータ集合生産方法及びプログラム
JP7296715B2 (ja) 学習装置、処理装置、ニューラルネットワーク、学習方法、及びプログラム
CN107464554A (zh) 语音合成模型生成方法和装置
JP4296421B2 (ja) 信号処理装置
JP4038501B2 (ja) 逆モデル計算装置及び逆モデル計算方法
CN106657192A (zh) 一种用于呈现服务调用信息的方法与设备
US20160255109A1 (en) Detection method and apparatus
CN110110547A (zh) 溯源数据处理方法及装置
CN115048370B (zh) 用于大数据清洗的人工智能处理方法及大数据清洗系统
CN107679625A (zh) 针对数据记录执行机器学习的分布式系统及其方法
WO2022264262A1 (ja) モデル生成支援装置、モデル生成支援方法及びプログラム
KR102153161B1 (ko) 확률 그래프 기반의 서열 데이터 연관성 학습 방법 및 시스템
WO2018135515A1 (ja) 情報処理装置、ニューラルネットワークの設計方法及び記録媒体
CN117201308A (zh) 网络资源分配方法、系统、存储介质及电子设备
JP2015170009A (ja) 表示情報生成装置、プログラム実行状況表示システム、方法およびプログラム
CN108460364A (zh) 用于生成信息的方法和装置
CN105740260B (zh) 提取模板文件数据结构的方法和装置
EP4170556A1 (en) Control device, method, and program
CN110490132A (zh) 数据处理方法和装置
Shershakov et al. Transition systems reduction: balancing between precision and simplicity
EP4075297A1 (en) Machine learning-based interactive visual monitoring tool for high dimensional data sets across multiple kpis
JP6414321B2 (ja) 人数予測システム、人数予測方法および人数予測プログラム
CN114692022A (zh) 基于时空行为模式的位置预测方法及系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21945941

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18568348

Country of ref document: US

Ref document number: 2023528801

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE