WO2021095358A1 - 学習方法、評価装置、及び評価システム - Google Patents

学習方法、評価装置、及び評価システム Download PDF

Info

Publication number
WO2021095358A1
WO2021095358A1 PCT/JP2020/035187 JP2020035187W WO2021095358A1 WO 2021095358 A1 WO2021095358 A1 WO 2021095358A1 JP 2020035187 W JP2020035187 W JP 2020035187W WO 2021095358 A1 WO2021095358 A1 WO 2021095358A1
Authority
WO
WIPO (PCT)
Prior art keywords
evaluation
data
reference data
model
database
Prior art date
Application number
PCT/JP2020/035187
Other languages
English (en)
French (fr)
Inventor
厚 星野
Original Assignee
株式会社チノウ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社チノウ filed Critical 株式会社チノウ
Publication of WO2021095358A1 publication Critical patent/WO2021095358A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/907—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/908—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Definitions

  • the present invention relates to a learning method, an evaluation device, and an evaluation system.
  • Patent Document 1 discloses a technique related to an AI service use support system that supports the use of an AI service system.
  • the AI service use support system accepts answer data and certainty by sending inquiry data to the AI service system set for normal use, and if the certainty does not satisfy the conditions, it is usually It has an AI service inquiry processing unit that sends inquiry data to an AI service system other than the AI service system set for use at the time.
  • the evaluation results obtained for each evaluation model may differ. Therefore, it is required to select a suitable evaluation model according to the characteristics of the information to be evaluated.
  • the response data is acquired for each evaluation model (AI service system) as in Patent Document 1, for example, it is necessary to spend an enormous amount of time as the number of evaluation models increases. Therefore, it is desired that the evaluation model can be selected in a short time.
  • an object of the present invention is to provide a learning method, an evaluation device, and an evaluation system capable of selecting an evaluation model in a short time. There is.
  • the learning method according to the first invention is a learning method for generating a database by machine learning using test data, and includes an acquisition step of acquiring a plurality of determination results for the test data derived in advance by a plurality of evaluation models. , The test data and the reference data based on the determination result as a pair of training data, and by machine learning using the plurality of the training data, between the plurality of the test data and the plurality of the reference data.
  • the reference data includes identification information regarding the evaluation model from which the determination result is derived, and the reference data is given to the determination result, including a learning step for generating a database in which the association is stored. It is characterized by having at least one of a correctness result, a judgment accuracy, and a time spent for the judgment.
  • the learning method according to the second invention is characterized in that, in the first invention, the plurality of evaluation models include two or more trained models generated under different machine learning conditions.
  • the learning method according to the third invention is characterized in that, in the first invention, the plurality of evaluation models further include a human model for determining the test data by a human.
  • the learning method according to the fourth invention is characterized in that, in the third invention, the test data includes work information regarding a work process in which processing is executed by the evaluation model.
  • the evaluation device is an evaluation device that evaluates the evaluation target data by referring to the database generated by the learning method of the first invention, and is an evaluation device that acquires the evaluation target data, and the database. It is characterized in that it includes a selection unit which selects the first reference data with respect to the evaluation target data among a plurality of the reference data.
  • the evaluation device uses the first evaluation model associated with the first identification information among the plurality of evaluation models based on the first identification information possessed by the first reference data. It is characterized by further including an evaluation unit for evaluating the evaluation target data.
  • the evaluation device is an evaluation device that evaluates evaluation target data by referring to the database generated by the learning method of the third invention, and is a work related to a work process in which processing is executed by the evaluation model.
  • An acquisition unit that acquires the evaluation target data including a plurality of information
  • a selection unit that refers to the database and selects a plurality of second reference data for each of the plurality of work information among the plurality of reference data. It is characterized by being prepared.
  • the evaluation device relates to the plurality of the work information and the evaluation model corresponding to the second reference data selected for each of the plurality of the work information. It is characterized by further including an output unit for output.
  • the evaluation system is an evaluation system that evaluates evaluation target data by referring to a database generated by machine learning using test data, and is work information related to a work process in which processing is executed by an evaluation model.
  • the evaluation model includes a trained model generated by machine learning and a human model for determining the test data by a human, and the reference data has identification information regarding the evaluation model from which the determination result is derived. It is characterized by.
  • the evaluation system according to the tenth invention is an output means for outputting the relationship between the plurality of the work information and the evaluation model corresponding to the second reference data selected for the work information. Is further provided.
  • a learning step of generating a database in which the association between a plurality of test data and a plurality of reference data is stored by machine learning using a plurality of training data is provided. ..
  • the reference data has identification information about the evaluation model from which the determination result is derived. Therefore, by referring to the database generated by the learning method and evaluating the evaluation target information (evaluation target data), it is possible to select an evaluation model suitable for the characteristics of the evaluation target information. This makes it possible to select an evaluation model in a short time.
  • the reference data has at least one of the correctness result given to the determination result, the determination accuracy, and the time spent for the determination. Therefore, it is possible to easily compare the determination results derived from the plurality of evaluation models. This makes it possible to improve the selection accuracy of the evaluation model.
  • the evaluation model includes two or more trained models generated under different machine learning conditions. Therefore, when comparing two or more AI service systems, it is possible to select the optimum AI service model without incurring a usage fee for the AI service system by referring to the database. This makes it possible to reduce the cost required for evaluation.
  • the evaluation model includes a human model in which test data is judged by a human. Therefore, it is possible to quantitatively compare the mechanical processing such as the trained model with the human processing. This makes it possible to select an evaluation model suitable for the information to be evaluated from various viewpoints.
  • the test data includes work information regarding the work process in which the process is executed by the evaluation model. Therefore, by referring to the database generated by the learning method and evaluating the work information included in the evaluation target data, it is possible to select the mechanical processing or the human processing suitable for the work information. This makes it possible to quantitatively evaluate whether or not to change the work process, which has been conventionally performed by human processing, to mechanical processing.
  • the selection unit selects the first reference data for the evaluation target data. Therefore, the identification information of the first reference data makes it possible to select an evaluation model suitable for the evaluation target data.
  • the evaluation unit evaluates the evaluation target data using the first evaluation model linked to the first identification evaluation information. Therefore, it is possible to smoothly realize the evaluation by the evaluation model suitable for the evaluation target data.
  • the selection unit selects a plurality of second reference data for each of the plurality of work information. Therefore, it is possible to select a mechanical process or a human process suitable for each work information. This makes it possible to realize a quantitative evaluation as to whether or not to change the work process, which has been conventionally performed by human processing, to mechanical processing.
  • the output unit outputs the relationship between the plurality of work information and the evaluation model corresponding to the second reference data selected for each of the plurality of work information. Therefore, it is possible to notify the user or the like of an evaluation model suitable for each work information.
  • a database in which the degree of association between a plurality of test data and a plurality of reference data is stored is provided.
  • the reference data has identification information about the evaluation model from which the determination result is derived.
  • the selection means selects the second reference data for each of the plurality of work information. Therefore, an evaluation model suitable for each work information can be selected based on the identification information of the second reference data. This makes it possible to select an evaluation model in a short time.
  • the selection means selects a plurality of second reference data for each of the plurality of work information. Therefore, it is possible to select a mechanical process or a human process suitable for each work information. This makes it possible to realize a quantitative evaluation as to whether or not to change the work process, which has been conventionally performed by human processing, to mechanical processing.
  • FIG. 1 is a schematic diagram showing an example of the evaluation system according to the first embodiment.
  • FIG. 2 is a schematic diagram showing an example of the operation of the evaluation system according to the first embodiment.
  • FIG. 3A is a schematic diagram showing an example of a database
  • FIG. 3B is a schematic diagram showing a first modification of the database.
  • 4 (a) and 4 (b) are schematic views showing an example of the learning method in the first embodiment.
  • FIG. 5 is a schematic diagram showing another example of the database.
  • FIG. 6A is a schematic diagram showing an example of the configuration of the evaluation device according to the first embodiment
  • FIG. 6B is a schematic diagram showing an example of the function of the evaluation device according to the first embodiment.
  • FIG. 7A is a flowchart showing an example of the learning method in the first embodiment
  • FIG. 7B is a flowchart showing an example of the operation of the evaluation system in the first embodiment
  • 8 (a) is a schematic diagram showing an example of the operation of the evaluation system in the second embodiment
  • FIGS. 8 (b) and 8 (c) are schematic views showing an example of the learning method in the second embodiment. It is a figure.
  • FIG. 9 is a flowchart showing an example of the operation of the evaluation system according to the second embodiment.
  • FIG. 1 is a schematic diagram showing an example of the evaluation system 100 in the present embodiment.
  • FIG. 2 is a schematic diagram showing an example of the operation of the evaluation system 100 in the present embodiment.
  • FIG. 3 is a schematic diagram showing an example of a database.
  • FIG. 4 is a schematic diagram showing an example of the learning method in the present embodiment.
  • the evaluation system 100 refers to a database generated by machine learning using test data, and is used to evaluate the data to be evaluated.
  • an evaluation model suitable for evaluation of the evaluation feature data can be selected from a plurality of evaluation models according to the features of the evaluation target data.
  • the evaluation system 100 includes an evaluation device 1 as shown in FIG. 1, for example.
  • the evaluation system 100 may include, for example, at least one of the terminal 2 and the server 3.
  • the evaluation device 1 is connected to the terminal 2 and the server 3 via, for example, the communication network 4.
  • the evaluation device 1 acquires the evaluation target data.
  • the evaluation device 1 refers to the database and selects reference data (first reference data) for the evaluation target data.
  • the first reference data has identification information about the evaluation model. Therefore, by referring to the first reference data, it is possible to select an evaluation model (first evaluation model) suitable for the evaluation target data.
  • the evaluation system 100 may evaluate the evaluation target data using, for example, a selected evaluation model. Therefore, it is possible to smoothly realize the evaluation by the evaluation model suitable for the evaluation target data.
  • the evaluation target data shows data related to information that can be evaluated (classified) by an evaluation model such as an AI service system.
  • an evaluation model such as an AI service system.
  • the evaluation target data for example, text data and sound data related to questions, tasks, work processes, etc. may be used, and for example, image data obtained by capturing an image of a person or the like may be used.
  • the evaluation system 100 may generate, for example, an answer to the question, a countermeasure for the problem, or the like as an evaluation result by an evaluation model suitable for the evaluation target data.
  • the evaluation system 100 when evaluation target data related to an image of a person is used, the evaluation system 100 generates attribute information such as the gender and estimated age of the person as an evaluation result by an evaluation model suitable for the evaluation target data. May be good.
  • the evaluation system 100 uses an evaluation model suitable for carrying out the work process. You may choose. That is, the evaluation target data may include work information regarding a work process that can be processed by, for example, an evaluation model.
  • a database generated by a convolutional neural network model may be used.
  • the convolution layer portion of ResNet50 may be used, and the output portion may be trained by a learning method in which a fully connected layer is added.
  • LeakyReLU is used as the activation function
  • the correct answer probability is output using the sigmoid function, and for example, the first reference data associated with the evaluation model with the highest correct answer probability is selected. To do. This makes it possible to realize efficient and stable machine learning.
  • the convolutional neural network model described above may be constructed in advance by machine learning using, for example, transfer learning, or may be constructed by using a learning method together with, for example, a fully connected layer. Further, as the activation function, the LeakyReLu (ReLu function) and the sigmoid function described above may be used, or a known function such as an equality function or a softmax function may be used.
  • the activation function the LeakyReLu (ReLu function) and the sigmoid function described above may be used, or a known function such as an equality function or a softmax function may be used.
  • a convolutional neural network model for example, ResNet50
  • ResNet50 a convolutional neural network model
  • VGG16, InceptionV3, DenseNet, InceptionResNetV2 and the like may be used instead of ResNet50 described above.
  • a database is generated by machine learning using test data.
  • the learning method can be performed using, for example, the evaluation device 1, or can be performed using a known electronic device such as a terminal 2.
  • machine learning is performed using a plurality of learning data by using test data and reference data as a pair of learning data. This will generate a database. The details of the learning method will be described later.
  • the test data shows the same type of data as the evaluation target data described above.
  • the plurality of test data used in the learning method for example, text data indicating a plurality of types of contents may be used, or data in which text data and image data are mixed may be used.
  • Reference data is generated based on test data, for example, as shown in FIG. 4 (b).
  • the reference data is generated by the evaluation device 1, or may be generated by using a known electronic device such as a terminal 2.
  • the evaluation device 1 or the like acquires a plurality of test data.
  • the evaluation device 1 and the like refer to a plurality of evaluation models and derive a determination result for each evaluation model for one test data. That is, as the determination result, the number obtained by multiplying the number of test data by the number of evaluation models is derived. Therefore, different judgment results can be obtained for each evaluation model for the same test data, and the characteristics of each evaluation model to be used can be clarified. After that, reference data based on the determination result is generated.
  • the reference data has identification information about the evaluation model from which the judgment result is derived.
  • the reference data has, for example, at least one of the correctness result given to the determination result, the determination accuracy, and the time spent for the determination, and may also have the determination result.
  • the correctness result and the judgment accuracy can be obtained by using any known technique, and may be realized by storing, for example, the correct answer and the threshold value for the test data in the evaluation device 1 or the like in advance, for example.
  • the evaluation device 1 or the like may acquire data on the correctness result or the like for the determination result given by humans.
  • the evaluation model indicates a processing means or algorithm that can derive an evaluation result from the evaluation target data, and includes, for example, a trained model (a learner other than a classifier) generated by machine learning.
  • a trained model a learner other than a classifier
  • the plurality of trained models include, for example, two or more trained models generated under different machine learning conditions.
  • a known AI service system for example, "IBM Watson Visual Recognition”, “Microsoft Face API”, “Amazon Recognition”, etc. are used, and for example, a known learning device including a deep learning model is used. May be done.
  • the evaluation model may include, for example, a human model for deriving the evaluation result from the evaluation target data by a human.
  • the human model indicates that, for example, the evaluator judges or calculates the content of the data to be evaluated, and by including the human model in the evaluation model, the comparison between the mechanical processing and the human processing is quantitatively performed. It can be carried out.
  • the evaluation model includes a human model, the evaluation device 1 or the like that generates reference data acquires, for example, a determination result for test data and generates reference data.
  • Deep learning such as a convolutional neural network is used, and known techniques such as random forest and SVM (Support Vector Machine) (for example, supervised machine learning) are used. May be good.
  • SVM Small Vector Machine
  • the database generated by the learning method stores the association between the plurality of test data and the plurality of reference data.
  • the association is constructed by the degree of connection between many-to-many information (multiple test data, pair, multiple reference data).
  • the association is updated as appropriate in the process of machine learning, and indicates a function (classifier) optimized based on, for example, a plurality of test data and a plurality of reference data.
  • the association may have a plurality of associations indicating the degree of connection between the data, for example.
  • the degree of association can correspond to a weight variable, for example, when the database is constructed with a neural network.
  • the reference data (evaluation model) suitable for the evaluation target data is selected by using the association based on all the judgment results of the test data.
  • a suitable evaluation model can be quantitatively selected not only when the evaluation target data is the same as or similar to the test data but also when the evaluation target data is dissimilar.
  • the association may indicate the degree of connection between the plurality of test data and the plurality of reference data, for example, as shown in FIG.
  • a plurality of reference data (“reference A” to “reference C” in FIG. 5) are used for each of the plurality of test data (“test A” to “test C” in FIG. 5).
  • a plurality of reference data can be associated with one test data via association. As a result, it is possible to select and evaluate multifaceted reference data for the evaluation target data.
  • the association has a plurality of degree of association that links each test data and each reference data.
  • the degree of association is indicated by three or more stages such as percentage, 10 stages, or 5 stages, and is indicated by, for example, line characteristics (for example, thickness).
  • line characteristics for example, thickness
  • “test A” included in the test data indicates a degree of association AA "73%” with "reference A” included in the reference data, and association with "reference B” included in the reference data.
  • Degree AB "12%” is shown. That is, the "degree of association” indicates the degree of connection between each data. For example, the higher the degree of association, the stronger the connection of each data.
  • FIG. 6A is a schematic diagram showing an example of the configuration of the evaluation device 1 in the present embodiment
  • FIG. 6B is a schematic diagram showing an example of the function of the evaluation device 1 in the present embodiment.
  • the evaluation device 1 for example, an electronic device such as a laptop (notebook) PC or a desktop PC is used. As shown in FIG. 6A, for example, the evaluation device 1 includes a housing 10, a CPU (Central Processing Unit) 101, a ROM (Read Only Memory) 102, a RAM (Random Access Memory) 103, and a storage unit. It includes 104 and I / F 105 to 107. Each configuration 101 to 107 is connected by an internal bus 110.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the CPU 101 controls the entire evaluation device 1.
  • the ROM 102 stores the operation code of the CPU 101.
  • the RAM 103 is a work area used during the operation of the CPU 101.
  • the storage unit 104 stores various information such as a database and evaluation target data.
  • a data storage device such as an SSD (Solid State Drive) is used.
  • the evaluation device 1 may have a GPU (Graphics Processing Unit) (not shown).
  • the I / F 105 is an interface for transmitting and receiving various information to and from the terminal 2, the server 3, the website, etc., as needed, via the communication network 4.
  • the I / F 106 is an interface for transmitting and receiving information to and from the input unit 108.
  • a keyboard is used as the input unit 108, and the user or the like of the evaluation device 1 inputs various information, a control command of the evaluation device 1, or the like via the input unit 108.
  • the I / F 107 is an interface for transmitting and receiving various information to and from the display unit 109.
  • the display unit 109 displays various information stored in the storage unit 104, evaluation results, and the like.
  • a display is used as the display unit 109, and for example, in the case of a touch panel type, it is provided integrally with the input unit 108.
  • FIG. 6B is a schematic diagram showing an example of the function of the evaluation device 1.
  • the evaluation device 1 includes an acquisition unit 11, a selection unit 12, an evaluation unit 13, an output unit 14, and a storage unit 15, and may include, for example, a learning unit 16.
  • Each function shown in FIG. 6B is realized by the CPU 101 executing a program stored in the storage unit 104 or the like using the RAM 103 as a work area, and may be controlled by, for example, artificial intelligence. ..
  • the acquisition unit 11 acquires the evaluation target data.
  • the acquisition unit 11 may acquire the evaluation target data from the terminal 2 or the like via the communication network 4, for example.
  • the acquisition unit 11 acquires a plurality of determination results and a plurality of test data for the test data derived in advance by the plurality of evaluation models. It should be noted that a plurality of determination results may be acquired by performing a process of deriving the determination results for the test data using, for example, the evaluation device 1.
  • the selection unit 12 refers to the database and selects reference data (for example, first reference data) for the evaluation target data from the plurality of reference data.
  • the selection unit 12 selects, for example, the reference data having the highest relevance to the evaluation target data as the first reference data, and, for example, first selects a plurality of reference data having a degree of relevance equal to or higher than a preset threshold value. It may be selected as reference data.
  • the selection unit 12 selects test data that is the same as or similar to the evaluation target data (for example, "test A": the first test data).
  • test data for example, "test A”: the first test data.
  • test data that partially or completely matches the evaluation target data is selected, and for example, test data similar to the evaluation target data is selected.
  • the degree of similarity selected and the number of test data selected can be arbitrarily set.
  • the selection unit 12 selects, for example, the most relevant reference data (for example, “reference A”: the first reference data) from the reference data associated with the selected first test data, and for example, a threshold value (for example, the first reference data).
  • Reference data having a degree of association of 30% or more for example, “reference A” (degree of association AA (73%))
  • “reference C” degree of association AC (33%)
  • the evaluation unit 13 is, for example, an evaluation model associated with the first identification information among a plurality of evaluation models based on the identification information (for example, “model A” shown in FIG. 2: the first identification information) of the first reference data. (For example, "evaluation model A” shown in FIG. 2: the first evaluation model) is used to evaluate the evaluation target data.
  • the evaluation unit 13 may use a plurality of evaluation models as the first evaluation model and evaluate the evaluation target data by each evaluation model.
  • Output unit 14 The output unit 14 outputs the evaluation result for the evaluation target data.
  • the output unit 14 may output the first reference data selected for the evaluation target data, for example.
  • the output unit 14 generates and outputs evaluation result information obtained by converting the evaluation result into a character string or the like that can be understood by the user or the like by using, for example, a display format stored in advance in the storage unit 104.
  • the output unit 14 transmits the evaluation result information to the display unit 109 via the I / F 107, and also transmits the evaluation result information to the terminal 2 or the like via, for example, the I / F 105.
  • Memory unit 15 retrieves various data such as a database stored in the storage unit 104 as needed.
  • the storage unit 15 stores various data acquired or generated by the configurations 11 to 14 and 16 in the storage unit 104 as needed.
  • the learning unit 16 generates a database by machine learning using a plurality of learning data, for example, using test data and reference data based on a determination result as a pair of learning data.
  • machine learning for example, the above-mentioned convolutional neural network or the like is used.
  • the learning unit 16 may generate reference data based on the determination result acquired by the acquisition unit 11, for example.
  • the learning unit 16 generates reference data having identification information about the evaluation model from which the determination result is derived, for example.
  • the identification information may be generated by storing, for example, an identification information list associated with the evaluation model in the storage unit 104 in advance and referring to the list or the like as necessary, and is set so as to be included in the determination result in advance. You may.
  • the learning unit 16 may calculate at least one of the correctness result, the determination accuracy, and the time spent for the determination with respect to the determination result, and generate reference data having them.
  • the correctness result and the determination accuracy may be generated by storing, for example, the correct answer or the threshold value for the test data in the storage unit 104 in advance and referring to the correct answer or the like as necessary.
  • the terminal 2 is owned by, for example, a user of a service using the evaluation system 100, and is connected to the evaluation device 1 via the communication network 4.
  • the terminal 2 may indicate, for example, an electronic device that generates a database.
  • an electronic device such as a personal computer or a tablet terminal is used.
  • the terminal 2 may have at least some of the functions of the evaluation device 1, for example.
  • the server 3 is connected to the evaluation device 1 via the communication network 4. Various past data and the like are stored in the server 3, and various data are transmitted from the evaluation device 1 as needed.
  • the server 3 may have at least a part of the functions included in the evaluation device 1, for example, and may perform at least a part of the processing in place of the evaluation device 1, for example.
  • the server 3 stores at least a part of various data stored in the storage unit 104 of the evaluation device 1, for example, and may be used in place of the storage unit 104, for example.
  • the communication network 4 is, for example, an Internet network or the like to which the evaluation device 1 is connected via a communication circuit.
  • the communication network 4 may be composed of a so-called optical fiber communication network. Further, the communication network 4 may be realized by a known communication technology such as a wireless communication network in addition to the wired communication network.
  • FIG. 7A is a flowchart showing an example of the learning method in the present embodiment.
  • the learning method includes acquisition step S110 and learning step S120.
  • the learning method may include, for example, derivation step S100.
  • the derivation step S100 derives a plurality of determination results for the test data by, for example, a plurality of evaluation models.
  • the acquisition unit 11 acquires, for example, a plurality of test data.
  • the acquisition unit 11 transmits test data to the website of the AI service system or the like via the communication network 4.
  • the AI service system derives the judgment result for the test data.
  • the acquisition unit 11 acquires the evaluation model via the storage unit 15.
  • the acquisition unit 11 can refer to the evaluation model and derive the determination result for the test data.
  • the acquisition unit 11 displays test data via the display unit 109.
  • the judgment result for the test data is derived by a human.
  • the acquisition step S110 acquires a plurality of determination results for the test data.
  • the determination result is derived in advance by a plurality of evaluation models in, for example, the above-mentioned derivation step S100.
  • the acquisition unit 11 acquires a plurality of sets of a plurality of determination results for one test data as one set.
  • the acquisition unit 11 acquires the determination result from the website of the AI service system or the like via the communication network 4.
  • the acquisition unit 11 acquires the determination result input by a human via the input unit 108 or the like.
  • the learning step S120 uses the test data and the reference data based on the determination result as a pair of learning data to generate a database by machine learning using a plurality of learning data.
  • the learning unit 16 generates a database by machine learning using, for example, a convolutional neural network.
  • the learning unit 16 generates reference data based on the determination result acquired in, for example, the acquisition step S110.
  • the learning unit 16 generates, for example, one or more reference data for one or more determination results.
  • each step S100, S110, S120 may be performed using the terminal 2 or the like.
  • FIG. 7B is a flowchart showing an example of the operation of the evaluation system 100 in the present embodiment.
  • the evaluation system 100 includes an acquisition means S210 and a selection means S220.
  • the evaluation system 100 may include, for example, the evaluation means S230.
  • the acquisition means S210 acquires the evaluation target data.
  • the acquisition unit 11 acquires the evaluation target data input by the user or the like via the input unit 108, for example, and also acquires the evaluation target data from the terminal 2 or the like via the communication network 4, for example.
  • the acquisition unit 11 may store the acquired evaluation target data in the storage unit 104, for example, via the storage unit 15.
  • the selection means S220 refers to the database and selects the first reference data for the evaluation target data from the plurality of reference data.
  • the selection unit 12 acquires the database stored in the storage unit 104, for example, via the storage unit 15.
  • the selection unit 12 refers to the database and selects, for example, the reference data having the highest degree of association with the evaluation target data as the first reference data.
  • the selection unit 12 may select one or more reference data associated with a degree of association equal to or higher than a preset threshold value as the first reference data.
  • the selection unit 12 may select, for example, a plurality of reference data as the first reference data. In this case, for example, by setting to select the reference data associated with each evaluation model, it is possible to acquire the evaluation accuracy and the like expected when each evaluation model evaluates the evaluation target data. This makes it possible to easily carry out comparisons for each evaluation model.
  • the output unit 14 may output the first reference data to the display unit 109, the terminal 2, or the like. Further, for example, the output unit 14 may output a determination result, a correctness result, or the like of the first reference data as an estimated evaluation result for the evaluation model based on the identification information of the reference data.
  • evaluation unit 13 evaluates the evaluation target data using the first evaluation model linked to the first identification information among the plurality of evaluation models based on the first identification information of the first reference data. To do.
  • the evaluation unit 13 transmits test data to the website of the AI service system or the like via the communication network 4. After that, the evaluation result for the evaluation target data derived by the AI service system is acquired. As a result, the AI service system can obtain the evaluation result for the evaluation target data.
  • the evaluation unit 13 acquires the evaluation model via the storage unit 15. As a result, the evaluation unit 13 refers to the evaluation model and obtains the evaluation result for the evaluation target data.
  • the evaluation unit 13 displays the evaluation target data via the display unit 109. After that, the evaluation result for the evaluation target data derived by a human is acquired via the input unit 108 or the like. As a result, the evaluation result for the evaluation target data can be obtained by the human model.
  • the output unit 14 may output the evaluation result to the display unit 109, the terminal 2, or the like.
  • the learning step S120 is provided to generate a database in which the association between the plurality of test data and the plurality of reference data is stored by machine learning using the plurality of training data. ..
  • the reference data has identification information about the evaluation model from which the determination result is derived. Therefore, by referring to the database generated by the learning method and evaluating the evaluation target information (evaluation target data), it is possible to select an evaluation model suitable for the characteristics of the evaluation target information. This makes it possible to select an evaluation model in a short time.
  • the evaluation model includes two or more trained models generated under different machine learning conditions. Therefore, when comparing two or more AI service systems, it is possible to select the optimum AI service model without incurring a usage fee for the AI service system by referring to the database. This makes it possible to reduce the cost required for evaluation.
  • the reference data has at least one of the correctness result given to the judgment result, the judgment accuracy, and the time spent for the judgment. Therefore, it is possible to easily compare the determination results derived from the plurality of evaluation models. This makes it possible to improve the selection accuracy of the evaluation model.
  • the evaluation model includes a human model in which test data is judged by a human. Therefore, it is possible to quantitatively compare the mechanical processing such as the trained model with the human processing. This makes it possible to select an evaluation model suitable for the information to be evaluated from various viewpoints.
  • the test data includes work information regarding the work process in which the process is executed by the evaluation model. Therefore, by referring to the database generated by the learning method and evaluating the work information included in the evaluation target data, it is possible to select the mechanical processing or the human processing suitable for the work information. This makes it possible to quantitatively evaluate whether or not to change the work process, which has been conventionally performed by human processing, to mechanical processing.
  • the selection unit 12 selects the first reference data for the evaluation target data. Therefore, the identification information of the first reference data makes it possible to select an evaluation model suitable for the evaluation target data.
  • the evaluation unit 13 evaluates the evaluation target data using the first evaluation model linked to the first identification evaluation information. Therefore, it is possible to smoothly realize the evaluation by the evaluation model suitable for the evaluation target data.
  • a database in which the degree of association between a plurality of test data and a plurality of reference data is stored is provided.
  • the reference data has identification information about the evaluation model from which the determination result is derived.
  • the selection means S220 selects the first reference data for the evaluation target data. Therefore, the evaluation model suitable for the evaluation target data can be selected based on the identification information of the first reference data. This makes it possible to select an evaluation model in a short time.
  • FIG. 8 (a) is a schematic diagram showing an example of the operation of the evaluation system 100 in the present embodiment
  • FIGS. 8 (b) and 8 (c) are schematic views showing an example of the learning method in the present embodiment. Is.
  • the evaluation target data includes a plurality of work information related to the work process.
  • the description of the same configuration as that of the first embodiment will be omitted.
  • the evaluation target data includes a plurality of work information (for example, " ⁇ work”, "XX work”, etc.).
  • the optimum evaluation model can be selected for each work information.
  • a plurality of evaluation models include a trained model generated by machine learning and a human model. Therefore, it is possible to select a mechanical process or a human process suitable for each work information.
  • the test data includes one or more work information. Therefore, the reference data can include an index that can determine the appropriateness of the evaluation model for the work information.
  • the learning method in the present embodiment can be performed by the same contents as each step described above.
  • FIG. 9 is a flowchart showing an example of the evaluation system 100 in the present embodiment.
  • the evaluation system 100 includes acquisition means S211, selection means S221, and output means S240.
  • the acquisition means S211 can be performed with the same contents as the above-mentioned acquisition means S210, and for example, the acquisition unit 11 may acquire a plurality of work information and then acquire the data as one evaluation target data.
  • the selection means S221 refers to the database and selects a plurality of reference data (for example, second reference data) for each of the plurality of work information among the reference data.
  • the selection unit 12 refers to the database and selects the second reference data for each of the plurality of work information included in the evaluation data, for example. Therefore, the second reference data for each work information is independently selected.
  • the selection unit 12 may select a plurality of reference data for one work information as one second reference data. In this case, for example, the evaluation accuracy of each evaluation model can be acquired for one work information.
  • the output means S240 outputs the relationship between the plurality of work information and the evaluation model corresponding to the second reference data selected for the work information.
  • the output unit 14 outputs, for example, information related to the contents of associating the evaluation model with the work information, and for example, the evaluation model for each work information is stored in a table in which a plurality of work information is rowed and a plurality of evaluation models are arranged as columns. Information indicating the evaluation accuracy and the degree of association may be output.
  • the above-mentioned selection means S220 may be implemented as the selection means S221, or for example, the above-mentioned evaluation means S230 may be implemented.
  • the selection unit 12 selects a plurality of second reference data for each of the plurality of work information. Therefore, it is possible to select a mechanical process or a human process suitable for each work information. This makes it possible to realize a quantitative evaluation as to whether or not to change the work process, which has been conventionally performed by human processing, to mechanical processing.
  • the output unit 14 determines the relationship between the plurality of work information and the evaluation model corresponding to the second reference data selected for each of the plurality of work information. Output. Therefore, it is possible to notify the user or the like of an evaluation model suitable for each work information.
  • a database in which the degree of association between the plurality of test data and the plurality of reference data is stored is provided.
  • the reference data has identification information about the evaluation model from which the determination result is derived.
  • the selection means S221 selects the second reference data for each of the plurality of work information. Therefore, an evaluation model suitable for each work information can be selected based on the identification information of the second reference data. This makes it possible to select an evaluation model in a short time.
  • the selection means S221 selects a plurality of second reference data for each of the plurality of work information. Therefore, it is possible to select a mechanical process or a human process suitable for each work information. This makes it possible to realize a quantitative evaluation as to whether or not to change the work process, which has been conventionally performed by human processing, to mechanical processing.
  • Evaluation device 2 Terminal 3: Server 4: Communication network 10: Housing 11: Acquisition unit 12: Selection unit 13: Evaluation unit 14: Output unit 15: Storage unit 16: Learning unit 100: Evaluation system 101: CPU 102: ROM 103: RAM 104: Preservation unit 105: I / F 106: I / F 107: I / F 108: Input unit 109: Display unit 110: Internal bus S100: Derivation step S110: Acquisition step S120: Learning step S210: Acquisition means S220: Selection means S230: Evaluation means S240: Output means

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Library & Information Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

【課題】短時間で評価モデルを選択することができる学習方法、評価装置、及び評価システムを提供する。 【解決手段】テストデータを用いた機械学習によりデータベースを生成する学習方法であって、複数の評価モデルによって予め導出された前記テストデータに対する複数の判定結果を取得する取得ステップと、前記テストデータと、前記判定結果に基づく参照データと、を一対の学習データとして、複数の前記学習データを用いた機械学習により、複数の前記テストデータと、複数の前記参照データとの間における連関性が記憶されたデータベースを生成する学習ステップとを備える。前記参照データは、前記判定結果を導出した前記評価モデルに関する識別情報を有する。

Description

学習方法、評価装置、及び評価システム
　本発明は、学習方法、評価装置、及び評価システムに関する。
　従来、ＡＩ（Artificial Intelligence）サービスシステム等のような評価モデルが複数存在する場合、各評価モデルの比較方法として例えば特許文献１のＡＩサービス利用システムが提案されている。
　特許文献１では、ＡＩサービスシステムの利用を支援するＡＩサービス利用支援システムに関する技術が開示されている。ＡＩサービス利用支援システムは、通常時の利用に設定されたＡＩサービスシステムに対して、問い合わせデータを送ることで、回答データと確信度とを受け付け、確信度が条件を充足しない場合には、通常時の利用に設定されたＡＩサービスシステム以外のＡＩサービスシステムに対して、問い合わせデータを送るＡＩサービス問い合わせ処理部、を有する。
特開２０１９－２８９５０号公報
　ここで、１つの評価対象となる情報を複数の評価モデル別に評価すると、評価モデル毎に得られる評価結果が異なる場合がある。このため、評価対象となる情報の特徴に応じて、適した評価モデルを選択することが求められている。このとき、例えば特許文献１のように、評価モデル（ＡＩサービスシステム）毎に回答データを取得すると、評価モデルの増加に伴い膨大な時間を費やす必要がある。このため、短時間で評価モデルを選択できることが望まれている。
　そこで本発明は、上述した問題点に鑑みて案出されたものであり、その目的とするところは、短時間で評価モデルを選択することができる学習方法、評価装置、及び評価システムを提供することにある。
　第１発明に係る学習方法は、テストデータを用いた機械学習によりデータベースを生成する学習方法であって、複数の評価モデルによって予め導出された前記テストデータに対する複数の判定結果を取得する取得ステップと、前記テストデータと、前記判定結果に基づく参照データと、を一対の学習データとして、複数の前記学習データを用いた機械学習により、複数の前記テストデータと、複数の前記参照データとの間における連関性が記憶されたデータベースを生成する学習ステップとを備え、前記参照データは、前記判定結果を導出した前記評価モデルに関する識別情報を有し、前記参照データは、前記判定結果に対して付与された正否結果、判定精度、及び判定に費やした時間の少なくとも何れかを有することを特徴とする。
　第２発明に係る学習方法は、第１発明において、複数の前記評価モデルは、それぞれ異なる機械学習の条件により生成された２以上の学習済みモデルを含むことを特徴とする。
　第３発明に係る学習方法は、第１発明において、複数の前記評価モデルは、人間によって前記テストデータを判定するヒューマンモデルを更に含むことを特徴とする。
　第４発明に係る学習方法は、第３発明において、前記テストデータは、前記評価モデルによって処理が実行される作業工程に関する作業情報を含むことを特徴とする。
　第５発明に係る評価装置は、第１発明の学習方法により生成された前記データベースを参照し、評価対象データを評価する評価装置であって、前記評価対象データを取得する取得部と、前記データベースを参照し、複数の前記参照データのうち、前記評価対象データに対する第１参照データを選択する選択部とを備えることを特徴とする。
　第６発明に係る評価装置は、第５発明において、前記第１参照データの有する第１識別情報に基づき、複数の前記評価モデルのうち前記第１識別情報に紐づく第１評価モデルを用いて、前記評価対象データを評価する評価部を更に備えることを特徴とする。
　第７発明に係る評価装置は、第３発明の学習方法により生成された前記データベースを参照し、評価対象データを評価する評価装置であって、前記評価モデルによって処理が実行される作業工程に関する作業情報を複数含む前記評価対象データを取得する取得部と、前記データベースを参照し、複数の前記参照データのうち、複数の前記作業情報のそれぞれに対する複数の第２参照データを選択する選択部とを備えることを特徴とする。
　第８発明に係る評価装置は、第７発明において、複数の前記作業情報と、複数の前記作業情報のそれぞれに対して選択された前記第２参照データに対応する前記評価モデルと、の関係を出力する出力部を更に備えることを特徴とする。
　第９発明に係る評価システムは、テストデータを用いた機械学習により生成されたデータベースを参照し、評価対象データを評価する評価システムであって、評価モデルによって処理が実行される作業工程に関する作業情報を複数含む前記評価対象データを取得する取得手段と、予め取得された複数のテストデータと、複数の前記評価モデルによって予め導出された１つの前記テストデータに対する判定結果に基づく複数の参照データと、の間における連関性が記憶されたデータベースと、前記データベースを参照し、複数の前記参照データのうち、複数の前記作業情報のそれぞれに対する複数の第２参照データを選択する選択手段とを備え、複数の前記評価モデルは、機械学習により生成された学習済みモデル、及び人間によって前記テストデータを判定するヒューマンモデルを含み、前記参照データは、前記判定結果を導出した前記評価モデルに関する識別情報を有することを特徴とする。
　第１０発明に係る評価システムは、第９発明において、複数の前記作業情報と、前記作業情報に対して選択された前記第２参照データに対応する前記評価モデルと、の関係を出力する出力手段を更に備えることを特徴とする。
　第１発明～第８発明によれば、複数の学習データを用いた機械学習により、複数のテストデータと、複数の参照データとの間における連関性が記憶されたデータベースを生成する学習ステップを備える。参照データは、判定結果を導出した評価モデルに関する識別情報を有する。このため、学習方法により生成されたデータベースを参照し、評価対象の情報（評価対象データ）を評価することで、評価対象の情報の特徴に適した評価モデルを選択することができる。これにより、短時間で評価モデルを選択することが可能となる。また、第１発明～第８発明によれば、参照データは、判定結果に対して付与された正否結果、判定精度、及び判定に費やした時間の少なくとも何れかを有する。このため、複数の評価モデルにより導出された判定結果の比較を容易に実施することができる。これにより、評価モデルの選択精度を向上させることが可能となる。
　特に、第２発明によれば、評価モデルは、それぞれ異なる機械学習の条件により生成された２以上の学習済みモデルを含む。このため、２以上のＡＩサービスシステムの比較をする場合、データベースを参照することで、ＡＩサービスシステムの利用料を発生させずに最適なＡＩサービスモデルを選択することができる。これにより、評価に必要な費用を抑制することが可能となる。
　特に、第３発明によれば、評価モデルは、人間によってテストデータを判定するヒューマンモデルを含む。このため、学習済みモデルのような機械的処理と、人的処理との比較を定量的に行うことができる。これにより、多角的な観点によって、評価対象の情報に適した評価モデルを選択することが可能となる。
　特に、第４発明によれば、テストデータは、評価モデルによって処理が実行される作業工程に関する作業情報を含む。このため、学習方法により生成されたデータベースを参照し、評価対象データに含まれる作業情報を評価することで、作業情報に適した機械的処理又は人的処理を選択することができる。これにより、従来人的処理により行っていた作業工程を、機械的処理に変更するか否かの定量的評価を図ることが可能となる。
　特に、第５発明によれば、選択部は、評価対象データに対する第１参照データを選択する。このため、第１参照データの有する識別情報により、評価対象データに適した評価モデルの選択を実現することが可能となる。
　特に、第６発明によれば、評価部は、第１識別評価情報に紐づく第１評価モデルを用いて、評価対象データを評価する。このため、評価対象データに適した評価モデルによる評価を、円滑に実現することが可能となる。
　特に、第７発明によれば、選択部は、複数の作業情報のそれぞれに対する複数の第２参照データを選択する。このため、作業情報毎に適した機械的処理又は人的処理を、それぞれ選択することができる。これにより、従来人的処理により行っていた作業工程を、機械的処理に変更するか否かの定量的評価を実現することが可能となる。
　特に、第８発明によれば、出力部は、複数の作業情報と、複数の作業情報のそれぞれに対して選択された第２参照データに対応する評価モデルと、の関係を出力する。このため、各作業情報に適した評価モデルを、ユーザ等に報知することが可能となる。
　第９発明、第１０発明によれば、複数のテストデータと、複数の参照データとの間における連関度が記憶されたデータベースを備える。参照データは、判定結果を導出した評価モデルに関する識別情報を有する。選択手段は、複数の作業情報のそれぞれに対する第２参照データを選択する。このため、第２参照データの有する識別情報により、各作業情報に適した評価モデルを選択することができる。これにより、短時間で評価モデルを選択することが可能となる。
　また、第９発明、第１０発明によれば、選択手段は、複数の作業情報のそれぞれに対する複数の第２参照データを選択する。このため、作業情報毎に適した機械的処理又は人的処理を、それぞれ選択することができる。これにより、従来人的処理により行っていた作業工程を、機械的処理に変更するか否かの定量的評価を実現することが可能となる。
図１は、第１実施形態における評価システムの一例を示す模式図である。 図２は、第１実施形態における評価システムの動作の一例を示す模式図である。 図３（ａ）は、データベースの一例を示す模式図であり、図３（ｂ）は、データベースの第１変形例を示す模式図である。 図４（ａ）及び図４（ｂ）は、第１実施形態における学習方法の一例を示す模式図である。 図５は、データベースの他の例を示す模式図である。 図６（ａ）は、第１実施形態における評価装置の構成の一例を示す模式図であり、図６（ｂ）は、第１実施形態における評価装置の機能の一例を示す模式図である。 図７（ａ）は、第１実施形態における学習方法の一例を示すフローチャートであり、図７（ｂ）は、第１実施形態における評価システムの動作の一例を示すフローチャートである。 図８（ａ）は、第２実施形態における評価システムの動作の一例を示す模式図であり、図８（ｂ）及び図８（ｃ）は、第２実施形態における学習方法の一例を示す模式図である。 図９は、第２実施形態における評価システムの動作の一例を示すフローチャートである。
　以下、本発明を適用した実施形態における学習方法、評価装置、及び評価システムの一例について、図面を参照しながら説明する。
（第１実施形態）
　図１～図４を参照して、第１実施形態における評価システム１００、学習方法、及び評価装置１の一例について説明する。図１は、本実施形態における評価システム１００の一例を示す模式図である。図２は、本実施形態における評価システム１００の動作の一例を示す模式図である。図３は、データベースの例を示す模式図である。図４は、本実施形態における学習方法の一例を示す模式図である。
　＜評価システム１００＞
　評価システム１００は、テストデータを用いた機械学習により生成されたデータベースを参照し、評価対象データを評価するために用いられる。評価システム１００では、例えば評価対象データの特徴に応じて、複数の評価モデルのうち評価特徴データの評価に適した評価モデルを選択することができる。
　評価システム１００は、例えば図１に示すように、評価装置１を備える。評価システム１００は、例えば端末２及びサーバ３の少なくとも何れかを備えてもよい。評価装置１は、例えば通信網４を介して端末２やサーバ３と接続される。
　評価システム１００では、例えば図２に示すように、評価装置１が評価対象データを取得する。評価装置１は、データベースを参照し、評価対象データに対する参照データ（第１参照データ）を選択する。第１参照データは、評価モデルに関する識別情報を有する。このため、第１参照データを参照することで、評価対象データに適した評価モデル（第１評価モデル）を選択することができる。
　評価システム１００は、例えば選択した評価モデルを用いて、評価対象データを評価してもよい。このため、評価対象データに適した評価モデルによる評価を、円滑に実現することが可能となる。
　評価対象データは、ＡＩサービスシステム等の評価モデルによって評価（分類）可能な情報に関するデータを示す。評価対象データとして、例えば質問、課題、作業工程等に関するテキストデータや音データが用いられるほか、例えば人物等を撮像した画像データが用いられてもよい。
　例えば、質問や課題に関する評価対象データを用いた場合、評価システム１００は、評価対象データに適した評価モデルによって、例えば質問に対する回答や、課題に対する対策等を、評価結果として生成してもよい。例えば、人物を撮像した画像に関する評価対象データを用いた場合、評価システム１００は、評価対象データに適した評価モデルによって、例えば人物の性別や推定年齢等の属性情報を、評価結果として生成してもよい。
　例えば、製造工程内のオペレーション、品質管理センサの確認、定期的なメール送信等の作業工程等に関する評価対象データを用いた場合、評価システム１００は、作業工程を実施する際に適した評価モデルを選択してもよい。即ち、評価対象データは、例えば評価モデルによって処理が実行できる作業工程に関する作業情報を含んでもよい。
　評価システム１００では、例えば図３に示すように、畳み込みニューラルネットワークモデルにより生成されたデータベースが用いられてもよい。例えば図３（ａ）に示すように、例えばResNet50の畳み込み層部分を用い、出力部には全結合層を加えた学習方法により学習させてもよい。この場合、例えば全結合層では、活性化関数にLeaky ReLUを用い、出力層では、シグモイド関数を用いて正解確率を出力し、例えば最も正解確率の高い評価モデルに紐づく第１参照データを選択する。これにより、効率的かつ安定した機械学習を実現することが可能となる。なお、上述した畳み込みニューラルネットワークモデルは、例えば転移学習を用いて予め機械学習により構築されるほか、例えば全結合層と共に学習方法を用いて構築されてもよい。また、活性化関数として、上述したLeaky ReLu（ReLu関数）やシグモイド関数が用いられるほか、例えば恒等関数、ソフトマックス関数等の公知の関数が用いられてもよい。
　上記のほか、評価システム１００では、例えば図３（ｂ）に示すように、畳み込みニューラルネットワークモデル（例えばResNet50）を評価モデル毎に用い、各評価モデルに対する正解確率を出力するようにしてもよい。この場合、図３（ａ）に示したデータベースに比べて、精度の向上を図ることが可能となる。なお、上述したResNet50の代わりに、例えばVGG16、InceptionV3、DenseNet、InceptionResNetV2等が用いられてもよい。
　＜学習方法の例＞
　学習方法は、例えば図４（ａ）及び図４（ｂ）に示すように、テストデータを用いた機械学習により、データベースを生成する。学習方法は、例えば評価装置１を用いて行うほか、端末２等のような公知の電子機器を用いて行うことができる。
　学習方法は、例えば図４（ａ）に示すように、テストデータと、参照データとを一対の学習データとして、複数の学習データを用いた機械学習を行う。これにより、データベースが生成される。学習方法の詳細については、後述する。
　テストデータは、上述した評価対象データと同種のデータを示す。学習方法に用いる複数のテストデータとして、例えば複数種類の内容を示すテキストデータが用いられるほか、テキストデータ及び画像データを混合したデータが用いられてもよい。
　参照データは、例えば図４（ｂ）に示すように、テストデータに基づき生成される。参照データは、評価装置１により生成されるほか、例えば端末２等のような公知の電子機器を用いて生成されてもよい。
　例えば評価装置１等は、複数のテストデータを取得する。評価装置１等は、複数の評価モデルを参照し、１つのテストデータに対して評価モデル毎に判定結果を導出する。即ち、判定結果として、テストデータの数に評価モデルの数を乗算した数が導出される。このため、同一のテストデータに対して評価モデル毎に異なる判定結果を得ることができ、利用する評価モデル毎の特徴を明確にすることができる。その後、判定結果に基づく参照データを生成する。
　参照データは、判定結果を導出した評価モデルに関する識別情報を有する。参照データは、例えば判定結果に対して付与された正否結果、判定精度、及び判定に費やした時間の少なくとも何れかを有するほか、判定結果を有してもよい。正否結果、及び判定精度は、任意の公知技術を用いて取得することができ、例えばテストデータに対する正解や閾値等を、予め評価装置１等に記憶させておくことで実現してもよく、例えば人的に付与された判定結果に対する正否結果等に関するデータを、評価装置１等が取得してもよい。
　評価モデルは、評価対象データに対して評価結果を導出できる処理手段やアルゴリズムを示し、例えば機械学習により生成された学習済みモデル（分類器以外での学習器）を含む。学習済みモデルが複数存在する場合、複数の学習済みモデルは、例えばそれぞれ異なる機械学習の条件により生成された２以上の学習済みモデルを含む。評価モデルとして、例えば公知のＡＩサービスシステムが用いられ、例えば「IBM Watson Visual Recognition」、「Microsoft Face API」、「Amazon Recognition」等が用いられるほか、例えば深層学習モデルを含む公知の学習器が用いられてもよい。
　評価モデルは、例えば人間によって評価対象データに対して評価結果を導出するヒューマンモデルを含んでもよい。ヒューマンモデルは、例えば評価者によって評価対象データの内容を判断又は演算等を行うことを示し、ヒューマンモデルが評価モデルに含まれることで、機械的処理と、人的処理との比較を定量的に行うことができる。評価モデルにヒューマンモデルが含まれる場合、参照データを生成する評価装置１等は、例えばテストデータに対する判定結果を取得し、参照データを生成する。
　学習方法により用いられる機械学習として、畳み込みニューラルネットワーク等の深層学習が用いられるほか、例えばランダムフォレストや、ＳＶＭ（Support Vector Machine）等のような公知の技術（例えば教師あり機械学習）が用いられてもよい。学習方法により生成されたデータベースには、複数のテストデータと、複数の参照データとの間における連関性が記憶される。
　例えば連関性は、多対多の情報（複数のテストデータ、対、複数の参照データ）の間における繋がりの度合いにより構築される。連関性は、機械学習の過程で適宜更新され、例えば複数のテストデータ、及び複数の参照データに基づいて最適化された関数（分類器）を示す。なお、連関性は、例えば各データの間における繋がりの度合いを示す複数の連関度を有してもよい。連関度は、例えばデータベースがニューラルネットワークで構築される場合、重み変数に対応させることができる。
　このため、評価システム１００では、テストデータの判定した結果を全て踏まえた連関性を用いて、評価対象データに適した参照データ（評価モデル）を選択する。これにより、評価対象データが、テストデータと同一又は類似である場合のほか、非類似である場合においても、適した評価モデルを定量的に選択することができる。なお、機械学習を行う際に汎化能力を高めることで、未知の評価対象データに対する評価精度の向上を図ることができる。
　連関性は、例えば図５に示すように、複数のテストデータと、複数の参照データとの間における繋がりの度合いを示してもよい。この場合、連関性を用いることで、複数のテストデータ（図５では「テストＡ」～「テストＣ」）のそれぞれに対し、複数の参照データ（図５では「参照Ａ」～「参照Ｃ」）の関係の度合いを紐づけて記憶させることができる。このため、例えば連関性を介して、１つのテストデータに対して、複数の参照データを紐づけることができる。これにより、評価対象データに対して多角的な参照データの選択や評価を実現することができる。
　連関性は、各テストデータと、各参照データとをそれぞれ紐づける複数の連関度を有する。連関度は、例えば百分率、１０段階、又は５段階等の３段階以上で示され、例えば線の特徴（例えば太さ等）で示される。例えば、テストデータに含まれる「テストＡ」は、参照データに含まれる「参照Ａ」との間の連関度ＡＡ「７３％」を示し、参照データに含まれる「参照Ｂ」との間の連関度ＡＢ「１２％」を示す。すなわち、「連関度」は、各データ間における繋がりの度合いを示しており、例えば連関度が高いほど、各データの繋がりが強いことを示す。
　＜評価装置１＞
　次に、図６を参照して、本実施形態における評価装置１の一例を説明する。図６（ａ）は、本実施形態における評価装置１の構成の一例を示す模式図であり、図６（ｂ）は、本実施形態における評価装置１の機能の一例を示す模式図である。
　評価装置１として、例えばラップトップ（ノート）ＰＣ又はデスクトップＰＣ等の電子機器が用いられる。評価装置１は、例えば図６（ａ）に示すように、筐体１０と、ＣＰＵ（Central Processing Unit）１０１と、ＲＯＭ（Read Only Memory）１０２と、ＲＡＭ（Random Access Memory）１０３と、保存部１０４と、Ｉ／Ｆ１０５～１０７とを備える。各構成１０１～１０７は、内部バス１１０により接続される。
　ＣＰＵ１０１は、評価装置１全体を制御する。ＲＯＭ１０２は、ＣＰＵ１０１の動作コードを格納する。ＲＡＭ１０３は、ＣＰＵ１０１の動作時に使用される作業領域である。保存部１０４は、データベースや評価対象データ等の各種情報が記憶される。保存部１０４として、例えばＨＤＤ（Hard Disk Drive）のほか、ＳＳＤ（Solid State Drive）等のデータ保存装置が用いられる。なお、例えば評価装置１は、図示しないＧＰＵ（Graphics Processing Unit）を有してもよい。
　Ｉ／Ｆ１０５は、通信網４を介して、必要に応じて端末２、サーバ３、ウェブサイト等との各種情報の送受信を行うためのインターフェースである。Ｉ／Ｆ１０６は、入力部１０８との情報の送受信を行うためのインターフェースである。入力部１０８として、例えばキーボードが用いられ、評価装置１の使用者等は、入力部１０８を介して、各種情報、又は評価装置１の制御コマンド等を入力する。Ｉ／Ｆ１０７は、表示部１０９との各種情報の送受信を行うためのインターフェースである。表示部１０９は、保存部１０４に保存された各種情報、又は評価結果等を表示する。表示部１０９として、ディスプレイが用いられ、例えばタッチパネル式の場合、入力部１０８と一体に設けられる。
　図６（ｂ）は、評価装置１の機能の一例を示す模式図である。評価装置１は、取得部１１と、選択部１２と、評価部１３と、出力部１４と、記憶部１５とを備え、例えば学習部１６を有してもよい。なお、図６（ｂ）に示した各機能は、ＣＰＵ１０１が、ＲＡＭ１０３を作業領域として、保存部１０４等に記憶されたプログラムを実行することにより実現され、例えば人工知能等により制御されてもよい。
　＜＜取得部１１＞＞
　取得部１１は、評価対象データを取得する。取得部１１は、例えば入力部１０８から入力された評価対象データを取得するほか、例えば通信網４を介して端末２等から評価対象データを取得してもよい。
　例えば評価装置１を用いて学習方法を行う場合、取得部１１は、複数の評価モデルによって予め導出されたテストデータに対する複数の判定結果と、複数のテストデータとを取得する。なお、例えば評価装置１を用いて、テストデータに対する判定結果を導出する処理を行うことで、複数の判定結果を取得してもよい。
　＜＜選択部１２＞＞
　選択部１２は、データベースを参照し、複数の参照データのうち、評価対象データに対する参照データ（例えば第１参照データ）を選択する。選択部１２は、例えば評価対象データに対し、連関性の最も高い参照データを、第１参照データとして選択するほか、例えば予め設定された閾値以上の連関度を有する複数の参照データを、第１参照データとして選択してもよい。
　例えば図５のデータベースを参照した場合、選択部１２は、評価対象データと同一又は類似するテストデータ（例えば「テストＡ」：第１テストデータとする）を選択する。選択されるテストデータとして、評価対象データと一部一致又は完全一致するテストデータが選択されるほか、例えば評価対象データと類似するテストデータが選択される。なお、選択される類似度の度合い、及び選択されるテストデータの数については、任意に設定できる。
　選択部１２は、選択した第１テストデータに紐づく参照データのうち、例えば最も連関度の高い参照データ（例えば「参照Ａ」：第１参照データとする）を選択するほか、例えば閾値（例えば３０％）以上の連関度を有する参照データ（例えば「参照Ａ」（連関度ＡＡ（７３％）））、及び「参照Ｃ」（連関度ＡＣ（３３％））を、第１参照データとして選択してもよい。
　＜＜評価部１３＞＞
　評価部１３は、例えば第１参照データの有する識別情報（例えば図２に示す「モデルＡ」：第１識別情報とする）に基づき、複数の評価モデルのうち第１識別情報に紐づく評価モデル（例えば図２に示す「評価モデルＡ」：第１評価モデルとする）を用いて、評価対象データを評価する。評価部１３は、例えば第１評価モデルとして複数の評価モデルを用い、それぞれの評価モデルによって評価対象データを評価してもよい。
　＜＜出力部１４＞＞
　出力部１４は、評価対象データに対する評価結果を出力する。出力部１４は、例えば評価対象データに対して選択された第１参照データを出力してもよい。
　出力部１４は、例えば保存部１０４に予め記憶された表示用のフォーマットを用いて、評価結果を使用者等が理解できる文字列等に変換した評価結果情報を生成し、出力する。出力部１４は、Ｉ／Ｆ１０７を介して表示部１０９に評価結果情報を送信するほか、例えばＩ／Ｆ１０５を介して、端末２等に評価結果情報を送信する。
　＜＜記憶部１５＞＞
　記憶部１５は、保存部１０４に保存されたデータベース等の各種データを必要に応じて取出す。記憶部１５は、各構成１１～１４、１６により取得又は生成された各種データを、必要に応じて保存部１０４に保存する。
　＜＜学習部１６＞＞
　学習部１６は、例えばテストデータと、判定結果に基づく参照データと、を一対の学習データとして、複数の学習データを用いた機械学習によりデータベースを生成する。機械学習には、例えば上述した畳み込みニューラルネットワーク等が用いられる。
　学習部１６は、例えば取得部１１により取得された判定結果に基づき、参照データを生成してもよい。学習部１６は、例えば判定結果を導出した評価モデルに関する識別情報を有する参照データを生成する。識別情報は、例えば評価モデルに紐づく識別情報リスト等を予め保存部１０４に記憶させておき、必要に応じてリスト等を参照して生成されてもよく、予め判定結果に含まれるように設定してもよい。
　学習部１６は、例えば判定結果に対して、正否結果、判定精度、及び判定に費やした時間の少なくとも何れかを算出し、それらを有する参照データを生成してもよい。正否結果、及び判定精度は、例えばテストデータに対する正解や閾値等を予め保存部１０４に記憶させておき、必要に応じて正解等を参照して生成されてもよい。
　＜端末２＞
　端末２は、例えば評価システム１００を用いたサービスのユーザ等が保有し、通信網４を介して評価装置１と接続される。端末２は、例えばデータベースを生成する電子機器を示してもよい。端末２は、例えばパーソナルコンピュータや、タブレット端末等の電子機器が用いられる。端末２は、例えば評価装置１の備える機能のうち、少なくとも一部の機能を備えてもよい。
　＜サーバ３＞
　サーバ３は、通信網４を介して評価装置１と接続される。サーバ３は、過去の各種データ等が記憶され、必要に応じて評価装置１から各種データが送信される。サーバ３は、例えば評価装置１の備える機能のうち、少なくとも一部の機能を備えてもよく、例えば評価装置１の代わりに少なくとも一部の処理を行ってもよい。サーバ３は、例えば評価装置１の保存部１０４に記憶された各種データのうち少なくとも一部が記憶され、例えば保存部１０４の代わりに用いられてもよい。
　＜通信網４＞
　通信網４は、例えば評価装置１が通信回路を介して接続されるインターネット網等である。通信網４は、いわゆる光ファイバ通信網で構成されてもよい。また、通信網４は、有線通信網のほか、無線通信網等の公知の通信技術で実現してもよい。
（第１実施形態：学習方法）
　次に、本実施形態における学習方法の一例について説明する。図７（ａ）は、本実施形態における学習方法の一例を示すフローチャートである。
　学習方法は、取得ステップＳ１１０と、学習ステップＳ１２０とを備える。学習方法は、例えば導出ステップＳ１００を備えてもよい。
　＜導出ステップＳ１００＞
　導出ステップＳ１００は、例えば複数の評価モデルによって、テストデータに対する複数の判定結果を導出する。取得部１１は、例えば複数のテストデータを取得する。
　例えば複数の評価モデルが公知のＡＩサービスシステムを含む場合、取得部１１は、通信網４を介してテストデータをＡＩサービスシステムのウェブサイト等に送信する。これにより、ＡＩサービスシステムによって、テストデータに対する判定結果が導出される。
　例えば複数の評価モデルが保存部１０４に保存されている場合、取得部１１は、記憶部１５を介して評価モデルを取得する。これにより、取得部１１は、評価モデルを参照し、テストデータに対する判定結果を導出できる。
　例えば複数の評価モデルがヒューマンモデルを含む場合、取得部１１は、表示部１０９を介してテストデータを表示する。これにより、人間によって、テストデータに対する判定結果が導出される。
　＜取得ステップＳ１１０＞
　取得ステップＳ１１０は、テストデータに対する複数の判定結果を取得する。判定結果は、例えば上述した導出ステップＳ１００等において、予め複数の評価モデルによって導出される。取得部１１は、１つのテストデータに対する複数の判定結果を１組として、複数組取得する。
　例えば複数の評価モデルが公知のＡＩサービスシステムを含む場合、取得部１１は、通信網４を介して判定結果をＡＩサービスシステムのウェブサイト等から取得する。
　例えば複数の評価モデルがヒューマンモデルを含む場合、取得部１１は、入力部１０８等を介して人間により入力された判定結果を取得する。
　＜学習ステップＳ１２０＞
　学習ステップＳ１２０は、テストデータと、判定結果に基づく参照データと、を一対の学習データとして、複数の学習データを用いた機械学習によりデータベースを生成する。学習部１６は、例えば畳み込みニューラルネットワークを用いた機械学習により、データベースを生成する。
　学習部１６は、例えば取得ステップＳ１１０により取得された判定結果に基づき、参照データを生成する。学習部１６は、例えば１つ以上の判定結果に対して１つ以上の参照データを生成する。
　これにより、本実施形態における学習方法が終了する。なお、上記では評価装置１を用いて学習方法を行う場合について説明したが、例えば各ステップＳ１００、Ｓ１１０、Ｓ１２０のうち、少なくとも一部において端末２等を用いて行ってもよい。
（第１実施形態：評価システム１００の動作）
　次に、本実施形態における評価システム１００の動作の一例について説明する。図７（ｂ）は、本実施形態における評価システム１００の動作の一例を示すフローチャートである。
　評価システム１００は、取得手段Ｓ２１０と、選択手段Ｓ２２０とを備える。評価システム１００は、例えば評価手段Ｓ２３０を備えてもよい。
　＜取得手段Ｓ２１０＞
　取得手段Ｓ２１０は、評価対象データを取得する。取得部１１は、例えば入力部１０８を介して、使用者等が入力した評価対象データを取得するほか、例えば通信網４を介して、端末２等から評価対象データを取得する。取得部１１は、例えば記憶部１５を介して、取得した評価対象データを保存部１０４に保存してもよい。
　＜選択手段Ｓ２２０＞
　選択手段Ｓ２２０は、データベースを参照し、複数の参照データのうち、評価対象データに対する第１参照データを選択する。選択部１２は、例えば記憶部１５を介して、保存部１０４に保存されたデータベースを取得する。選択部１２は、データベースを参照し、例えば評価対象データに対して最も連関度の高い参照データを、第１参照データとして選択する。上記のほか、例えば選択部１２は、予め設定された閾値以上の連関度に紐づく１以上の参照データを、第１参照データとして選択してもよい。
　選択部１２は、例えば複数の参照データを、第１参照データとして選択してもよい。この場合、例えば評価モデル毎に紐づく参照データを選択するように設定することで、各評価モデルが評価対象データを評価した場合に想定される評価精度等を、取得することができる。これにより、評価モデル毎の比較を容易に実施することが可能となる。
　第１参照データを選択したあと、例えば出力部１４は、表示部１０９や端末２等に第１参照データを出力してもよい。また、例えば出力部１４は、参照データの有する識別情報に基づき、評価モデルに対する推定評価結果として、第１参照データの有する判定結果や正否結果等を出力してもよい。
　＜評価手段Ｓ２３０＞
　評価手段Ｓ２３０では、例えば評価部１３は、第１参照データの有する第１識別情報に基づき、複数の評価モデルのうち第１識別情報に紐づく第１評価モデルを用いて、評価対象データを評価する。
　例えば第１評価モデルが公知のＡＩサービスシステムを含む場合、評価部１３は、通信網４を介してテストデータをＡＩサービスシステムのウェブサイト等に送信する。その後、ＡＩサービスシステムにより導出された評価対象データに対する評価結果を取得する。これにより、ＡＩサービスシステムによって、評価対象データに対する評価結果が得られる。
　例えば第１評価モデルが保存部１０４に保存されている場合、評価部１３は、記憶部１５を介して評価モデルを取得する。これにより、評価部１３は、評価モデルを参照し、評価対象データに対する評価結果が得られる。
　例えば第１評価モデルがヒューマンモデルを含む場合、評価部１３は、表示部１０９を介して評価対象データを表示する。その後、人間によって導出された評価対象データに対する評価結果を、入力部１０８等を介して取得する。これにより、ヒューマンモデルによって、評価対象データに対する評価結果が得られる。
　評価結果を得た後、例えば出力部１４は、表示部１０９や端末２等に評価結果を出力してもよい。
　これにより、本実施形態における評価システム１００の動作が終了する。
　本実施形態における学習方法によれば、複数の学習データを用いた機械学習により、複数のテストデータと、複数の参照データとの間における連関性が記憶されたデータベースを生成する学習ステップＳ１２０を備える。参照データは、判定結果を導出した評価モデルに関する識別情報を有する。このため、学習方法により生成されたデータベースを参照し、評価対象の情報（評価対象データ）を評価することで、評価対象の情報の特徴に適した評価モデルを選択することができる。これにより、短時間で評価モデルを選択することが可能となる。
　また、本実施形態における学習方法によれば、評価モデルは、それぞれ異なる機械学習の条件により生成された２以上の学習済みモデルを含む。このため、２以上のＡＩサービスシステムの比較をする場合、データベースを参照することで、ＡＩサービスシステムの利用料を発生させずに最適なＡＩサービスモデルを選択することができる。これにより、評価に必要な費用を抑制することが可能となる。
　また、本実施形態における学習方法によれば、参照データは、判定結果に対して付与された正否結果、判定精度、及び判定に費やした時間の少なくとも何れかを有する。このため、複数の評価モデルにより導出された判定結果の比較を容易に実施することができる。これにより、評価モデルの選択精度を向上させることが可能となる。
　また、本実施形態における学習方法によれば、評価モデルは、人間によってテストデータを判定するヒューマンモデルを含む。このため、学習済みモデルのような機械的処理と、人的処理との比較を定量的に行うことができる。これにより、多角的な観点によって、評価対象の情報に適した評価モデルを選択することが可能となる。
　また、本実施形態における学習方法によれば、テストデータは、評価モデルによって処理が実行される作業工程に関する作業情報を含む。このため、学習方法により生成されたデータベースを参照し、評価対象データに含まれる作業情報を評価することで、作業情報に適した機械的処理又は人的処理を選択することができる。これにより、従来人的処理により行っていた作業工程を、機械的処理に変更するか否かの定量的評価を図ることが可能となる。
　本実施形態における評価装置１によれば、選択部１２は、評価対象データに対する第１参照データを選択する。このため、第１参照データの有する識別情報により、評価対象データに適した評価モデルの選択を実現することが可能となる。
　また、本実施形態における評価装置１によれば、評価部１３は、第１識別評価情報に紐づく第１評価モデルを用いて、評価対象データを評価する。このため、評価対象データに適した評価モデルによる評価を、円滑に実現することが可能となる。
　本実施形態における評価システム１００によれば、複数のテストデータと、複数の参照データとの間における連関度が記憶されたデータベースを備える。参照データは、判定結果を導出した評価モデルに関する識別情報を有する。選択手段Ｓ２２０は、評価対象データに対する第１参照データを選択する。このため、第１参照データの有する識別情報により、評価対象データに適した評価モデルを選択することができる。これにより、短時間で評価モデルを選択することが可能となる。
（第２実施形態）
　次に、図８を参照して、第２実施形態における評価システム１００、学習方法、及び評価装置１の一例について説明する。図８（ａ）は、本実施形態における評価システム１００の動作の一例を示す模式図であり、図８（ｂ）及び図８（ｃ）は、本実施形態における学習方法の一例を示す模式図である。
　第２実施形態と、第１実施形態との違いは、評価対象データが、作業処理に関する作業情報を複数含む点である。なお、第１実施形態と同様の構成については、説明を省略する。
　本実施形態における評価システム１００では、例えば図８（ａ）に示すように、評価対象データが、複数の作業情報を含む（例えば「〇〇作業」、「××作業」等）。評価システム１００では、作業情報毎に、最適な評価モデルを選択することができる。
　特に、評価システム１００では、複数の評価モデルが、機械学習により生成された学習済みモデル、及びヒューマンモデルを含む。このため、作業情報毎に適した機械的処理又は人的処理を、それぞれ選択することができる。
　本実施形態における学習方法は、例えば図８（ｂ）及び図８（ｃ）に示すように、テストデータが、１つ以上の作業情報を含む。このため、参照データには、作業情報に対する評価モデルの適正を判断できる指標を含ませることができる。なお、本実施形態における学習方法は、上述した各ステップと同様の内容によって行うことができる。
（第２実施形態：評価システム１００の動作）
　次に、本実施形態における評価システム１００の動作の一例について説明する。図９は、本実施形態における評価システム１００の一例を示すフローチャートである。
　評価システム１００は、取得手段Ｓ２１１と、選択手段Ｓ２２１と、出力手段Ｓ２４０とを備える。
　＜取得手段Ｓ２１１＞
　取得手段Ｓ２１１は、上述した取得手段Ｓ２１０と同様の内容によって行うことができるほか、例えば取得部１１は、複数の作業情報を取得したあと、１つの評価対象データとして取得してもよい。
　＜選択手段Ｓ２２１＞
　選択手段Ｓ２２１は、データベースを参照し、参照データのうち、複数の作業情報のそれぞれに対する複数の参照データ（例えば第２参照データ）を選択する。選択部１２は、例えば評価データに含まれる複数の作業情報毎に、データベースを参照して第２参照データを選択する。このため、各作業情報に対する第２参照データが、それぞれ独立に選択される。
　なお、例えば選択部１２は、１つの作業情報に対して複数の参照データを、１つの第２参照データとして選択してもよい。この場合、例えば１つの作業情報に対し、評価モデル毎の評価精度等を取得することができる。
　＜出力手段Ｓ２４０＞
　出力手段Ｓ２４０は、複数の作業情報と、作業情報に対して選択された第２参照データに対応する評価モデルと、の関係を出力する。出力部１４は、例えば作業情報に対して評価モデルを紐づけた内容に関する情報を出力するほか、例えば複数の作業情報を行、複数の評価モデルを列としたテーブルに、各作業情報に対する評価モデルの評価精度や連関度を示す情報を出力してもよい。
　これにより、本実施形態における評価システム１００の動作が終了する。なお、本実施形態における評価システム１００は、例えば選択手段Ｓ２２１として上述した選択手段Ｓ２２０を実施してもよく、例えば上述した評価手段Ｓ２３０を実施してもよい。
　本実施形態における評価装置１によれば、上述した実施形態の効果に加え、選択部１２は、複数の作業情報のそれぞれに対する複数の第２参照データを選択する。このため、作業情報毎に適した機械的処理又は人的処理を、それぞれ選択することができる。これにより、従来人的処理により行っていた作業工程を、機械的処理に変更するか否かの定量的評価を実現することが可能となる。
　また、本実施形態における評価装置１によれば、出力部１４は、複数の作業情報と、複数の作業情報のそれぞれに対して選択された第２参照データに対応する評価モデルと、の関係を出力する。このため、各作業情報に適した評価モデルを、ユーザ等に報知することが可能となる。
　本実施形態における評価システム１００によれば、上述した実施形態の効果に加え、複数のテストデータと、複数の参照データとの間における連関度が記憶されたデータベースを備える。参照データは、判定結果を導出した評価モデルに関する識別情報を有する。選択手段Ｓ２２１は、複数の作業情報のそれぞれに対する第２参照データを選択する。このため、第２参照データの有する識別情報により、各作業情報に適した評価モデルを選択することができる。これにより、短時間で評価モデルを選択することが可能となる。
　また、本実施形態における評価システム１００によれば、選択手段Ｓ２２１は、複数の作業情報のそれぞれに対する複数の第２参照データを選択する。このため、作業情報毎に適した機械的処理又は人的処理を、それぞれ選択することができる。これにより、従来人的処理により行っていた作業工程を、機械的処理に変更するか否かの定量的評価を実現することが可能となる。
　本発明の実施形態を説明したが、この実施形態は例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
１　　　　：評価装置
２　　　　：端末
３　　　　：サーバ
４　　　　：通信網
１０　　　：筐体
１１　　　：取得部
１２　　　：選択部
１３　　　：評価部
１４　　　：出力部
１５　　　：記憶部
１６　　　：学習部
１００　　：評価システム
１０１　　：ＣＰＵ
１０２　　：ＲＯＭ
１０３　　：ＲＡＭ
１０４　　：保存部
１０５　　：Ｉ／Ｆ
１０６　　：Ｉ／Ｆ
１０７　　：Ｉ／Ｆ
１０８　　：入力部
１０９　　：表示部
１１０　　：内部バス
Ｓ１００　：導出ステップ
Ｓ１１０　：取得ステップ
Ｓ１２０　：学習ステップ
Ｓ２１０　：取得手段
Ｓ２２０　：選択手段
Ｓ２３０　：評価手段
Ｓ２４０　：出力手段

Claims (10)

  1. 　テストデータを用いた機械学習によりデータベースを生成する学習方法であって、
    　複数の評価モデルによって予め導出された前記テストデータに対する複数の判定結果を、取得する取得ステップと、
    　前記テストデータと、前記判定結果に基づく参照データと、を一対の学習データとして、複数の前記学習データを用いた機械学習により、複数の前記テストデータと、複数の前記参照データとの間における連関性が記憶されたデータベースを生成する学習ステップと
    　を備え、
    　前記参照データは、前記判定結果を導出した前記評価モデルに関する識別情報を有し、
    　前記参照データは、前記判定結果に対して付与された正否結果、判定精度、及び判定に費やした時間の少なくとも何れかを有すること
    　を特徴とする学習方法。
  2. 　複数の前記評価モデルは、それぞれ異なる機械学習の条件により生成された２以上の学習済みモデルを含むこと
    　を特徴とする請求項１記載の学習方法。
  3. 　複数の前記評価モデルは、人間によって前記テストデータを判定するヒューマンモデルを更に含むこと
    　を特徴とする請求項１記載の学習方法。
  4. 　前記テストデータは、前記評価モデルによって処理が実行される作業工程に関する作業情報を含むこと
    　を特徴とする請求項３記載の学習方法。
  5. 　請求項１記載の学習方法により生成された前記データベースを参照し、評価対象データを評価する評価装置であって、
    　前記評価対象データを取得する取得部と、
    　前記データベースを参照し、複数の前記参照データのうち、前記評価対象データに対する第１参照データを選択する選択部と
    　を備えることを特徴とする評価装置。
  6. 　前記第１参照データの有する第１識別情報に基づき、複数の前記評価モデルのうち前記第１識別情報に紐づく第１評価モデルを用いて、前記評価対象データを評価する評価部を更に備えること
    　を特徴とする請求項５記載の評価装置。
  7. 　請求項３記載の学習方法により生成された前記データベースを参照し、評価対象データを評価する評価装置であって、
    　前記評価モデルによって処理が実行される作業工程に関する作業情報を複数含む前記評価対象データを取得する取得部と、
    　前記データベースを参照し、複数の前記参照データのうち、複数の前記作業情報のそれぞれに対する複数の第２参照データを選択する選択部と
    　を備えることを特徴とする評価装置。
  8. 　複数の前記作業情報と、複数の前記作業情報のそれぞれに対して選択された前記第２参照データに対応する前記評価モデルと、の関係を出力する出力部を更に備えること
    　を特徴とする請求項７記載の評価装置。
  9. 　テストデータを用いた機械学習により生成されたデータベースを参照し、評価対象データを評価する評価システムであって、
    　評価モデルによって処理が実行される作業工程に関する作業情報を複数含む前記評価対象データを取得する取得手段と、
    　　予め取得された複数のテストデータと、
    　　複数の前記評価モデルによって予め導出された１つの前記テストデータに対する判定結果に基づく複数の参照データと、
    　の間における連関性が記憶されたデータベースと、
    　前記データベースを参照し、複数の前記参照データのうち、複数の前記作業情報のそれぞれに対する複数の第２参照データを選択する選択手段と
    　を備え、
    　複数の前記評価モデルは、機械学習により生成された学習済みモデル、及び人間によって前記テストデータを判定するヒューマンモデルを含み、
    　前記参照データは、前記判定結果を導出した前記評価モデルに関する識別情報を有すること
    　を特徴とする評価システム。
  10. 　複数の前記作業情報と、前記作業情報に対して選択された前記第２参照データに対応する前記評価モデルと、の関係を出力する出力手段を更に備えること
    　を特徴とする請求項９記載の評価システム。
PCT/JP2020/035187 2019-11-12 2020-09-17 学習方法、評価装置、及び評価システム WO2021095358A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019204671A JP6751955B1 (ja) 2019-11-12 2019-11-12 学習方法、評価装置、及び評価システム
JP2019-204671 2019-11-12

Publications (1)

Publication Number Publication Date
WO2021095358A1 true WO2021095358A1 (ja) 2021-05-20

Family

ID=72333493

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/035187 WO2021095358A1 (ja) 2019-11-12 2020-09-17 学習方法、評価装置、及び評価システム

Country Status (2)

Country Link
JP (1) JP6751955B1 (ja)
WO (1) WO2021095358A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220129675A1 (en) * 2020-10-27 2022-04-28 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and non-transitory computer-readable storage medium

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019003603A (ja) * 2017-04-10 2019-01-10 株式会社クロスコンパス 人工知能モジュール開発方法、人工知能モジュール開発システム及び人工知能モジュール開発統合システム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7046637B2 (ja) * 2018-02-16 2022-04-04 株式会社三菱総合研究所 飲料の特性予測方法、特性予測プログラムおよび特性予測装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019003603A (ja) * 2017-04-10 2019-01-10 株式会社クロスコンパス 人工知能モジュール開発方法、人工知能モジュール開発システム及び人工知能モジュール開発統合システム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
DOAN TRI, KALITA JUGAL: "Selecting machine learning algorithms using regression models", 2015 IEEE INTERNATIONAL CONFERENCE ON DATA MINING WORKSHOP (ICDMW, 27 November 2015 (2015-11-27), pages 1498 - 1505, XP032859347 *
EGASHIRA, YUSUKE ET AL.: "Selection of Answer Generation Module Using Reinforcement Learning in Chat Dialogue Systems", PROCEEDINGS OF THE 18TH ANNUAL MEETING OF THE NATURAL LANGUAGE PROCESSING SOCIETY, 18 March 2012 (2012-03-18) *

Also Published As

Publication number Publication date
JP2021077206A (ja) 2021-05-20
JP6751955B1 (ja) 2020-09-09

Similar Documents

Publication Publication Date Title
JP6523498B1 (ja) 学習装置、学習方法および学習プログラム
AU2013251195B2 (en) Program, apparatus, and method for information processing
JP2018517959A (ja) ビデオのための代表ビデオフレームの選択
JP5961320B2 (ja) ソーシャル・メデイアにおけるユーザの分類方法、コンピュータ・プログラム及びコンピュータ
KR102355152B1 (ko) 콘텐트 검색을 위한 방법 및 그 전자 장치
WO2019226375A1 (en) Personalized query formulation for improving searches
US11308146B2 (en) Content fragments aligned to content criteria
CN111967599B (zh) 用于训练模型的方法、装置、电子设备及可读存储介质
WO2021095358A1 (ja) 学習方法、評価装置、及び評価システム
JP2022523634A (ja) 個人向けの在庫管理のためのテキストデータの符号化
US20170046397A1 (en) Search device, search method, and non-transitory computer readable medium
JP5720579B2 (ja) 計量学習装置、計量学習方法、及び、プログラム
JP2022097381A (ja) 情報処理装置、情報処理方法および情報処理プログラム
JP6983672B2 (ja) 情報処理装置、情報処理方法、及び情報処理プログラム
JP7096093B2 (ja) 学習装置、学習方法及び学習プログラム
JP7530528B1 (ja) 情報処理方法、情報処理装置および情報処理プログラム
JP7561178B2 (ja) 学習装置、学習方法、情報処理装置、レコメンド決定方法、およびプログラム
CN111897910A (zh) 信息推送方法和装置
US12026213B1 (en) System and method for generating recommendations with cold starts
JP7081671B2 (ja) 評価プログラム、評価方法および情報処理装置
JP7041018B2 (ja) 学習装置、学習方法及び学習プログラム
RU2819647C2 (ru) Способ и система генерирования обучающих данных для алгоритма машинного обучения
US11720967B2 (en) Systems and methods for determining product roadmap investment decisions and risk assessment
US20220374706A1 (en) Information processing method, information processing apparatus, and non-transitory computer-readable storage medium
US11972358B1 (en) Contextually relevant content sharing in high-dimensional conceptual content mapping

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20888492

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20888492

Country of ref document: EP

Kind code of ref document: A1