WO2016084336A1 - 追学習装置、追学習方法、および、記憶媒体 - Google Patents

追学習装置、追学習方法、および、記憶媒体 Download PDF

Info

Publication number
WO2016084336A1
WO2016084336A1 PCT/JP2015/005717 JP2015005717W WO2016084336A1 WO 2016084336 A1 WO2016084336 A1 WO 2016084336A1 JP 2015005717 W JP2015005717 W JP 2015005717W WO 2016084336 A1 WO2016084336 A1 WO 2016084336A1
Authority
WO
WIPO (PCT)
Prior art keywords
additional
analysis result
data
label information
analysis
Prior art date
Application number
PCT/JP2015/005717
Other languages
English (en)
French (fr)
Inventor
岡崎　巧
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to JP2016561233A priority Critical patent/JP6337973B2/ja
Publication of WO2016084336A1 publication Critical patent/WO2016084336A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N99/00—Subject matter not provided for in other groups of this subclass

Definitions

  • the present invention relates to a technique for additional learning of a machine learning model.
  • the teacher data is data to which label information representing a correct answer is given in advance.
  • the teacher data is data to which label information representing a correct answer is given in advance.
  • it is necessary to perform arithmetic processing using a large amount of teacher data.
  • the practical utilization value of the machine learning system is increasing. In such a machine learning system, it is important to improve the accuracy of the machine learning model.
  • Patent Document 1 describes a technology for supporting improvement in accuracy of a machine learning model updated by additional learning.
  • additional learning refers to learning in which a machine learning model is updated using additional teacher data.
  • This related art presents the user with the comparison result of the classification result by the current model and the classification result by the new model generated by the additional learning.
  • Patent Document 2 describes a technique for performing active learning. This related art predicts unknown data to which label information has not been assigned using a machine learning model. And this related art extracts the data which should be learned next using a weighting out of a prediction result. And this related art aims at the precision improvement of a machine learning model by giving label information inputted by the user to extracted data, and performing additional learning using data to which label information was added. .
  • Patent Document 1 and Patent Document 2 have a problem that the task of causing the user to confirm data is not efficient.
  • Patent Document 1 For example, in the related art described in Patent Document 1, there is a possibility that a large amount of data may cause the classification result of the current model and the classification result of the new model to be different. Therefore, the work of the user who confirms them takes time and is not efficient. Further, the related art described in Patent Document 2 can reduce to some extent data that needs to be confirmed by the user by extracting data to be learned next based on weighting. However, this related art requires user work to add label information as many as the number of data extracted for additional learning, and the efficiency is still insufficient.
  • an object of the present invention is to provide a technique for supporting user confirmation for more data while reducing the user's task of providing label information at the time of additional learning in machine learning.
  • the additional learning device of the present invention includes additional data acquisition means for acquiring additional data for additional learning for a machine learning model, and data for analyzing the additional data using the machine learning model Analysis means, Analysis result output confirmation means for outputting analysis results by the data analysis means, and acquiring label information for at least one of the outputted analysis results, Label information obtained by the analysis result output confirmation means And at least one of reanalysis of the additional data using the machine learning model updated by the additional learning, and at least one of analysis results changed by the reanalysis.
  • Data solution so as to repeat acquisition of label information for one machine and additional learning of the machine learning model using the label information Comprising means, the analysis result output confirmation unit, and the add learning control means for controlling said add learning means.
  • additional data for additional learning to the machine learning model is acquired, the additional data is analyzed using the machine learning model, and an analysis result of the additional data is output and output.
  • the label information for at least one of the analyzed results is acquired, and the machine learning model is additionally learned using the acquired label information, and the additional data is again read using the machine learning model updated by the additional learning.
  • the analysis, the acquisition of label information for at least one of the analysis results changed by the reanalysis, and the additional learning of the machine learning model using the label information are repeated.
  • a storage medium of the present invention includes an additional data acquisition step of acquiring additional data for additional learning to a machine learning model, a data analysis step of analyzing the additional data using the machine learning model, and the data analysis An analysis result output step and an analysis result output confirmation step of acquiring label information for at least one of the output analysis results, and the machine learning model using the label information acquired in the analysis result output confirmation step Additional learning step of additional learning, reanalysis of the additional data using the machine learning model updated by the additional learning, acquisition of label information for at least one of analysis results changed by the reanalysis, And repeating the additional learning of the machine learning model using the label information; Stores programs to be executed by a computer device.
  • the present invention can provide a technique for supporting user confirmation for more data while reducing the user's task of providing label information during additional learning in machine learning.
  • FIG. 1 is a functional block diagram of a follow-up learning apparatus as a first embodiment of the present invention. It is a figure showing an example of the hardware constitutions of the additional learning device as a 1st embodiment of the present invention. It is a flowchart explaining operation
  • the additional learning device 1 includes an additional data acquisition unit 11, a data analysis unit 12, an analysis result output confirmation unit 13, an additional learning unit 14, and an additional learning control unit 15.
  • the additional learning device 1 also includes a teacher data storage unit 103 and a machine learning model storage unit 104 as storage areas of information used by the above-described functional blocks.
  • the teacher data storage unit 103 and the machine learning model storage unit 104 may not necessarily be included in the follow-up learning device 1 and may be included in an external device. In that case, each functional block of the additional learning device 1 may access the teacher data storage unit 103 or the machine learning model storage unit 104 of the external device as necessary.
  • the additional learning device 1 includes a central processing unit (CPU) 1001, a random access memory (RAM) 1002, a read only memory (ROM) 1003, a storage device 1004, an input device 1005, and an output device 1006. And.
  • the storage device 1004 may be an auxiliary storage device such as a hard disk.
  • the additional data acquisition unit 11 includes an input device 1005, a computer program stored in the ROM 1003 and the storage device 1004, and a CPU 1001 for reading various data into the RAM 1002 for execution.
  • the data analysis unit 12, the additional learning unit 14, and the additional learning control unit 15 are configured by the CPU 1001 which reads the computer program and various data stored in the ROM 1003 and the storage device 1004 into the RAM 1002 and executes them.
  • the analysis result output confirmation unit 13 includes an input device 1005, an output device 1006, and a CPU 1001 that reads a computer program and various data stored in the ROM 1003 and the storage device 1004 into the RAM 1002 and executes the same.
  • the hardware constitutions of the additional learning apparatus 1 and each function block are not limited to the above-mentioned structure.
  • the machine learning model storage unit 104 stores the learned machine learning model.
  • the machine learning model may be a model generated by machine learning based on teacher data.
  • teacher data refers to data to which label information representing a correct answer is given in advance.
  • the additional data acquisition unit 11 acquires one or more additional data.
  • the additional data is data for additional learning to which label information is not attached.
  • the additional data acquisition unit 11 may acquire additional data via the input device 1005.
  • the additional data acquisition unit 11 may acquire additional data stored in the storage device 1004.
  • the additional data acquisition unit 11 may acquire additional data received via a network interface (not shown).
  • the additional data acquisition unit 11 may acquire additional data in the location indicated by the information by acquiring information indicating the location of the additional data on the storage device 1004 or the network from the input device 1005. .
  • the data analysis unit 12 analyzes the additional data using the machine learning model stored in the machine learning model storage unit 104.
  • a machine learning model is a model that predicts classification of data
  • the data analysis unit 12 predicts the classification by analyzing additional data whose classification is unknown (also referred to as additional data to be analyzed) using a machine learning model.
  • the information obtained for the additional data by the data analysis unit 12 using the machine learning model is referred to as an analysis result by the data analysis unit 12.
  • the machine learning model is a model that predicts a classification of data
  • the classification of data predicted by the data analysis unit 12 is referred to as an analysis result.
  • the analysis result output confirmation unit 13 outputs the analysis result by the data analysis unit 12.
  • the output destination may be, for example, the output device 1006.
  • the analysis result output confirmation unit 13 may output the additional data and its analysis result as a set to the output device 1006 or the like.
  • the analysis result output confirmation unit 13 acquires label information for at least one of the analysis results by the data analysis unit 12. Further, the analysis result output check unit 13 adds the acquired label information to the additional data to be analyzed, and stores the additional data to which the label information is added in the teacher data storage unit 103 as additional teacher data. For example, when acquiring label information, the analysis result output confirmation unit 13 displays user interface components such as operation buttons and selection lists for obtaining input of correct label information related to the analysis result of additional data, along with the analysis result It may be output to the output device 1006 to be possible. In this case, next, the analysis result output confirmation unit 13 labels information for at least one additional data of the analysis results according to the operation content acquired via the input device 1005 for the output user interface component. You just need to get Such label information is typically acquired as an indication for an error in the analysis result. Indication of an error means to indicate the correct answer for the additional data to the information analyzed incorrectly for the additional data.
  • the analysis result output confirmation unit 13 acquires label information for at least one of the analysis results changed by the reanalysis.
  • the analysis result output confirmation unit 13 may output the above-described user interface component for the analysis result changed by the reanalysis.
  • the additional learning unit 14 adds and learns a machine learning model. Specifically, the additional learning unit 14 acquires, from the teacher data storage unit 103, additional data to which label information has been given. Then, the additional learning unit 14 may use the acquired information as additional teacher data, and additional learning may be performed on the machine learning model. The additional learning unit 14 updates the machine learning model of the machine learning model storage unit 104 by additional learning. In addition, various known methods can be adopted for processing of additionally learning an existing machine learning model using additional teacher data.
  • the additional learning control unit 15 controls each unit so as to repeat a series of processes by the data analysis unit 12, the analysis result output confirmation unit 13, and the additional learning unit 14 using the machine learning model updated by the additional learning. . That is, under the control of the additional learning control unit 15, the data analysis unit 12 reanalyzes additional data using the updated machine learning model. Then, the analysis result output confirmation unit 13 outputs the reanalysis result, and acquires label information for at least one of the analysis results changed by the reanalysis. Then, the additional learning unit 14 adds and learns the machine learning model by using the additional data to which the acquired label information is added as additional teacher data.
  • the additional learning control unit 15 may stop the series of processes at an arbitrary end timing. For example, when the reanalysis result by the data analysis unit 12 satisfies a predetermined condition, the additional learning control unit 15 may stop the series of processing. Also, for example, the additional learning control unit 15 may stop a series of processing when information indicating an end instruction from the user is input. Also, for example, the additional learning control unit 15 may stop the series of processing when the elapsed time from the start of the processing passes a predetermined length.
  • the additional data acquisition unit 11 acquires additional data (step S1).
  • step S2 the data analysis unit 12 analyzes the additional data acquired in step S1 using a machine learning model.
  • the analysis result output confirmation unit 13 outputs the analysis result of step S2 (step S3).
  • the analysis result output confirmation unit 13 acquires label information for at least one of the output analysis results (step S4).
  • the additional learning unit 14 adds and learns the machine learning model using the label information obtained in step S4 (step S5).
  • the additional learning control unit 15 determines whether it is the end timing (step S6).
  • step S2 executed after the second time
  • the data analysis unit 12 uses the machine learning model subjected to additional learning.
  • step S4 executed after the second time the analysis result output confirmation unit 13 acquires label information for at least one of the analysis results changed by the reanalysis.
  • step S6 determines whether the end timing is reached.
  • the additional learning device as the first embodiment of the present invention can support user confirmation for more data while reducing the user's task of providing label information at the time of additional learning in machine learning it can.
  • the additional data acquisition unit acquires additional data for additional learning.
  • the data analysis unit analyzes the additional data.
  • the analysis result output confirmation unit outputs the analysis result, and acquires label information for at least one of the output analysis results.
  • the additional learning unit performs additional learning of the machine learning model using the acquired label information.
  • the additional learning control unit controls each unit as follows. That is, the data analysis unit reanalyzes additional data using the machine learning model updated by the additional learning.
  • the analysis result output confirmation unit acquires label information for at least one of the analysis results changed by the reanalysis. At this time, typically, correct label information is acquired as an indication for an error in the changed analysis result.
  • the additional learning unit performs additional learning of the machine learning model using the acquired label information.
  • the user only inputs correct label information for a part of the analysis result of the additional data, and analyzes the reanalysis result of the additional data by the machine learning model that is additionally learned by the input. It can confirm in the result output confirmation part. Then, after confirming such reanalysis result, the user only needs to input correct label information for a part of the analysis result changed by the reanalysis, and the reanalysis result by the machine learning model additionally subjected to learning Can be confirmed by the analysis result output confirmation unit.
  • additional learning is performed using an indication of an error with respect to a part of the changed analysis result, and the reanalysis result is output.
  • the additional learning device 2 is different from the additional learning device 1 according to the first embodiment of the present invention in the configuration in the following point. That is, the additional learning device 2 replaces the data analysis unit 12 with the data analysis unit 22 and the analysis result output confirmation unit 13 with the analysis result output confirmation unit 23 and the additional learning control unit 15 with the additional learning control unit. And 25.
  • the additional learning device 2 and each functional block thereof can be configured by the same hardware element as that of the first embodiment of the present invention described with reference to FIG. However, the hardware configuration of the additional learning device 2 and each functional block thereof is not limited to the above-described configuration.
  • the data analysis unit 22 analyzes additional data using the machine learning model stored in the machine learning model storage unit 104, as in the data analysis unit 12 in the first embodiment of the present invention.
  • the data analysis unit 22 calculates the reliability of the analysis result of each additional data.
  • An example of the configuration of the additional data analyzed by the data analysis unit 22 is shown in FIG.
  • the additional data may include the data ID and the content of the data or its location information.
  • the location information is information for accessing the entity of the data.
  • the location information may be information including a storage location in the storage device 1004 and a data identifier.
  • the location information may be information for accessing an entity of data stored in an external device via a network.
  • an example of a structure of the analysis result by the data analysis part 22 is shown in FIG.
  • the analysis result may include the data ID, the information predicted by the analysis (prediction result), and the reliability.
  • the analysis result output confirmation unit 23 outputs the analysis result by the data analysis unit 22 to the output device 1006 as in the analysis result confirmation unit 13 in the first embodiment of the present invention.
  • the output device 1006 is a display device.
  • the analysis result output check unit 23 can check that the analysis result to be checked among the analysis results changed from the previous time can be recognized as the check target. indicate.
  • the check target will be described later.
  • the analysis result output confirmation unit 23 may output the analysis result to be checked and the analysis result other than the check object to different areas in the display screen. Further, for example, the analysis result output confirmation unit 23 may highlight the analysis result to be checked. In addition, the analysis result output confirmation unit 23 may display the analysis result in a format that can recognize the check target.
  • the analysis result output confirmation unit 23 may output the analysis result by the data analysis unit 22 in the order based on the reliability. For example, it is desirable that the analysis result output confirmation unit 23 displays the ones with lower reliability in an order that is easier for the user to confirm. For example, the analysis result output confirmation unit 23 may display the analysis results from the top or the left of the display screen in the order of low reliability. In addition, the analysis result output confirmation unit 23 may display the analysis result together with the reliability. In addition, when the analysis result output confirmation unit 23 outputs analysis results other than the check target and the check target to different areas, the analysis result output confirmation unit 23 may display the analysis results in order based on the reliability in each area.
  • the analysis result output confirmation unit 23 acquires label information on at least one of the check targets via the input device 1005.
  • the analysis result output confirmation unit 23 may display a user interface component such as an operation button for inputting label information of a check target or a drop down list together with the check target.
  • the analysis result output confirmation unit 23 acquires the content of the operation on the user interface component acquired via the input device 1005 as the corresponding label information to be checked.
  • the analysis result output confirmation unit 23 adds the acquired label information to the corresponding additional data to be checked, and stores the additional information in the teacher data storage unit 103 as additional teacher data.
  • additional teacher data includes data ID and label information.
  • the analysis result output confirmation unit 23 acquires confirmation information on the output analysis result.
  • the confirmation information may be information indicating that it is confirmed that there is no error in the current analysis result.
  • the analysis result output confirmation unit 23 may display a user interface component for inputting such confirmation information together with the analysis result. Then, the analysis result output confirmation unit 23 acquires, as confirmation information, an operation content on the user interface component acquired through the input device 1005.
  • the additional learning control unit 25 extracts a check target from the analysis result changed by the reanalysis by the data analysis unit 22.
  • the check target is an analysis result to be checked (input of label information) by the user among the changed analysis results. Then, the additional learning control unit 25 notifies the analysis result output confirmation unit 23 of the check target.
  • the additional learning control unit 25 may extract the check target based on the representative point representing the changed space whose analysis result has been changed by the reanalysis.
  • the representative point may be the center of gravity of the change space.
  • the additional learning control unit 25 may extract the check target based on the reliability of the analysis result changed by the reanalysis. In this case, for example, the additional learning control unit 25 may extract a predetermined number as a check target in order from one with the lowest degree of reliability.
  • the additional learning control unit 25 performs repetitive processing by the data analysis unit 22, the analysis result output confirmation unit 23, and the additional learning unit 14 as in the additional learning control unit 15 according to the first embodiment of the present invention. Control. Then, the additional learning control unit 25 ends the repetitive processing by the data analysis unit 22, the analysis result output confirmation unit 23, and the additional learning unit 14 when the above-described confirmation information for the analysis result indicates predetermined content.
  • the predetermined content may be, for example, content representing that it is confirmed that there is no error in the analysis result.
  • the additional learning device 2 operates in the same manner as in the first embodiment of the present invention in steps S1 to S5, and performs the first additional learning.
  • the additional learning control unit 25 controls each unit so as to repeat the processing of steps S21 to S26.
  • the data analysis unit 22 reanalyzes additional data using the additionally learned machine learning model (step S21).
  • the additional learning control unit 25 extracts a check target from the analysis result changed by the reanalysis (step S22).
  • the analysis result output confirmation unit 23 displays the reanalysis result.
  • the analysis result output confirmation unit 23 displays the reanalysis result so that the analysis result to be checked can be recognized. Further, the analysis result output confirmation unit 23 performs display in such a form that input of label information for the check target and input of confirmation information for the reanalysis result are possible (step S23).
  • the additional learning control unit 25 determines whether confirmation information indicating predetermined content has been input to the analysis result output confirmation unit 23 (step S24).
  • the analysis result output confirmation unit 23 acquires label information for at least one of the check targets (step S25).
  • the additional learning unit 14 adds and learns a machine learning model using the label information obtained in step S25 (step S26).
  • the additional learning device 2 repeats the process from step S21.
  • step S24 if it is determined in step S24 that confirmation information indicating predetermined content has been input, the additional learning device 2 ends the process.
  • a machine learning model that analyzes whether the target image represents a car is taken as an example.
  • a support vector machine is assumed as a machine learning model.
  • a machine learning model as a support vector machine maps features of an image to a multi-dimensional feature space, and determines whether to represent a car or not based on a judgment boundary line on the feature space.
  • the feature space and the judgment boundary line a of the machine learning model are schematically shown in FIG. Black circles in FIG. 9 indicate teacher data used for learning the machine learning model. Further, teacher data located above the judgment boundary line a is data to which label information representing a car is added. Further, the teacher data located below the judgment boundary line a is data to which label information indicating that it is not a car is added. In this specific example, it is assumed that such a machine learning model is stored in the machine learning model storage unit 104.
  • the additional data acquisition unit 11 acquires additional data whose example is shown in FIG. 10 (step S1).
  • the data analysis unit 22 applies the machine learning model of FIG. 9 to the additional data of FIG. 10, and outputs the analysis result shown in FIG. 11 (step S2).
  • the analysis result includes the data ID, the prediction result, and the reliability.
  • the analysis result output confirmation unit 23 displays the analysis result of the additional data as shown in FIG. 12 (step S3).
  • the leftmost image is correctly determined to be a car, and the central image is correctly determined not to be a car.
  • the rightmost image represents a car, it is judged not to be a car.
  • the analysis result output confirmation unit 23 uses the various user interface components such as the scroll bar or the page feed button to execute the entire analysis result. Display so that the user can confirm.
  • the analysis result output confirmation unit 23 acquires label information for at least one of the analysis results (step S4).
  • the analysis result output confirmation unit 23 displays a user interface component for inputting label information for the additional data displayed in the area where a screen touch, a mouse click, or the like is detected among the analysis results shown in FIG. May be Then, in this case, the analysis result output confirmation unit 23 may obtain input information for the user interface component as label information for the additional data of the detection area.
  • correct label information "It is a car" is acquired as an input for the rightmost image which is an error among the analysis results shown in FIG.
  • the analysis result output confirmation unit 23 adds the acquired label information “It is a car” to the image with a data ID of 3 and stores it in the teacher data storage unit 103 as additional teacher data.
  • the additional teacher data stored in the teacher data storage unit 103 is as shown in FIG.
  • the additional learning unit 14 reads the additional teacher data shown in FIG. 13 from the teacher data storage unit 103. Then, the additional learning unit 14 adds and learns the machine learning model using the read additional teacher data (step S5). Thereby, the machine learning model of the machine learning model storage unit 104 is updated.
  • the data analysis unit 22 applies the updated machine learning model to the additional data in FIG. 10 to perform reanalysis (step S21).
  • the additional learning control unit 25 extracts a check target from the changed space in which the analysis result is changed by the reanalysis (step S22).
  • FIG. 14 shows the machine learning model before additional learning
  • the right figure shows the machine learning model after additional learning.
  • a black circle shows the learned teacher data
  • a white circle shows additional data.
  • the judgment boundary line a moves to be a judgment boundary line b as shown in the right figure.
  • the change spaces where the determination result changes in the additional learning are the area A and the area B in the right figure.
  • Such a change space can be considered to be a missing part of the learning associated with the error pointed out at step S4. Therefore, the additional learning control unit 25 extracts additional data to be checked from this changed space.
  • the additional learning control unit 25 extracts, from the area A and the area B, additional data closest to the center of gravity of each area one by one as a check target.
  • the additional learning control unit 25 may extract check objects based on the representative points for each of the continuous space regions in the change space of the analysis result.
  • the number of check targets extracted for each area is not limited to one, and may be plural. In addition, the number of check targets extracted for each area may be different from the number of check targets extracted from at least one other area.
  • the analysis result output confirmation unit 23 displays the analysis result included in the change space in a format that can recognize the check target (step S23). For example, as shown in FIG. 15, the analysis result output confirmation unit 23 may display the analysis result in the check target area and the other areas. In addition, as shown in FIG. 15, the analysis result output confirmation unit 23 may display the analysis result in each area for each classification which is the prediction result. In this example, in each area, the left half is the display area of the image predicted to be "car", and the right half is the display area of the image predicted "non-car". In addition, the analysis result output confirmation unit 23 may be a user interface component capable of inputting confirmation information for the entire analysis result according to detection of screen touch or mouse click on a predetermined area (for example, an area other than an image) in FIG. You may display it.
  • a predetermined area for example, an area other than an image
  • the analysis result output confirmation unit 23 may display the analysis result by highlighting the check object as shown in FIG. 16 as a format capable of recognizing the check object.
  • the check target is surrounded by a thick frame.
  • the analysis result output confirmation unit 23 also displays the analysis result of the change space other than the check target, the user intuitively determines whether the learning result at that time is good other than the check target. It is possible to make judgments.
  • the confirmation result output confirmation unit 23 acquires the input of the label information for at least one of the check objects, and stores the input as additional teacher data in the teacher data storage unit 103 (step S25).
  • the specific example of the input method of label information since it demonstrated by step S4, description here is abbreviate
  • the additional learning unit 14 performs additional learning using the additional teacher data stored in the teacher data storage unit 103 (step S26).
  • step S21 again (step S21).
  • the additional learning control unit 25 extracts a check target from the changed space in which the analysis result is changed by the reanalysis (step S22).
  • the extraction of the check target from the change space is as described above with reference to FIG. However, this time, the judgment boundary line b moved last time is further moved. Assuming that the judgment boundary line after the current movement is c, the additional learning control unit 25 may extract the check target based on the change space for the judgment boundary line b of the judgment boundary line c.
  • the analysis result output confirmation unit 23 displays the analysis result included in the current change space in a format that allows the check target to be recognized (step S23).
  • the additional learning control unit 25 performs the processing in steps S25 to S26 and S21 to S23. repeat. By repeating the series of processes, it is possible for the additional learning device 2 to intensively support the user input work of the label information for the additional data related to the error pointed out in the first step S3.
  • step S24 When confirmation information indicating that there is no error in the analysis result is input (Y in step S24), the additional learning device 2 ends the process.
  • the additional learning device as the second embodiment of the present invention can support user confirmation for more data while reducing the user's task of providing label information at the time of additional learning in machine learning it can.
  • the additional learning control unit extracts the check target from the changed analysis result. For example, the additional learning control unit extracts the check target based on the representative point of the change space of the analysis result or the reliability of the analysis result. In this manner, the additional learning control unit extracts the more effective analysis result as the target of user confirmation from the analysis results deeply related to the error of the analysis result before the change in the change space of the analysis result. become. Then, when displaying the analysis result of the change space, the analysis result output confirmation unit displays the check target in the change space in a recognizable form.
  • the analysis result output confirmation unit acquires label information for at least one of the check targets, and the additional learning unit performs additional learning using additional data to which the obtained label information is added as additional teacher data.
  • this embodiment is the reanalysis of additional data, the extraction of the check object from the reanalysis result, the reanalysis result and the output of the check object, the acquisition of the label information for at least one of the check objects, the acquisition And repeat learning using the specified label information.
  • the user merely points out a part of the errors in the analysis result extracted as the check target, and the machine learning model is additionally learned by the indication each time the indication is made.
  • the entire reanalysis result can be confirmed.
  • the user can list the changed reanalysis results other than the check target as well as the check target for which the work of actually inputting the label information is required. That is, in the present embodiment, while suppressing the number of data required to input label information to the number of check targets, it is possible to enhance the list of analysis results more than the number and facilitate user confirmation. . Therefore, the present embodiment reduces the burden of enormous data confirmation work of the analysis result by the additional learning, and enables the additional learning of the machine learning model more easily.
  • the additional learning control unit extracts the check target based on the representative point and the reliability of the change space of the analysis result.
  • the user can point out errors in some analysis results, and can check data that is closely related to the previous error indication as a check target in repeated re-analysis according to the result.
  • the present embodiment can improve the accuracy of the machine learning model by intensively supporting the user confirmation on the analysis result related to the error pointed out by the user.
  • the analysis result output confirmation unit also displays analysis results other than the check target (target of active learning), the user can intuitively improve the accuracy of the machine learning model by additional learning. Can be grasped.
  • the analysis result output confirmation unit has shown the example of FIG. 15 and FIG. 16 as a form to display the analysis result so that the check target can be recognized. That is, as shown in FIG. 15, one is a mode in which the check target and the non-check target are displayed in different areas. The other is a form of highlighting the check target in the analysis result as shown in FIG.
  • the present embodiment is not limited to such an example of the display mode, and any other display mode may be adopted as long as the analysis result is displayed so that the check target can be recognized.
  • the analysis result output confirmation unit acquires label information and confirmation information for the additional data by displaying the user interface component according to the detection of the screen touch, the mouse click, etc.
  • those user interface components may be arranged in advance on the display screen of the analysis result.
  • the present embodiment may adopt another user interface as long as label information and confirmation information can be obtained.
  • the machine learning model is mainly described as an example of a support vector machine, but other learning models may be used.
  • an example in which the machine learning model classifies the analysis target into two is shown as a specific example, but in the present embodiment, a machine learning model that classifies the target into three or more Is also applicable.
  • the present embodiment is applicable not only to statistical classification but also to other machine learning models including regression analysis.
  • the analysis target is image data
  • the present invention is not limited to this, and other types of data may be applied as the analysis target.
  • the analysis result output confirmation unit may display the reliability information together with the analysis result.
  • the analysis result output confirmation unit may display the analysis result as shown in FIG. 17 in step S3.
  • the analysis result output confirmation unit may also display the reliability in the display example (FIG. 15 or 16) of the reanalysis result in step S23.
  • the analysis result output confirmation unit may acquire label information for at least one of the analysis results together with the parameter of the degree of confidence. This considers the case where the user is not confident in the correct label information. Then, the analysis result output confirmation unit may add label information to the additional data together with the degree of confidence, and may save the additional information as teacher data in the teacher data storage unit.
  • the information stored in the teacher data storage unit may be configured as shown in FIG. Then, the additional learning unit may adopt a known technique for performing additional learning in consideration of the degree of confidence of the additional teacher data.
  • additional analysis, re-analysis is performed every time the analysis result or the label information for one check target is input to the analysis result output check unit.
  • the description has focused on an example where extraction is repeated.
  • the input of label information may not be one by one.
  • additional learning and re-analysis may be repeated.
  • additional learning, re-analysis is performed. May be repeated.
  • each functional block of the additional learning device is realized by a CPU that executes a computer program stored in a storage device or a ROM.
  • the present invention is not limited to this, and some, all, or a combination of each functional block may be realized by dedicated hardware.
  • the functional blocks of the additional learning device may be realized by being distributed to a plurality of devices.
  • the operation of the additional learning device described with reference to each flowchart is stored as a computer program of the present invention in a storage device (storage medium) of the computer device. It is also good. Then, the CPU may read out and execute the computer program. And, in such a case, the present invention is constituted by such computer program code or storage medium.
  • additional learning devices 11 additional data acquisition units 12 and 22 data analysis units 13 and 23 analysis result output confirmation units 14 additional learning units 15 and 25 additional learning control unit 103 teacher data storage unit 104 machine learning model storage unit 1001 CPU 1002 RAM 1003 ROM 1004 storage device 1005 input device 1006 output device

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

　本発明は、機械学習における追学習の際に、ラベル情報を付与するユーザ作業をより軽減しながら、より多くのデータに対するユーザ確認を支援する技術を提供する。　追学習装置１は、追加データ取得部１１、データ解析部１２、解析結果出力確認部１３、追学習部１４および追学習制御部１５を含む。追加データ取得部１１は、機械学習モデルに対する追学習用の追加データを取得する。データ解析部１２は、機械学習モデルを用いて追加データの解析を行う。解析結果出力確認部１３は、解析結果のうちの少なくとも１つに対するラベル情報を取得する。追学習部１４は、取得されたラベル情報を用いて機械学習モデルを追学習する。追学習制御部１５は、追学習により更新された機械学習モデルを用いた追加データの再解析、再解析結果のうちの少なくとも１つに対するラベル情報の取得、および、該ラベル情報を用いた機械学習モデルの追学習を繰り返すよう各部を制御する。

Description

追学習装置、追学習方法、および、記憶媒体
　本発明は、機械学習モデルを追学習する技術に関する。
　教師データを用いて機械学習モデルを生成する機械学習システムが知られている。教師データは、正解を表すラベル情報があらかじめ付与されたデータである。実用的な機械学習モデルを生成するためには、多量の教師データを用いて演算処理を行う必要がある。昨今では、機械学習技術の伸長、ハードウェアスペックの向上、インフラの整備等が進むに伴い、機械学習モデルの生成処理の高速化が可能となっている。これにより、機械学習システムの実用的な活用価値が高まっている。このような機械学習システムでは、機械学習モデルの精度向上が重要となる。
　例えば、特許文献１には、追学習により更新する機械学習モデルの精度向上を支援する技術が記載されている。ここで、追学習とは、追加の教師データを用いて機械学習モデルを更新する学習をいうものとする。この関連技術は、現行モデルによる分類結果と、追学習で生成した新モデルによる分類結果との比較結果をユーザに提示する。
　また、特許文献２には、能動学習を行う技術が記載されている。この関連技術は、ラベル情報が付与されていない未知データについて機械学習モデルを用いて予測を行う。そして、この関連技術は、予測結果の中から、重みづけを用いて次に学習すべきデータを抽出する。そして、この関連技術は、抽出したデータに対して、ユーザにより入力されたラベル情報を付与し、ラベル情報が付与されたデータを用いて追学習を行うことで、機械学習モデルの精度向上を図る。
特開２０１４－９２８７８号公報 国際公開第２００５／４８１８４号
　しかしながら、特許文献１および特許文献２に記載された関連技術は、データをユーザに確認させる作業が効率的でないという課題がある。
　例えば、特許文献１に記載の関連技術では、現行モデルの分類結果と、新モデルの分類結果とが異なるデータが大量となる可能性がある。そのため、それらを確認するユーザの作業に工数がかかり、効率的でない。また、特許文献２に記載の関連技術は、次に学習すべきデータを重みづけに基づいて抽出することにより、ユーザによる確認が必要となるデータをある程度減らすことはできる。しかしながら、この関連技術は、追学習のために抽出されたデータの数だけラベル情報を付与するユーザ作業を必要としており、依然として効率性が十分でない。
　本発明は、上述の課題を解決するためになされたものである。すなわち、本発明は、機械学習における追学習の際に、ラベル情報を付与するユーザ作業をより軽減しながら、より多くのデータに対するユーザ確認を支援する技術を提供することを目的とする。
　上記目的を達成するために、本発明の追学習装置は、機械学習モデルに対する追学習用の追加データを取得する追加データ取得手段と、前記機械学習モデルを用いて前記追加データの解析を行うデータ解析手段と、前記データ解析手段による解析結果を出力し、出力した解析結果のうちの少なくとも１つに対するラベル情報を取得する解析結果出力確認手段と、前記解析結果出力確認手段によって取得されたラベル情報を用いて前記機械学習モデルを追学習する追学習手段と、前記追学習により更新された機械学習モデルを用いた前記追加データの再解析、前記再解析により変更された解析結果のうちの少なくとも１つに対するラベル情報の取得、および、該ラベル情報を用いた前記機械学習モデルの追学習を繰り返すよう、前記データ解析手段、前記解析結果出力確認手段、および、前記追学習手段を制御する追学習制御手段と、を備える。
　また、本発明の追学習方法は、機械学習モデルに対する追学習用の追加データを取得し、前記機械学習モデルを用いて前記追加データの解析を行い、前記追加データの解析結果を出力し、出力した解析結果のうちの少なくとも１つに対するラベル情報を取得し、取得したラベル情報を用いて前記機械学習モデルを追学習し、前記追学習により更新された機械学習モデルを用いた前記追加データの再解析、前記再解析により変更された解析結果のうちの少なくとも１つに対するラベル情報の取得、および、該ラベル情報を用いた前記機械学習モデルの追学習を繰り返す。
　また、本発明の記憶媒体は、機械学習モデルに対する追学習用の追加データを取得する追加データ取得ステップと、前記機械学習モデルを用いて前記追加データの解析を行うデータ解析ステップと、前記データ解析ステップにおける解析結果を出力し、出力した解析結果のうちの少なくとも１つに対するラベル情報を取得する解析結果出力確認ステップと、前記解析結果出力確認ステップで取得されたラベル情報を用いて前記機械学習モデルを追学習する追学習ステップと、前記追学習により更新された機械学習モデルを用いた前記追加データの再解析、前記再解析により変更された解析結果のうちの少なくとも１つに対するラベル情報の取得、および、該ラベル情報を用いた前記機械学習モデルの追学習を繰り返す繰り返しステップと、をコンピュータ装置に実行させるプログラムを記憶している。
　本発明は、機械学習における追学習の際に、ラベル情報を付与するユーザ作業をより軽減しながら、より多くのデータに対するユーザ確認を支援する技術を提供することができる。
本発明の第１の実施の形態としての追学習装置の機能ブロック図である。 本発明の第１の実施の形態としての追学習装置のハードウェア構成の一例を示す図である。 本発明の第１の実施の形態としての追学習装置の動作を説明するフローチャートである。 本発明の第２の実施の形態としての追学習装置の機能ブロック図である。 本発明の第２の実施の形態における追加データの構成の一例を示す図である。 本発明の第２の実施の形態における解析結果の構成の一例を示す図である。 本発明の第２の実施の形態における追加の教師データの構成の一例を示す図である。 本発明の第２の実施の形態としての追学習装置の動作を説明するフローチャートである。 本発明の第２の実施の形態における学習済みの機械学習モデルを模式的に説明する図である。 本発明の第２の実施の形態における追加データの一例を示す図である。 本発明の第２の実施の形態における解析結果の一例を示す図である。 本発明の第２の実施の形態における解析結果の表示例を示す図である。 本発明の第２の実施の形態における追加の教師データの一例を示す図である。 本発明の第２の実施の形態における変更空間の一例を模式的に説明する図である。 本発明の第２の実施の形態における再解析結果の表示例を示す図である。 本発明の第２の実施の形態における再解析結果の他の表示例を示す図である。 本発明の第２の実施の形態における解析結果の他の表示例を示す図である。 本発明の第２の実施の形態における追加の教師データの構成の他の一例を示す図である。
　以下、本発明の実施の形態について、図面を参照して詳細に説明する。
　（第１の実施の形態）
　本発明の第１の実施の形態としての追学習装置１の機能ブロック構成を図１に示す。図１において、追学習装置１は、追加データ取得部１１と、データ解析部１２と、解析結果出力確認部１３と、追学習部１４と、追学習制御部１５とを備える。また、追学習装置１は、上述の各機能ブロックにより利用される情報の格納領域として、教師データ記憶部１０３と、機械学習モデル記憶部１０４とを含む。なお、教師データ記憶部１０３および機械学習モデル記憶部１０４は、追学習装置１に必ずしも含まれていなくてもよく、外部の装置に含まれていてもよい。その場合、追学習装置１の各機能ブロックは、必要に応じて外部の装置の教師データ記憶部１０３または機械学習モデル記憶部１０４にアクセスすればよい。
　ここで、追学習装置１のハードウェア構成の一例を図２に示す。図２では、追学習装置１は、ＣＰＵ（Central Processing Unit）１００１と、ＲＡＭ（Random Access Memory）１００２と、ＲＯＭ（Read Only Memory）１００３と、記憶装置１００４と、入力装置１００５と、出力装置１００６とを含む。記憶装置１００４は、ハードディスク等の補助記憶装置であってもよい。この場合、追加データ取得部１１は、入力装置１００５と、ＲＯＭ１００３および記憶装置１００４に記憶されたコンピュータ・プログラムおよび各種データをＲＡＭ１００２に読み込んで実行するＣＰＵ１００１とによって構成される。また、データ解析部１２、追学習部１４および追学習制御部１５は、ＲＯＭ１００３および記憶装置１００４に記憶されたコンピュータ・プログラムおよび各種データをＲＡＭ１００２に読み込んで実行するＣＰＵ１００１によって構成される。また、解析結果出力確認部１３は、入力装置１００５と、出力装置１００６と、ＲＯＭ１００３および記憶装置１００４に記憶されたコンピュータ・プログラムおよび各種データをＲＡＭ１００２に読み込んで実行するＣＰＵ１００１とによって構成される。なお、追学習装置１およびその各機能ブロックのハードウェア構成は、上述の構成に限定されない。
　機械学習モデル記憶部１０４は、学習済みの機械学習モデルを記憶している。例えば、機械学習モデルは、教師データに基づいて機械学習により生成されたモデルであってもよい。なお、教師データとは、正解を表すラベル情報があらかじめ付与されたデータをいう。
　追加データ取得部１１は、１つ以上の追加データを取得する。ここで、追加データは、ラベル情報が付与されていない追学習用のデータである。例えば、追加データ取得部１１は、入力装置１００５を介して追加データを取得してもよい。また、例えば、追加データ取得部１１は、記憶装置１００４に記憶された追加データを取得してもよい。また、例えば、追加データ取得部１１は、ネットワークインタフェース（図示せず）を介して受信される追加データを取得してもよい。また、例えば、追加データ取得部１１は、記憶装置１００４またはネットワーク上の追加データの所在を示す情報を入力装置１００５から取得することにより、その情報の示す所在にある追加データを取得してもよい。
　データ解析部１２は、機械学習モデル記憶部１０４に記憶された機械学習モデルを用いて、追加データの解析を行う。例えば、機械学習モデルが、データの分類を予測するモデルである場合について説明する。この場合、データ解析部１２は、分類が未知の追加データ（解析対象の追加データとも呼ぶ）を、機械学習モデルを用いて解析することにより、その分類を予測する。
　以降、データ解析部１２によって機械学習モデルを用いて追加データについて求められた情報を、データ解析部１２による解析結果と呼ぶ。例えば、機械学習モデルが、データの分類を予測するモデルである場合、データ解析部１２により予測されたデータの分類を、解析結果と呼ぶものとする。
　解析結果出力確認部１３は、データ解析部１２による解析結果を出力する。出力先は、例えば、出力装置１００６であってもよい。このとき、例えば、解析結果出力確認部１３は、追加データおよびその解析結果を組にして、出力装置１００６等に出力してもよい。
　また、解析結果出力確認部１３は、データ解析部１２による解析結果のうちの少なくとも１つに対するラベル情報を取得する。また、解析結果出力確認部１３は、取得したラベル情報を解析対象の追加データに付与し、ラベル情報を付与した追加データを、追加の教師データとして、教師データ記憶部１０３に記憶する。例えば、ラベル情報の取得の際、解析結果出力確認部１３は、追加データの解析結果に関連する正しいラベル情報の入力を求めるための操作ボタンや選択リスト等のユーザインタフェース部品を、解析結果とともに表示可能となるよう、出力装置１００６に出力してもよい。この場合、次に、解析結果出力確認部１３は、出力したユーザインタフェース部品に対して入力装置１００５を介して取得される操作内容に応じて、解析結果のうちの少なくとも１つの追加データに対するラベル情報を取得すればよい。このようなラベル情報は、典型的には、解析結果における誤りに対する指摘として取得される。誤りに対する指摘とは、ある追加データについて誤って解析された情報に対して、その追加データについての正解を示すことをいう。
　また、解析結果出力確認部１３は、データ解析部１２により再解析が行われた場合は、再解析により変更された解析結果のうちの少なくとも１つに対するラベル情報を取得する。例えば、解析結果出力確認部１３は、再解析により変更された解析結果について、前述のユーザインタフェース部品を出力してもよい。
　追学習部１４は、機械学習モデルを追学習する。具体的には、追学習部１４は、教師データ記憶部１０３から、ラベル情報が与えられた追加データを取得する。そして、追学習部１４は、取得した情報を追加の教師データとして使用し、機械学習モデルを追学習すればよい。追学習部１４は、追学習により、機械学習モデル記憶部１０４の機械学習モデルを更新する。なお、追加の教師データを用いて既存の機械学習モデルを追学習する処理については、各種公知の手法を採用可能である。
　追学習制御部１５は、追学習により更新された機械学習モデルを用いて、データ解析部１２、解析結果出力確認部１３、および、追学習部１４による一連の処理を繰り返すよう、各部を制御する。すなわち、追学習制御部１５の制御の下、データ解析部１２は、更新された機械学習モデルを用いて追加データを再解析する。そして、解析結果出力確認部１３は、再解析結果を出力し、再解析により変更された解析結果のうちの少なくとも１つに対するラベル情報を取得する。そして、追学習部１４は、取得されたラベル情報が付与された追加データを追加の教師データとして、機械学習モデルを追学習する。
　なお、追学習制御部１５は、任意の終了タイミングで、一連の処理を中止すればよい。例えば、追学習制御部１５は、データ解析部１２による再解析結果が所定条件を満たした場合に、一連の処理を中止してもよい。また、例えば、追学習制御部１５は、ユーザからの終了指示を表す情報が入力されると、一連の処理を中止してもよい。また、例えば、追学習制御部１５は、処理の開始からの経過時間が、あらかじめ定められた長さを過ぎると、一連の処理を中止してもよい。
　以上のように構成された追学習装置１の動作について、図３を参照して説明する。
　まず、追加データ取得部１１は、追加データを取得する（ステップＳ１）。
　次に、データ解析部１２は、ステップＳ１で取得された追加データを、機械学習モデルを用いて解析する（ステップＳ２）。
　次に、解析結果出力確認部１３は、ステップＳ２の解析結果を出力する（ステップＳ３）。
　次に、解析結果出力確認部１３は、出力した解析結果のうちの少なくとも１つに対するラベル情報を取得する（ステップＳ４）。
　次に、追学習部１４は、ステップＳ４で得られたラベル情報を用いて、機械学習モデルを追学習する（ステップＳ５）。
　次に、追学習制御部１５は、終了タイミングであるか否かを判断する（ステップＳ６）。
　ここで、終了タイミングでなければ、追学習制御部１５は、ステップＳ２～Ｓ５の処理を繰り返すよう各部を制御する。なお、２回目以降に実行されるステップＳ２では、データ解析部１２は、追学習された機械学習モデルを用いることになる。また、２回目以降に実行されるステップＳ４では、解析結果出力確認部１３は、再解析により変更された解析結果のうちの少なくとも１つに対するラベル情報を取得することになる。一方、ステップＳ６で終了タイミングであると判断された場合、追学習装置１は、処理を終了する。
　以上で、追学習装置１の動作の説明を終了する。
　次に、本発明の第１の実施の形態の効果について述べる。
　本発明の第１の実施の形態としての追学習装置は、機械学習における追学習の際に、ラベル情報を付与するユーザ作業をより軽減しながら、より多くのデータに対するユーザ確認を支援することができる。
　その理由について説明する。本実施の形態では、まず、追加データ取得部が、追学習用の追加データを取得する。そして、データ解析部は、追加データの解析を行う。そして、解析結果出力確認部は、解析結果を出力し、出力した解析結果のうちの少なくとも１つに対するラベル情報を取得する。このとき、典型的には、出力した解析結果における誤りに対する指摘として正しいラベル情報が取得される。そして、追学習部は、取得されたラベル情報を用いて、機械学習モデルを追学習する。そして、追学習制御部が、次のように各部を制御する。すなわち、データ解析部は、追学習により更新された機械学習モデルを用いて追加データを再解析する。そして、解析結果出力確認部は、再解析により変更された解析結果の少なくとも１つについてラベル情報を取得する。このとき、典型的には、変更された解析結果における誤りに対する指摘として正しいラベル情報が取得される。そして、追学習部は、取得されたラベル情報を用いて、機械学習モデルを追学習する。
　これらの処理が繰り返されることにより、ユーザは、追加データの解析結果の一部について正しいラベル情報を入力するだけで、その入力により追学習された機械学習モデルによる追加データの再解析結果を、解析結果出力確認部にて確認できる。そして、ユーザは、そのような再解析結果を確認した上で、再解析により変更された解析結果の一部について正しいラベル情報を入力するだけで、さらに追学習された機械学習モデルによる再解析結果を、解析結果出力確認部にて確認できる。このように、本実施の形態は、変更された解析結果の一部に対する誤りの指摘を用いて追学習を行い、再解析結果を出力していく。これにより、本実施の形態は、ラベル情報の入力対象となるデータの個数を抑えながら、ラベル情報を入力したデータの個数より多い追加データの再解析結果を、ユーザに確認させることができる。
　（第２の実施の形態）
　次に、本発明の第２の実施の形態について図面を参照して詳細に説明する。なお、本実施の形態の説明において参照する各図面において、本発明の第１の実施の形態と同一の構成および同様に動作するステップには同一の符号を付して本実施の形態における詳細な説明を省略する。
　まず、本発明の第２の実施の形態としての追学習装置２の構成を図４に示す。図４において、追学習装置２は、本発明の第１の実施の形態としての追学習装置１に対して、次の点で構成が異なる。すなわち、追学習装置２は、データ解析部１２に替えてデータ解析部２２と、解析結果出力確認部１３に替えて解析結果出力確認部２３と、追学習制御部１５に替えて追学習制御部２５とを備える。なお、追学習装置２およびその各機能ブロックは、図２を参照して説明した本発明の第１の実施の形態のハードウェア要素と同一のハードウェア要素によって構成可能である。ただし、追学習装置２およびその各機能ブロックのハードウェア構成は、上述の構成に限定されない。
　データ解析部２２は、本発明の第１の実施の形態におけるデータ解析部１２と同様に、機械学習モデル記憶部１０４に記憶された機械学習モデルを用いて、追加データを解析する。加えて、データ解析部２２は、各追加データの解析結果について信頼度を算出する。データ解析部２２により解析される追加データの構成の一例を図５に示す。このように、追加データは、データＩＤと、そのデータの内容またはその所在情報とを含んでいてもよい。なお、所在情報は、そのデータの実体にアクセスするための情報である。例えば、所在情報は、記憶装置１００４における格納位置およびデータ識別名を含む情報であってもよい。あるいは、所在情報は、外部の装置に格納されるデータの実体にネットワークを介してアクセスするための情報であってもよい。また、データ解析部２２による解析結果の構成の一例を図６に示す。このように、解析結果は、データＩＤと、解析により予測された情報（予測結果）と、信頼度とを含んでいてもよい。
　解析結果出力確認部２３は、本発明の第１の実施の形態における解析結果確認部１３と同様に、データ解析部２２による解析結果を、出力装置１００６に出力する。本実施の形態では、出力装置１００６は、表示装置であるものとする。
　また、解析結果出力確認部２３は、データ解析部２２により再解析が行われた場合、前回から変更された解析結果のうちチェック対象の解析結果を、チェック対象であることを認識可能な形式で表示する。なお、チェック対象については後述する。例えば、解析結果出力確認部２３は、チェック対象の解析結果と、チェック対象以外の解析結果とを、表示画面内で異なるエリアに出力してもよい。また、例えば、解析結果出力確認部２３は、チェック対象の解析結果を、強調表示してもよい。その他、解析結果出力確認部２３は、解析結果を、そのうちのチェック対象を認識可能な形式で表示すればよい。
　また、解析結果出力確認部２３は、データ解析部２２による解析結果を、信頼度に基づく順序で出力してもよい。例えば、解析結果出力確認部２３は、信頼度のより低いものを、ユーザにとってより確認しやすい順序で表示することが望ましい。例えば、解析結果出力確認部２３は、解析結果を、表示画面の上からまたは左から、信頼度の低い順に表示してもよい。また、解析結果出力確認部２３は、解析結果を、信頼度と共に表示してもよい。また、解析結果出力確認部２３は、チェック対象およびチェック対象以外の解析結果を異なるエリアに出力する場合、それぞれのエリアにおいて、信頼度に基づく順に解析結果を表示してもよい。
　また、解析結果出力確認部２３は、チェック対象の少なくとも１つについてのラベル情報を、入力装置１００５を介して取得する。例えば、解析結果出力確認部２３は、チェック対象についてラベル情報を入力するための操作ボタンやドロップダウンリスト等のユーザインタフェース部品を、チェック対象と共に表示してもよい。この場合、解析結果出力確認部２３は、入力装置１００５を介して取得されるユーザインタフェース部品に対する操作内容を、該当するチェック対象のラベル情報として取得する。ここで、解析結果出力確認部２３は、取得したラベル情報を、該当するチェック対象の追加データに付与し、追加の教師データとして教師データ記憶部１０３に格納する。この場合、教師データ記憶部１０３に格納される追加の教師データの構成の一例を、図７に示す。図７において、追加の教師データは、データＩＤと、ラベル情報とを含んでいる。
　また、解析結果出力確認部２３は、出力した解析結果に対する確認情報を取得する。確認情報とは、現在の解析結果に誤りがないと確認したことを示す情報であってもよい。例えば、解析結果出力確認部２３は、そのような確認情報を入力するためのユーザインタフェース部品を、解析結果と共に表示してもよい。そして、解析結果出力確認部２３は、入力装置１００５を介して取得されるユーザインタフェース部品に対する操作内容を、確認情報として取得する。
　追学習制御部２５は、データ解析部２２による再解析により変更された解析結果から、チェック対象を抽出する。チェック対象とは、変更された解析結果のうち、ユーザによる確認（ラベル情報の入力）対象となる解析結果をいう。そして、追学習制御部２５は、チェック対象を解析結果出力確認部２３に通知する。
　例えば、追学習制御部２５は、再解析により解析結果が変更された変更空間を代表する代表点に基づいて、チェック対象を抽出してもよい。例えば、代表点とは、変更空間の重心であってもよい。
　また、例えば、追学習制御部２５は、再解析により変更された解析結果の信頼度に基づいて、チェック対象を抽出してもよい。この場合、例えば、追学習制御部２５は、信頼度の低いものから順に所定数をチェック対象として抽出してもよい。
　また、追学習制御部２５は、本発明の第１の実施の形態における追学習制御部１５と同様に、データ解析部２２、解析結果出力確認部２３、および、追学習部１４による繰り返し処理を制御する。そして、追学習制御部２５は、解析結果に対する前述の確認情報が所定の内容を表すとき、データ解析部２２、解析結果出力確認部２３、および、追学習部１４による繰り返し処理を終了する。所定の内容とは、例えば、解析結果に誤りがないと確認したことを表す内容であってもよい。
　以上のように構成された追学習装置２の動作について、図８を参照して詳細に説明する。
　まず、追学習装置２は、ステップＳ１～Ｓ５まで、本発明の第１の実施の形態と同様に動作して、１回目の追学習を行う。
　次に、追学習制御部２５は、ステップＳ２１～Ｓ２６の処理を繰り返すよう、各部を制御する。
　ここでは、まず、データ解析部２２は、追学習された機械学習モデルを用いて追加データを再解析する（ステップＳ２１）。
　次に、追学習制御部２５は、再解析により変更された解析結果から、チェック対象を抽出する（ステップＳ２２）。
　次に、解析結果出力確認部２３は、再解析結果を表示する。このとき、解析結果出力確認部２３は、チェック対象の解析結果を認識可能に、再解析結果を表示する。また、解析結果出力確認部２３は、チェック対象に対するラベル情報の入力と、再解析結果に対する確認情報の入力とが可能な形態で表示を行う（ステップＳ２３）。
　次に、追学習制御部２５は、解析結果出力確認部２３に、所定の内容を示す確認情報が入力されたか否かを判断する（ステップＳ２４）。
　ここで、所定の内容を示す確認情報が入力されていなければ、解析結果出力確認部２３は、チェック対象のうち少なくとも１つに対するラベル情報を取得する（ステップＳ２５）。
　次に、追学習部１４は、ステップＳ２５で得られたラベル情報を用いて、機械学習モデルを追学習する（ステップＳ２６）。
　そして、追学習装置２は、ステップＳ２１からの処理を繰り返す。
　一方、ステップＳ２４において、所定の内容を示す確認情報が入力されたと判断されれば、追学習装置２は、処理を終了する。
　以上で、追学習装置２の動作の説明を終了する。
　次に、追学習装置２の動作を具体例で示す。ここでは、対象画像が車を表すか否かを解析する機械学習モデルを例とする。また、機械学習モデルとして、サポートベクタマシンを想定する。サポートベクタマシンとしての機械学習モデルは、画像の特徴を多次元の特徴空間にマッピングし、車を表すか否かを特徴空間上の判断境界線により判断する。機械学習モデルの特徴空間および判断境界線ａを、模式的に図９に示す。図９において、黒丸は、機械学習モデルの学習に用いられた教師データを示している。また、判断境界線ａより上部に位置する教師データは、車を表すラベル情報が付与されたデータである。また、判断境界線ａより下部に位置する教師データは、車でないことを表すラベル情報が付与されたデータである。この具体例では、このような機械学習モデルが、機械学習モデル記憶部１０４に記憶されているものとする。
　まず、追加データ取得部１１は、図１０に一例を示す追加データを取得する（ステップＳ１）。
　次に、データ解析部２２は、図１０の追加データに、図９の機械学習モデルを適用し、図１１に示す解析結果を出力する（ステップＳ２）。図１１に示すように、解析結果は、データＩＤと、予測結果と、信頼度とを含む。
　次に、解析結果出力確認部２３は、追加データの解析結果を、図１２に示すように表示する（ステップＳ３）。ここでは、一番左の画像は車であると正しく判断され、中心の画像は車でないと正しく判断されている。しかし、一番右の画像は、車を表しているにも関わらず、車でないと判断されている。なお、図１２の例において、追加データの解析結果全体を一度に表示できない場合は、解析結果出力確認部２３は、スクロールバーまたはページ送りボタン等の各種ユーザインタフェース部品を用いて、解析結果全体をユーザが確認可能となるよう表示を行う。
　次に、解析結果出力確認部２３は、解析結果の少なくとも１つについてラベル情報を取得する（ステップＳ４）。例えば、解析結果出力確認部２３は、図１２に示した解析結果のうち、画面タッチやマウスクリック等を検出した領域に表示している追加データについて、ラベル情報を入力するユーザインタフェース部品を表示してもよい。そして、この場合、解析結果出力確認部２３は、ユーザインタフェース部品に対する入力情報を、検出領域の追加データに対するラベル情報として取得すればよい。ここでは、図１２に示した解析結果のうち、誤りである一番右の画像に対して、正しいラベル情報「車である」が入力として取得されたものとする。そこで、解析結果出力確認部２３は、取得されたラベル情報「車である」を、データＩＤが３の画像に付与し、追加の教師データとして教師データ記憶部１０３に保存する。教師データ記憶部１０３に保存される追加の教師データは、図１３に示す通りとなる。
　次に、追学習部１４は、教師データ記憶部１０３から、図１３に示した追加の教師データを読み出す。そして、追学習部１４は、読み出した追加の教師データを用いて、機械学習モデルを追学習する（ステップＳ５）。これにより、機械学習モデル記憶部１０４の機械学習モデルは更新される。
　次に、データ解析部２２は、図１０の追加データに、更新後の機械学習モデルを適用して、再解析を行う（ステップＳ２１）。
　次に、追学習制御部２５は、再解析により解析結果が変更された変更空間から、チェック対象を抽出する（ステップＳ２２）。
　ここで、図１４を用いて、解析結果の変更空間およびチェック対象の抽出処理の一例について説明する。図１４の左図は、追学習前の機械学習モデルを示し、右図は、追学習後の機械学習モデルを示す。また、各図において、黒丸は、学習済みの教師データを示し、白丸は、追加データを示す。左図では、判断境界線ａの下にある白丸の追加データは、車でないと判断されている。このうちの１つについて、前述のステップＳ４において、「車である」とのラベル情報が入力されたとする。すると、前述のステップＳ５の追学習により、右図のように、判断境界線ａが移動して判断境界線ｂとなる。この場合、追学習で判定結果が変わる変更空間は、右図における領域Ａおよび領域Ｂである。このような変更空間は、ステップＳ４で指摘された誤りに関連した学習が不足している部分であるとみなすことができる。そこで、追学習制御部２５は、この変更空間から、チェック対象の追加データを抽出する。例えば、追学習制御部２５は、領域Ａおよび領域Ｂから、それぞれの領域の重心に一番距離が近い追加データを、チェック対象として１つずつ抽出する。このように、追学習制御部２５は、解析結果の変更空間のうち、連続した空間領域についてそれぞれ代表点に基づくチェック対象を抽出してもよい。なお、各領域について抽出されるチェック対象は、１つずつに限らず、複数であってもよい。また、各領域について抽出されるチェック対象の数は、他の少なくとも１つの領域から抽出されるチェック対象の数と異なっていてもよい。
　次に、解析結果出力確認部２３は、変更空間に含まれる解析結果を、チェック対象を認識可能な形式で表示する（ステップＳ２３）。例えば、解析結果出力確認部２３は、図１５に示すように、チェック対象エリアと、それ以外のエリアとに、解析結果を表示してもよい。また、解析結果出力確認部２３は、図１５に示すように、各エリアにおいて、解析結果を、予測結果である分類ごとに表示してもよい。この例では、各エリアにおいて左半分が「車」であると予測された画像の表示領域、右半分が「車でない」と予測された画像の表示領域となっている。また、解析結果出力確認部２３は、図１５において、所定領域（例えば画像以外の領域）の画面タッチやマウスクリック等の検出に応じて、解析結果全体に対する確認情報を入力可能なユーザインタフェース部品を表示してもよい。
　あるいは、解析結果出力確認部２３は、チェック対象を認識可能な形式として、図１６に示すように、チェック対象を強調表示して解析結果を表示してもよい。図１６では、チェック対象は、太枠で囲まれている。
　このように、解析結果出力確認部２３は、チェック対象以外の変更空間の解析結果もあわせて表示するため、ユーザは、チェック対象以外にも、その時点での学習結果が良いか否かを直感的に判断可能となる。
　ここでは、この時点での解析結果に誤りがないと確認したことを表す確認情報は、入力されていないとする（ステップＳ２４でＮ）。
　次に、確認結果出力確認部２３は、チェック対象のうち少なくとも１つに対して、ラベル情報の入力を取得し、追加の教師データとして教師データ記憶部１０３に保存する（ステップＳ２５）。ラベル情報の入力手法の具体例については、ステップＳ４で説明したため、ここでの説明を省略する。
　次に、追学習部１４は、教師データ記憶部１０３に保存された追加の教師データを用いて、追学習を行う（ステップＳ２６）。
　そして、データ解析部２２は、再度ステップＳ２１を実行する（ステップＳ２１）。
　次に、追学習制御部２５は、再解析により解析結果が変更された変更空間から、チェック対象を抽出する（ステップＳ２２）。変更空間からのチェック対象の抽出については、図１４を用いて前述したとおりである。ただし、今回は、前回移動した判断境界線ｂが、さらに移動していることになる。今回の移動後の判断境界線をｃとすると、追学習制御部２５は、判断境界線ｃの判断境界線ｂに対する変更空間に基づいて、チェック対象を抽出すればよい。
　次に、解析結果出力確認部２３は、今回の変更空間に含まれる解析結果を、チェック対象を認識可能な形式で表示する（ステップＳ２３）。
　ここで、この時点での解析結果に誤りがないと確認したことを表す確認情報が入力されない場合（ステップＳ２４でＮ）、追学習制御部２５は、ステップＳ２５～Ｓ２６、Ｓ２１～Ｓ２３の処理を繰り返す。これらの一連の処理の繰り返しにより、追学習装置２は、最初のステップＳ３で指摘された誤りに関連する追加データに対するラベル情報のユーザ入力作業を、集中して支援できたことになる。
　そして、解析結果に誤りがないと確認したことを表す確認情報が入力された場合（ステップＳ２４でＹ）、追学習装置２は、処理を終了する。
　以上で、具体例の説明を終了する。
　次に、本発明の第２の実施の形態の効果について述べる。
　本発明の第２の実施の形態としての追学習装置は、機械学習における追学習の際に、ラベル情報を付与するユーザ作業をより軽減しながら、より多くのデータに対するユーザ確認を支援することができる。
　その理由について説明する。本実施の形態では、本発明の第１の実施の形態と同様の構成に加えて、追学習制御部が、変更された解析結果からチェック対象を抽出するからである。例えば、追学習制御部は、解析結果の変更空間の代表点または解析結果の信頼度に基づいて、チェック対象を抽出する。このようにして、追学習制御部は、解析結果の変更空間のうち、変更前の解析結果の誤りに関連の深い解析結果のうち、ユーザ確認の対象としてより効果の高い解析結果を抽出することになる。そして、解析結果出力確認部は、変更空間の解析結果を表示する際に、その中でのチェック対象を認識可能な形態で表示するからである。そして、解析結果出力確認部は、チェック対象の少なくとも１つに対するラベル情報を取得し、追学習部は、得られたラベル情報が付与された追加データを追加の教師データとして、追学習を行う。そして、本実施の形態は、追加データの再解析と、再解析結果からのチェック対象の抽出と、再解析結果およびチェック対象の出力と、チェック対象の少なくとも１つに対するラベル情報の取得と、得られたラベル情報を用いた追学習とを繰り返す。
　これにより、本実施の形態を用いると、ユーザは、チェック対象として抽出された解析結果における誤りの一部を指摘していくだけで、指摘を行う度にその指摘により追学習された機械学習モデルによる再解析結果の全体を確認可能となる。その結果、ユーザは、実際にラベル情報を入力する作業が必要となるチェック対象と共に、チェック対象以外の変更された再解析結果を一覧することができる。すなわち、本実施の形態は、ラベル情報の入力作業が必要なデータの数をチェック対象の数に抑えながら、その数より多くの解析結果の一覧性を高め、ユーザ確認を容易にすることができる。したがって、本実施の形態は、追学習による解析結果の莫大なデータ確認作業の負担を軽減し、より容易に機械学習モデルの追学習を可能とする。
　また、本実施の形態は、追学習制御部が、解析結果の変更空間の代表点や信頼度に基づいてチェック対象を抽出する。これにより、ユーザは、一部の解析結果の誤りに対する指摘を行うと、それに伴う再解析の繰り返しにおいて、前回の誤りの指摘に関連の深いデータをチェック対象として確認していくことができる。このように、本実施の形態は、ユーザにより指摘された誤りに関連する解析結果に対するユーザ確認を集中して支援することで、機械学習モデルの精度をより向上させることができる。
　また、本実施の形態は、解析結果出力確認部が、チェック対象（能動学習の対象）以外の解析結果もあわせて表示するため、ユーザは、追学習による機械学習モデルの精度向上を、直感的に把握することができる。
　なお、本発明の第２の実施の形態において、解析結果出力確認部は、チェック対象を認識可能に解析結果を表示する形態として、図１５および図１６の例を示した。すなわち、１つは、図１５のように、チェック対象と、チェック対象以外とを異なるエリアに表示する形態である。また、もう１つは、図１６のように、解析結果のうち、チェック対象を強調表示する形態である。このような表示形態の例に限らず、本実施の形態は、チェック対象を認識可能に解析結果を表示する形態であれば、その他の表示形態を採用してもよい。
　また、本発明の第２の実施の形態において、解析結果出力確認部は、画面タッチやマウスクリックなどの検出に応じてユーザインタフェース部品を表示することにより、追加データに対するラベル情報や確認情報を取得する例を中心に説明した。これに限らず、本実施の形態は、解析結果の表示画面に、あらかじめそれらのユーザインタフェース部品を配置しておいてもよい。その他、本実施の形態は、ラベル情報や確認情報を取得可能であれば、他のユーザインタフェースを採用してもよい。
　また、本発明の第２の実施の形態において、具体例として、機械学習モデルがサポートベクタマシンである例を中心に説明したが、その他の学習モデルであってもよい。また、本発明の第２の実施の形態において、具体例として、機械学習モデルが解析対象を２分類する例について示したが、本実施の形態は、対象を３つ以上に分類する機械学習モデルにも適用可能である。また、本実施の形態は、統計分類に限らず、回帰分析をはじめとするその他の機械学習モデルにも適用可能である。
　また、本発明の第２の実施の形態において、解析対象が画像データである例を中心に説明したが、これに限らず、解析対象としてその他の種類のデータを適用してもよい。
　また、本発明の第２の実施の形態において、解析結果出力確認部は、解析結果とともに、信頼度の情報を表示してもよい。例えば、本実施の形態の具体例において、解析結果出力確認部は、ステップＳ３において、図１７のように解析結果を表示してもよい。同様に、解析結果出力確認部は、ステップＳ２３における再解析結果の表示例（図１５または図１６）においても、信頼度を併せて表示してもよい。
　また、本発明の第２の実施の形態において、解析結果出力確認部は、解析結果の少なくとも１つに対するラベル情報を、自信度のパラメータと共に取得してもよい。これは、ユーザが、正しいラベル情報に自信がない場合を考慮している。そして、解析結果出力確認部は、ラベル情報を自信度と共に追加データに付与し、追加の教師データとして教師データ記憶部に保存してもよい。この場合、教師データ記憶部に記憶される情報は、図１８に示す構成であってもよい。そして、追学習部は、追加の教師データの自信度を考慮して、追学習を行う公知の技術を採用すればよい。
　また、本発明の各実施の形態では、解析結果出力確認部に対して、解析結果またはチェック対象の１つに対するラベル情報が入力される度に、追学習、再解析（および次のチェック対象の抽出）が繰り返される例を中心に説明した。これに限らず、各実施の形態において、ラベル情報の入力は１つずつでなくてもよい。例えば、各実施の形態は、あらかじめ定められた数の解析結果またはチェック対象についてラベル情報を取得すると、追学習、再解析（および次のチェック対象の抽出）を繰り返すようにしてもよい。あるいは、各実施の形態は、１つ以上の解析結果またはチェック対象についてラベル情報を取得後、追学習を指示する情報が入力されると、追学習、再解析（および次のチェック対象の抽出）を繰り返すようにしてもよい。
　また、本発明の各実施の形態において、追学習装置の各機能ブロックが、記憶装置またはＲＯＭに記憶されたコンピュータ・プログラムを実行するＣＰＵによって実現される例を中心に説明した。これに限らず、各機能ブロックの一部、全部、または、それらの組み合わせが専用のハードウェアにより実現されていてもよい。
　また、上述した本発明の各実施の形態において、追学習装置の機能ブロックは、複数の装置に分散されて実現されてもよい。
　また、上述した本発明の各実施の形態において、各フローチャートを参照して説明した追学習装置の動作を、本発明のコンピュータ・プログラムとしてコンピュータ装置の記憶装置（記憶媒体）に格納しておいてもよい。そして、係るコンピュータ・プログラムを当該ＣＰＵが読み出して実行するようにしてもよい。そして、このような場合において、本発明は、係るコンピュータ・プログラムのコードあるいは記憶媒体によって構成される。
　また、上述した各実施の形態は、適宜組み合わせて実施されることが可能である。
　以上、上述した実施形態を模範的な例として本発明を説明した。しかしながら、本発明は、上述した実施形態には限定されない。即ち、本発明は、本発明のスコープ内において、当業者が理解し得る様々な態様を適用することができる。
　この出願は、２０１４年１１月２７日に出願された日本出願特願２０１４－２３９７６０を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　１、２　　追学習装置
　１１　　追加データ取得部
　１２、２２　　データ解析部
　１３、２３　　解析結果出力確認部
　１４　　追学習部
　１５、２５　　追学習制御部
　１０３　　教師データ記憶部
　１０４　　機械学習モデル記憶部
　１００１　　ＣＰＵ
　１００２　　ＲＡＭ
　１００３　　ＲＯＭ
　１００４　　記憶装置
　１００５　　入力装置
　１００６　　出力装置

Claims (7)

  1. 　機械学習モデルに対する追学習用の追加データを取得する追加データ取得手段と、
    　前記機械学習モデルを用いて前記追加データの解析を行うデータ解析手段と、
    　前記データ解析手段による解析結果を出力し、出力した解析結果のうちの少なくとも１つに対するラベル情報を取得する解析結果出力確認手段と、
    　前記解析結果出力確認手段によって取得されたラベル情報を用いて前記機械学習モデルを追学習する追学習手段と、
    　前記追学習により更新された機械学習モデルを用いた前記追加データの再解析、前記再解析により変更された解析結果のうちの少なくとも１つに対するラベル情報の取得、および、該ラベル情報を用いた前記機械学習モデルの追学習を繰り返すよう、前記データ解析手段、前記解析結果出力確認手段、および、前記追学習手段を制御する追学習制御手段と、
    　を備えた追学習装置。
  2. 　前記追学習制御手段は、前記再解析により変更された解析結果からチェック対象を抽出し、前記チェック対象に対するラベル情報を取得するよう前記解析結果出力確認手段を制御することを特徴とする請求項１に記載の追学習装置。
  3. 　前記追学習制御手段は、前記再解析により解析結果が変更された変更空間を代表する代表点に基づいて、前記チェック対象を抽出することを特徴とする請求項２に記載の追学習装置。
  4. 　前記追学習制御手段は、前記再解析により変更された解析結果の信頼度に基づいて、前記チェック対象を抽出することを特徴とする請求項２または請求項３に記載の追学習装置。
  5. 　前記解析結果出力確認手段は、前記解析結果に対する確認情報をさらに取得し、
    　前記追学習制御手段は、前記確認情報が所定の内容を表すとき、前記繰り返し処理を終了することを特徴とする請求項１から請求項４のいずれか１項に記載の追学習装置。
  6. 　コンピュータ装置が、
    　機械学習モデルに対する追学習用の追加データを取得し、
    　前記機械学習モデルを用いて前記追加データの解析を行い、
    　前記追加データの解析結果を出力し、出力した解析結果のうちの少なくとも１つに対するラベル情報を取得し、
    　取得したラベル情報を用いて前記機械学習モデルを追学習し、
    　前記追学習により更新された機械学習モデルを用いた前記追加データの再解析、前記再解析により変更された解析結果のうちの少なくとも１つに対するラベル情報の取得、および、該ラベル情報を用いた前記機械学習モデルの追学習を繰り返す追学習方法。
  7. 　機械学習モデルに対する追学習用の追加データを取得する追加データ取得ステップと、
    　前記機械学習モデルを用いて前記追加データの解析を行うデータ解析ステップと、
    　前記データ解析ステップにおける解析結果を出力し、出力した解析結果のうちの少なくとも１つに対するラベル情報を取得する解析結果出力確認ステップと、
    　前記解析結果出力確認ステップで取得されたラベル情報を用いて前記機械学習モデルを追学習する追学習ステップと、
    　前記追学習により更新された機械学習モデルを用いた前記追加データの再解析、前記再解析により変更された解析結果のうちの少なくとも１つに対するラベル情報の取得、および、該ラベル情報を用いた前記機械学習モデルの追学習を繰り返す繰り返しステップと、
    　をコンピュータ装置に実行させる追学習プログラムを記憶した記憶媒体。
PCT/JP2015/005717 2014-11-27 2015-11-17 追学習装置、追学習方法、および、記憶媒体 WO2016084336A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016561233A JP6337973B2 (ja) 2014-11-27 2015-11-17 追学習装置、追学習方法、および、追学習プログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-239760 2014-11-27
JP2014239760 2014-11-27

Publications (1)

Publication Number Publication Date
WO2016084336A1 true WO2016084336A1 (ja) 2016-06-02

Family

ID=56073931

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/005717 WO2016084336A1 (ja) 2014-11-27 2015-11-17 追学習装置、追学習方法、および、記憶媒体

Country Status (2)

Country Link
JP (1) JP6337973B2 (ja)
WO (1) WO2016084336A1 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107316083A (zh) * 2017-07-04 2017-11-03 北京百度网讯科技有限公司 用于更新深度学习模型的方法和装置
EP3306485A1 (en) 2016-10-06 2018-04-11 Fujitsu Limited Method for editing machine learning result and information processing apparatus
JP2019071802A (ja) * 2017-10-13 2019-05-16 有限会社竹内園芸 苗データ生成システム、苗判別システム、苗データ生成プログラム、苗判別プログラム、苗データ生成装置、苗判別装置
JP6731603B1 (ja) * 2019-03-01 2020-07-29 株式会社安川電機 検査システム
CN112567426A (zh) * 2018-12-27 2021-03-26 欧姆龙株式会社 图像判定装置、图像判定方法及图像判定程序
US11170433B2 (en) 2018-01-09 2021-11-09 Intuit Inc. Method and system for using machine learning techniques to make highly relevant and de-duplicated offer recommendations
US11244340B1 (en) * 2018-01-19 2022-02-08 Intuit Inc. Method and system for using machine learning techniques to identify and recommend relevant offers
US11775822B2 (en) 2020-05-28 2023-10-03 Macronix International Co., Ltd. Classification model training using diverse training source and inference engine using same

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102542037B1 (ko) * 2019-09-26 2023-06-12 주식회사 루닛 인공지능 모델을 사용 기관에 특화시키는 학습 방법, 이를 수행하는 장치
CN114467146A (zh) * 2019-09-26 2022-05-10 株式会社润医 用于对部署机构中的人工智能模型进行专业化的训练方法以及用于对人工智能模型进行训练的装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080103996A1 (en) * 2006-10-31 2008-05-01 George Forman Retraining a machine-learning classifier using re-labeled training samples
JP2011065579A (ja) * 2009-09-18 2011-03-31 Nec Corp 標準パタン学習装置、ラベル付与基準算出装置、標準パタン学習方法およびプログラム
JP2011203991A (ja) * 2010-03-25 2011-10-13 Sony Corp 情報処理装置、情報処理方法、およびプログラム
JP2013125322A (ja) * 2011-12-13 2013-06-24 Olympus Corp 学習装置、プログラム及び学習方法
JP2014092878A (ja) * 2012-11-01 2014-05-19 Nippon Telegr & Teleph Corp <Ntt> 分類モデル更新支援装置及び方法及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080103996A1 (en) * 2006-10-31 2008-05-01 George Forman Retraining a machine-learning classifier using re-labeled training samples
JP2011065579A (ja) * 2009-09-18 2011-03-31 Nec Corp 標準パタン学習装置、ラベル付与基準算出装置、標準パタン学習方法およびプログラム
JP2011203991A (ja) * 2010-03-25 2011-10-13 Sony Corp 情報処理装置、情報処理方法、およびプログラム
JP2013125322A (ja) * 2011-12-13 2013-06-24 Olympus Corp 学習装置、プログラム及び学習方法
JP2014092878A (ja) * 2012-11-01 2014-05-19 Nippon Telegr & Teleph Corp <Ntt> 分類モデル更新支援装置及び方法及びプログラム

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3306485A1 (en) 2016-10-06 2018-04-11 Fujitsu Limited Method for editing machine learning result and information processing apparatus
CN107316083A (zh) * 2017-07-04 2017-11-03 北京百度网讯科技有限公司 用于更新深度学习模型的方法和装置
US11640550B2 (en) 2017-07-04 2023-05-02 Beijing Baidu Netcom Science And Technology Co., Ltd. Method and apparatus for updating deep learning model
JP2019071802A (ja) * 2017-10-13 2019-05-16 有限会社竹内園芸 苗データ生成システム、苗判別システム、苗データ生成プログラム、苗判別プログラム、苗データ生成装置、苗判別装置
US11170433B2 (en) 2018-01-09 2021-11-09 Intuit Inc. Method and system for using machine learning techniques to make highly relevant and de-duplicated offer recommendations
US20220051282A1 (en) * 2018-01-19 2022-02-17 Intuit Inc. Method and system for using machine learning techniques to identify and recommend relevant offers
US11244340B1 (en) * 2018-01-19 2022-02-08 Intuit Inc. Method and system for using machine learning techniques to identify and recommend relevant offers
CN112567426B (zh) * 2018-12-27 2024-06-07 欧姆龙株式会社 图像判定装置、图像判定方法及其程序的记录媒体
CN112567426A (zh) * 2018-12-27 2021-03-26 欧姆龙株式会社 图像判定装置、图像判定方法及图像判定程序
JP6731603B1 (ja) * 2019-03-01 2020-07-29 株式会社安川電機 検査システム
CN113366528A (zh) * 2019-03-01 2021-09-07 株式会社安川电机 检查系统
WO2020178913A1 (ja) * 2019-03-01 2020-09-10 株式会社安川電機 検査システム
CN113366528B (zh) * 2019-03-01 2024-06-21 株式会社安川电机 检查系统
US11775822B2 (en) 2020-05-28 2023-10-03 Macronix International Co., Ltd. Classification model training using diverse training source and inference engine using same

Also Published As

Publication number Publication date
JP6337973B2 (ja) 2018-06-06
JPWO2016084336A1 (ja) 2017-10-05

Similar Documents

Publication Publication Date Title
WO2016084336A1 (ja) 追学習装置、追学習方法、および、記憶媒体
EP2991004B1 (en) Method and apparatus for labeling training samples
JP2016076073A (ja) データ処理装置、データ処理方法、及び、コンピュータ・プログラム
US9971954B2 (en) Apparatus and method for producing image processing filter
JP7374756B2 (ja) 情報処理装置、情報処理方法、及びプログラム
CN108400980B (zh) 用户身份验证方法、装置、计算机设备和存储介质
CN110765735B (zh) 数学表达式输入方法、装置及电子设备
KR20220038477A (ko) 텍스트 라인 추출
CN104797993A (zh) 系统构建辅助装置
JP5807342B2 (ja) 文字認識装置及びプログラム
KR20180036074A (ko) 텍스트 필터링 장치 및 방법
CN109063561B (zh) 公式的识别计算方法和装置
Cheng et al. YOLOv5‐MGC: GUI Element Identification for Mobile Applications Based on Improved YOLOv5
JP2007249826A (ja) テスト項目生成装置
JP2018113643A (ja) 文字列入力装置、入力文字列推定方法、および入力文字列推定プログラム
CN102378005A (zh) 运动图像处理装置、运动图像处理方法和程序
JP6325218B2 (ja) 文字認識結果検証装置及び文字読取システム
JP2018084966A (ja) 情報処理装置および情報処理方法
JP5974576B2 (ja) 文字認識学習装置、文字認識装置、およびプログラム
CN112036252A (zh) 动作打标签模型的构建、视频动作打标方法及装置
JP2015176522A (ja) 情報処理装置及び情報処理プログラム
US11113531B2 (en) Annotation device, annotation method, and non-transitory computer-readable storage medium
JP2019021037A (ja) ソースコード評価装置、ソースコード評価方法及びソースコード評価プログラム
JP2006260073A (ja) 遺伝子関係抽出プログラム、遺伝子関係抽出方法および遺伝子関係抽出装置
CN110765736B (zh) 数学表达式输入方法、装置及移动设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15862392

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016561233

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15862392

Country of ref document: EP

Kind code of ref document: A1