WO2019187594A1 - 学習装置、学習方法および学習プログラム - Google Patents

学習装置、学習方法および学習プログラム Download PDF

Info

Publication number
WO2019187594A1
WO2019187594A1 PCT/JP2019/002867 JP2019002867W WO2019187594A1 WO 2019187594 A1 WO2019187594 A1 WO 2019187594A1 JP 2019002867 W JP2019002867 W JP 2019002867W WO 2019187594 A1 WO2019187594 A1 WO 2019187594A1
Authority
WO
WIPO (PCT)
Prior art keywords
learning
learning data
model
data
category
Prior art date
Application number
PCT/JP2019/002867
Other languages
English (en)
French (fr)
Inventor
剛 菅野
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to US16/982,798 priority Critical patent/US20210004723A1/en
Priority to JP2020509738A priority patent/JP6973625B2/ja
Publication of WO2019187594A1 publication Critical patent/WO2019187594A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation

Definitions

  • the present invention relates to a learning apparatus, a learning method, and a learning program for learning a model for determining a category to which data corresponds by machine learning.
  • the model is learned using learning data collected in advance.
  • Patent Document 1 learns the correspondence between features and their evaluation based on the feature information of each data, and is inappropriate for machine learning from among learning data candidates based on the learning result.
  • a machine learning system for deleting learning data is described.
  • the determination accuracy by the model is lowered.
  • an object of the present invention is to provide a learning apparatus, a learning method, and a learning program capable of accurately excluding learning data inappropriate for model learning from learning data and performing model learning. To do.
  • the learning device is learning data used to generate a first model for determining a category to which given data corresponds, and learning data associated with a predetermined correct answer category.
  • Learning data storage means for storing, first learning means for executing a first learning process for learning the first model by machine learning using the learning data, and applying the learning data to the first model To determine the category to which the learning data corresponds, sort the learning data based on the difference between the category that is the determination result and the correct answer category corresponding to the learning data, Selection means for performing selection processing for selecting the learning data as a second learning data, and selecting the learning data of a predetermined number as the second learning data; Second learning means for executing second learning processing for learning a second model for evaluating learning data by machine learning using the data and the second learning data, and satisfying a predetermined condition Until the first learning means executes the first learning process, the selection means executes the selection process, and the second learning means executes the second learning process, the first learning means However, when the second model is generated in the first learning process, the individual learning
  • the learning method is learning data used for generating a first model for determining a category to which given data corresponds, and learning associated with a predetermined correct answer category.
  • a computer having learning data storage means for storing data executes a first learning process for learning a first model by machine learning using the learning data, and applies the learning data to the first model.
  • To determine the category to which the learning data corresponds sort the learning data based on the difference between the category that is the determination result and the correct answer category corresponding to the learning data, A learning process is performed to select a predetermined number of lower learning data as second learning data, and the first learning data is selected.
  • the second learning process for learning the second model for evaluating the learning data by machine learning using the second learning data and the second learning data, and the first learning process until a predetermined condition is satisfied
  • the individual learning data is applied to the second model by repeating the selection process and the second learning process.
  • learning the first model by excluding learning data of a predetermined evaluation.
  • the learning program according to the present invention is learning data used to generate a first model for determining a category to which given data corresponds, and learning associated with a predetermined correct answer category.
  • a learning program installed in a computer having learning data storage means for storing data, wherein the learning data is stored in the computer using a learning process to learn a first model by machine learning.
  • the category corresponding to the learning data is determined, the learning data is sorted based on the difference between the determination result category and the correct answer category corresponding to the learning data, and a predetermined number Higher learning data is selected as first learning data, and a predetermined number of lower learning data are selected as second learning data.
  • a second learning process for learning a second model for evaluating the learning data by machine learning using the first learning data and the second learning data Until the first condition is satisfied, the first learning process, the selection process, and the second learning process are repeated.
  • the second model is generated in the first learning process, the individual learning data is By applying to the second model, individual learning data is evaluated, and learning data of a predetermined evaluation is excluded, and the first model is learned.
  • learning data inappropriate for learning a model can be accurately excluded from learning data, and the model can be learned.
  • the learning device of the present invention learns a model for determining a category to which given data corresponds by machine learning.
  • the category is various determination results of the determination process using the model. For example, when learning a model for determining whether an object shown in an image corresponds to a predetermined object, the category type is “an object shown in the image corresponds to a predetermined object”. There are two types: a category and a category “an object in an image does not correspond to a predetermined object”. However, the types of categories are not limited to two.
  • the type of category is determined by what kind of learning data is used to learn what kind of determination model is to be learned.
  • each learning data used for learning the model is associated with a correct answer category (category representing a correct answer) determined in advance for the learning data.
  • the correct answer category is determined in advance by the user of the learning device, for example, according to the learning data.
  • each category obtained as a determination result by the determination process using the model is represented by a vector.
  • the correct answer category that is predetermined in association with each learning data is also represented by a vector.
  • FIG. FIG. 1 is a block diagram illustrating a configuration example of the learning device according to the first embodiment of this invention.
  • the learning device 100 of the present invention includes a learning data storage unit 1, a first learning unit 2, a first model storage unit 3, a selection unit 4, a second learning unit 5, and a second model storage. Part 6.
  • the learning apparatus 100 not only learns a model for determining a category to which the given data corresponds by machine learning, but also determines whether each learning data is appropriate as learning data used for learning the model.
  • a model for determination is also learned by machine learning.
  • a model for determining a category corresponding to given data is referred to as a first model.
  • a model for determining whether each learning data is appropriate as learning data used for learning the first model is referred to as a second model.
  • the learning data storage unit 1 is a storage device that stores a plurality of learning data used for learning (generation) of the first model. Each learning data is associated with a predetermined correct answer category.
  • a model for determining whether or not an object shown in an image corresponds to a predetermined object is learned as an example of the first model.
  • a user of the learning apparatus 100 collects a plurality of image data. Then, the user associates the correct category with each image data and stores it in the learning data storage unit 1 in advance.
  • the user determines that the object shown in the image corresponds to the predetermined object, the user can associate the correct category “the object shown in the image corresponds to the predetermined object” with the image data of the image. That's fine.
  • the correct answer category “the object shown in the image does not correspond to the predetermined object” is included in the image data of the image. It only has to be associated.
  • the learning data is not limited to the above image data.
  • the user may store the learning data according to what kind of determination is learned as the first model in the learning data storage unit 1 in association with the correct answer category.
  • the first learning unit 2 learns the first model by machine learning using the learning data stored in the learning data storage unit 1.
  • the first learning unit 2 learns the first model by deep learning.
  • the 1st learning part 2 is the case where the 2nd model (The model for determining whether each learning data is appropriate as learning data used for learning of a 1st model) is produced
  • the 2nd model The model for determining whether each learning data is appropriate as learning data used for learning of a 1st model
  • the learning device 100 repeats the processing of the first learning unit 2, the processing of the selection unit 4, and the processing of the second learning unit 5.
  • the second model has not yet been generated.
  • the first learning unit 2 learns the first model using all the learning data stored in the learning data storage unit 1.
  • the second model is generated after the second iteration.
  • the first learning unit 2 determines whether each learning data is appropriate or inappropriate by applying each learning data to the second model.
  • the 1st learning part 2 learns a 1st model using the learning data which excluded the learning data determined to be inappropriate, and remained.
  • the first learning unit 2 stores the first model obtained by learning in the first model storage unit 3.
  • the first model storage unit 3 is a storage device that stores the first model.
  • the sorting unit 4 reads each learning data from the learning data storage unit 1. And the selection part 4 determines the category to which each learning data corresponds by applying each learning data to a 1st model for every correct category.
  • the first learning unit 2 learns the first model by deep learning.
  • the category determination result is obtained as a vector. Therefore, the category determination result for each learning data is obtained as a vector.
  • the correct answer data associated with the learning data is also determined as a vector in advance.
  • the selection unit 4 calculates, for each learning data, a difference between the category determined for the learning data and the correct answer data corresponding to the learning data, and further learning based on the difference. Sort the data.
  • the selection unit 4 sorts the learning data in ascending order based on the value indicating the difference.
  • the sorting unit 4 performs the above processing for each correct answer category associated with the learning data. Therefore, as a result of the above processing, for example, the learning data associated with the correct answer category “the object in the image corresponds to the predetermined object” is sorted, and the “object in the image” is sorted. Each piece of learning data associated with the correct answer category “does not correspond to a predetermined object” is sorted.
  • learning data having a small difference from the correct answer data is appropriate as learning data used for learning the first model. Further, it can be said that learning data having a large difference from the correct answer data is inappropriate as learning data used for learning of the first model. Therefore, in the learning data sorted in ascending order based on the value indicating the difference, the upper learning data can be said to be appropriate learning data, and the lower learning data can be said to be inappropriate learning data.
  • the sorting unit 4 sorts a predetermined number of upper learning data as appropriate learning data from learning data sorted in ascending order for each correct answer category, and determines a predetermined number of lower learning data as uncorrected learning data. Select as appropriate learning data.
  • FIG. 2 is a schematic diagram showing selection of appropriate learning data and inappropriate learning data.
  • FIG. 2 illustrates a case where there are three types of correct categories, “category A”, “category B”, and “category C”.
  • the sorting unit 4 sorts learning data whose correct category is “Category A”, and then selects a predetermined number of higher-order learning data as appropriate learning data from the learning data. The lower number of lower learning data is selected as inappropriate learning data.
  • the selecting unit 4 similarly sorts the upper number of the predetermined number after the sorting process.
  • the learning data is selected as appropriate learning data, and a predetermined number of lower learning data are selected as inappropriate learning data.
  • the learning data selected as appropriate learning data and the learning data selected as inappropriate learning data become learning data (teacher data) for learning the second model.
  • learning data selected as appropriate learning data is referred to as first learning data
  • learning data selected as inappropriate learning data is referred to as second learning data, thereby being selected as appropriate learning data.
  • Learning data may be distinguished from learning data selected as inappropriate learning data.
  • the selection unit 4 may select appropriate learning data and inappropriate learning data regardless of the correct answer category. In this case, the selection unit 4 sorts the learning data regardless of the correct category based on the value indicating the difference between the category determined for the learning data and the correct data corresponding to the learning data, and determines the predetermined value. A predetermined number of upper learning data may be selected as appropriate learning data, and a predetermined number of lower learning data may be selected as inappropriate learning data.
  • the second learning unit 5 uses the learning data selected as appropriate learning data by the selection unit 4 and the learning data selected as inappropriate learning data by the selection unit 4 (in other words, those learning data).
  • the learning data is used as teacher data), and the second model is learned by machine learning.
  • the second learning unit 5 learns the second model regardless of the correct answer category by using the learning data selected by the selection unit 4 collectively. Therefore, even if there are a plurality of types of correct answer categories, the second learning unit 5 learns one second model.
  • the second learning unit 5 causes the second model storage unit 6 to store the second model obtained by learning.
  • the second model storage unit 6 is a storage device that stores the second model.
  • the learning device 100 includes a process executed by the first learning unit 2 (which can be referred to as a first learning process), a process executed by the selection unit 4 (which can be referred to as a selection process), and a first.
  • the process executed by the second learning unit 5 (which can be referred to as a second learning process) is repeated until a predetermined condition is satisfied.
  • An example of the predetermined condition is that the number of repetitions has reached a predetermined number.
  • the classification of learning data (“appropriate” or The difference between “inappropriate”) and the determination result obtained by applying the learning data to the second model is equal to or less than a predetermined threshold.
  • the first learning unit 2, the selection unit 4, and the second learning unit 5 are realized by, for example, a CPU (Central Processing Unit) of a computer that operates according to a learning program.
  • the CPU may read the learning program from a program recording medium such as a program storage device of the computer and operate as the first learning unit 2, the selection unit 4, and the second learning unit 5 according to the program.
  • FIG. 3 is a flowchart showing an example of processing progress of the learning device 100 of the present invention.
  • the first learning unit 2 learns the first model and stores it in the first model storage unit 3 (step S101).
  • the specific process progress of step S101 will be described later.
  • Step S102 the learning apparatus 100 learns the second model and stores it in the second model storage unit 6.
  • the selection unit 4 selects the learning data from the learning data stored in the learning data storage unit 1, and the second learning unit 5 uses the selected learning data to perform the first processing.
  • the process which 2 models learn is included. The specific process progress of step S102 will be described later.
  • step S103 the first learning unit 2 determines whether or not a predetermined condition is satisfied.
  • the predetermined condition is not satisfied (No in Step S103)
  • the learning device 100 repeats the processes after Step S101. If the predetermined condition is satisfied (Yes in step S103), the process ends.
  • an example of the predetermined condition is that the number of repetitions reaches a predetermined number.
  • the first learning unit 2 may determine whether or not the number of repetitions has reached a predetermined number.
  • the classification of learning data (“appropriate” or “ The difference between “unsuitable”) and the determination result obtained by applying the learning data to the second model is equal to or less than a predetermined threshold.
  • the process of determining whether or not the learning data is appropriate by applying the learning data to the second model is performed by the first learning unit 2 in step S101, so that the first learning unit 2 satisfies the above condition. What is necessary is just to determine whether it was satisfy
  • FIG. 4 is a flowchart illustrating an example of the processing progress of step S101.
  • step S101 first, the first learning unit 2 reads each learning data from the learning data storage unit 1 (step S201).
  • the first learning unit 2 determines whether the current time is the first iteration of steps S101 to S103 (see FIG. 3), or the second and subsequent iterations of steps S101 to S103. (Step S202).
  • the second model has not yet been generated. On the other hand, if it is the second and subsequent iterations of steps S101 to S103, a second model is generated and stored in the second model storage unit 6.
  • step S205 the first learning unit 2 learns the first model by machine learning using all the learning data read from the learning data storage unit 1.
  • step S205 the first learning unit 2 learns the first model by machine learning using a method that repeatedly uses the learning data.
  • An example of machine learning using a method of repeatedly using learning data is deep learning, and in each embodiment, the first learning unit 2 uses the learning data to learn the first model by deep learning. To. However, the first learning unit 2 does not execute all the required number of iterations using the learning data, but ends the learning when the number of iterations using the learning data reaches a certain number.
  • step S ⁇ b> 203 the first learning unit 2 reads the second model from the second model storage unit 6.
  • the first learning unit 2 applies the individual learning data read from the learning data storage unit 1 in step S201 to the second model read in step S203, thereby performing the individual learning. It is determined whether the data is appropriate as learning data used for learning the first model. Then, the first learning unit 2 excludes the learning data determined to be inappropriate from the learning data read from the learning data storage unit 1 (step S204).
  • FIG. 5 is a schematic diagram showing the exclusion of learning data.
  • the learning data A and C are inappropriate and the learning data B , D is determined to be appropriate.
  • the first model is learned using the remaining learning data excluding the learning data A and C.
  • step S204 the determination result in step S204 for each piece of learning data read from the learning data storage unit 1 in step S201 can change. For example, even if it is determined that the learning data is inappropriate in step S204, it can be determined that the learning data is appropriate in step S204 in the next step S101.
  • the first learning unit 2 obtains the learning data classification (“appropriate” or “inappropriate”) determined by the selection unit 4 and applying the learning data to the second model.
  • a numerical value indicating a difference from the determination result may be calculated.
  • the first learning unit 2 may determine whether or not a predetermined condition is satisfied depending on whether or not a numerical value indicating the difference is equal to or less than a threshold value.
  • step S204 the process proceeds to step S205.
  • step S205 the first learning unit 2 uses the learning data remaining after removing the learning data determined to be inappropriate, and performs the first model by deep learning. learn. As already described, the first learning unit 2 ends the learning when the number of iterations using the learning data reaches a certain number.
  • the first learning unit 2 stores the first model generated in step S205 in the first model storage unit 3 (step S206).
  • the first learning unit 2 is the first model generated in the immediately preceding step S205, and is stored in the first model storage unit 3. Update the stored first model.
  • step S206 step S101 (see FIG. 3) ends.
  • FIG. 6 is a flowchart illustrating an example of the processing progress of step S102.
  • step S102 first, the selection unit 4 reads each learning data from the learning data storage unit 1 (step S301).
  • the selection unit 4 reads the first model from the first model storage unit 3 (step S302).
  • This first model is the model learned in the most recent step S205 (see FIG. 4).
  • the selection unit 4 applies the individual learning data to the first model to determine the category to which the individual learning data corresponds (step S303).
  • the sorting unit 4 refers to the correct category associated with each learning data when classifying the learning data for each correct category. However, the selection unit 4 does not refer to the correct category when determining the category to which each learning data corresponds.
  • the selection unit 4 calculates the certainty factor for each category in the process of determining the category to which the learning data corresponds by applying the learning data to the first model.
  • the certainty factor is a numerical value indicating how easily the learning data corresponds to the category of interest.
  • the selection unit 4 determines the category having the maximum certainty as the category corresponding to the learning data.
  • the selection unit 4 calculates, for each learning data, the difference between the category determined in step S303 for the learning data and the correct answer data corresponding to the learning data, Further, the learning data is sorted based on the difference (step S304). Here, the selection unit 4 sorts the learning data in ascending order based on the difference.
  • the selection unit 4 may calculate the difference between the vector representing the category determined in step S303 and the vector representing the correct answer data, and may calculate the L1 norm of the difference as a value indicating the difference.
  • the sorting unit 4 may sort the learning data in ascending order based on the L1 norm for each correct category.
  • the difference between the vector representing the category determined in step S303 and the vector representing the correct answer data may be calculated, and the L2 norm of the difference may be calculated as a value indicating the difference. Then, the selection unit 4 may sort the learning data in ascending order based on the L2 norm for each correct category.
  • the selection unit 4 may sort the learning data based on the above certainty factor. Specifically, the selection unit 4 sorts the learning data in ascending order for each correct category based on the certainty for the correct category corresponding to the learned data obtained in the process of determining the category of the learned data. Also good.
  • the selection unit 4 selects appropriate learning data and inappropriate learning data as learning data used for learning the first model (step S305).
  • the selection unit 4 selects a predetermined number of upper learning data as appropriate learning data from learning data sorted in ascending order for each correct category, and sets a predetermined number of lower learning data. Are selected as inappropriate learning data.
  • the selection unit 4 sorts each learning data without depending on the correct answer category, selects a predetermined number of upper learning data as appropriate learning data, and selects a predetermined number of lower learning data. It may be selected as inappropriate learning data.
  • the second learning unit 5 collects all the learning data selected as appropriate learning data by the selecting unit 4 and the learning data selected as inappropriate learning data by the selecting unit 4.
  • the second model is learned by machine learning (step S306).
  • the second learning unit 5 stores the second model generated in step S306 in the second model storage unit 6 (step S307).
  • the second learning unit 5 uses the second model generated in the immediately preceding step S306 and stores the second model in the second model storage unit 6. Update the stored second model.
  • step S307 step S102 (see FIG. 3) ends.
  • step S102 the first learning unit 2 determines whether or not a predetermined condition is satisfied (step S103). If the predetermined condition is not satisfied (No in step S103), the processes after step S101 are repeated. If the predetermined condition is satisfied (Yes in step S103), the process ends.
  • the selection unit 4 selects appropriate learning data and inappropriate learning data as learning data used for learning the first model.
  • the second learning unit 5 learns the second model by machine learning using all the learning data selected by the selection unit 4 collectively.
  • the first learning unit 2 applies each learning data stored in the learning data storage unit 1 to the second model to determine whether each learning data is appropriate or inappropriate. Determine.
  • the 1st learning part 2 learns a 1st model using the learning data which excluded the learning data determined to be inappropriate, and remained. Therefore, the learning of the first model can be performed by removing learning data inappropriate for learning of the first model from the individual learning data.
  • a second model for determining whether or not each learning data is appropriate as learning data used for learning the first model is learned, and each learning data is applied to the second model.
  • each learning data is applied to the second model.
  • the category of the data can be determined with high accuracy by applying the given data to the first model.
  • FIG. 7 is a block diagram illustrating an example of a learning device according to the second embodiment of this invention. Elements similar to those shown in FIG. 1 are given the same reference numerals as those in FIG.
  • the learning device 100 according to the second embodiment of the present invention further includes a designation receiving unit 7 in addition to the elements included in the learning device 100 according to the first embodiment (see FIG. 1).
  • the designation accepting unit 7 accepts designation from the user as to whether or not each learning data stored in the learning data storage unit 1 is appropriate. For example, after step S305 (see FIG. 6), the designation receiving unit 7 reads each learning data from the learning data storage unit 1, and stores the individual learning data in a display device (not shown in FIG. 7) included in the learning device 100. indicate. And the designation
  • GUI Graphic
  • step S306 the second learning unit 5 selects the learning data selected as appropriate learning data by the selecting unit 4, the learning data selected as inappropriate learning data by the selecting unit 4, and the user appropriate
  • the second model is learned using learning data specified as correct learning data and learning data specified as inappropriate learning data by the user.
  • the second learning unit 5 gives priority to the specification by the user, and the learning data Is learned as inappropriate learning data, the second model is learned.
  • the second learning unit 5 gives priority to the specification by the user, and the learning data Is learned as appropriate learning data, and the second model is learned.
  • the designation receiving unit 7 is realized by a CPU of a computer that operates according to a learning program, for example.
  • the CPU reads the learning program from a program recording medium such as a computer program storage device, and operates as the first learning unit 2, the selection unit 4, the second learning unit 5, and the designation receiving unit 7 according to the program. do it.
  • the second embodiment it is possible to incorporate a user's judgment as to whether or not the learning data is appropriate.
  • FIG. FIG. 8 is a block diagram illustrating an example of a learning device according to the third embodiment of this invention. Elements similar to those shown in FIG. 1 are given the same reference numerals as those in FIG.
  • the learning device 100 according to the third embodiment of the present invention further includes a display control unit 8 in addition to the elements included in the learning device 100 according to the first embodiment (see FIG. 1).
  • the display control unit 8 displays each learning data determined to be inappropriate by the first learning unit 2 in step S204 on a display device (not shown in FIG. 8) included in the learning device 100.
  • the display control unit 8 is realized by a CPU of a computer that operates according to a learning program, for example.
  • the CPU reads the learning program from a program recording medium such as a computer program storage device, and operates as the first learning unit 2, the selection unit 4, the second learning unit 5 and the display control unit 8 according to the program. do it.
  • the display control unit 8 displays the learning data determined as inappropriate as the learning data used for learning the first model on the display device. Therefore, learning data determined to be inappropriate can be presented to the user. In the third embodiment, it can be said that inappropriateness has detected learning data and presented it to the user.
  • the third embodiment may be applied to the second embodiment.
  • the first model a model has been described in order to determine whether or not an object shown in an image corresponds to a predetermined object.
  • the first model is not limited to such a model.
  • the first model is a model for classifying small products shown in an image when image data of an image showing a small product (for example, a screw) whose posture is difficult to fix is given. There may be.
  • the first model may be a model for classifying a natural object shown in an image when image data of an image showing a natural object (stone, tree, etc.) is given.
  • the first model is a model for classifying an object shown in an image when image data of an image taken in an environment (such as outdoors) that is affected by a disturbance is given. Also good.
  • FIG. 9 is a schematic block diagram showing a configuration example of a computer according to each embodiment of the present invention.
  • the computer 1000 includes a CPU 1001, a main storage device 1002, an auxiliary storage device 1003, an interface 1004, and a display device 1005.
  • the learning apparatus 100 is implemented in a computer 1000.
  • the operation of the learning device 100 is stored in the auxiliary storage device 1003 in the form of a learning program.
  • the CPU 1001 reads the learning program from the auxiliary storage device 1003 and develops it in the main storage device 1002, and executes the processes described in the above embodiments according to the learning program.
  • the auxiliary storage device 1003 is an example of a tangible medium that is not temporary.
  • Other examples of non-temporary tangible media include magnetic disks, magneto-optical disks, CD-ROMs (Compact Disk Read Only Memory), DVD-ROMs (Digital Versatile Disk Read Only Memory) connected via the interface 1004, Semiconductor memory etc. are mentioned.
  • the program is distributed to the computer 1000 through a communication line, the computer 1000 that has received the distribution may develop the program in the main storage device 1002 and execute the above processing.
  • FIG. 10 is a block diagram showing an outline of the learning device of the present invention.
  • the learning device of the present invention includes learning data storage means 71, first learning means 72, selection means 73, and second learning means 74.
  • the learning data storage means 71 (for example, the learning data storage unit 1) is learning data used for generating a first model for determining a category to which given data corresponds, and is a predetermined correct answer category.
  • the learning data associated with is stored.
  • 1st learning means 72 (for example, 1st learning part 2) performs the 1st learning process which learns the 1st model by machine learning using learning data.
  • the selection unit 73 determines the category corresponding to the learning data by applying the learning data to the first model, and determines the category that is the determination result and the correct answer category corresponding to the learning data. Sorting process for sorting learning data based on the difference between them, selecting a predetermined number of upper learning data as first learning data, and selecting a predetermined number of lower learning data as second learning data Execute.
  • the second learning means 74 (for example, the second learning unit 5) uses the first learning data and the second learning data to learn a second model for evaluating the learning data by machine learning. A second learning process is executed.
  • the first learning unit 72 executes the first learning process until the predetermined condition is satisfied, the selection unit 73 executes the selection process, and the second learning unit 74 executes the second learning process. Repeat to do.
  • the first learning means 72 evaluates individual learning data by applying the individual learning data to the second model when the second model is generated in the first learning process. Then, the first model is learned by excluding learning data of a predetermined evaluation.
  • the second learning means 74 uses a second model for determining whether the learning data is appropriate as learning data used for learning the first model in the second learning process.
  • the first learning means 72 applies the individual learning data to the second model when the second learning model 72 is generated in the first learning process.
  • a configuration may be adopted in which it is determined whether the learning data is appropriate or inappropriate, and the first model is learned by excluding the learning data determined to be inappropriate.
  • the sorting unit 73 applies the learning data to the first model for each correct answer category in the sorting process, thereby determining a category to which the learning data corresponds, and corresponding to the category and the learning data as the determination result.
  • the learning data may be sorted based on the difference from the correct answer category.
  • the sorting means 73 may sort the learning data in ascending order based on the difference between the category that is the determination result and the correct answer category in the sorting process.
  • a specification receiving unit (for example, a specification receiving unit 7) that receives designation from the user as to whether or not the learning data is appropriate is provided, and the second learning unit 74 uses the selection unit 73 as the first learning data. Selected learning data, learning data selected as second learning data by the selecting means 73, learning data specified as appropriate learning data by the user, and specified as inappropriate learning data from the user The learning model may be used to learn the second model.
  • display control means for example, display control unit 8 that displays learning data of a predetermined evaluation to be excluded (for example, learning data that the first learning unit 2 has determined to be inappropriate in the first learning process). May be provided.
  • the sorting unit 73 may sort the learning data based on the norm of the difference between the category determination result represented by the vector and the correct answer data represented by the vector in the sorting process. .
  • the present invention is preferably applied to a learning device that learns a model for determining a category to which data corresponds by machine learning.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

学習データの中から、モデルの学習に不適切な学習データを精度よく除外し、モデルの学習を行うことができる学習装置を提供する。選別手段７３は、第１の学習データと第２の学習データとを選別する。第２の学習手段７４は、第１の学習データおよび第２の学習データを用いて、学習データを評価するための第２のモデルを機械学習によって学習する。第１の学習手段は、第１のモデルを学習する際に、第２のモデルが生成されている場合に、個々の学習データを第２のモデルに適用することによって、個々の学習データを評価し、所定の評価の学習データを除外して、第１のモデルを学習する。

Description

学習装置、学習方法および学習プログラム
　本発明は、データが該当するカテゴリを判定するためのモデルを機械学習によって学習する学習装置、学習方法および学習プログラムに関する。
　データが該当するカテゴリを判定するためのモデルを機械学習によって学習する場合、予め収集された学習データを用いて、モデルを学習する。
　学習データの中に、カテゴリの判定に影響する特徴を有していない学習データが存在していると、学習されたモデルの判定精度が低下したり、モデルの学習に悪影響を与えたりする。そのため、収集された学習データの中から、カテゴリの判定に影響する特徴を有していない学習データを除去する必要がある。一般的には、専門家が、モデルの学習後に、学習されたモデルに基づいて、学習データを手作業で吟味し、除去すべき学習データを手作業で除去する。
　また、特許文献１には、各データの素性情報を基に、素性とその評価の間の対応関係を学習し、学習結果に基づいて、学習データの候補の中から、機械学習に不適切な学習データを削除する機械学習システムが記載されている。
特開２００５－１８１９２８号公報
　ディープラーニング等の機械学習を利用した画像認識の精度向上により、例えば、画像に写っている物体が所定の物体に該当するか否かを自動判定する処理等のニーズが高まっている。この場合、学習データとして、その所定の物体の画像を収集することになる。このとき、撮影条件等の制約により、画像に写っている物体が所定の物体に該当するか否かの判定に影響する特徴を明確に捉えた画像だけを収集することは難しい。
　さらに、機械学習において、所定の物体のどの部位が、所定の物体に該当するか否かの判定に影響する特徴になるのかが判明していない場合には、どのような画像が学習に適した画像であるのかが不明となる。そのため、上記のような特徴を明確に捉えた画像だけを収集することが、一層、難しくなる。
　また、学習に適していないデータが学習データに含まれたまま、モデルの学習を行うと、そのモデルによる判定精度が低下してしまう。
　そこで、本発明は、学習データの中から、モデルの学習に不適切な学習データを精度よく除外し、モデルの学習を行うことができる学習装置、学習方法および学習プログラムを提供することを目的とする。
　本発明による学習装置は、与えられたデータが該当するカテゴリを判定するための第１のモデルの生成に用いられる学習データであって、予め定められた正解カテゴリと対応付けられている学習データを記憶する学習データ記憶手段と、学習データを用いて、第１のモデルを機械学習によって学習する第１の学習処理を実行する第１の学習手段と、学習データを第１のモデルに適用することによって、当該学習データが該当するカテゴリを判定し、判定結果となるカテゴリと学習データに対応する正解カテゴリとの差分に基づいて学習データをソートし、定められた個数の上位の学習データを第１の学習データとして選別し、定められた個数の下位の学習データを第２の学習データとして選別する選別処理を実行する選別手段と、第１の学習データおよび第２の学習データを用いて、学習データを評価するための第２のモデルを機械学習によって学習する第２の学習処理を実行する第２の学習手段とを備え、所定の条件が満たされるまで、第１の学習手段が第１の学習処理を実行し、選別手段が選別処理を実行し、第２の学習手段が第２の学習処理を実行することを繰り返し、第１の学習手段が、第１の学習処理において、第２のモデルが生成されている場合に、個々の学習データを第２のモデルに適用することによって、個々の学習データを評価し、所定の評価の学習データを除外して、第１のモデルを学習することを特徴とする。
　また、本発明による学習方法は、与えられたデータが該当するカテゴリを判定するための第１のモデルの生成に用いられる学習データであって、予め定められた正解カテゴリと対応付けられている学習データを記憶する学習データ記憶手段を備えたコンピュータが、学習データを用いて、第１のモデルを機械学習によって学習する第１の学習処理を実行し、学習データを第１のモデルに適用することによって、当該学習データが該当するカテゴリを判定し、判定結果となるカテゴリと学習データに対応する正解カテゴリとの差分に基づいて学習データをソートし、定められた個数の上位の学習データを第１の学習データとして選別し、定められた個数の下位の学習データを第２の学習データとして選別する選別処理を実行し、第１の学習データおよび第２の学習データを用いて、学習データを評価するための第２のモデルを機械学習によって学習する第２の学習処理を実行し、所定の条件が満たされるまで、第１の学習処理、選別処理および第２の学習処理を繰り返し、第１の学習処理において、第２のモデルが生成されている場合に、個々の学習データを第２のモデルに適用することによって、個々の学習データを評価し、所定の評価の学習データを除外して、第１のモデルを学習することを特徴とする。
　また、本発明による学習プログラムは、与えられたデータが該当するカテゴリを判定するための第１のモデルの生成に用いられる学習データであって、予め定められた正解カテゴリと対応付けられている学習データを記憶する学習データ記憶手段を備えたコンピュータに搭載される学習プログラムであって、コンピュータに、学習データを用いて、第１のモデルを機械学習によって学習する第１の学習処理、学習データを第１のモデルに適用することによって、当該学習データが該当するカテゴリを判定し、判定結果となるカテゴリと学習データに対応する正解カテゴリとの差分に基づいて学習データをソートし、定められた個数の上位の学習データを第１の学習データとして選別し、定められた個数の下位の学習データを第２の学習データとして選別する選別処理、および、第１の学習データおよび第２の学習データを用いて、学習データを評価するための第２のモデルを機械学習によって学習する第２の学習処理を実行させ、所定の条件が満たされるまで、第１の学習処理、選別処理および第２の学習処理を繰り返させ、第１の学習処理において、第２のモデルが生成されている場合に、個々の学習データを第２のモデルに適用することによって、個々の学習データを評価させ、所定の評価の学習データを除外して、第１のモデルを学習させることを特徴とする。
　本発明によれば、学習データの中から、モデルの学習に不適切な学習データを精度よく除外し、モデルの学習を行うことができる。
本発明の第１の実施形態の学習装置の構成例を示すブロック図である。 適切な学習データおよび不適切な学習データの選別を示す模式図である。 本発明の学習装置の処理経過の例を示すフローチャートである。 ステップＳ１０１の処理経過の例を示すフローチャートである。 学習データの除外を示す模式図である。 ステップＳ１０２の処理経過の例を示すフローチャートである。 本発明の第２の実施形態の学習装置の例を示すブロック図である。 本発明の第３の実施形態の学習装置の例を示すブロック図である。 本発明の各実施形態に係るコンピュータの構成例を示す概略ブロック図である。 本発明の学習装置の概要を示すブロック図である。
　以下、本発明の実施形態を図面を参照して説明する。
　本発明の学習装置は、与えられたデータが該当するカテゴリを判定するためのモデルを機械学習によって学習する。カテゴリは、モデルを用いた判定処理の種々の判定結果である。例えば、画像に写っている物体が所定の物体に該当するか否かを判定するためのモデルを学習した場合、カテゴリの種類は、「画像に写っている物体が所定の物体に該当する」というカテゴリと、「画像に写っている物体が所定の物体に該当しない」というカテゴリの２種類になる。ただし、カテゴリの種類は２種類に限定されない。カテゴリの種類は、どのような学習データから、どのような判定を行うためのモデルを学習するかによって定まる。また、後述するように、モデルを学習するために用いられる個々の学習データには、その学習データに対して予め定められた正解カテゴリ（正解を表すカテゴリ）が対応付けられている。正解カテゴリは、学習データに応じて、例えば、予め、学習装置のユーザによって定められる。
　なお、以下に示す各実施形態では、与えられたデータが該当するカテゴリを判定するためのモデルをディープラーニングによって学習する場合を例にして説明する。この場合、そのモデルを用いた判定処理によって判定結果として得られる各カテゴリは、ベクトルで表される。そして、個々の学習データに対応付けて予め定められている正解カテゴリも、ベクトルで表されるものとする。
実施形態１．
　図１は、本発明の第１の実施形態の学習装置の構成例を示すブロック図である。本発明の学習装置１００は、学習データ記憶部１と、第１の学習部２と、第１のモデル記憶部３と、選別部４と、第２の学習部５と、第２のモデル記憶部６とを備える。
　学習装置１００は、与えられたデータが該当するカテゴリを判定するためのモデルを機械学習によって学習するだけでなく、個々の学習データがそのモデルの学習に用いる学習データとして適切であるか否かを判定するためのモデルも機械学習によって学習する。２つのモデルを区別するために、与えられたデータが該当するカテゴリを判定するためのモデルを第１のモデルと記す。また、個々の学習データが第１のモデルの学習に用いる学習データとして適切であるか否かを判定するためのモデルを第２のモデルと記す。
　学習データ記憶部１は、第１のモデルの学習（生成）に用いられる学習データを、複数個、記憶する記憶装置である。個々の学習データには、予め定められた正解カテゴリが対応付けられている。
　第１のモデルとして、画像に写っている物体が所定の物体に該当するか否かを判定するためのモデルを学習する場合を例にして説明する。この場合、例えば、学習装置１００のユーザ（以下、単にユーザと記す。）は、複数個の画像データを収集する。そして、ユーザは、個々の画像データに対して、正解カテゴリを対応付けて、学習データ記憶部１に予め記憶させておく。ユーザは、画像に写っている物体が所定の物体に該当すると判断した場合には、「画像に写っている物体が所定の物体に該当する」という正解カテゴリをその画像の画像データに対応づければよい。また、ユーザは、画像に写っている物体が所定の物体に該当しないと判断した場合には、「画像に写っている物体が所定の物体に該当しない」という正解カテゴリをその画像の画像データに対応づければよい。
　なお、学習データは、上記の画像データに限定されない。ユーザは、第１のモデルとして、どのような判定を行うためのモデルを学習するのかに応じた学習データを、正解カテゴリに対応づけて、学習データ記憶部１に記憶させておけばよい。
　第１の学習部２は、学習データ記憶部１に記憶されている学習データを用いて、機械学習によって第１のモデルを学習する。各実施形態では、第１の学習部２がディープラーニングによって第１のモデルを学習する場合を例にして説明する。
　また、第１の学習部２は、第２のモデル（個々の学習データが第１のモデルの学習に用いる学習データとして適切であるか否かを判定するためのモデル）が生成されている場合には、個々の学習データを第２のモデルに適用することによって、個々の学習データが適切であるか不適切であるかを判定する。そして、第１の学習部２は、不適切と判定した学習データを除外して残った学習データを用いて第１のモデルを学習する。
　後述するように、学習装置１００は、第１の学習部２の処理、選別部４の処理、および、第２の学習部５の処理を、繰り返す。繰り返し処理の１回目では、まだ、第２のモデルは生成されていない。この場合、第１の学習部２は、学習データ記憶部１に記憶されている全ての学習データを用いて、第１のモデルを学習する。また、繰り返し処理の２回目以降では、第２のモデルが生成されている。この場合、第１の学習部２は、個々の学習データを第２のモデルに適用することによって、個々の学習データが適切であるか不適切であるかを判定する。そして、第１の学習部２は、不適切と判定した学習データを除外して残った学習データを用いて第１のモデルを学習する。
　第１の学習部２は、学習によって得た第１のモデルを第１のモデル記憶部３に記憶させる。第１のモデル記憶部３は、第１のモデルを記憶する記憶装置である。
　選別部４は、学習データ記憶部１から各学習データを読み込む。そして、選別部４は、正解カテゴリ毎に、個々の学習データを第１のモデルに適用することによって、その個々の学習データが該当するカテゴリを判定する。各実施形態では、第１の学習部２は、ディープラーニングによって第１のモデルを学習する。ディープラーニングによって得られたモデルによって、データが該当するカテゴリを判定する場合、カテゴリの判定結果は、ベクトルとして得られる。従って、個々の学習データに対するカテゴリの判定結果は、ベクトルとして得られる。また、学習データに対応付けられる正解データも予め、ベクトルとして定められる。選別部４は、正解カテゴリ毎に、個々の学習データに関して、学習データに対して判定したカテゴリと、その学習データに対応する正解データとの差分を計算し、さらに、その差分に基づいて、学習データをソートする。ここでは、選別部４は、差分を示す値に基づいて、昇順に学習データをソートするものとする。
　選別部４は、上記の処理を、学習データに対応付けられている正解カテゴリ毎に行う。従って、上記の処理の結果、例えば、「画像に写っている物体が所定の物体に該当する」という正解カテゴリに対応付けられている各学習データがソートされ、また、「画像に写っている物体が所定の物体に該当しない」という正解カテゴリに対応付けられている各学習データがソートされる。
　正解データとの差分が小さい学習データは、第１のモデルの学習に用いる学習データとして適切であると言える。また、正解データとの差分が大きい学習データは、第１のモデルの学習に用いる学習データとして不適切であると言える。従って、差分を示す値に基づいて昇順にソートされた学習データにおいて、上位の学習データは、適切な学習データであると言え、下位の学習データは、不適切な学習データであると言える。
　選別部４は、正解カテゴリ毎に、昇順にソートされた学習データから、予め定められた個数の上位の学習データを適切な学習データとして選別し、予め定められた個数の下位の学習データを不適切な学習データとして選別する。図２は、適切な学習データおよび不適切な学習データの選別を示す模式図である。図２では、正解カテゴリが“カテゴリＡ”、“カテゴリＢ”および“カテゴリＣ”の３種類である場合を例示している。選別部４は、正解カテゴリが“カテゴリＡ”である学習データをソートした後、その学習データの中から、予め定められた個数の上位の学習データを適切な学習データとして選別し、予め定められた個数の下位の学習データを不適切な学習データとして選別する。選別部４は、正解カテゴリが“カテゴリＢ”である学習データ、および、正解カテゴリが“カテゴリＣ”である学習データに関しても、それぞれ同様に、ソート処理の後、予め定められた個数の上位の学習データを適切な学習データとして選別し、予め定められた個数の下位の学習データを不適切な学習データとして選別する。適切な学習データとして選別された学習データ、および、不適切な学習データとして選別された学習データは、第２のモデルを学習するための学習データ（教師データ）となる。
　なお、適切な学習データとして選別される学習データを第１の学習データと称し、不適切な学習データとして選別される学習データを第２の学習データと称することによって、適切な学習データとして選別される学習データと、不適切な学習データとして選別される学習データとを区別してもよい。
　また、選別部４は、正解カテゴリに依らず、適切な学習データおよび不適切な学習データを選別してもよい。この場合、選別部４は、学習データに対して判定したカテゴリとその学習データに対応する正解データとの差分を示す値に基づいて、正解カテゴリに依らずに各学習データをソートし、予め定められた個数の上位の学習データを適切な学習データとして選別し、予め定められた個数の下位の学習データを不適切な学習データとして選別すればよい。
　第２の学習部５は、選別部４によって適切な学習データとして選別された学習データ、および、選別部４によって不適切な学習データとして選別された学習データを用いて（換言すれば、それらの学習データを教師データとして）、第２のモデルを機械学習によって学習する。第２の学習部５は、選別部４によって選別された学習データをまとめて用いて、正解カテゴリに依らず、第２のモデルを学習する。従って、正解カテゴリの種類が複数であっても、第２の学習部５は、第２のモデルを１つ学習する。
　第２の学習部５は、学習によって得た第２のモデルを第２のモデル記憶部６に記憶させる。第２のモデル記憶部６は、第２のモデルを記憶する記憶装置である。
　学習装置１００は、第１の学習部２が実行する処理（第１の学習処理と称することができる。）、選別部４が実行する処理（選別処理と称することができる。）、および、第２の学習部５が実行する処理（第２の学習処理と称することができる。）を、所定の条件が満たされるまで繰り返す。この所定の条件の例として、繰り返し回数が、予め定められた回数に達したことが挙げられる。あるいは、この所定の条件の他の例として、適切な学習データ、または、不適切な学習データとして選別された学習データを第２のモデルに適用した場合において、学習データの分類（「適切」または「不適切」）と、学習データを第２のモデルに適用することによって得た判定結果との差分が予め定められた閾値以下になったことが挙げられる。
　第１の学習部２、選別部４および第２の学習部５は、例えば、学習プログラムに従って動作するコンピュータのＣＰＵ（Central Processing Unit ）によって実現される。この場合、ＣＰＵが、コンピュータのプログラム記憶装置等のプログラム記録媒体から学習プログラムを読み込み、そのプログラムに従って、第１の学習部２、選別部４および第２の学習部５として動作すればよい。
　次に、発明の処理経過について説明する。図３は、本発明の学習装置１００の処理経過の例を示すフローチャートである。
　第１の学習部２は、第１のモデルを学習し、第１のモデル記憶部３に記憶させる（ステップＳ１０１）。ステップＳ１０１の具体的な処理経過については、後述する。
　次に、学習装置１００は、第２のモデルを学習し、第２のモデル記憶部６に記憶させる。（ステップＳ１０２）。ステップＳ１０２の処理には、選別部４が、学習データ記憶部１に記憶されている学習データから学習データを選別する処理や、第２の学習部５が、選別された学習データを用いて第２のモデルが学習する処理が含まれる。ステップＳ１０２の具体的な処理経過については、後述する。
　ステップＳ１０２の後、例えば、第１の学習部２が、所定の条件が満たされたか否かを判定する（ステップＳ１０３）。所定の条件が満たされていない場合には（ステップＳ１０３のＮｏ）、学習装置１００は、ステップＳ１０１以降の処理を繰り返す。所定の条件が満たされた場合には（ステップＳ１０３のＹｅｓ）、処理を終了する。
　既に説明したように、所定の条件の例として、繰り返し回数が、予め定められた回数に達したことが挙げられる。例えば、第１の学習部２が、繰り返し回数が、予め定められた回数に達成したか否かを判定すればよい。
　また、所定の条件の他の例として、適切な学習データ、または、不適切な学習データとして選別された学習データを第２のモデルに適用した場合において、学習データの分類（「適切」または「不適切」）と、学習データを第２のモデルに適用することによって得た判定結果との差分が予め定められた閾値以下になったことが挙げられる。学習データを第２のモデルに適用することによって学習データが適切か否かを判定する処理は、ステップＳ１０１において、第１の学習部２が行うので、第１の学習部２が上記の条件が満たされたか否かを判定すればよい。
　次に、ステップＳ１０１の処理についてより具体的に説明する。図４は、ステップＳ１０１の処理経過の例を示すフローチャートである。
　ステップＳ１０１において、まず、第１の学習部２は、学習データ記憶部１から、各学習データを読み込む（ステップＳ２０１）。
　次に、第１の学習部２は、現在がステップＳ１０１～Ｓ１０３（図３参照）の繰り返し処理の１回目であるか、あるいは、ステップＳ１０１～Ｓ１０３の繰り返し処理の２回目以降であるかを判定する（ステップＳ２０２）。
　現在がステップＳ１０１～Ｓ１０３の繰り返し処理の１回目である場合には、まだ、第２のモデルは生成されていない。一方、ステップＳ１０１～Ｓ１０３の繰り返し処理の２回目以降である場合には、第２のモデルが生成され、第２のモデル記憶部６に記憶されている。
　現在が繰り返し処理の１回目である場合、ステップＳ２０５に移行する。ステップＳ２０２からステップＳ２０５に移行した場合、ステップＳ２０５において、第１の学習部２は、学習データ記憶部１から読み込んだ各学習データを全て用いて、機械学習によって、第１のモデルを学習する。
　第１の学習部２は、ステップＳ２０５において、学習データを繰り返し使用する手法の機械学習によって、第１のモデルを学習する。学習データを繰り返し使用する手法の機械学習の一例がディープラーニングであり、各実施形態では、第１の学習部２が、学習データを用いて、ディープラーニングによって第１のモデルを学習する場合を例にする。ただし、第１の学習部２は、学習データを使用する反復回数として必要な回数を全て実行するのではなく、学習データを使用する反復回数が一定の回数に達したら、学習を終了する。
　また、現在が繰り返し処理の２回目以降である場合、ステップＳ２０３に移行する。ステップＳ２０３において、第１の学習部２は、第２のモデル記憶部６から第２のモデルを読み込む。
　ステップＳ２０３の後、第１の学習部２は、ステップＳ２０１で学習データ記憶部１から読み込んだ個々の学習データをそれぞれ、ステップＳ２０３で読み込んだ第２のモデルに適用することによって、その個々の学習データが、第１のモデルの学習に用いる学習データとして適切であるか否かを判定する。そして、第１の学習部２は、不適切と判定した学習データを、学習データ記憶部１から読み込んだ各学習データの中から除外する（ステップＳ２０４）。
　図５は、学習データの除外を示す模式図である。図５に示す例では、第１の学習部２が、学習データＡ，Ｂ，Ｃ，Ｄをそれぞれ第２のモデルに適用した結果、学習データＡ，Ｃがそれぞれ不適切であり、学習データＢ，Ｄが適切であると判定した場合を示している。ステップＳ２０４からステップＳ２０５に移行した場合、学習データＡ，Ｃを除外して残った学習データを用いて、第１のモデルが学習される。
　ステップＳ１０１～Ｓ１０３（図３参照）は繰り返し実行されるので、ステップＳ１０１～Ｓ１０３の繰り返し毎に、第２のモデルは更新される。従って、ステップＳ２０４に移行する毎に、第２のモデルは更新されている。そのため、ステップＳ２０１で学習データ記憶部１から読み込んだ個々の学習データに対するステップＳ２０４の判定結果は、変化し得る。例えば、ある学習データに関して、ステップＳ２０４で不適切であると判定した場合であっても、次回のステップＳ１０１におけるステップＳ２０４では、その学習データに関して適切であると判定し得る。
　また、第１の学習部２は、ステップＳ２０４において、選別部４によって定められた学習データの分類（「適切」または「不適切」）と、学習データを第２のモデルに適用することによって得た判定結果との差分を示す数値を算出してもよい。そして、ステップＳ１０３（図３参照）では、第１の学習部２が、その差分を示す数値が閾値以下であるか否かによって、所定の条件が満たされたか否かを判定してもよい。
　ステップＳ２０４の後、ステップＳ２０５に移行する。ステップＳ２０４からステップＳ２０５に移行した場合、ステップＳ２０５において、第１の学習部２は、不適切と判定した学習データを除外して残った学習データを用いて、ディープラーニングによって、第１のモデルを学習する。既に説明したように、第１の学習部２は、学習データを使用する反復回数が一定の回数に達したら、学習を終了する。
　ステップＳ２０５の後、第１の学習部２は、ステップＳ２０５で生成した第１のモデルを第１のモデル記憶部３に記憶させる（ステップＳ２０６）。第１のモデル記憶部３に第１のモデルが記憶されている場合には、第１の学習部２は、直前のステップＳ２０５で生成した第１のモデルで、第１のモデル記憶部３に記憶されている第１のモデルを更新する。
　ステップＳ２０６で、ステップＳ１０１（図３参照）が終了する。
　　次に、ステップＳ１０２の処理についてより具体的に説明する。図６は、ステップＳ１０２の処理経過の例を示すフローチャートである。
　ステップＳ１０２において、まず、選別部４は、学習データ記憶部１から、各学習データを読み込む（ステップＳ３０１）。
　次に、選別部４は、第１のモデル記憶部３から第１のモデルを読み込む（ステップＳ３０２）。この第１のモデルは、直近のステップＳ２０５（図４参照）で学習されたモデルである。
　次に、選別部４は、正解カテゴリ毎に、個々の学習データを第１のモデルに適用することによって、その個々の学習データが該当するカテゴリを判定する（ステップＳ３０３）。ステップＳ３０３において、選別部４は、学習データを正解カテゴリ毎に分類する際に、各学習データに対応付けられている正解カテゴリを参照する。しかし、選別部４は、個々の学習データが該当するカテゴリを判定する際には、正解カテゴリを参照しない。
　また、選別部４は、学習データを第１のモデルに適用することによって、その学習データが該当するカテゴリを判定する過程で、確信度を、カテゴリ毎に計算する。確信度は、着目しているカテゴリへの学習データの該当しやすさを示す数値である。選別部４は、確信度が最大となるカテゴリを、学習データが該当するカテゴリとして決定する。
　ステップＳ３０３の次に、選別部４は、正解カテゴリ毎に、個々の学習データに関して、学習データに対してステップＳ３０３で判定したカテゴリと、その学習データに対応する正解データとの差分を計算し、さらに、その差分に基づいて、学習データをソートする（ステップＳ３０４）。ここでは、選別部４は、差分に基づいて、学習データを昇順にソートするものとする。
　ステップＳ３０３で判定されたカテゴリと、正解カテゴリとの差分を示す値の算出方法の例を示す。既に説明したように、ディープラーニングによって得られたモデルによって、データが該当するカテゴリを判定する場合、カテゴリの判定結果は、ベクトルとして得られる。また、正解データも予め、ベクトルとして定められる。
　例えば、選別部４は、ステップＳ３０３で判定したカテゴリを表すベクトルと、正解データを表すベクトルとの差分を計算し、その差分のＬ１ノルムを、差分を示す値として算出してもよい。そして、選別部４は、正解カテゴリ毎に、Ｌ１ノルムに基づいて、学習データを昇順にソートしてもよい。
　また、例えば、ステップＳ３０３で判定したカテゴリを表すベクトルと、正解データを表すベクトルとの差分を計算し、その差分のＬ２ノルムを、差分を示す値として算出してもよい。そして、選別部４は、正解カテゴリ毎に、Ｌ２ノルムに基づいて、学習データを昇順にソートしてもよい。
　また、選別部４は、前述の確信度に基づいて、学習データをソートしてもよい。具体的には、選別部４は、学習データのカテゴリを判定する過程で得た、その学習データに対応する正解カテゴリに対する確信度に基づいて、正解カテゴリ毎に、学習データを昇順にソートしてもよい。
　ステップＳ３０４の後、選別部４は、第１のモデルの学習に用いる学習データとして適切な学習データと、不適切な学習データとをそれぞれ選別する（ステップＳ３０５）。
　例えば、選別部４は、正解カテゴリ毎に、昇順にソートされた学習データから、予め定められた個数の上位の学習データを適切な学習データとして選別し、予め定められた個数の下位の学習データを不適切な学習データとして選別する。
　あるいは、選別部４は、正解カテゴリに依らずに各学習データをソートし、予め定められた個数の上位の学習データを適切な学習データとして選別し、予め定められた個数の下位の学習データを不適切な学習データとして選別してもよい。
　ステップＳ３０５の次に、第２の学習部５は、選別部４によって適切な学習データとして選別された学習データ、および、選別部４によって不適切な学習データとして選別された学習データを全てまとめて用いて、機械学習によって、第２のモデルを学習する（ステップＳ３０６）。
　ステップＳ３０６の後、第２の学習部５は、ステップＳ３０６で生成した第２のモデルを第２のモデル記憶部６に記憶させる（ステップＳ３０７）。第２のモデル記憶部６に第２のモデルが記憶されている場合には、第２の学習部５は、直前のステップＳ３０６で生成した第２のモデルで、第２のモデル記憶部６に記憶されている第２のモデルを更新する。
　ステップＳ３０７で、ステップＳ１０２（図３参照）が終了する。
　ステップＳ１０２の後、例えば、第１の学習部２が、所定の条件が満たされたか否かを判定する（ステップＳ１０３）。所定の条件が満たされていない場合には（ステップＳ１０３のＮｏ）、ステップＳ１０１以降の処理を繰り返す。所定の条件が満たされた場合には（ステップＳ１０３のＹｅｓ）、処理を終了する。
　第１の実施形態によれば、選別部４が、第１のモデルの学習に用いる学習データとして適切な学習データ、および、不適切な学習データを選別する。そして、第２の学習部５が、選別部４によって選別された学習データを全てまとめて用いて、機械学習によって、第２のモデルを学習する。そして、第１の学習部２は、学習データ記憶部１に記憶されている個々の学習データをそれぞれ第２のモデルに適用することによって、個々の学習データが適切であるか不適切であるかを判定する。そして、第１の学習部２は、不適切と判定した学習データを除外して残った学習データを用いて第１のモデルを学習する。従って、個々の学習データの中から、第１のモデルの学習に不適切な学習データを除外して、第１のモデルの学習を行うことができる。
　また、個々の学習データが第１のモデルの学習に用いる学習データとして適切であるか否かを判定するための第２のモデルを学習し、個々の学習データをそれぞれ第２のモデルに適用することによって、個々の学習データが適切であるか不適切であるかを判定する。従って、不適切な学習データを精度よく判別し、除外することができる。
　また、不適切な学習データを精度よく除外して第１のモデルを学習するので、与えられたデータを第１のモデルに適用することで、そのデータのカテゴリを精度よく判定することができる。
実施形態２．
　本発明の第２の実施形態の学習装置は、学習データが適切であるか否かの指定を受け付ける。図７は、本発明の第２の実施形態の学習装置の例を示すブロック図である。図１に示す要素と同様の要素については、図１と同一の符号を付し、説明を省略する。本発明の第２の実施形態の学習装置１００は、第１の実施形態の学習装置１００（図１参照）が備える各要素に加えて、さらに、指定受付部７を備える。
　指定受付部７は、学習データ記憶部１に記憶されている個々の学習データが適切であるか否かの指定を、ユーザから受け付ける。例えば、指定受付部７は、ステップＳ３０５（図６参照）の後、学習データ記憶部１から各学習データを読み込み、学習装置１００が備えるディスプレイ装置（図７において図示略）に個々の学習データを表示する。そして、指定受付部７は、ディスプレイ上に表示したＧＵＩ（Graphic User Interface）を介して、個々の学習データが、第１のモデルの学習に用いる学習データとして適切であるか否かの指定を受け付ければよい。
　上記の指定受付部７の動作の後に、ステップＳ３０６に移行する。ステップＳ３０６では、第２の学習部５は、選別部４によって適切な学習データとして選別された学習データ、および、選別部４によって不適切な学習データとして選別された学習データ、並びに、ユーザから適切な学習データとして指定された学習データ、および、ユーザから不適切な学習データとして指定された学習データを用いて、第２のモデルを学習する。
　このとき、選別部４によって適切な学習データとして選別された学習データが、ユーザによって不適切と指定されている場合には、第２の学習部５は、ユーザによる指定を優先し、その学習データが不適切な学習データであるものとして、第２のモデルを学習する。
　同様に、選別部４によって不適切な学習データとして選別された学習データが、ユーザによって適切と指定されている場合には、第２の学習部５は、ユーザによる指定を優先し、その学習データが適切な学習データであるものとして、第２のモデルを学習する。
　指定受付部７は、例えば、学習プログラムに従って動作するコンピュータのＣＰＵによって実現される。この場合、ＣＰＵが、コンピュータのプログラム記憶装置等のプログラム記録媒体から学習プログラムを読み込み、そのプログラムに従って、第１の学習部２、選別部４、第２の学習部５および指定受付部７として動作すればよい。
　第２の実施形態によれば、学習データが適切か否かに関して、ユーザの判断も取り入れることができる。
実施形態３．
　図８は、本発明の第３の実施形態の学習装置の例を示すブロック図である。図１に示す要素と同様の要素については、図１と同一の符号を付し、説明を省略する。本発明の第３の実施形態の学習装置１００は、第１の実施形態の学習装置１００（図１参照）が備える各要素に加えて、さらに、表示制御部８を備える。
　表示制御部８は、ステップＳ２０４において第１の学習部２が不適切と判定した各学習データを、学習装置１００が備えるディスプレイ装置（図８において図示略）に表示する。
　表示制御部８は、例えば、学習プログラムに従って動作するコンピュータのＣＰＵによって実現される。この場合、ＣＰＵが、コンピュータのプログラム記憶装置等のプログラム記録媒体から学習プログラムを読み込み、そのプログラムに従って、第１の学習部２、選別部４、第２の学習部５および表示制御部８として動作すればよい。
　本実施形態によれば、第１のモデルの学習に用いる学習データとして不適切と判定された学習データを、表示制御部８がディスプレイ装置に表示する。従って、ユーザに、不適切と判定された学習データを提示することができる。第３の実施形態では、不適切が学習データを検出して、ユーザに提示していると言うことができる。
　また、第２の実施形態に、第３の実施形態を適用してもよい。
　以上の説明では、第１のモデルとして、画像に写っている物体が所定の物体に該当するか否かを判定するためモデルを例示して説明した。第１のモデルは、このようなモデルに限定されない。例えば、第１のモデルは、姿勢の固定が難しい小型製品（例えば、ねじ等）が写っている画像の画像データが与えられた場合に、画像に写っている小型製品を分類するためのモデルであってもよい。
　また、例えば、第１のモデルは、自然物（石や木等）が写っている画像の画像データが与えられた場合に、画像に写っている自然物を分類するためのモデルであってもよい。
　また、例えば、第１のモデルは、外乱の影響を受ける環境（野外等）で撮影された画像の画像データが与えられた場合に、画像に写っている物を分類するためのモデルであってもよい。
　図９は、本発明の各実施形態に係るコンピュータの構成例を示す概略ブロック図である。コンピュータ１０００は、ＣＰＵ１００１と、主記憶装置１００２と、補助記憶装置１００３と、インタフェース１００４と、ディスプレイ装置１００５とを備える。
　本発明の各実施形態の学習装置１００は、コンピュータ１０００に実装される。学習装置１００の動作は、学習プログラムの形式で補助記憶装置１００３に記憶されている。ＣＰＵ１００１は、その学習プログラムを補助記憶装置１００３から読み出して主記憶装置１００２に展開し、その学習プログラムに従って、上記の各実施形態で説明した処理を実行する。
　補助記憶装置１００３は、一時的でない有形の媒体の例である。一時的でない有形の媒体の他の例として、インタフェース１００４を介して接続される磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ（Compact Disk Read Only Memory ）、ＤＶＤ－ＲＯＭ（Digital Versatile Disk Read Only Memory ）、半導体メモリ等が挙げられる。また、プログラムが通信回線によってコンピュータ１０００に配信される場合、配信を受けたコンピュータ１０００がそのプログラムを主記憶装置１００２に展開し、上記の処理を実行してもよい。
　次に、本発明の概要について説明する。図１０は、本発明の学習装置の概要を示すブロック図である。本発明の学習装置は、学習データ記憶手段７１と、第１の学習手段７２と、選別手段７３と、第２の学習手段７４とを備える。
　学習データ記憶手段７１（例えば、学習データ記憶部１）は、与えられたデータが該当するカテゴリを判定するための第１のモデルの生成に用いられる学習データであって、予め定められた正解カテゴリと対応付けられている学習データを記憶する。
　第１の学習手段７２（例えば、第１の学習部２）は、学習データを用いて、第１のモデルを機械学習によって学習する第１の学習処理を実行する。
　選別手段７３（例えば、選別部４）は、学習データを第１のモデルに適用することによって、当該学習データが該当するカテゴリを判定し、判定結果となるカテゴリと学習データに対応する正解カテゴリとの差分に基づいて学習データをソートし、定められた個数の上位の学習データを第１の学習データとして選別し、定められた個数の下位の学習データを第２の学習データとして選別する選別処理を実行する。
　第２の学習手段７４（例えば、第２の学習部５）は、第１の学習データおよび第２の学習データを用いて、学習データを評価するための第２のモデルを機械学習によって学習する第２の学習処理を実行する。
　そして、所定の条件が満たされるまで、第１の学習手段７２が第１の学習処理を実行し、選別手段７３が選別処理を実行し、第２の学習手段７４が第２の学習処理を実行することを繰り返す。
　また、第１の学習手段７２は、第１の学習処理において、第２のモデルが生成されている場合に、個々の学習データを第２のモデルに適用することによって、個々の学習データを評価し、所定の評価の学習データを除外して、第１のモデルを学習する。
　そのような構成により、学習データの中から、第１のモデルの学習に不適切な学習データを精度よく除外し、第１のモデルの学習を行うことができる。
　また、第２の学習手段７４が、第２の学習処理において、学習データが第１のモデルの学習に用いる学習データとして適切であるか不適切であるかを判定するためのモデルを、第２のモデルとして学習し、第１の学習手段７２が、第１の学習処理において、第２のモデルが生成されている場合に、個々の学習データを第２のモデルに適用することによって、個々の学習データが適切であるか不適切であるかを判定し、不適切と判定した学習データを除外して、第１のモデルを学習する構成であってもよい。
　また、選別手段７３が、選別処理において、正解カテゴリ毎に、学習データを第１のモデルに適用することによって、当該学習データが該当するカテゴリを判定し、判定結果となるカテゴリと学習データに対応する正解カテゴリとの差分に基づいて学習データをソートする構成であってもよい。
　また、選別手段７３が、選別処理において、判定結果となるカテゴリと正解カテゴリとの差分に基づいて、昇順に学習データをソートする構成であってもよい。
　また、ユーザから、学習データが適切であるか否かの指定を受け付ける指定受付手段（例えば、指定受付部７）を備え、第２の学習手段７４が、選別手段７３によって第１の学習データとして選別された学習データ、および、選別手段７３によって第２の学習データとして選別された学習データ、並びに、ユーザから適切な学習データとして指定された学習データ、および、ユーザから不適切な学習データとして指定された学習データを用いて、第２のモデルを学習する構成であってもよい。
　また、除外対象となる所定の評価の学習データ（例えば、第１の学習部２が第１の学習処理で不適切と判定した学習データ）を表示する表示制御手段（例えば、表示制御部８）を備える構成であってもよい。
　また、選別手段７３が、選別処理において、ベクトルで表された、カテゴリの判定結果と、ベクトルで表された正解データとの差分のノルムに基づいて、学習データをソートする構成であってもよい。
　以上、実施形態を参照して本願発明を説明したが、本願発明は上記の実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　この出願は、２０１８年３月２９日に出願された日本特許出願２０１８－０６３８３３を基礎とする優先権を主張し、その開示の全てをここに取り込む。
産業上の利用の可能性
　本発明は、データが該当するカテゴリを判定するためのモデルを機械学習によって学習する学習装置に好適に適用される。
　１　学習データ記憶部
　２　第１の学習部
　３　第１のモデル記憶部
　４　選別部
　５　第２の学習部
　６　第２のモデル記憶部
　７　指定受付部
　８　表示制御部
　１００　学習装置

Claims (10)

  1. 　与えられたデータが該当するカテゴリを判定するための第１のモデルの生成に用いられる学習データであって、予め定められた正解カテゴリと対応付けられている学習データを記憶する学習データ記憶手段と、
    　前記学習データを用いて、前記第１のモデルを機械学習によって学習する第１の学習処理を実行する第１の学習手段と、
    　前記学習データを前記第１のモデルに適用することによって、当該学習データが該当するカテゴリを判定し、判定結果となるカテゴリと前記学習データに対応する正解カテゴリとの差分に基づいて学習データをソートし、定められた個数の上位の学習データを第１の学習データとして選別し、定められた個数の下位の学習データを第２の学習データとして選別する選別処理を実行する選別手段と、
    　第１の学習データおよび第２の学習データを用いて、学習データを評価するための第２のモデルを機械学習によって学習する第２の学習処理を実行する第２の学習手段とを備え、
    　所定の条件が満たされるまで、
    　前記第１の学習手段が前記第１の学習処理を実行し、前記選別手段が前記選別処理を実行し、前記第２の学習手段が前記第２の学習処理を実行することを繰り返し、
    　前記第１の学習手段は、
    　前記第１の学習処理において、前記第２のモデルが生成されている場合に、個々の学習データを前記第２のモデルに適用することによって、前記個々の学習データを評価し、所定の評価の学習データを除外して、前記第１のモデルを学習する
    　ことを特徴とする学習装置。
  2. 　第２の学習手段は、
    　第２の学習処理において、学習データが第１のモデルの学習に用いる学習データとして適切であるか不適切であるかを判定するためのモデルを、第２のモデルとして学習し、
    　第１の学習手段は、
    　第１の学習処理において、前記第２のモデルが生成されている場合に、個々の学習データを前記第２のモデルに適用することによって、前記個々の学習データが適切であるか不適切であるかを判定し、不適切と判定した学習データを除外して、前記第１のモデルを学習する
    　請求項１に記載の学習装置。
  3. 　選別手段は、
    　選別処理において、正解カテゴリ毎に、
    　学習データを第１のモデルに適用することによって、当該学習データが該当するカテゴリを判定し、判定結果となるカテゴリと前記学習データに対応する正解カテゴリとの差分に基づいて学習データをソートする
    　請求項１または請求項２に記載の学習装置。
  4. 　選別手段は、
    　選別処理において、判定結果となるカテゴリと正解カテゴリとの差分に基づいて、昇順に学習データをソートする
    　請求項１から請求項３のうちのいずれか１項に記載の学習装置。
  5. 　ユーザから、学習データが適切であるか否かの指定を受け付ける指定受付手段を備え、
    　第２の学習手段は、
    　選別手段によって第１の学習データとして選別された学習データ、および、前記選別手段によって第２の学習データとして選別された学習データ、並びに、ユーザから適切な学習データとして指定された学習データ、および、前記ユーザから不適切な学習データとして指定された学習データを用いて、第２のモデルを学習する
    　請求項１から請求項４のうちのいずれか１項に記載の学習装置。
  6. 　除外対象となる所定の評価の学習データを表示する表示制御手段を備える
    　請求項１から請求項５のうちのいずれか１項に記載の学習装置。
  7. 　選別手段は、
    　選別処理において、ベクトルで表された、カテゴリの判定結果と、ベクトルで表された正解データとの差分のノルムに基づいて、学習データをソートする
    　請求項１から請求項６のうちのいずれか１項に記載の学習装置。
  8. 　与えられたデータが該当するカテゴリを判定するための第１のモデルの生成に用いられる学習データであって、予め定められた正解カテゴリと対応付けられている学習データを記憶する学習データ記憶手段を備えたコンピュータが、
    　前記学習データを用いて、前記第１のモデルを機械学習によって学習する第１の学習処理を実行し、
    　前記学習データを前記第１のモデルに適用することによって、当該学習データが該当するカテゴリを判定し、判定結果となるカテゴリと前記学習データに対応する正解カテゴリとの差分に基づいて学習データをソートし、定められた個数の上位の学習データを第１の学習データとして選別し、定められた個数の下位の学習データを第２の学習データとして選別する選別処理を実行し、
    　第１の学習データおよび第２の学習データを用いて、学習データを評価するための第２のモデルを機械学習によって学習する第２の学習処理を実行し、
    　所定の条件が満たされるまで、前記第１の学習処理、前記選別処理および前記第２の学習処理を繰り返し、
    　前記第１の学習処理において、前記第２のモデルが生成されている場合に、個々の学習データを前記第２のモデルに適用することによって、前記個々の学習データを評価し、所定の評価の学習データを除外して、前記第１のモデルを学習する
    　ことを特徴とする学習方法。
  9. 　コンピュータが、
    　第２の学習処理において、学習データが第１のモデルの学習に用いる学習データとして適切であるか不適切であるかを判定するためのモデルを、第２のモデルとして学習し、
    　第１の学習処理において、前記第２のモデルが生成されている場合に、個々の学習データを前記第２のモデルに適用することによって、前記個々の学習データが適切であるか不適切であるかを判定し、不適切と判定した学習データを除外して、前記第１のモデルを学習する
    　請求項８に記載の学習方法。
  10. 　与えられたデータが該当するカテゴリを判定するための第１のモデルの生成に用いられる学習データであって、予め定められた正解カテゴリと対応付けられている学習データを記憶する学習データ記憶手段を備えたコンピュータに搭載される学習プログラムであって、
    　前記コンピュータに、
    　前記学習データを用いて、前記第１のモデルを機械学習によって学習する第１の学習処理、
    　前記学習データを前記第１のモデルに適用することによって、当該学習データが該当するカテゴリを判定し、判定結果となるカテゴリと前記学習データに対応する正解カテゴリとの差分に基づいて学習データをソートし、定められた個数の上位の学習データを第１の学習データとして選別し、定められた個数の下位の学習データを第２の学習データとして選別する選別処理、および、
    　第１の学習データおよび第２の学習データを用いて、学習データを評価するための第２のモデルを機械学習によって学習する第２の学習処理を実行させ、
    　所定の条件が満たされるまで、前記第１の学習処理、前記選別処理および前記第２の学習処理を繰り返させ、
    　前記第１の学習処理において、前記第２のモデルが生成されている場合に、個々の学習データを前記第２のモデルに適用することによって、前記個々の学習データを評価させ、所定の評価の学習データを除外して、前記第１のモデルを学習させる
    　ための学習プログラム。
PCT/JP2019/002867 2018-03-29 2019-01-29 学習装置、学習方法および学習プログラム WO2019187594A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/982,798 US20210004723A1 (en) 2018-03-29 2019-01-29 Learning device, learning method, and learning program
JP2020509738A JP6973625B2 (ja) 2018-03-29 2019-01-29 学習装置、学習方法および学習プログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-063833 2018-03-29
JP2018063833 2018-03-29

Publications (1)

Publication Number Publication Date
WO2019187594A1 true WO2019187594A1 (ja) 2019-10-03

Family

ID=68061156

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/002867 WO2019187594A1 (ja) 2018-03-29 2019-01-29 学習装置、学習方法および学習プログラム

Country Status (3)

Country Link
US (1) US20210004723A1 (ja)
JP (1) JP6973625B2 (ja)
WO (1) WO2019187594A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200387784A1 (en) * 2019-06-04 2020-12-10 Fuji Xerox Co., Ltd. Information processing apparatus and non-transitory computer readable medium
US20200387826A1 (en) * 2019-06-04 2020-12-10 Fuji Xerox Co., Ltd. Information processing apparatus and non-transitory computer readable medium
WO2022107262A1 (ja) * 2020-11-18 2022-05-27 日本電信電話株式会社 判定装置、判定方法、および、判定プログラム
WO2023286234A1 (ja) * 2021-07-15 2023-01-19 三菱電機株式会社 学習データ評価装置、学習データ評価システム、学習データ評価方法及びプログラム

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102421919B1 (ko) * 2019-12-27 2022-07-18 가부시키가이샤 스크린 홀딩스 기판 처리 장치, 기판 처리 방법, 기판 처리 시스템, 및 학습용 데이터의 생성 방법
CN113554280B (zh) * 2021-06-30 2023-06-16 北京百度网讯科技有限公司 电网系统调度模型的训练方法、装置、设备和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010016109A1 (ja) * 2008-08-05 2010-02-11 富士通株式会社 サンプルの帰属クラス予測方法、帰属クラス予測プログラムおよび帰属クラス予測装置
JP2013117861A (ja) * 2011-12-02 2013-06-13 Canon Inc 学習装置、学習方法およびプログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101232945B1 (ko) * 2006-11-13 2013-02-13 후지쯔 가부시끼가이샤 2클래스 분류 예측 모델의 작성 방법, 분류 예측 모델 작성을 위한 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체 및 2클래스 분류 예측 모델의 작성 장치
US8005767B1 (en) * 2007-02-13 2011-08-23 The United States Of America As Represented By The Secretary Of The Navy System and method of classifying events
JP5104877B2 (ja) * 2007-12-18 2012-12-19 富士通株式会社 二クラス分類予測モデルの作成方法、分類予測モデル作成のためのプログラムおよび二クラス分類予測モデルの作成装置
JP5301310B2 (ja) * 2009-02-17 2013-09-25 株式会社日立製作所 異常検知方法及び異常検知システム
US10318882B2 (en) * 2014-09-11 2019-06-11 Amazon Technologies, Inc. Optimized training of linear machine learning models
US10387430B2 (en) * 2015-02-26 2019-08-20 International Business Machines Corporation Geometry-directed active question selection for question answering systems
US11042814B2 (en) * 2017-03-17 2021-06-22 Visa International Service Association Mixed-initiative machine learning systems and methods for determining segmentations
US11023824B2 (en) * 2017-08-30 2021-06-01 Intel Corporation Constrained sample selection for training models

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010016109A1 (ja) * 2008-08-05 2010-02-11 富士通株式会社 サンプルの帰属クラス予測方法、帰属クラス予測プログラムおよび帰属クラス予測装置
JP2013117861A (ja) * 2011-12-02 2013-06-13 Canon Inc 学習装置、学習方法およびプログラム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200387784A1 (en) * 2019-06-04 2020-12-10 Fuji Xerox Co., Ltd. Information processing apparatus and non-transitory computer readable medium
US20200387826A1 (en) * 2019-06-04 2020-12-10 Fuji Xerox Co., Ltd. Information processing apparatus and non-transitory computer readable medium
US11562232B2 (en) * 2019-06-04 2023-01-24 Fujifilm Business Innovation Corp. Information processing apparatus and non-transitory computer readable medium
WO2022107262A1 (ja) * 2020-11-18 2022-05-27 日本電信電話株式会社 判定装置、判定方法、および、判定プログラム
WO2023286234A1 (ja) * 2021-07-15 2023-01-19 三菱電機株式会社 学習データ評価装置、学習データ評価システム、学習データ評価方法及びプログラム

Also Published As

Publication number Publication date
JP6973625B2 (ja) 2021-12-01
US20210004723A1 (en) 2021-01-07
JPWO2019187594A1 (ja) 2021-02-25

Similar Documents

Publication Publication Date Title
WO2019187594A1 (ja) 学習装置、学習方法および学習プログラム
US9886669B2 (en) Interactive visualization of machine-learning performance
JP6855091B2 (ja) ニューラルネットワーク学習に利用されるオートラベリングされたイメージのうちでラベル検収のためのサンプルイメージを取得する方法、及びそれを利用したサンプルイメージ取得装置
JP6932395B2 (ja) イメージを分析するために、ディープラーニングネットワークに利用するためのトレーニングイメージに対するラベルリング信頼度を自動的に評価するための方法、及びこれを利用した信頼度評価装置
EP3598288A1 (en) System and method for generating photorealistic synthetic images based on semantic information
KR20200047307A (ko) 유용한 학습 데이터를 취사 선별하기 위한 cnn 기반 학습 방법 및 학습 장치 그리고 이를 이용한 테스트 방법 및 테스트 장치
CN112232439B (zh) 非监督ReID中的伪标签更新方法及系统
CN109829065B (zh) 图像检索方法、装置、设备及计算机可读存储介质
JP6506360B2 (ja) 教師データを生成する方法、学習済みモデルを生成する方法、学習済みモデル、コンピュータおよびプログラム
CN109919252A (zh) 利用少数标注图像生成分类器的方法
CN110909868A (zh) 基于图神经网络模型的节点表示方法和装置
JP6988995B2 (ja) 画像生成装置、画像生成方法および画像生成プログラム
JP2020042519A (ja) 異常検知装置、異常検知方法、及び異常検知プログラム
JP7298825B2 (ja) 学習支援装置、学習装置、学習支援方法及び学習支援プログラム
JP6933217B2 (ja) テーブル意味推定システム、方法およびプログラム
US20200293570A1 (en) Information processing method, information processing apparatus, and non-transitory computer-readable storage medium for storing information processing program
JP7422548B2 (ja) ラベルノイズ検出プログラム、ラベルノイズ検出方法及びラベルノイズ検出装置
WO2021095509A1 (ja) 推定システム、推定装置および推定方法
JP6177649B2 (ja) データ処理装置、測長システム、欠陥検査システム、画像トラッキングシステム、及びデータ処理方法
CN113763364A (zh) 一种基于卷积神经网络的图像缺陷检测方法
JP5600693B2 (ja) クラスタリング装置及び方法及びプログラム
JP2021165909A (ja) 情報処理装置、情報処理装置の情報処理方法およびプログラム
WO2020174689A1 (ja) 判断差異表示装置、判断差異表示方法、及び、プログラムが格納されたコンピュータ可読媒体
JP6981061B2 (ja) 生産計画生成プログラム、生産計画生成方法及び生産計画生成装置
CN115661502A (zh) 图像处理方法、电子设备及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19776554

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020509738

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19776554

Country of ref document: EP

Kind code of ref document: A1