WO2020183979A1 - 学習装置、学習方法及び非一時的なコンピュータ可読媒体 - Google Patents

学習装置、学習方法及び非一時的なコンピュータ可読媒体 Download PDF

Info

Publication number
WO2020183979A1
WO2020183979A1 PCT/JP2020/004001 JP2020004001W WO2020183979A1 WO 2020183979 A1 WO2020183979 A1 WO 2020183979A1 JP 2020004001 W JP2020004001 W JP 2020004001W WO 2020183979 A1 WO2020183979 A1 WO 2020183979A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
learning
unit
input
annotation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2020/004001
Other languages
English (en)
French (fr)
Inventor
永記 石寺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Solution Innovators Ltd
Original Assignee
NEC Solution Innovators Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Solution Innovators Ltd filed Critical NEC Solution Innovators Ltd
Priority to JP2021505586A priority Critical patent/JP7111429B2/ja
Publication of WO2020183979A1 publication Critical patent/WO2020183979A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Definitions

  • This disclosure relates to learning devices, learning methods and programs.
  • Annotation is a label indicating the correct answer data given to an object in order for the classifier to identify the object.
  • Annotation is used as teacher data when performing machine learning for the classifier, so it is difficult to add it automatically. Therefore, in general, a user who creates or manages a classifier confirms data used for machine learning and manually annotates it. The more correct answer data used for machine learning, the higher the learning accuracy. However, the more correct data there is, the more the user has to manually annotate. Therefore, manually annotating a large amount of data puts a heavy burden on the user.
  • An object of the present disclosure is to solve such a problem, and to provide a learning device, a learning method, and a program capable of reducing the burden on the user when annotating. ..
  • the learning device is An annotation setting unit that generates a plurality of second data in which the object is annotated by using a plurality of first data including the object, and an annotation setting unit.
  • a learning unit that generates a learning model in which the plurality of first data are input and the plurality of second data are used as the first teacher data.
  • a generation unit that uses the learning model to generate a plurality of third data in which the object included in the plurality of first data is annotated.
  • a plurality of fourth data selected from the plurality of third data and the annotations attached to the plurality of third data changed, and a plurality of the plurality of first data corresponding to the plurality of fourth data.
  • the learning unit is a learning device that receives the plurality of fifth data as inputs and relearns the learning model using the plurality of fourth data as second teacher data.
  • the learning method is Using a plurality of first data including an object to generate a plurality of second data in which the object is annotated, and To generate a learning model in which the plurality of first data are input and the plurality of second data are used as the first teacher data.
  • Using the learning model generating a plurality of third data in which the object included in the plurality of first data is annotated, and A plurality of fourth data selected from the plurality of third data and the annotations attached to the plurality of third data changed, and a plurality of the plurality of first data corresponding to the plurality of fourth data.
  • This is a learning method including inputting the fifth data of the above, inputting the plurality of fifth data, and re-learning the learning model using the plurality of fourth data as second teacher data.
  • the program according to the third aspect of the present disclosure is Using a plurality of first data including an object to generate a plurality of second data in which the object is annotated, and To generate a learning model in which the plurality of first data are input and the plurality of second data are used as the first teacher data.
  • Using the learning model generating a plurality of third data in which the object included in the plurality of first data is annotated, and A plurality of fourth data selected from the plurality of third data and the annotations attached to the plurality of third data changed, and a plurality of the plurality of first data corresponding to the plurality of fourth data.
  • a program that causes a computer to input the fifth data of the above and to relearn the learning model by inputting the plurality of fifth data and using the plurality of fourth data as the second teacher data. is there.
  • FIG. It is a figure which shows the configuration example of the learning apparatus which concerns on Embodiment 1.
  • FIG. It is a figure which shows the configuration example of the learning apparatus which concerns on Embodiment 2.
  • FIG. It is a figure which shows an example of the annotation given by the annotation setting part. It is a figure which shows an example of the annotation given by the generation part. It is a figure which shows an example of the annotation of the image data input to an input part. It is a figure which shows an example of the annotation which a judgment part gives by using a re-learning model. It is a figure which shows the operation example of the learning apparatus which concerns on Embodiment 2.
  • FIG. It is a block diagram which illustrates the hardware structure of the computer (information processing apparatus) which can realize the learning apparatus and the like which concerns on each embodiment of this disclosure.
  • FIG. 1 is a diagram showing a configuration example of the learning device according to the first embodiment.
  • the learning device 1 may be, for example, a server device, a personal computer device, or the like.
  • the learning device 1 includes an annotation setting unit 2, a learning unit 3, a generation unit 4, and an input unit 5.
  • the annotation setting unit 2 uses a plurality of first data including the object to generate a plurality of second data in which the object is annotated.
  • the first data may be, for example, image data, video data, audio data, natural language translation data, and is various data including an object to be specified.
  • the object When the first data is image data or video data, the object may be, for example, a moving object or a specific object to be detected.
  • the object When the first data is sound data, the object may be, for example, the voice of a specific person or the sound to be detected.
  • the first data When the first data is natural language translated data, the object may be, for example, a specific term translated by a machine or a translated sentence.
  • the learning unit 3 inputs a plurality of first data and generates a learning model learned by using the plurality of second data as the first teacher data.
  • the learning unit 3 receives a plurality of fifth data input to the input unit 5 described later as input, and relearns the learning model using the plurality of fourth data input to the input unit 5 as the second teacher data.
  • the generation unit 4 uses the learning model learned by the learning unit 3 to generate a plurality of third data in which the objects included in the plurality of first data are annotated.
  • the input unit 5 may be, for example, an input device including a keyboard, a mouse, a touch panel, and a display. Alternatively, the input unit 5 may be configured to input various information from the internal memory or an external computer device, server device, or the like connected to the learning device 1.
  • the input unit 5 corresponds to a plurality of fourth data selected from the plurality of third data and the annotations given to the plurality of third data changed, and a plurality of fourth data among the plurality of first data. A plurality of fifth data and are input.
  • the plurality of fourth data is data in which the user confirms the annotations given to the plurality of third data generated by the generation unit 4, and the annotations are changed when the annotations desired by the user are not given. You may.
  • the annotation setting unit 2 automatically annotates the object included in the plurality of first data by using the plurality of first data including the object.
  • the learning unit 3 generates a learning model learned by using a plurality of second data annotated by the annotation setting unit 2 as first teacher data.
  • the generation unit 4 uses the trained learning model to generate a plurality of third data to which annotations are automatically added.
  • the input unit 5 inputs, for example, a plurality of fourth data whose annotations have been changed when the annotation desired by the user is not added, among the plurality of generated third data.
  • the learning unit 3 relearns the learning model using the plurality of fourth data as the second teacher data.
  • the plurality of third data generated by the generation unit 4 uses a learning model trained using the data generated by the annotation setting unit 2 as teacher data. Therefore, the annotation given by the generation unit 4 includes data to which the annotation desired by the user is given and data to which the annotation not desired by the user is given.
  • the data to which the annotation desired by the user is added can be determined to be the data output by the learning model satisfying a certain level of performance.
  • the learning unit 3 relearns the data to which the annotation not desired by the user is added by using the data in which the annotation has been changed. Therefore, the data whose annotation has been changed is input to the input unit 5. Therefore, the user may change the annotation only for the data to which the undesired annotation is added, and input the data with the changed annotation to the input unit 5. That is, by using the learning device 1, it is possible to reduce the number of data for which annotations are manually changed (added). Therefore, according to the learning device 1 according to the first embodiment, it is possible to reduce the burden on the user when annotating and to generate a learning model.
  • FIG. 2 is a diagram showing a configuration example of the learning device according to the second embodiment.
  • the data processed by the learning device 10 will be described as image data. Further, in the following description, the object will be described as a moving body.
  • the learning device 10 may be, for example, a computer device or a server device.
  • the learning device 10 is a device that performs machine learning and generates a learning model.
  • the learning device 10 includes a data storage unit 11, an annotation setting unit 12, a model storage unit 13, a learning unit 14, a generation unit 15, an input unit 16, a determination unit 17, and an output unit 18.
  • the data storage unit 11 is a storage unit that stores a plurality of image data used by the learning device 1.
  • the data storage unit 11 stores a plurality of image data including a moving body and a plurality of image data corresponding to each of the plurality of image data and not including the moving body.
  • a plurality of image data including the moving body and a plurality of image data not including the moving body may be stored in the data storage unit 11 in advance.
  • the input unit 16 described later may input a plurality of image data including the moving body and a plurality of image data not including the moving body and store them in the data storage unit 11.
  • the annotation setting unit 12 uses a plurality of image data including the moving object stored in the data storage unit 11 to annotate the moving body and generate the annotated image data.
  • the annotation setting unit 12 acquires, for example, a plurality of image data including a moving body stored in the data storage unit 11 and a plurality of image data not including the moving body corresponding to each of the plurality of image data. ..
  • the annotation setting unit 12 extracts moving objects by a background subtraction method (background subtraction processing) between each image data including the acquired moving object and each image data not including the acquired moving object.
  • the annotation setting unit 12 compares each image data that does not include a moving body with each image data that includes a moving body, and extracts a region having a difference as a moving body.
  • Annotation setting unit 12 may add annotation to the area extracted as a moving body.
  • the annotation setting unit 12 duplicates a plurality of image data including the moving body stored in the data storage unit 11 and generates a plurality of image data in which the region extracted as the moving body is annotated.
  • the annotation setting unit 12 stores the generated plurality of image data in the data storage unit 11.
  • FIG. 3 is a diagram showing an example of annotations given by the annotation setting unit.
  • the hatched area shows the annotation given by the annotation setting unit 12.
  • Areas U1 to U4 surrounded by a dotted line represent a moving person, and are annotated as a moving body.
  • the regions S1 to S4 surrounded by the alternate long and short dash line represent the shadows of the persons included in the regions U1 to U4.
  • the areas U5 and U6 represent the shadows of trees arranged on the respective areas.
  • Annotation setting unit 12 adds annotations not only to a person as a moving body but also to the shadow of the person and the shadow of a tree by background subtraction processing. Therefore, the annotation given by the annotation setting unit 12 may not be the annotation desired by the user or allowed by the user.
  • the model storage unit 13 is a storage area in which the learning model learned by the learning device 10 is stored.
  • an unlearned learning model is stored in the model storage unit 13.
  • the learning model is not stored in the model storage unit 13.
  • the model storage unit 13 stores a learning model generated by the learning unit 14, which will be described later.
  • the learning unit 14 receives a plurality of image data including a moving object stored in the data storage unit 11 as input, and learns a learning model using the plurality of image data annotated by the annotation setting unit 12 as teacher data.
  • the learning unit 14 generates a learned learning model and stores it in the model storage unit 13.
  • the learning unit 14 generates a learned learning model by deep learning. Deep learning is learning using CNN (Convolutional Neural Network). Not limited to this, the learning unit 14 may generate a learned learning model by using another algorithm.
  • CNN Convolutional Neural Network
  • the learning unit 14 includes a plurality of annotated image data input to the input unit 16 described later, and a plurality of image data corresponding to each of the plurality of image data and to which the annotated image data is not added. Is used to retrain the trained training model.
  • the learning unit 14 takes a plurality of unannotated image data as input, and relearns using the plurality of annotated image data as teacher data.
  • the learning unit 14 stores the relearned learning model in the model storage unit 13.
  • the learning unit 14 relearns the learning model each time image data is input to the input unit 16. That is, when the image data is input to the input unit 16 n times (an integer of n: 1 or more), the learning unit 14 relearns n times.
  • the learning unit 14 uses CNN to relearn a learning model that has already been learned by deep learning.
  • the learning unit 14 generates a re-learned learned model, and stores the generated re-learned learning model in the model storage unit 13.
  • the learning unit 14 may perform re-learning using another algorithm. Further, in the following description, in order to distinguish the above learning model from the relearned learning model, the above learning model is referred to as an initial learning model, and the learning model in which the initial learning model is retrained is referred to as a relearning model. To describe.
  • the learning performed first by the learning unit 14 may be referred to as initial deep learning.
  • the nth re-learning performed by the learning unit 14 may be referred to as nth-order deep learning.
  • the generation unit 15 estimates the moving body from a plurality of image data including the moving body stored in the data storage unit 11 by using the initial learning model generated by the learning unit 14 and stored in the model storage unit 13. Annotate the estimated moving object.
  • the generation unit 15 generates a plurality of annotated image data, and stores the generated plurality of image data in the data storage unit 11. That is, the generation unit 15 automatically annotates a plurality of image data including the moving body by using the learned learning model, and generates a plurality of annotated image data.
  • FIG. 4 is a diagram showing an example of annotations given by the generation unit.
  • the hatched portion indicates the annotation given by the generation unit 15.
  • Areas U1 to U4 and S1 to S6 correspond to each area shown in FIG. Areas U1 to U4 surrounded by a dotted line represent areas including a person as a moving body, and represent annotations given by the generation unit 15.
  • the person included in the areas U2 and U4 is annotated only in the person area, and the areas S2 and S4 indicating the shadow area of the person are not annotated. Therefore, since the generation unit 15 annotates only the person area for the person existing in the areas U2 and U4, it can be said that the annotation is preferable for the user. That is, the generation unit 15 adds annotations desired or acceptable by the user to the regions U2 and U4.
  • the areas S5 and S6 are areas to which the annotation setting unit 12 has annotated, but since the generation unit 15 has not added annotations to the areas S5 and S6, the annotations preferable to the user are also given to the areas. It can be said that.
  • the generation unit 15 annotates not only the person area but also the area S1 indicating the shadow of the person. Further, regarding the area U3, the generation unit 15 annotates not all but only a part of the person area. Therefore, the generation unit 15 cannot be said to be a preferable annotation for the user with respect to the regions U1 and U3. In this way, the generation unit 15 adds an annotation that is preferable to the user and an annotation that is not preferable to the user.
  • the input unit 16 acquires image data from the user.
  • the input unit 16 may be, for example, an input device including a keyboard, a mouse, a touch panel, and a display.
  • the input unit 16 may be configured to input various information from the internal memory or an external computer device, server device, or the like connected to the learning device 10.
  • the input unit 16 is selected from a plurality of image data including the annotations given by the generation unit 15, and inputs a plurality of image data in which the annotations given by the generation unit 15 are changed.
  • the plurality of image data input to the input unit 16 may be data in which the annotation added by the generation unit 15 is confirmed by the user and the annotation to which the annotation desired by the user is not attached is changed.
  • the input unit 16 inputs a plurality of image data including a moving body corresponding to the above-mentioned input plurality of image data among the plurality of image data stored in the data storage unit 11.
  • the input unit 16 inputs a plurality of image data including a moving body to which the annotation given by the generation unit 15 has been changed, which is the image data corresponding to each of the plurality of image data to which the annotation has been changed. To do.
  • FIG. 5 is a diagram showing an example of annotation of image data input to the input unit.
  • the hatched portion indicates the annotation given by the generation unit 15.
  • Areas U1 to U4 surrounded by a dotted line represent a person as a moving body and are annotated. Areas S1 to S4 represent shadows of people included in areas U1 to U4.
  • the generation unit 15 annotates the area S1, but in FIG. 5, the annotation is not added. This indicates that the annotation given to the area S1 by the generation unit 15 has been changed by the user. In this way, the input unit 16 inputs the image data in which the annotation given by the generation unit 15 has been changed.
  • the input unit 16 re-changes the annotations of the plurality of image data to which the input annotations are added.
  • the request is notified from the determination unit 17.
  • the input unit 16 requests the user to re-change the annotations of the plurality of image data to which the input annotations are added in response to the notification.
  • the input unit 16 may request the user, for example, by displaying a message on the display for re-changing the annotations of the plurality of image data to which the input annotations are added.
  • the input unit 16 may output a voice for re-changing the annotations of the plurality of image data to which the input annotations are added and request the user.
  • the input unit 16 inputs a plurality of image data to be input in response to a request made to the user.
  • the input unit 16 inputs a plurality of image data to which annotations are added among the plurality of input image data as a plurality of image data to which the annotations given by the generation unit 15 have been changed.
  • the input unit 16 converts a plurality of unannotated image data among the plurality of input image data into a plurality of image data corresponding to each of the plurality of image data in which the annotation added by the generation unit 15 is changed. Enter as.
  • the determination unit 17 estimates a moving body from a plurality of unannotated image data input to the input unit 16 using the re-learning model, and a plurality of images in which the estimated moving body is annotated. Generate data.
  • the determination unit 17 stores the generated plurality of image data in the data storage unit 11.
  • FIG. 6 is a diagram showing an example of annotations given by the determination unit using the re-learning model.
  • the hatched portion indicates the annotation given by the generation unit 15.
  • Areas U1 to U4 surrounded by a dotted line represent a person as a moving body, and the generation unit 15 adds annotations.
  • the areas U1 to U4 are annotated only in the person area, and the areas S1 to S4 indicating the shadow area of the person are not annotated. Therefore, since the determination unit 17 annotates only the moving body with respect to the regions U1 to U4, it can be said that the annotation is preferable for the user. That is, the determination unit 17 can add annotations desired or acceptable by the user to the areas U1 to U4.
  • the determination unit 17 is a model evaluation value indicating the performance of the re-learning model based on the plurality of image data to which the annotations input to the input unit 16 are added and the plurality of generated image data as shown in FIG. Is calculated.
  • the determination unit 17 calculates the model evaluation value using the precision rate (Precision) and the recall rate (Recall).
  • the conformance rate is an index value indicating how much annotations given to a plurality of image data including the annotations input to the input unit 16 are included in the annotations included in the plurality of image data generated by the determination unit 17.
  • the recall rate is an index value indicating how much the annotations included in the plurality of image data generated by the determination unit 17 are included in the annotations given to the plurality of image data including the annotations input to the input unit 16. Is.
  • the determination unit 17 calculates the overall suitability using both the precision rate and the recall rate, the model evaluation value may be calculated using any one of the precision rate and the recall rate. ..
  • the determination unit 17 evaluates each image data to which the annotation input input to the input unit 16 is attached and each image data including the annotation corresponding to the image data and added by the determination unit 17 using the re-learning model. Individual evaluation values indicating the values are calculated using the recall rate and the precision rate.
  • the determination unit 17 may calculate the average value of a plurality of individual evaluation values calculated from each image data as a model evaluation value. Alternatively, the determination unit 17 may calculate the individual evaluation value and the model evaluation value by using the F value (F-measure) which is an index value using the value obtained by taking the harmonic mean of the recall rate and the precision rate. ..
  • F-measure is an index value using the value obtained by taking the harmonic mean of the recall rate and the precision rate.
  • the determination unit 17 determines whether the calculated model evaluation value satisfies a predetermined condition. Specifically, when the calculated model evaluation value is equal to or greater than a predetermined threshold value, the determination unit 17 determines that the predetermined condition is satisfied.
  • the determination unit 17 may determine whether or not the predetermined condition is satisfied based on the number of image data whose individual evaluation value is equal to or greater than a predetermined threshold value. The determination unit 17 may determine that the predetermined condition is satisfied when the number of image data whose individual evaluation value is equal to or greater than a predetermined threshold value is equal to or greater than a predetermined number. Alternatively, the determination unit 17 may determine that the predetermined condition is satisfied when the number of image data whose individual evaluation value is less than the predetermined threshold value is less than the predetermined number.
  • the determination unit 17 determines that the model evaluation value satisfies the predetermined condition, the determination unit 17 notifies the output unit 18 that the re-learning model will be generated in the output unit 18 described later. In other words, when the determination unit 17 determines that the model evaluation value is equal to or higher than a predetermined threshold value, the determination unit 17 determines that the performance of the relearning model satisfies the desired performance (learning accuracy), and re-learns the output unit 18. Generate a learning model.
  • the determination unit 17 determines that the evaluation value of the re-learning model does not satisfy the predetermined condition, the determination unit 17 inputs a request to re-change the annotations of the plurality of image data to which the annotations input to the input unit 16 are added. Notify department 16. In other words, when the determination unit 17 determines that the model evaluation value is less than a predetermined threshold value, the input unit 16 requests the input unit 16 to re-change the annotations of the plurality of image data to which the annotations input to the input unit 16 are added. Let me do it.
  • the determination unit 17 repeatedly requests that the input unit 16 re-change the annotation of the image data to which the input annotation is attached until it is determined that the model evaluation value satisfies the predetermined condition.
  • the input unit 16 inputs annotated image data and image data corresponding to the image data and not annotated, in response to a request.
  • the learning unit 14 repeatedly executes re-learning of the re-learning model by inputting the input image data to which the annotation has not been added and using the input image data to which the annotation has been added as teacher data.
  • the determination unit 17 determines that the model evaluation value is less than a predetermined threshold value, the individual evaluation value is less than the predetermined threshold value among the plurality of annotated image data input to the input unit 16.
  • the image data is specified.
  • the determination unit 17 notifies the input unit 16 that the specified image data is specified and a request for re-changing the annotation is performed, and the specified image data is specified according to the content notified by the input unit 16. May be specified to request to change the annotation.
  • the output unit 18 When the determination unit 17 determines that the model evaluation value satisfies a predetermined condition, the output unit 18 outputs the re-learning model in response to the notification from the determination unit 17.
  • FIG. 7 is a diagram showing an operation example of the learning device according to the second embodiment.
  • the data storage unit 11 stores a plurality of image data including the moving body and a plurality of image data not including the moving body.
  • the plurality of image data may be input by the input unit 16.
  • the annotation setting unit 12 performs background subtraction processing (step S1).
  • the annotation setting unit 12 acquires the image data including the moving body and the image data not including the moving body corresponding to the moving body.
  • the annotation setting unit 12 extracts moving objects by a background subtraction method (background subtraction processing) for image data including moving objects and image data not including moving objects corresponding to the image data.
  • the annotation setting unit 12 duplicates a plurality of image data including the moving body stored in the data storage unit 11 and generates a plurality of image data in which the region extracted as the moving body is annotated.
  • the annotation setting unit 12 stores the generated plurality of image data in the data storage unit 11.
  • the learning unit 14 inputs a plurality of image data including a moving object stored in the data storage unit 11, and performs initial deep learning using the plurality of image data annotated by the annotation setting unit 12 as teacher data (step). S2).
  • the learning unit 14 inputs a plurality of image data including a moving object stored in the data storage unit 11, and uses a plurality of images annotated by the annotation setting unit 12 as teacher data for deep learning using CNN. Generates a trained training model by. The initial learning model learned by the initial deep learning is stored in the model storage unit 13.
  • the generation unit 15 estimates the moving body using the initial learning model for a plurality of image data including the moving body stored in the data storage unit 11, annotates the estimated moving body, and annotates the estimated moving body. Is added to the image data (step S3).
  • the generation unit 15 generates a plurality of annotated image data, and stores the generated plurality of image data in the data storage unit 11.
  • the input unit 16 inputs a plurality of image data in which the annotation added in step S3 has been changed, and a plurality of image data corresponding to each of which the annotation has not been added (step S4).
  • the input unit 16 inputs image data selected from a plurality of image data including the annotations given by the generation unit 15, and the annotations given by the generation unit 15 are changed. Further, the input unit 16 is a plurality of image data corresponding to the plurality of input image data among the plurality of image data stored in the data storage unit 11, and is a plurality of image data including a moving body. Enter.
  • the learning unit 14 uses the plurality of annotated image data input to the input unit 16 and the image data corresponding to the plurality of image data without the annotation. Perform nth-order deep learning (step S5). Since step S5 is executed every time image data is input to the input unit 16, the number of times the image data is input to the input unit 16 corresponds to n.
  • the learning unit 14 uses a plurality of image data with annotations input to the input unit 16 as teacher data, and inputs a plurality of image data without annotations corresponding to the plurality of image data as a learning model. To generate a re-learning model.
  • the learning unit 14 generates a re-learning model by deep learning using CNN.
  • the determination unit 17 uses the re-learning model to estimate a moving body from a plurality of image data without annotations input to the input unit 16 using the re-learning model, and annotates the estimated moving body. Is generated (step S6).
  • the determination unit 17 calculates a model evaluation value using the plurality of image data to which the annotations input to the input unit 16 are added and the plurality of image data generated in step S6 (step S7).
  • the determination unit 17 individually uses the recall rate and the matching rate of each image data to which the annotation input input to the input unit 16 is added and each image data generated corresponding to the image data. Calculate the evaluation value.
  • the determination unit 17 calculates the model evaluation value by using the average value or the F value of the individual evaluation values calculated for each image data.
  • the determination unit 17 determines whether the model evaluation value satisfies a predetermined condition (step S8).
  • the determination unit 17 determines whether or not the model evaluation value is equal to or greater than a predetermined threshold value.
  • the output unit 18 outputs the re-learning model (step S9).
  • the input unit 16 is an annotation of the image data to which the annotation input to the input unit 16 is added. Request a change (step S10).
  • the learning device 10 repeatedly executes steps S4 to S10 until the model evaluation value becomes equal to or higher than a predetermined threshold value. That is, the determination unit 17 repeatedly requests that the input unit 16 re-change the annotation of the image data to which the input annotation is attached until it is determined that the model evaluation value satisfies the predetermined condition.
  • the input unit 16 inputs annotated image data and image data corresponding to the image data and not annotated, in response to a request.
  • the learning unit 14 repeatedly executes re-learning of the re-learning model by inputting the input image data to which the annotation has not been added and using the input image data to which the annotation has been added as teacher data.
  • the annotation setting unit 12 estimates the moving body included in the image data by background subtraction processing, and automatically annotates the estimated moving body.
  • the learning unit 14 generates an initial learning model using the annotations given by the annotation setting unit 12 as teacher data.
  • the generation unit 15 estimates the moving body included in the image data using the initial learning model, and automatically annotates the estimated moving body.
  • the annotation given by the annotation setting unit 12 includes an annotation desired or allowed by the user and an annotation not allowed by the user. Therefore, the annotation given by the generation unit 15 also includes an annotation desired or tolerated by the user and an annotation not tolerated by the user.
  • the annotation given by the generation unit 15 uses a learning model learned using the data generated by the annotation setting unit 12 as teacher data. Therefore, the annotation added by the generation unit 15 includes image data to which the annotation desired by the user is added and image data to which the annotation not desired by the user is added.
  • the image data to which the annotation desired by the user is added can be determined to be the image data output by the learning model satisfying a certain performance. It is necessary to change the annotation and relearn the annotation of the image data to which the annotation not desired by the user is added. Therefore, the user changes the annotation and causes the input unit 16 to input the annotation.
  • the generation unit 15 since the generation unit 15 also generates the data to which the annotation desired by the user is added, the user only needs to change the annotation to the data to which the annotation not desired by the user is added. That is, by using the learning device 10, it is possible to change the annotation and reduce the number of data to be input to the input unit 5. Therefore, according to the learning device 10 according to the second embodiment, it is possible to reduce the burden on the user when annotating and to generate a learning model.
  • the learning unit 14 generates a re-learning model using a plurality of image data input to the input unit 16.
  • the determination unit 17 uses the re-learning model to annotate the moving body included in the input image data, and when the model evaluation value does not satisfy the predetermined condition, the input unit 16 gives the input annotation. Request to change again.
  • the determination unit 17 requests that the input unit 16 re-change the input annotation until the model evaluation value satisfies a predetermined condition, and the learning unit 14 repeatedly relearns the re-learning model.
  • the determination unit 17 outputs the re-learning model by the output unit 18. Therefore, according to the learning device 10 according to the second embodiment, it is possible to improve the accuracy of the generated learning model (re-learning model) while reducing the burden on the user when annotating.
  • FIG. 8 is a block diagram illustrating a hardware configuration of a computer (information processing device) capable of realizing the learning device and the like according to each embodiment of the present disclosure.
  • the learning device 1 and the like include the processor 1201 and the memory 1202.
  • the processor 1201 reads the software (computer program) from the memory 1202 and executes it to perform the processing of the learning device 1 and the like described by using the flowchart in the above-described embodiment.
  • the processor 1201 may be, for example, a microprocessor, an MPU (Micro Processing Unit), or a CPU (Central Processing Unit).
  • Processor 1201 may include a plurality of processors.
  • the memory 1202 is composed of a combination of a volatile memory and a non-volatile memory.
  • Memory 1202 may include storage located away from processor 1201. In this case, processor 1201 may access memory 1202 via an I / O interface (not shown).
  • the memory 1202 is used to store the software module group. By reading these software modules from the memory 1202 and executing them, the processor 1201 can perform the processing of the learning device 1 and the like described in the above-described embodiment.
  • each of the processors included in the learning device 1 and the like executes one or a plurality of programs including a group of instructions for causing the computer to perform the algorithm described with reference to the drawings.
  • Non-temporary computer-readable media include various types of tangible storage media.
  • Examples of non-transitory computer readable media include magnetic recording media (eg, flexible disks, magnetic tapes, hard disk drives), magneto-optical recording media (eg, magneto-optical disks).
  • Examples of non-temporary computer-readable media include CD-ROM (Read Only Memory), CD-R, and CD-R / W.
  • examples of non-transitory computer readable media include semiconductor memory.
  • the semiconductor memory includes, for example, a mask ROM, a PROM (Programmable ROM), an EPROM (Erasable PROM), a flash ROM, and a RAM (Random Access Memory).
  • the program may also be supplied to the computer by various types of temporary computer readable media. Examples of temporary computer-readable media include electrical, optical, and electromagnetic waves.
  • the temporary computer-readable medium can supply the program to the computer via a wired communication path such as an electric wire and an optical fiber, or a wireless communication path.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

アノテーションを付与する際のユーザの負担を軽減する学習装置を提供する。学習装置（１）は、対象物を含む複数の第１データを用いて対象物にアノテーションが付与された複数の第２データを生成するアノテーション設定部（２）と、複数の第１データを入力とし複数の第２データを第１教師データとして学習された学習モデルを生成する学習部（３）と、学習モデルを用いて複数の第１データに含まれる対象物にアノテーションが付与された複数の第３データを生成する生成部（４）と、複数の第３データから選択され、複数の第３データに付与されたアノテーションが変更された複数の第４データと、複数の第１データのうち複数の第４データに対応する複数の第５データとを入力する入力部（５）と、を備える。学習部（３）は、複数の第５データを入力とし、複数の第４データを第２教師データとして学習モデルを再学習する。

Description

学習装置、学習方法及び非一時的なコンピュータ可読媒体
　本開示は、学習装置、学習方法及びプログラムに関する。
　識別器を用いて対象物を識別する識別装置が知られている。識別装置では、識別器に対して機械学習を行い、識別器の精度を高めている。識別器を機械学習するために、教師データが用いられ、対象物に対してアノテーションが付与される（例えば、特許文献１）。アノテーションは、識別器が対象物を識別するために、対象物に対して与えられる正解データを示すラベルである。
特開２０１８－０８１５４５号公報
　アノテーションは、識別器に対する機械学習を行う際の教師データとして用いるため、自動的に付与することが難しい。そのため、一般的に、識別器を作成又は管理するユーザが、機械学習に用いるデータを確認し、手動でアノテーションを付与する。機械学習に使用される正解データは多ければ多いほど学習の精度が高まる。しかしながら、正解データが多ければ多いほど、ユーザが、手動でアノテーションを付与しなければならない。したがって、多数のデータに対してアノテーションを手動で付与することは、ユーザに対する負担がとても大きくなってしまう。
　本開示の目的は、このような課題を解決するためになされたものであり、アノテーションを付与する際のユーザの負担を軽減することが可能な学習装置、学習方法及びプログラムを提供することである。
　本開示の第１の態様にかかる学習装置は、
　対象物を含む複数の第１データを用いて、前記対象物にアノテーションが付与された複数の第２データを生成するアノテーション設定部と、
　前記複数の第１データを入力とし、前記複数の第２データを第１教師データとして学習された学習モデルを生成する学習部と、
　前記学習モデルを用いて、前記複数の第１データに含まれる前記対象物にアノテーションが付与された複数の第３データを生成する生成部と、
　前記複数の第３データから選択され、前記複数の第３データに付与されたアノテーションが変更された複数の第４データと、前記複数の第１データのうち前記複数の第４データに対応する複数の第５データと、を入力する入力部と、を備え、
　前記学習部は、前記複数の第５データを入力とし、前記複数の第４データを第２教師データとして前記学習モデルを再学習する、学習装置である。
　本開示の第２の態様にかかる学習方法は、
　対象物を含む複数の第１データを用いて、前記対象物にアノテーションが付与された複数の第２データを生成することと、
　前記複数の第１データを入力とし、前記複数の第２データを第１教師データとして学習された学習モデルを生成することと、
　前記学習モデルを用いて、前記複数の第１データに含まれる前記対象物にアノテーションが付与された複数の第３データを生成することと、
　前記複数の第３データから選択され、前記複数の第３データに付与されたアノテーションが変更された複数の第４データと、前記複数の第１データのうち前記複数の第４データに対応する複数の第５データと、を入力することと
　前記複数の第５データを入力とし、前記複数の第４データを第２教師データとして前記学習モデルを再学習することと、を含む学習方法である。
　本開示の第３の態様にかかるプログラムは、
　対象物を含む複数の第１データを用いて、前記対象物にアノテーションが付与された複数の第２データを生成することと、
　前記複数の第１データを入力とし、前記複数の第２データを第１教師データとして学習された学習モデルを生成することと、
　前記学習モデルを用いて、前記複数の第１データに含まれる前記対象物にアノテーションが付与された複数の第３データを生成することと、
　前記複数の第３データから選択され、前記複数の第３データに付与されたアノテーションが変更された複数の第４データと、前記複数の第１データのうち前記複数の第４データに対応する複数の第５データと、を入力することと
　前記複数の第５データを入力とし、前記複数の第４データを第２教師データとして前記学習モデルを再学習することと、をコンピュータに実行させるプログラムである。
　本開示によれば、アノテーションを付与する際のユーザの負担を軽減することが可能な学習装置、学習方法及びプログラムを提供することができる。
実施の形態１にかかる学習装置の構成例を示す図である。 実施の形態２にかかる学習装置の構成例を示す図である。 アノテーション設定部が付与するアノテーションの一例を示す図である。 生成部が付与するアノテーションの一例を示す図である。 入力部に入力される画像データのアノテーションの一例を示す図である。 判定部が再学習モデルを用いて付与するアノテーションの一例を示す図である。 実施の形態２にかかる学習装置の動作例を示す図である。 本開示の各実施の形態にかかる学習装置等を実現可能な、コンピュータ（情報処理装置）のハードウェア構成を例示するブロック図である。
　（実施の形態１）
　以下、図面を参照して本発明の実施の形態について説明する。図１を用いて、実施の形態１にかかる学習装置１について説明する。図１は、実施の形態１にかかる学習装置の構成例を示す図である。学習装置１は、例えば、サーバ装置、パーソナルコンピュータ装置等であってもよい。
　学習装置１は、アノテーション設定部２と、学習部３と、生成部４と、入力部５とを備える。
　アノテーション設定部２は、対象物を含む複数の第１データを用いて、対象物にアノテーションが付与された複数の第２データを生成する。
　第１データは、例えば、画像データ、映像データ、音声データ、自然言語翻訳データであってもよく、特定したい対象物が含まれる各種データである。
　第１データが画像データ又は映像データである場合、対象物は、例えば、移動体であってもよいし、検出対象の特定の物体であってもよい。第１データが音データである場合、対象物は、例えば、特定の人物の音声であってもよいし、検出対象の音であってもよい。第１データが自然言語翻訳データである場合、対象物は、例えば、機械により翻訳された特定の用語であってもよいし、翻訳された文章であってもよい。
　学習部３は、複数の第１データを入力とし、複数の第２データを第１教師データとして学習された学習モデルを生成する。学習部３は、後述する入力部５に入力された複数の第５データを入力とし、入力部５に入力された複数の第４データを第２教師データとして学習モデルを再学習する。
　生成部４は、学習部３により学習された学習モデルを用いて、複数の第１データに含まれる対象物にアノテーションが付与された複数の第３データを生成する。
　入力部５は、例えば、キーボード、マウス、タッチパネル、ディスプレイを含む入力装置等であってもよい。もしくは、入力部５は、内部のメモリ又は学習装置１に接続された外部のコンピュータ装置、サーバ装置等からの各種の情報を入力するように構成されてもよい。入力部５は、複数の第３データから選択され、複数の第３データに付与されたアノテーションが変更された複数の第４データと、複数の第１データのうち複数の第４データに対応する複数の第５データと、を入力する。
　複数の第４データは、生成部４が生成した複数の第３データに付与されたアノテーションをユーザが確認して、ユーザが所望するアノテーションが付与されていない場合にアノテーションが変更されたデータであってもよい。
　以上説明したように、アノテーション設定部２は、対象物を含む複数の第１データを用いて、複数の第１データに含まれる対象物に自動的にアノテーションを付与する。学習部３は、アノテーション設定部２によりアノテーションが付与された複数の第２データを第１教師データとして学習された学習モデルを生成する。生成部４は、学習された学習モデルを用いて、アノテーションが自動的に付与された複数の第３データを生成する。入力部５は、例えば、生成された複数の第３データのうち、ユーザが所望するアノテーションが付与されていない場合にアノテーションが変更された複数の第４データを入力する。学習部３は、複数の第４データを第２教師データとして学習モデルを再学習する。
　ここで、生成部４が生成した複数の第３データは、アノテーション設定部２が生成したデータを教師データとして学習された学習モデルを用いている。そのため、生成部４が付与したアノテーションは、ユーザが所望するアノテーションが付与されたデータと、ユーザが所望しないアノテーションが付与されたデータとを含む。ユーザが所望するアノテーションが付与されたデータは、ある一定の性能を満たした学習モデルにより出力されたデータと判断することができる。
　学習部３は、ユーザが所望しないアノテーションが付与されたデータについて、アノテーションが変更されたデータを用いて再学習する。そのため、アノテーションが変更されたデータを入力部５に入力させる。そのため、ユーザは、所望しないアノテーションが付与されたデータに対してのみアノテーションを変更し、入力部５にアノテーションが変更されたデータを入力すればよい。すなわち、学習装置１を用いることにより、手動でアノテーションを変更（付与）するデータ数を減らすことが可能となる。したがって、実施の形態１にかかる学習装置１によれば、アノテーションを付与する際のユーザの負担を軽減して学習モデルを生成することが可能となる。
　（実施の形態２）
　続いて、実施の形態２について説明する。
　＜学習装置の構成例＞
　図２を用いて、実施の形態２にかかる学習装置１０の構成例について説明する。図２は、実施の形態２にかかる学習装置の構成例を示す図である。なお、以降の説明では、学習装置１０が処理するデータは、画像データであるとして説明する。また、以降の説明では、対象物は、移動体であるとして説明する。
　学習装置１０は、例えば、コンピュータ装置、サーバ装置であってもよい。学習装置１０は、機械学習を行い、学習モデルを生成する装置である。学習装置１０は、データ記憶部１１と、アノテーション設定部１２と、モデル記憶部１３と、学習部１４と、生成部１５と、入力部１６と、判定部１７と、出力部１８とを備える。
　データ記憶部１１は、学習装置１が用いる複数の画像データを記憶する記憶部である。データ記憶部１１には、移動体を含む複数の画像データと、当該複数の画像データの各々に対応する画像データであって、移動体を含まない複数の画像データが記憶される。
　なお、移動体を含む複数の画像データと、移動体を含まない複数の画像データとが、予めデータ記憶部１１に記憶されていてもよい。もしくは、後述する入力部１６が、移動体を含む複数の画像データと、移動体を含まない複数の画像データとを入力し、データ記憶部１１に記憶してもよい。
　アノテーション設定部１２は、データ記憶部１１に記憶された、移動体を含む複数の画像データを用いて、移動体にアノテーションを付与し、アノテーションが付与された画像データを生成する。アノテーション設定部１２は、例えば、データ記憶部１１に記憶された、移動体を含む複数の画像データと、当該複数の画像データのそれぞれに対応する移動体を含まない複数の画像データとを取得する。
　アノテーション設定部１２は、取得した移動体を含む各画像データと、取得した移動体を含まない各画像データとの背景差分法（背景差分処理）により移動体を抽出する。アノテーション設定部１２は、移動体を含まない各画像データと、移動体を含む各画像データとを比較して、差分がある領域を移動体として抽出する。アノテーション設定部１２は、移動体として抽出した領域に対してアノテーションを付与してもよい。アノテーション設定部１２は、データ記憶部１１に記憶された、移動体を含む複数の画像データを複製して、移動体として抽出した領域にアノテーションを付与した複数の画像データを生成する。アノテーション設定部１２は、生成した複数の画像データをデータ記憶部１１に格納する。
　ここで、図３を用いて、アノテーション設定部１２が付与するアノテーションの一例を説明する。図３は、アノテーション設定部が付与するアノテーションの一例を示す図である。図３において、ハッチングされた領域は、アノテーション設定部１２が付与するアノテーションを示している。
　点線で囲まれた領域Ｕ１～Ｕ４は、移動する人物を表しており、移動体としてアノテーションが付与される。一方、一点鎖線で囲まれた領域Ｓ１～Ｓ４は、領域Ｕ１～Ｕ４に含まれる人物の影を表している。また、領域Ｕ５及びＵ６は、それぞれの領域の上に配置された木の影を表している。
　アノテーション設定部１２は、背景差分処理により、移動体としての人物だけでなく、当該人物の影及び木の影に対してもアノテーションを付与する。そのため、アノテーション設定部１２が付与したアノテーションは、ユーザが所望する又はユーザが許容するアノテーションとはなっていない場合がある。
　図２に戻り、モデル記憶部１３について説明を続ける。
　モデル記憶部１３は、学習装置１０が学習する学習モデルが記憶される記憶領域である。学習装置１０が初めて起動される場合、モデル記憶部１３には、未学習の学習モデルが記憶されている。もしくは、学習装置１０が初めて起動される場合、モデル記憶部１３には、学習モデルが記憶されていない状態で起動される。モデル記憶部１３は、後述する学習部１４が生成する学習モデルが記憶される。
　学習部１４は、データ記憶部１１に記憶された移動体を含む複数の画像データを入力とし、アノテーション設定部１２によりアノテーションが付与された複数の画像データを教師データとして学習モデルを学習する。学習部１４は、学習済みの学習モデルを生成して、モデル記憶部１３に記憶する。
　学習部１４は、深層学習（Deep Learning）により学習済みの学習モデルを生成する。深層学習は、ＣＮＮ（Convolutional Neural Network）を利用した学習である。なお、これに限られず、学習部１４は、他のアルゴリズムを用いて学習済みの学習モデルを生成してもよい。
　また、学習部１４は、後述する入力部１６に入力される、アノテーションが付与された複数の画像データと、当該複数の画像データの各々に対応し、アノテーションが付与されていない複数の画像データとを用いて、上記学習済みの学習モデルを再学習する。学習部１４は、アノテーションが付与されていない複数の画像データを入力とし、アノテーションが付与された複数の画像データを教師データとして再学習を行う。学習部１４は、再学習された学習モデルをモデル記憶部１３に記憶する。学習部１４は、入力部１６に画像データが入力される毎に学習モデルの再学習を行う。つまり、学習部１４は、入力部１６に画像データがｎ（ｎ：１以上の整数）回入力された場合、ｎ回の再学習を行う。
　学習部１４は、ＣＮＮを利用して、深層学習により学習済みの学習モデルを再学習する。学習部１４は、再学習された学習済みモデルを生成し、生成した再学習済みの学習モデルをモデル記憶部１３に記憶する。なお、学習部１４は、他のアルゴリズムを用いて再学習を行ってもよい。また、以降の説明では、上記学習モデルと、再学習された学習モデルとを区別するために、上記学習モデルを初期学習モデルとし、初期学習モデルが再学習された学習モデルを再学習モデルと称して記載する。学習部１４が最初に行う学習を初期深層学習と称して記載することがある。学習部１４が行うｎ回目の再学習をｎ次深層学習と称して記載することがある。
　生成部１５は、学習部１４が生成し、モデル記憶部１３に記憶された初期学習モデルを用いて、データ記憶部１１に記憶された移動体を含む複数の画像データから移動体を推定し、推定された移動体にアノテーションを付与する。生成部１５は、アノテーションが付与された複数の画像データを生成して、生成した複数の画像データをデータ記憶部１１に記憶する。つまり、生成部１５は、移動体を含む複数の画像データに対して、学習済みの学習モデルを用いて、自動的にアノテーションを付与し、アノテーションが付与された複数の画像データを生成する。
　ここで、図４を用いて生成部１５が付与するアノテーションの一例について説明する。図４は、生成部が付与するアノテーションの一例を示す図である。図４において、ハッチングされた部分は、生成部１５が付与したアノテーションを示している。
　領域Ｕ１～Ｕ４、Ｓ１～Ｓ６は、図３の各領域に対応している。点線で囲まれた領域Ｕ１～Ｕ４は、移動体としての人物を含む領域を表しており、生成部１５が付与したアノテーションを表している。領域Ｕ２及びＵ４に含まれる人物には、人物領域のみにアノテーションが付与されており、人物の影の領域を示す領域Ｓ２及びＳ４にはアノテーションが付与されていない。そのため、生成部１５は、領域Ｕ２及びＵ４に存在する人物について、人物領域のみにアノテーションを付していることから、ユーザにとって好ましいアノテーションと言える。つまり、生成部１５は、領域Ｕ２及びＵ４については、ユーザが所望する又は許容できるアノテーションを付与する。
　また、領域Ｓ５及びＳ６は、アノテーション設定部１２がアノテーションを付与した領域であるが、生成部１５は、領域Ｓ５及びＳ６に対してアノテーションを付与していないため、当該領域についてもユーザにとって好ましいアノテーションと言える。
　一方、領域Ｕ１については、生成部１５は、人物領域だけでなく、当該人物の影を示す領域Ｓ１に対してもアノテーションを付与する。また、領域Ｕ３については、生成部１５は、人物領域の全てではなく一部のみの領域に対してアノテーションを付与する。そのため、生成部１５は、領域Ｕ１及びＵ３について、ユーザにとって好ましいアノテーションとは言えない。このように、生成部１５は、ユーザにとって好ましいアノテーションと、好ましくないアノテーションを付与する。
　図２に戻り、入力部１６について説明する。
　入力部１６は、ユーザからの画像データを取得する。入力部１６は、例えば、キーボード、マウス、タッチパネル、ディスプレイを含む入力装置等であってもよい。もしくは、入力部１６は、内部のメモリ又は学習装置１０に接続された外部のコンピュータ装置、サーバ装置等からの各種の情報を入力するように構成されてもよい。
　入力部１６は、生成部１５が付与したアノテーションを含む複数の画像データから選択され、生成部１５が付与したアノテーションが変更された複数の画像データを入力する。入力部１６に入力される上記複数の画像データは、生成部１５が付与したアノテーションをユーザが確認して、ユーザが所望するアノテーションが付与されていないアノテーションが変更されたデータであってもよい。
　また、入力部１６は、データ記憶部１１に記憶された複数の画像データのうち、各々が上記の入力された複数の画像データに対応する移動体を含む複数の画像データを入力する。換言すると、入力部１６は、生成部１５が付与したアノテーションが変更された複数の画像データの各々に対応する画像データであって、アノテーションが付与されていない移動体を含む複数の画像データを入力する。
　ここで、図５を用いて、入力部１６に入力される画像データであって、変更されたアノテーションの一例について説明する。図５は、入力部に入力される画像データのアノテーションの一例を示す図である。図５において、ハッチングされた部分は、生成部１５が付与したアノテーションを示している。
　点線で囲まれた領域Ｕ１～Ｕ４は、移動体としての人物を表しており、アノテーションが付与されている。領域Ｓ１～Ｓ４は、領域Ｕ１～Ｕ４に含まれる人物の影を表している。図４と比較すると、図４では生成部１５が領域Ｓ１にアノテーションを付与しているが、図５ではアノテーションが付与されていない。これは、生成部１５により領域Ｓ１に付与されたアノテーションがユーザにより変更されていることを示している。このように、入力部１６は、生成部１５が付与したアノテーションが変更された画像データを入力する。
　図２に戻り説明を続ける。入力部１６は、再学習モデルの性能を示すモデル評価値が所定条件を満たさないと後述する判定部１７が判定する場合、入力されたアノテーションが付与された複数の画像データのアノテーションを再変更する要求を判定部１７から通知される。入力部１６は、当該通知に応じて、入力されたアノテーションが付与された複数の画像データのアノテーションを再変更するようにユーザに要求する。入力部１６は、例えば、入力されたアノテーションが付与された複数の画像データのアノテーションを再変更するメッセージをディスプレイに表示することによりユーザに要求してもよい。もしくは、入力部１６は、入力されたアノテーションが付与された複数の画像データのアノテーションを再変更することの音声を出力してユーザに要求してもよい。
　入力部１６は、ユーザに対して行った要求に応じて入力される複数の画像データを入力する。入力部１６は、入力された複数の画像データのうちアノテーションが付与された複数の画像データを、生成部１５が付与したアノテーションが変更された複数の画像データとして入力する。入力部１６は、入力された複数の画像データのうちアノテーションが付与されていない複数の画像データを、生成部１５が付与したアノテーションが変更された複数の画像データの各々に対応する複数の画像データとして入力する。
　判定部１７は、再学習モデルを用いて、入力部１６に入力されたアノテーションが付されていない複数の画像データから移動体を推定し、推定された移動体にアノテーションが付与された複数の画像データを生成する。判定部１７は、生成された複数の画像データをデータ記憶部１１に記憶する。
　ここで、図６を用いて、判定部１７が再学習モデルを用いて付与するアノテーションの一例について説明する。図６は、判定部が再学習モデルを用いて付与するアノテーションの一例を示す図である。図６において、ハッチングされた部分は、生成部１５が付与したアノテーションを示している。
　点線で囲まれた領域Ｕ１～Ｕ４は、移動体としての人物を表しており、生成部１５はアノテーションを付与する。領域Ｕ１～Ｕ４は、人物領域のみにアノテーションが付与されており、人物の影の領域を示す領域Ｓ１～Ｓ４にはアノテーションが付与されていない。そのため、領域Ｕ１～Ｕ４に対して、判定部１７は、移動体のみにアノテーションを付していることから、ユーザにとって好ましいアノテーションと言える。つまり、領域Ｕ１～Ｕ４に対して、判定部１７は、ユーザが所望する又は許容できるアノテーションを付与することができる。
　図２に戻り、判定部１７の説明を続ける。
　判定部１７は、入力部１６に入力されたアノテーションが付与された複数の画像データと、図６に示すような生成した複数の画像データとに基づいて、再学習モデルの性能を示すモデル評価値を算出する。
　判定部１７は、適合率（プレシジョン：Precision）及び再現率（リコール：Recall）を用いて、モデル評価値を算出する。適合率は、判定部１７が生成した複数の画像データに含まれるアノテーションに、入力部１６に入力されたアノテーションを含む複数の画像データに付与されたアノテーションがどの程度含まれているかを示す指標値である。再現率は、入力部１６に入力されたアノテーションを含む複数の画像データに付与されたアノテーションに、判定部１７が生成した複数の画像データに含まれるアノテーションがどの程度含まれているかを示す指標値である。なお、判定部１７は、適合率及び再現率の両方を用いて全体適性度を算出するが、適合率及び再現率のうちのいずれか１つを用いて、モデル評価値を算出してもよい。
　判定部１７は、入力部１６に入力されたアノテーションが付与された各画像データと、当該画像データに対応し、判定部１７が再学習モデルを用いて付与したアノテーションを含む各画像データとの評価値を示す個別評価値を再現率及び適合率を用いて算出する。
　判定部１７は、各画像データから算出した複数の個別評価値の平均値をモデル評価値として算出してもよい。もしくは、判定部１７は、再現率及び適合率の調和平均を取った値を用いた指標値であるＦ値（F-measure）を用いて、個別評価値及びモデル評価値を算出してもよい。
　判定部１７は、算出したモデル評価値が所定条件を満たしているかを判定する。具体的には、判定部１７は、算出したモデル評価値が所定の閾値以上である場合、所定条件を満たしていると判定する。
　なお、判定部１７は、個別評価値が所定の閾値以上である画像データ数に基づいて、所定条件を満たしているかを判定してもよい。判定部１７は、個別評価値が所定の閾値以上の画像データ数が所定数以上である場合に、所定条件を満たしていると判定してもよい。もしくは、判定部１７は、個別評価値が所定の閾値未満である画像データ数が所定数未満である場合に、所定条件を満たしていると判定してもよい。
　判定部１７は、モデル評価値が所定条件を満たしていると判定した場合、後述する出力部１８に再学習モデルを生成することを出力部１８に通知する。換言すると、判定部１７は、モデル評価値が所定の閾値以上であると判定した場合、再学習モデルの性能が所望する性能（学習精度）を満たしていると判定して、出力部１８に再学習モデルを生成させる。
　一方、判定部１７は、再学習モデルの評価値が所定条件を満たしていないと判定した場合、入力部１６に入力されたアノテーションが付与された複数の画像データのアノテーションを再変更する要求を入力部１６に通知する。換言すると、判定部１７は、モデル評価値が所定の閾値未満であると判定した場合、入力部１６に入力されたアノテーションが付与された複数の画像データのアノテーションを再変更する要求を入力部１６に行わせる。
　すなわち、判定部１７は、モデル評価値が所定条件を満たすと判定するまで、入力部１６が、入力されたアノテーションが付与された画像データのアノテーションを再変更することを繰り返し要求する。入力部１６は、要求に応じて、アノテーションが付与された画像データと、当該画像データに対応しアノテーションが付与されていない画像データとを入力する。そして、学習部１４が、入力されたアノテーションが付与されていない画像データを入力とし、入力されたアノテーションが付与された画像データを教師データとして再学習モデルを再学習することを繰り返し実行する。
　なお、判定部１７は、モデル評価値が所定の閾値未満であると判定した場合、入力部１６に入力された、アノテーションが付与された複数の画像データのうち、個別評価値が所定の閾値未満である画像データを特定してもよい。そして、判定部１７は、特定した画像データを指定して、アノテーションを再変更する要求を行うことを入力部１６に通知し、入力部１６が通知された内容に応じて、特定された画像データを指定して、アノテーションを変更する要求を行ってもよい。
　出力部１８は、モデル評価値が所定条件を満たすと判定部１７が判定する場合、判定部１７からの通知に応じて再学習モデルを出力する。
　＜学習装置の動作例＞
　続いて、学習装置１０の動作例について説明する。図７は、実施の形態２にかかる学習装置の動作例を示す図である。前提として、データ記憶部１１には、移動体を含む複数の画像データと、移動体を含まない複数の画像データとが記憶されている。なお、当該複数の画像データは、入力部１６により入力されてもよい。
　まず、アノテーション設定部１２は、背景差分処理を行う（ステップＳ１）。アノテーション設定部１２は、移動体を含む画像データと、当該画像データに対応する移動体を含まない画像データとを取得する。アノテーション設定部１２は、移動体を含む画像データと、当該画像データに対応する移動体を含まない画像データとに対して背景差分法（背景差分処理）により移動体を抽出する。アノテーション設定部１２は、データ記憶部１１に記憶された、移動体を含む複数の画像データを複製して、移動体として抽出した領域にアノテーションを付与した複数の画像データを生成する。アノテーション設定部１２は、生成した複数の画像データをデータ記憶部１１に格納する。
　学習部１４は、データ記憶部１１に記憶された移動体を含む複数の画像データを入力とし、アノテーション設定部１２によりアノテーションが付与された複数の画像データを教師データとして初期深層学習を行う（ステップＳ２）。
　学習部１４は、データ記憶部１１に記憶された移動体を含む複数の画像データを入力とし、アノテーション設定部１２によりアノテーションが付与された複数の画像を教師データとして、ＣＮＮを利用して深層学習により学習済みの学習モデルを生成する。初期深層学習により学習された初期学習モデルは、モデル記憶部１３に記憶される。
　生成部１５は、データ記憶部１１に記憶された移動体を含む複数の画像データに対して、初期学習モデルを用いて、移動体を推定し、推定された移動体にアノテーションを付与し、アノテーションが付与された画像データを生成する（ステップＳ３）。生成部１５は、アノテーションが付与された複数の画像データを生成して、生成した複数の画像データをデータ記憶部１１に記憶する。
　入力部１６は、ステップＳ３で付与されたアノテーションが変更された複数の画像データと、各々に対応し、アノテーションが付与されていない複数の画像データとを入力する（ステップＳ４）。
　入力部１６は、生成部１５が付与したアノテーションを含む複数の画像データから選択された画像データであって、生成部１５が付与したアノテーションが変更された複数の画像データを入力する。また、入力部１６は、データ記憶部１１に記憶された複数の画像データのうち、各々が入力された複数の画像データに対応する複数の画像データであって、移動体を含む複数の画像データを入力する。
　学習部１４は、入力部１６に入力された、アノテーションが付与された複数の画像データと、上記複数の画像データに対応する画像データであって、アノテーションが付与されていない画像データとを用いてｎ次深層学習を行う（ステップＳ５）。ステップＳ５は、入力部１６に画像データが入力される毎に実行されるため、入力部１６に画像データが入力される回数がｎに対応する。
　学習部１４は、入力部１６に入力されたアノテーションが付与された複数の画像データを教師データとし、当該複数の画像データに対応するアノテーションが付与されていない複数の画像データを入力として、学習モデルを再学習して再学習モデルを生成する。学習部１４は、ＣＮＮを利用して深層学習により再学習モデルを生成する。
　判定部１７は、再学習モデルを用いて、再学習モデルを用いて、入力部１６に入力されたアノテーションが付されていない複数の画像データから移動体を推定し、推定された移動体にアノテーションが付与された複数の画像データを生成する（ステップＳ６）。
　判定部１７は、入力部１６に入力されたアノテーションが付与された複数の画像データと、ステップＳ６において生成した複数の画像データとを用いて、モデル評価値を算出する（ステップＳ７）。
　判定部１７は、入力部１６に入力されたアノテーションが付与された各画像データと、当該画像データに対応し、生成した各画像データとの再現率及び適合率を用いて、各画像データの個別評価値を算出する。判定部１７は、各画像データに対して算出した個別評価値の平均値又はＦ値を用いて、モデル評価値を算出する。
　次に、判定部１７は、モデル評価値が所定条件を満たすかを判定する（ステップＳ８）。判定部１７は、モデル評価値が所定の閾値以上であるか否かを判定する。判定部１７は、モデル評価値が所定の閾値以上であると判定した場合（ステップＳ８のＹＥＳ）、出力部１８は、再学習モデルを出力する（ステップＳ９）。
　一方、判定部１７は、モデル評価値が所定の閾値未満であると判定した場合（ステップＳ８のＮＯ）、入力部１６は、入力部１６に入力されたアノテーションが付与された画像データのアノテーションの変更を要求する（ステップＳ１０）。
　学習装置１０は、モデル評価値が所定の閾値以上となるまで、ステップＳ４～Ｓ１０を繰り返し実行する。すなわち、判定部１７は、モデル評価値が所定条件を満たすと判定するまで、入力部１６が、入力されたアノテーションが付与された画像データのアノテーションを再変更することを繰り返し要求する。入力部１６は、要求に応じて、アノテーションが付与された画像データと、当該画像データに対応しアノテーションが付与されていない画像データとを入力する。そして、学習部１４が、入力されたアノテーションが付与されていない画像データを入力とし、入力されたアノテーションが付与された画像データを教師データとして再学習モデルを再学習することを繰り返し実行する。
　以上説明したように、アノテーション設定部１２は、背景差分処理により、画像データに含まれる移動体を推定し、推定された移動体に対して自動的にアノテーションを付与する。学習部１４は、アノテーション設定部１２が付与したアノテーションを教師データとして初期学習モデルを生成する。生成部１５は、初期学習モデルを用いて、画像データに含まれる移動体を推定し、推定された移動体にアノテーションを自動的に付与する。
　アノテーション設定部１２が付与したアノテーションは、ユーザが所望する又は許容できるアノテーションと、ユーザが許容できないアノテーションとが含まれている。そのため、生成部１５が付与したアノテーションも、ユーザが所望する又は許容できるアノテーションと、ユーザが許容できないアノテーションとが含まれる。
　生成部１５が付与したアノテーションは、アノテーション設定部１２が生成したデータを教師データとして学習された学習モデルを用いている。そのため、生成部１５が付与したアノテーションは、ユーザが所望するアノテーションが付与された画像データと、ユーザが所望しないアノテーションが付与された画像データとを含む。ユーザが所望するアノテーションが付与された画像データは、ある一定の性能を満たした学習モデルにより出力された画像データと判断することができる。ユーザが所望しないアノテーションが付与された画像データのアノテーションについては、アノテーションを変更して再学習をする必要がある。そのため、ユーザは、アノテーションを変更して入力部１６に入力させる。
　上記のように、生成部１５は、ユーザが所望するアノテーションが付与されたデータも生成していることから、ユーザは、所望しないアノテーションが付与されたデータに対してのみアノテーションを変更すればよい。すなわち、学習装置１０を用いることにより、アノテーションを変更し入力部５に入力するデータ数を減らすことが可能となる。したがって、実施の形態２にかかる学習装置１０によれば、アノテーションを付与する際のユーザの負担を軽減して学習モデルを生成することが可能となる。
　また、学習部１４は、入力部１６に入力された複数の画像データを用いて再学習モデルを生成する。判定部１７は、再学習モデルを用いて、入力された画像データに含まれる移動体に対してアノテーションを付与し、モデル評価値が所定条件を満たさない場合、入力部１６が、入力されたアノテーションを再変更することを要求する。判定部１７は、モデル評価値が所定条件を満たすまで、入力部１６が入力されたアノテーションを再変更することを要求し、学習部１４が再学習モデルを再学習することを繰り返し実行する。判定部１７は、モデル評価値が所定条件を満たした場合に、出力部１８が再学習モデルを出力する。したがって、実施の形態２にかかる学習装置１０によれば、アノテーションを付与する際のユーザの負担を軽減しつつ、生成される学習モデル（再学習モデル）の精度を向上させることが可能となる。
（他の実施の形態）
　上述した実施の形態において説明した学習装置１及び１０（以下、学習装置１等と称する）は、次のようなハードウェア構成を有していてもよい。図８は、本開示の各実施の形態にかかる学習装置等を実現可能な、コンピュータ（情報処理装置）のハードウェア構成を例示するブロック図である。
　図８を参照すると、学習装置１等は、プロセッサ１２０１及びメモリ１２０２を含む。プロセッサ１２０１は、メモリ１２０２からソフトウェア（コンピュータプログラム）を読み出して実行することで、上述の実施形態においてフローチャートを用いて説明された学習装置１等の処理を行う。プロセッサ１２０１は、例えば、マイクロプロセッサ、MPU（Micro Processing Unit）、又はCPU（Central Processing Unit）であってもよい。プロセッサ１２０１は、複数のプロセッサを含んでもよい。
　メモリ１２０２は、揮発性メモリ及び不揮発性メモリの組み合わせによって構成される。メモリ１２０２は、プロセッサ１２０１から離れて配置されたストレージを含んでもよい。この場合、プロセッサ１２０１は、図示されていないI/Oインターフェースを介してメモリ１２０２にアクセスしてもよい。
　図８の例では、メモリ１２０２は、ソフトウェアモジュール群を格納するために使用される。プロセッサ１２０１は、これらのソフトウェアモジュール群をメモリ１２０２から読み出して実行することで、上述の実施形態において説明された学習装置１等の処理を行うことができる。
　図８を用いて説明したように、学習装置１等が有するプロセッサの各々は、図面を用いて説明されたアルゴリズムをコンピュータに行わせるための命令群を含む１または複数のプログラムを実行する。
　上述の例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）を含む。さらに、非一時的なコンピュータ可読媒体の例は、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗを含む。さらに、非一時的なコンピュータ可読媒体の例は、半導体メモリを含む。半導体メモリは、例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory）を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
　以上、実施の形態を参照して本願発明を説明したが、本願発明は上記によって限定されるものではない。本願発明の構成や詳細には、発明のスコープ内で当業者が理解し得る様々な変更をすることができる。また、本開示は、それぞれの実施の形態を適宜組み合わせて実施されてもよい。
　この出願は、２０１９年３月１１日に出願された日本出願特願２０１９－０４４２７２を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　１、１０　学習装置
　２、１２　アノテーション設定部
　３、１４　学習部
　４、１５　生成部
　５、１６　入力部
　１１　データ記憶部
　１３　モデル記憶部
　１７　判定部
　１８　出力部

Claims (8)

  1. 　対象物を含む複数の第１データを用いて、前記対象物にアノテーションが付与された複数の第２データを生成するアノテーション設定手段と、
    　前記複数の第１データを入力とし、前記複数の第２データを第１教師データとして学習された学習モデルを生成する学習手段と、
    　前記学習モデルを用いて、前記複数の第１データに含まれる前記対象物にアノテーションが付与された複数の第３データを生成する生成手段と、
    　前記複数の第３データから選択され、前記複数の第３データに付与されたアノテーションが変更された複数の第４データと、前記複数の第１データのうち前記複数の第４データに対応する複数の第５データと、を入力する入力手段と、を備え、
    　前記学習手段は、前記複数の第５データを入力とし、前記複数の第４データを第２教師データとして前記学習モデルを再学習する、学習装置。
  2. 　前記再学習された学習モデルを用いて前記複数の第５データに含まれる前記対象物にアノテーションが付与された複数の第６データと、前記複数の第４データとに基づき算出された第１評価値が所定条件を満たすか否かを判定する判定手段を備え、
    　前記判定手段が、前記第１評価値が前記所定条件を満たすと判定するまで、前記入力手段が、前記複数の第４データに付与されたアノテーションを変更する要求を行い、前記複数の第４データと、前記複数の第５データとを入力する処理と、前記学習手段が、前記複数の第５データを入力とし、前記複数の第４データを第２教師データとして前記再学習された学習モデルを再学習する処理と、を繰り返し実行する、請求項１に記載の学習装置。
  3. 　前記判定手段は、前記複数の第４データの各々と、前記複数の第６データの各々とに基づいて複数の第２評価値を算出し、前記複数の第２評価値を用いて、前記第１評価値を算出する、請求項２に記載の学習装置。
  4. 　前記入力手段は、前記第１評価値が前記所定条件を満たさないと前記判定手段が判定する場合、前記複数の第６データのうち、前記第２評価値が前記所定条件を満たさない第６データに対応する第４データに付与されたアノテーションを変更する要求を行う、請求項３に記載の学習装置。
  5. 　前記判定手段は、適合率及び再現率の少なくとも１つを用いて、前記第１評価値及び前記第２評価値を算出する、請求項３又は４に記載の学習装置。
  6. 　前記所定条件は、所定の閾値以上を満たすことである、請求項２～５のいずれか１項に記載の学習装置。
  7. 　対象物を含む複数の第１データを用いて、前記対象物にアノテーションが付与された複数の第２データを生成することと、
    　前記複数の第１データを入力とし、前記複数の第２データを第１教師データとして学習された学習モデルを生成することと、
    　前記学習モデルを用いて、前記複数の第１データに含まれる前記対象物にアノテーションが付与された複数の第３データを生成することと、
    　前記複数の第３データから選択され、前記複数の第３データに付与されたアノテーションが変更された複数の第４データと、前記複数の第１データのうち前記複数の第４データに対応する複数の第５データと、を入力することと
    　前記複数の第５データを入力とし、前記複数の第４データを第２教師データとして前記学習モデルを再学習することと、を含む学習方法。
  8. 　対象物を含む複数の第１データを用いて、前記対象物にアノテーションが付与された複数の第２データを生成することと、
    　前記複数の第１データを入力とし、前記複数の第２データを第１教師データとして学習された学習モデルを生成することと、
    　前記学習モデルを用いて、前記複数の第１データに含まれる前記対象物にアノテーションが付与された複数の第３データを生成することと、
    　前記複数の第３データから選択され、前記複数の第３データに付与されたアノテーションが変更された複数の第４データと、前記複数の第１データのうち前記複数の第４データに対応する複数の第５データと、を入力することと
    　前記複数の第５データを入力とし、前記複数の第４データを第２教師データとして前記学習モデルを再学習することと、をコンピュータに実行させるプログラムを格納した非一時的なコンピュータ可読媒体。
PCT/JP2020/004001 2019-03-11 2020-02-04 学習装置、学習方法及び非一時的なコンピュータ可読媒体 Ceased WO2020183979A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021505586A JP7111429B2 (ja) 2019-03-11 2020-02-04 学習装置、学習方法及びプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-044272 2019-03-11
JP2019044272 2019-03-11

Publications (1)

Publication Number Publication Date
WO2020183979A1 true WO2020183979A1 (ja) 2020-09-17

Family

ID=72427332

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/004001 Ceased WO2020183979A1 (ja) 2019-03-11 2020-02-04 学習装置、学習方法及び非一時的なコンピュータ可読媒体

Country Status (2)

Country Link
JP (1) JP7111429B2 (ja)
WO (1) WO2020183979A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114281926A (zh) * 2020-09-27 2022-04-05 株式会社Ntt都科摩 训练方法、装置、设备以及计算机可读存储介质
WO2023127583A1 (ja) * 2021-12-28 2023-07-06 Ｓｅｎｓｙ株式会社 機械学習装置、データ処理装置、推論装置、機械学習方法、データ処理方法、及び、推論方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018537798A (ja) * 2015-10-02 2018-12-20 トラクタブル リミテッドＴｒａｃｔａｂｌｅ Ｌｔｄ． データセットの半自動ラベル付け

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018537798A (ja) * 2015-10-02 2018-12-20 トラクタブル リミテッドＴｒａｃｔａｂｌｅ Ｌｔｄ． データセットの半自動ラベル付け

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114281926A (zh) * 2020-09-27 2022-04-05 株式会社Ntt都科摩 训练方法、装置、设备以及计算机可读存储介质
JP2022055340A (ja) * 2020-09-27 2022-04-07 株式会社Ｎｔｔドコモ トレーニング処理方法、装置、デバイス及びコンピュータ可読な記憶媒体
JP7787677B2 (ja) 2020-09-27 2025-12-17 株式会社Ｎｔｔドコモ トレーニング処理方法、装置、デバイス及びコンピュータ可読な記憶媒体
WO2023127583A1 (ja) * 2021-12-28 2023-07-06 Ｓｅｎｓｙ株式会社 機械学習装置、データ処理装置、推論装置、機械学習方法、データ処理方法、及び、推論方法
JP2023097496A (ja) * 2021-12-28 2023-07-10 Ｓｅｎｓｙ株式会社 機械学習装置、データ処理装置、推論装置、機械学習方法、データ処理方法、及び、推論方法
JP7664585B2 (ja) 2021-12-28 2025-04-18 Ｓｅｎｓｙ株式会社 機械学習装置、データ処理装置、推論装置、機械学習方法、データ処理方法、及び、推論方法

Also Published As

Publication number Publication date
JP7111429B2 (ja) 2022-08-02
JPWO2020183979A1 (ja) 2021-11-25

Similar Documents

Publication Publication Date Title
US11030414B2 (en) System and methods for performing NLP related tasks using contextualized word representations
CN110196908A (zh) 数据分类方法、装置、计算机装置及存储介质
CN107908803B (zh) 问答交互的响应方法及装置、存储介质、终端
US10909970B2 (en) Utilizing a dynamic memory network to track digital dialog states and generate responses
CN111984772A (zh) 一种基于深度学习的医疗影像问答方法及系统
US20230360557A1 (en) Artificial intelligence-based video and audio assessment
CN116611496A (zh) 文本到图像的生成模型优化方法、装置、设备及存储介质
CN108595436A (zh) 情感对话内容的生成方法和系统、存储介质
US12468756B2 (en) Query evaluation for image retrieval and conditional image generation
WO2023231576A1 (zh) 混合语言语音识别模型的生成方法及装置
CN111488460B (zh) 数据处理方法、装置和计算机可读存储介质
CN110019729A (zh) 智能问答方法及存储介质、终端
CN118133971A (zh) 基于大语言模型的医疗问答方法和装置
CN110019728A (zh) 自动交互方法及存储介质、终端
WO2020183979A1 (ja) 学習装置、学習方法及び非一時的なコンピュータ可読媒体
JP2022152367A (ja) 機械学習プログラム、機械学習方法および情報処理装置
CN114974253B (zh) 一种基于人物画像的自然语言解释方法、装置及存储介质
CN114398482B (zh) 一种词典构造方法、装置、电子设备及存储介质
CN114581829A (zh) 基于强化学习的连续手语识别方法、电子设备和存储介质
JP5829471B2 (ja) 意味分析装置およびそのプログラム
Chen et al. Detecting actionable items in meetings by convolutional deep structured semantic models
JP7508333B2 (ja) 計算機システム及び学習方法
CN112509559B (zh) 音频识别方法、模型训练方法、装置、设备及存储介质
CN112287690B (zh) 基于条件句子生成和跨模态重排的手语翻译方法
CN114398854A (zh) 电子书的标签生成方法、装置及电子设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20770207

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021505586

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20770207

Country of ref document: EP

Kind code of ref document: A1