WO2019172451A1 - 学習用データ作成装置、学習用モデル作成システム、学習用データ作成方法、及びプログラム - Google Patents

学習用データ作成装置、学習用モデル作成システム、学習用データ作成方法、及びプログラム Download PDF

Info

Publication number
WO2019172451A1
WO2019172451A1 PCT/JP2019/009536 JP2019009536W WO2019172451A1 WO 2019172451 A1 WO2019172451 A1 WO 2019172451A1 JP 2019009536 W JP2019009536 W JP 2019009536W WO 2019172451 A1 WO2019172451 A1 WO 2019172451A1
Authority
WO
WIPO (PCT)
Prior art keywords
label
learning data
object image
unit
threshold
Prior art date
Application number
PCT/JP2019/009536
Other languages
English (en)
French (fr)
Inventor
英樹 竹原
Original Assignee
株式会社Ｊｖｃケンウッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Ｊｖｃケンウッド filed Critical 株式会社Ｊｖｃケンウッド
Priority to CN201980017058.8A priority Critical patent/CN111868780B/zh
Publication of WO2019172451A1 publication Critical patent/WO2019172451A1/ja
Priority to US17/001,716 priority patent/US11922317B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2193—Validation; Performance evaluation; Active pattern learning techniques based on specific statistical tests
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements

Definitions

  • the present invention relates to a learning data creation device, a learning model creation system, a learning data creation method, and a program.
  • Deep learning is a technique for machine learning of multilayered neural networks, and accuracy can be improved by supervised learning of a large amount of learning data. For example, if this learning data is used, it is possible to classify objects by giving labels to objects such as images. Here, in order to perform supervised learning with high accuracy, it is necessary to prepare a large amount of learning data with labels.
  • Patent Document 1 discloses a system in which a similar image is extracted from unlearned image data by an unsupervised image classifier and added as learning data when a verification image is erroneously detected.
  • Patent Document 2 discloses a method for increasing learning data by tracking a face area in a moving image.
  • Patent Document 1 can improve the classification accuracy of the verification image, there is room for improvement from the viewpoint of collecting learning data suitable for the object to be classified.
  • Patent Document 2 the learning data for known labels can be increased, but there is room for improvement in order to increase the learning data suitable for objects that are not classified into known labels. Therefore, it is required to appropriately collect learning data suitable for an object to be classified.
  • the present invention provides a learning data creation device, a learning model creation system, a learning data creation method, and a program capable of appropriately collecting learning data suitable for an object to be classified. For the purpose.
  • the learning data generation device includes an object extraction unit that extracts an object image from an image, and the object image is evaluated based on a learned model, and the object image can be classified as a candidate label.
  • a classification evaluation unit that calculates a reliability indicating the high degree of reliability; and when the reliability is equal to or greater than a second threshold that is smaller than a first threshold and smaller than the first threshold, Includes a classification determination unit that associates different temporary labels with the object image, and a learning data generation unit that generates learning data based on the object image associated with the temporary label.
  • the learning data generation method includes an object extraction step of extracting an object image from an image, and evaluating the object image based on a learned model, so that the object image can be classified into candidate labels.
  • a classification evaluation step for calculating a reliability indicating a high degree of reliability; and when the reliability is equal to or greater than a second threshold smaller than a first threshold and smaller than the first threshold, Includes a classification determination step for associating different temporary labels with the object image, and a learning data generation step for generating learning data based on the object image associated with the temporary label.
  • the program according to an aspect of the present invention includes an object extraction step of extracting an object image from an image, and the object image is evaluated based on a learned model, and the object image is highly likely to be classified as a candidate label. And a temporary evaluation label that is different from the candidate label when the reliability is equal to or greater than a second threshold value that is smaller than the first threshold value and smaller than the first threshold value. And a classification determination step for associating the object image with the object image, and a learning data generation step for generating learning data based on the object image associated with the temporary label.
  • FIG. 1 is a schematic block diagram of an object classification system according to this embodiment.
  • FIG. 2 is a diagram schematically showing a concept of classification based on a learned model.
  • FIG. 3 is a diagram illustrating an example of the reliability table.
  • FIG. 4 is a diagram for explaining determination by the classification determination unit.
  • FIG. 5 is a diagram illustrating an example of a label table.
  • FIG. 6 is a diagram illustrating an example of a temporary label table.
  • FIG. 7 is a diagram illustrating an example of a label table.
  • FIG. 8 is a diagram illustrating an example of a learned data table.
  • FIG. 9 is a diagram illustrating an example of a learned data table.
  • FIG. 10 is a flowchart illustrating a processing flow by the control unit of the learning data generation apparatus.
  • FIG. 10 is a flowchart illustrating a processing flow by the control unit of the learning data generation apparatus.
  • FIG. 11 is a diagram for explaining determination by the classification determination unit in another example of the present embodiment.
  • FIG. 12 is a diagram for explaining determination by the classification determination unit in another example of the present embodiment.
  • FIG. 13 is a diagram illustrating an example of a learned data table according to another example of the present embodiment.
  • FIG. 1 is a schematic block diagram of an object classification system according to this embodiment.
  • the object classification system 1 according to the present embodiment is a system that classifies an object image by assigning a label to the object image based on a learned model. Further, the object classification system 1 increases the classification accuracy of the object image by generating learning data and updating the learned model. That is, it can be said that the object classification system 1 is a learning model creation system.
  • the object classification system 1 includes a learning data generation device 10 and a learning device 12.
  • the learning data generation device 10 is a terminal set at a predetermined position.
  • the learning data generation apparatus 10 includes an imaging unit 20, a storage unit 22, a communication unit 24, and a control unit 26.
  • the learning data generation apparatus 10 may include, for example, an input unit that can be input by the user and an output unit that can output information.
  • the input unit may be an input device such as a button for causing the imaging unit 20 to capture an image, or may be a mouse, a keyboard, a touch panel, or the like.
  • the output unit is a display, for example, and can display captured images.
  • the imaging unit 20 is an imaging element that captures an image under the control of the control unit 26. In the present embodiment, the imaging unit 20 captures a moving image, but may capture a still image.
  • the learning data generation device 10 is an imaging device having the imaging unit 20 in the present embodiment. However, the learning data generation device 10 does not necessarily have the imaging unit 20. In this case, the learning data generation device 10 may acquire an image from an external device by communication or the like.
  • the imaging unit 20 performs imaging at an image resolution of (1920 ⁇ 1080) and a frame rate of 30 frames / second, but imaging conditions such as resolution and frame rate are not limited thereto.
  • the storage unit 22 is a memory that stores calculation contents of the control unit 26, information on the program, an image captured by the imaging unit 20, and the like.
  • the storage unit 22 includes, for example, at least one external storage device such as a RAM (Random Access Memory), a ROM (Read Only Memory), and a flash memory (Flash Memory).
  • the communication unit 24 transmits / receives data by communicating with an external device, here, the learning device 12 under the control of the control unit 26.
  • the communication unit 24 is, for example, an antenna, and transmits and receives data to and from the learning device 12 by wireless communication such as wireless LAN, Wi-fi (registered trademark), Bluetooth (registered trademark), or the like.
  • the communication unit 24 may be connected to the learning device 12 with a cable and transmit and receive information by wired communication.
  • the control unit 26 is an arithmetic device, that is, a CPU (Central Processing Unit).
  • the control unit 26 includes an image acquisition unit 30, an object extraction unit 32, a learned model acquisition unit 34, a classification evaluation unit 36, a classification determination unit 38, a label addition unit 40, and a learning data generation unit 42. And a learning data transmission control unit 44.
  • the control unit 44 reads out software (program) stored in the storage unit 22 and executes processing to be described later.
  • the image acquisition unit 30 controls the imaging unit 20 to cause the imaging unit 20 to capture an image.
  • the image acquisition unit 30 acquires an image captured by the imaging unit 20.
  • the image acquisition unit 30 stores the acquired image in the storage unit 22.
  • the object extraction unit 32 extracts the object image P from the image acquired by the image acquisition unit 30.
  • the object image P is an image included in a partial region in the image and is an image to be classified.
  • the object image P is a face image of a person shown in the image.
  • the object extraction unit 32 extracts a plurality of object images P from one image. That is, when there are a plurality of face images in the image, the object extraction unit 32 extracts each of the face images as the object image P.
  • the object image P is not limited to a human face image and may be an arbitrary image as long as it is an image to be classified. Examples of the object image P include various devices such as animals and plants, buildings, and automobiles.
  • the object extraction unit 32 extracts the object image P by detecting the feature amount of the image.
  • the object extraction unit 32 is, for example, a unit that recognizes a face using a Haar-like feature (Haar-like detector), but may be a feature amount detector that can perform face recognition by another method. That is, as long as the object extraction unit 32 can extract the object image P, the extraction method is arbitrary.
  • the object image P extracted by the object extraction unit 32 is stored in the storage unit 22.
  • the learned model acquisition unit 34 controls the communication unit 24 to acquire a learned model from the learning device 12.
  • the learned model acquisition unit 34 stores the acquired learned model in the storage unit 22.
  • the learned model according to this embodiment includes a model (neural network configuration information) that defines a neural network that constitutes a classifier learned by deep learning, and variables.
  • the learned model can reproduce a neural network that can obtain the same classification result if the same input data is input.
  • Deep learning is a learning method for learning a deep neural network by back-propagation (error back propagation method).
  • FIG. 2 is a diagram schematically showing the concept of classification based on learned models.
  • the classification evaluation unit 36 reads the learned model from the storage unit 22 and classifies the object image P using the learned model. Furthermore, the classification evaluation unit 36 calculates the possibility (reliability described later) that the object image P is classified as a candidate label for each of the plurality of candidate labels using the learned model.
  • the classification evaluation unit 36 inputs the object image P as input data into the learned model.
  • the learned model extracts a plurality of types of feature amounts from the object image P, and calculates the likelihood of the object image P being classified for each of the plurality of candidate labels based on the feature amounts. To do.
  • the learned model is composed of a neural network having a plurality of hierarchies, and the object images P are classified by extracting different feature amounts for each hierarchy. That is, in the learned model, for example, when classifying into two candidate labels, as shown in FIG. 2, the feature amount of the extracted object image P is greater than or equal to the set boundary line L or less. Whether or not the object image P is classified into which candidate label is determined.
  • a model used for the learned model for example, a CNN (Convolutional Neural Network) is used as a model used for the learned model.
  • a plurality of convolution layers and a plurality of pooling layers are mainly installed in the intermediate layer, and feature values of input data are extracted, and a fully connected layer is installed in the final layer to classify input data.
  • the model or method for classification is arbitrary. Deep learning uses a deep learning framework such as Tensor Flow, and software can be implemented to run on a CPU or GPU.
  • the classification evaluation unit 36 evaluates (analyzes) the object image P based on the learned model, and calculates the reliability for each candidate label.
  • the reliability is an index indicating the high possibility that the object image P is classified as a candidate label, here a value.
  • the reliability is a value between 0 and 1, and the sum of the reliability of all labels is 1. In this case, the reliability can also be expressed as a posterior probability.
  • the candidate label is a label set in advance in the learned model.
  • Each object image P may be a different type of face image, and the candidate label is a label indicating the type of the object image P. Therefore, it can be said that the classification evaluation unit 36 calculates the probability of which type of face image the object image P is as the reliability.
  • candidate labels are set for each individual (same person). That is, one candidate label points to a face of one individual, and another candidate label points to the face of another person.
  • the candidate label can be arbitrarily set without being limited to an individual as long as it is an index indicating the type of the object image P.
  • the candidate label may be a person's age, sex, race, or the like.
  • the candidate label may be a type of animal or plant, a type of building, a type of various devices such as an automobile, or the like.
  • FIG. 3 is a diagram showing an example of the reliability table.
  • the classification evaluation unit 36 calculates the reliability of the object image P for each candidate label, and generates the reliability table shown in FIG.
  • candidate labels F01, F02, F03, F04, and F05 are set as candidate labels.
  • the reliability is 0.05, 0.07, 0, 86, 0.02, and 0.00, respectively, in the order of the candidate label F01 to the candidate label F05.
  • the reliability is set so that the total reliability of all candidate labels is 1. Therefore, in the example of FIG.
  • the classification evaluation unit 36 sets the possibility that the object image P is classified as the candidate label F01 as 5% and the possibility that it is classified as the candidate label F02 as 7%.
  • the possibility of being classified as F03 is 86%
  • the possibility of being classified as a candidate label F04 is 2%
  • the possibility of being classified as a candidate label F05 is 0%.
  • the classification evaluation unit 36 stores the reliability calculated as described above in the storage unit 22 in association with the object image P.
  • the classification evaluation unit 36 calculates the reliability for each object image P.
  • FIG. 4 is a diagram for explaining determination by the classification determination unit.
  • the classification determination unit 38 determines whether the object image P is classified as a candidate label based on the reliability calculated by the classification evaluation unit 36. Specifically, the classification determination unit 38 extracts a candidate label having the highest reliability from the plurality of candidate labels, and determines whether the object image P is classified into the candidate label.
  • the reliability of the candidate label having the highest reliability is defined as the maximum reliability.
  • the candidate label with the highest reliability is the candidate label F03
  • the maximum reliability is 0.86, which is the reliability of the candidate label F03.
  • the classification determination unit 38 determines that the object image P is classified into the candidate label having the maximum reliability when the maximum reliability is equal to or greater than the first threshold K1.
  • the first threshold value K1 is preferably set based on the number to be classified and the number of learned images in the learned model, but here it is assumed to be 0.85 and can be arbitrarily set without being limited thereto. For example, it is preferable to decrease the first threshold value K1 as the number of classifications increases, and increase the first threshold value K1 as the number of learned images in the learned model increases.
  • the classification determination unit 38 transmits the determination result that the object image P is classified into the candidate label to the label attaching unit 40.
  • the label assigning unit 40 assigns the candidate label as a label of the object image P.
  • the label assigning unit 40 determines that the object image P is classified into the label with the candidate label as an official label. For example, when the first threshold value K1 is 0.85, it is determined that the object image P3 in FIG. 3 is classified into the candidate label F03.
  • the label assigning unit 40 assigns the candidate label F03 to the object image P as the official label F03. That is, the object image P is classified as a personal face image called a candidate label F03 (label F03).
  • the classification determination unit 38 determines that the object image P is not classified into the candidate label. Furthermore, when the maximum reliability is smaller than the first threshold K1, the classification determination unit 38 determines whether the maximum reliability is equal to or higher than the second threshold K2. As shown in FIG. 4, the second threshold value K2 is smaller than the first threshold value K1.
  • the second threshold K2 is preferably set based on the number to be classified and the number of learned images in the learned model, but here it is assumed to be 0.7 and arbitrarily set as a value smaller than the first threshold K1. It can be set. As the number of unknown new individuals (classifications) increases, the interval between the first threshold value K1 and the second threshold value K2 is decreased.
  • the classification determination unit 38 associates the temporary label with the object image P when the maximum reliability is smaller than the first threshold K1 and equal to or larger than the second threshold K2.
  • the temporary label is set for each candidate label, but is a different type of label from the candidate label. That is, when the maximum reliability is smaller than the first threshold value K1 and equal to or larger than the second threshold value K2, the classification determination unit 38 does not classify the object image P into existing candidate labels, but temporary labels other than existing candidate labels. Associate with.
  • the classification determination unit 38 temporarily associates the object image P with other unknown new individuals without classifying the object images P into candidate individuals. For example, when the reliability (maximum reliability) of the candidate label F03 in FIG. 3 is smaller than the first threshold K1 and greater than or equal to the second threshold K2, the object image P is associated with a temporary label different from the candidate labels F01 to F05. .
  • the classification determination unit 38 does not associate a candidate label or a temporary label with the object image P when the maximum reliability is smaller than the second threshold K2. That is, the classification determination unit 38 does not classify the object image P when the maximum reliability is smaller than the second threshold value K2. Furthermore, when the maximum reliability is smaller than the second threshold value K2, the classification determination unit 38 does not use the object image P for learning data to be described later. However, the classification determination unit 38 may set only the first threshold value K1 without setting the second threshold value K2, and may use the object image P as learning data.
  • FIG. 5 is a diagram showing an example of a label table.
  • the classification determination unit 38 performs the above-described determination for each object image P.
  • the label attaching unit 40 associates the official label with the object image P and causes the storage unit 22 to store the associated label.
  • FIG. 5 is an example of a label table that is information indicating the relationship between the label and the object image P.
  • FIG. 5 shows an example in which the object image P1 to the object image P20 are determined.
  • the object images P with the candidate label F01 as the official label F01 are object images P1, P2, P10, P12, P13, and P16.
  • the object images P having the candidate label F02 as the official label F02 are object images P3 and P19
  • the object image P having the candidate label F03 as the official label F03 is the object image P18
  • the object images P with the candidate label F04 as the official label F04 are object images P4, P9, P17, and P20, and there is no object image P with the candidate label F05 as the official label F05.
  • FIG. 6 is a diagram showing an example of a temporary label table.
  • the classification determination unit 38 stores the temporary label and the object image P in the storage unit 22 in association with each other.
  • the candidate label having the maximum reliability may be different for each object image P.
  • the classification determination unit 38 sets a temporary label for each candidate label having the maximum reliability.
  • FIG. 6 is an example of a temporary label table that is information in which a temporary label and an object image P are associated. For example, in FIG. 6, the classification determination unit 38 sets the temporary label when the candidate label F01 has the maximum reliability as the temporary label F06, and sets the temporary label when the candidate label F02 has the maximum reliability as the temporary label F07.
  • the classification determination unit 38 associates another temporary label (another individual) if the candidate label with the maximum reliability is different when associating with the temporary label. Then, when associating with the temporary label, the classification determination unit 38 associates the same temporary label when the candidate labels having the maximum reliability are the same.
  • the object images P associated with the temporary label F06 are object images P5, P8, P11, P14, and P15
  • the object image P associated with the temporary label F07 is the object image P6.
  • the classification determination unit 38 determines that the object images P are classified into the temporary label when the number of object images P associated with the same temporary label is equal to or greater than a predetermined number. Then, the classification determination unit 38 transmits a determination result that the object image P is classified into the temporary label to the label applying unit 40.
  • the label attaching unit 40 assigns the temporary label as a label of the object image P. That is, the label assigning unit 40 determines that the object image P is classified as the formal label with the temporary label as an official label. As described above, when the number of the object images P associated with the temporary label becomes equal to or larger than the predetermined number, the label attaching unit 40 assigns a label (temporary label) different from the already set candidate labels to these labels. To the object image P.
  • the predetermined number here is, for example, 5, but is not limited thereto and can be set arbitrarily.
  • FIG. 7 is a diagram illustrating an example of a label table. As described above, when the temporary label is an official label, the number of labels in the label table increases.
  • FIG. 7 shows a label table in the case where the temporary label F06 is given as an official label with respect to FIG. As shown in FIG. 7, the temporary label F06 is set as the official label F06, and the object images P classified into the label F06 are object images P5, P8, P11, P14, and P15.
  • the temporary label F07 is not an official label because the number of associated object images P is smaller than a predetermined number.
  • the learning data generation unit 42 generates learning data for updating the learned model based on the determination result of the classification determination unit 38.
  • the learning data generation unit 42 uses the object image P and the temporary label as learning data and To do. That is, when the formal label is added to the temporary label when the number of object images P associated with the temporary label is equal to or greater than the predetermined number, the learning data generation unit 42 determines the temporary label and each object.
  • the image P is linked and used as learning data.
  • the learning data refers to supervised data, and is data having information that the object image P is classified into the temporary label.
  • each of the object images P5, P8, P11, P14, and P15 is associated with a temporary label F06 and used as learning data.
  • the learning data transmission control unit 44 illustrated in FIG. 1 controls the communication unit 24 to transmit the learning data created by the learning data generation unit 42 to the learning device 12.
  • the learning data generation unit 42 deletes the object image P used as the learning data from the temporary label table stored in the storage unit 22. That is, in the example of FIG. 6, the object images P5, P8, P11, P14, and P15 associated with the temporary label F06 and used as learning data are deleted. Accordingly, only the object image P6 associated with the temporary label F07 remains in the temporary label table. However, the learning data generation unit 42 may delete all the object images P in the temporary label table when the object image P as the learning data comes out. In this case, the object image P6 associated with the temporary label F07 is also deleted.
  • classification and provisional labels can be set with higher accuracy by using a new learned model reflecting the learning data.
  • the object image P remains on other temporary labels. Therefore, in this case, since the number reaching the predetermined number is small, more rapid learning data generation is possible.
  • the learning data generation device 10 is configured as described above. Next, the learning device 12 will be described. As shown in FIG. 1, the learning device 12 is a device (server) provided at a different position from the learning data generation device 10.
  • the learning device 12 includes a communication unit 50, a storage unit 52, and a control unit 54.
  • the learning device 12 may include, for example, an input unit that can be input by a user and an output unit that can output information.
  • the input unit is a mouse, a keyboard, a touch panel, or the like.
  • the output unit is a display, for example, and can display captured images.
  • the communication unit 50 transmits and receives data by communicating with an external device, here, the learning data generation device 10 under the control of the control unit 54.
  • the communication unit 50 is, for example, an antenna, and transmits and receives data to and from the learning data generation device 10 through wireless communication such as wireless LAN, Wi-fi, and Bluetooth.
  • the communication unit 50 may be connected to the learning data generation apparatus 10 with a cable and transmit and receive information by wired communication.
  • the storage unit 52 is a memory that stores the calculation contents of the control unit 54, information on the program, and the like.
  • the storage unit 52 includes, for example, at least one external storage device such as a RAM (Random Access Memory), a ROM (Read Only Memory), and a flash memory (Flash Memory).
  • the control unit 54 is an arithmetic device, that is, a CPU (Central Processing Unit).
  • the control unit 54 includes a learning data acquisition unit 60, a learning unit 62, and a learned model transmission control unit 64.
  • the learning data acquisition unit 60, the learning unit 62, and the learned model transmission control unit 64 read out the software (program) stored in the storage unit 52, and execute processing to be described later.
  • the learning data acquisition unit 60 controls the communication unit 50 to acquire the learning data generated by the learning data generation unit 42 from the communication unit 24 of the learning data generation device 10.
  • the learning data acquisition unit 60 causes the storage unit 52 to store the acquired learning data.
  • the learning unit 62 updates the learned model by learning.
  • the learning unit 62 reads the learned model and the learned learning data stored in advance from the storage unit 52, and reads the new learning data acquired by the learning data acquisition unit 60.
  • the learning unit 62 updates the learned model by causing the learned model to learn the learned data and the new learning data as supervised data.
  • FIG. 8 and 9 are examples of learned data tables.
  • FIG. 8 is an example of a learned data table before update.
  • the learned data table is supervised data stored in the storage unit 52, and is information in which a learned image is associated with a label. That is, the learned data table is a data group including a plurality of teacher data indicating which label a learned image is classified into.
  • the learned model is constructed by learning using each data in the learned data table as teacher data.
  • FIG. 8 shows an example of a learned data table before updating with the learning data from the learning data generating unit 42.
  • learned images P101 to P200 are classified into label F01
  • learned images P201 to P300 are classified into label F02
  • learned images P301 to P400 are classified into label F03.
  • the classified and learned images P401 to P500 are classified into the label F04
  • the learned images P501 to P600 are classified into the label F05.
  • These learned image P100 ⁇ P600 are previously extracted face image, without learning data creation device 10 is classified, an image or has been set to classify beforehand which label. That is, the learned model is constructed by supplying learned images P100 to P600 in advance as supervised data.
  • FIG. 9 shows an example of a learned data table after being updated with learning data from the learning data generating unit 42.
  • the learning unit 62 adds learning data to the learned data table before the update, and updates the learned data table. That is, the learning unit 62 updates the learned data table using the learning data object image P as a learned image and the temporary label as a new label. That is, the learning data is supervised data indicating which temporary label the object image P is assigned to.
  • new learned images (object images) P5, P8, P11, P14, and P15 included in the learning data are added to the learned data table.
  • a simple label F06 is linked.
  • the learning unit 62 updates the learned model with the learned data table to which new learning data is added in this way.
  • the learning unit 62 stores the updated learned model in the storage unit 52.
  • the learned model transmission control unit 64 controls the communication unit 50 to transmit the updated learned model to the learning data generation apparatus 10.
  • the learned model acquisition unit 34 reads out the updated learned model, classifies the next object image P, and generates learning data.
  • the learning device 12 is a server provided at a position away from the learning data generation device 10 as described above. However, the learning device 12 may be incorporated in the learning data generation device 10. That is, the object classification system 1 does not include the learning device 12, and instead, the learning data acquisition unit 60 and the learning unit 62 may be incorporated in the control unit 26 of the learning data generation device 10. In this case, the learning data transmission control unit 44 is also unnecessary.
  • the learning data generation device 10 performs the determination using the classification determination unit 38, but the learning device 12 may include the classification determination unit 38 to perform the determination. Further, the learning device 12 may have the classification evaluation unit 36 to calculate the priority.
  • the object classification system 1 can be realized as a device using hardware such as a CPU, FPGA, ASIC, or memory, as well as firmware stored in a ROM or flash memory, a computer, or the like.
  • This can also be realized by software.
  • the firmware program and software program can be recorded and provided on a computer-readable recording medium, transmitted / received to / from a server via a wired or wireless network, and transmitted / received as a data broadcast of terrestrial or satellite digital broadcasting. Is also possible.
  • FIG. 10 is a flowchart illustrating a processing flow by the control unit of the learning data generation apparatus.
  • the control unit 26 of the learning data generation device 10 acquires an image captured by the image capturing unit 20 by using the image acquiring unit 30 (Step S ⁇ b> 10), and acquires the image acquired by the object extracting unit 32.
  • One object image P is extracted (step S12).
  • the control unit 26 uses the classification evaluation unit 36 to calculate the reliability of the object image P for each candidate label based on the learned model (step S16). And the control part 26 determines whether the maximum reliability is more than the 1st threshold value K1 by the classification determination part 38 (step S18).
  • the maximum reliability is the reliability of the candidate label having the highest reliability among the respective candidate labels.
  • the classification determination unit 38 determines that the object image P is classified as a candidate label with the maximum reliability, and the label providing unit 40
  • the candidate label having the maximum reliability is determined as the label of the object image P (step S20). After the candidate label with the maximum reliability is determined as a label, the process proceeds to step S32 described later.
  • the classification determination unit 38 determines whether the maximum reliability is equal to or greater than the second threshold K2 (step S18). S22), if it is not greater than or equal to the second threshold K2 (step S22; No), that is, if smaller than the second threshold, the process proceeds to step S32. If the maximum reliability is greater than or equal to the second threshold K2 (step S22; Yes), the classification determination unit 38 assigns a temporary label to the object image P (step S24).
  • the classification determination unit 38 determines whether or not there are a predetermined number or more of object images P to which temporary labels are assigned (step S26), and if there is not a predetermined number or more (step S26; No), the process proceeds to step S32.
  • the label attaching unit 40 determines the temporary label as a label (step S28), and the learning data generation unit 42 The temporary label and the object image P are used as learning data (step S30).
  • the process moves to step S31, and the object extraction unit 32 determines whether there is another object image P in the image (step S31).
  • step S31; Yes If there is another object image P (step S31; Yes), step Returning to S12, one other object image P is extracted.
  • step S31; No it moves to step S32, and the control unit 26 determines whether there is another image (step S32), and when there is another image (step S32; If yes, the process returns to step S10, and if there is no other image (step S32; No), this process ends. Thereafter, the control unit 26 causes the learning data transmission control unit 44 to transmit the learning data to the learning device 12, and the learning device 12 updates the learned model based on the learning data. The control unit 26 executes the subsequent processing using the updated learned model.
  • the learning data generation apparatus 10 includes the image acquisition unit 30 that acquires an image, the object extraction unit 32 that extracts the object image P from the image, the classification evaluation unit 36, and the classification.
  • a determination unit 38 and a learning data generation unit 42 are included.
  • the classification evaluation unit 36 evaluates the object image P based on the learned model, and calculates the reliability indicating the high possibility that the object image P is classified as a candidate label.
  • the classification determination unit 38 sets a temporary label different from the candidate label to the object image P. Associate.
  • the learning data generation unit 42 generates the learning data based on the object image associated with the temporary label.
  • the classification determination unit 38 performs determination based on the reliability and determines whether the object image P is classified as a candidate label.
  • the learning data generation unit 42 generates learning data for updating the learned model based on the determination result of the classification determination unit 38.
  • the classification determination unit 38 determines that the object image P is classified as a candidate label when the reliability is equal to or higher than the first threshold K1, and the reliability is lower than the first threshold K1 and equal to or higher than the second threshold K2.
  • the temporary label set for the candidate label is associated with the object image P.
  • the learning data generation unit 42 uses each object image P and temporary label as learning data when the number of object images P associated with the temporary label is equal to or greater than a predetermined number.
  • provisional labels can be provided to increase the accuracy of the learning data. Further, when the reliability is equal to or higher than the first threshold K1, the candidate label and the object image P are not used as learning data, so that images used in machine learning in advance are excluded as a premise of machine learning. It is possible to improve the efficiency of machine learning.
  • the learning data generation apparatus 10 analyzes the object image P to be classified and assigns a temporary label. Then, assuming that the object image P is classified as a temporary label, it is used as learning data (supervised data). Therefore, since the learning data generation device 10 generates learning data using the image to be classified from now on, it is possible to appropriately generate learning data suitable for the object to be classified from now on.
  • the learning data generation apparatus 10 gives a new label as a temporary label, and trains an image that could not be classified in the learned model before the update, after the update (after the relearning).
  • the number of classifications can be increased.
  • the learning data generation apparatus 10 may change the values of the first threshold value K1 and the second threshold value K2 after updating the learned model.
  • the learning data generation apparatus 10 may decrease the values of the first threshold value K1 and the second threshold value K2 when the number of candidate labels is increased from a predetermined number by updating the learned model. As a result, the classification can be suitably performed even when the number of classifications increases.
  • the classification evaluation unit 36 calculates the reliability for each of a plurality of types of candidate labels.
  • the classification determination unit 38 sets a temporary label for each candidate label, and associates the object image P with the temporary label set for the candidate label having the highest reliability.
  • the learning data generation apparatus 10 associates a temporary label set to a candidate label with the highest reliability among a plurality of candidate labels. Therefore, according to the learning data generation device 10, while the classification can be performed properly, provisional labels can be appropriately assigned to increase the accuracy of the learning data.
  • the learning data generation apparatus 10 includes a label attaching unit 40 that assigns a label to the object image P.
  • the label attaching unit 40 assigns the candidate label as a label of the object image P.
  • the label attaching unit 40 assigns the temporary label as a label of the object image when the number of object images P associated with the temporary label becomes equal to or greater than a predetermined number.
  • the learning data generation apparatus 10 determines a label whose reliability is equal to or higher than the first threshold K1 as a label, and a data whose reliability is lower than the second threshold K2 as a label after a plurality of data is accumulated. Therefore, the accuracy in setting an unknown label can be increased.
  • the learning model creation system (object classification system 1) according to the present embodiment performs machine learning based on the learning data created by the learning data generation device 10 and the learning data generation unit 42, and learns the model. Has a learning unit 62 for updating.
  • the learning model creation system generates a learned model based on the learning data created by the learning data generation device 10. Since this learning model creation system updates the learning model based on the learning data, it is possible to construct a learning model suitable for the object to be classified.
  • the learning unit 62 performs machine learning by deep learning. Therefore, this learning model creation system can construct a highly accurate learning model.
  • the object classification system 1 has a learning data generation device 10 and classifies the object image P using a learned model. Therefore, the object classification system 1 can appropriately classify the object image P.
  • FIG. 11 is a diagram for explaining determination by the classification determination unit in another example of the present embodiment.
  • the classification determination unit 38 sets one temporary label for one candidate label, but a plurality of temporary labels can be set for one candidate label.
  • the example of FIG. 11 shows an example in which temporary labels A and B are assigned to one candidate label.
  • the classification determination unit 38 associates the temporary label B with the object image P when the maximum reliability is smaller than the first threshold K1 and equal to or higher than the threshold K2A.
  • the threshold value K2A is a value smaller than the first threshold value K1 and larger than the second threshold value K2.
  • the classification determination unit 38 associates the temporary label A with the object image P when the maximum reliability is smaller than the threshold value K2A and equal to or larger than the second threshold value K2. As described above, the classification determination unit 38 may classify a numerical range that the maximum reliability of one candidate label can take and set a temporary label for each numerical range. Note that either the first threshold value K1 or the second threshold value K2 may be set to the same value as the threshold value K2A.
  • the reliability of the first threshold K1 is not necessarily high, such as when the number of learned images in the learned model is smaller than a predetermined number, the maximum reliability is the first reliability.
  • a temporary label may not be assigned to the object image P when it is smaller than the threshold value K1 and equal to or greater than the threshold value K2A.
  • the classification determination unit 38 is equal to or higher than the intermediate threshold (threshold K2A) smaller than the first threshold K1 and larger than the second threshold K2, and when the value is smaller than the first threshold K1.
  • a first temporary label (temporary label B) different from the candidate label is associated with the object image P.
  • the classification determination unit 38 selects a second temporary label (temporary label A) that is different from the first temporary label when the reliability is equal to or higher than the second threshold K2 and smaller than the intermediate threshold (threshold K2A). , Associate with the object image P.
  • FIG. 12 is a diagram for explaining determination by the classification determination unit in another example of the present embodiment.
  • the classification determination unit 38 gives a label when the maximum reliability is larger than the first threshold value K1, but does not use it for the learning data.
  • the classification determination unit 38 may use data to which a label is attached as learning data.
  • the classification determination unit 38 determines that the maximum reliability is set to the object image P when the maximum reliability is equal to or higher than the first threshold K1 and smaller than the third threshold K3.
  • the candidate label is assigned as an official label.
  • the classification determination unit 38 uses the object image P and the candidate label having the maximum reliability for learning when the maximum reliability is equal to or higher than the first threshold K1 and smaller than the third threshold K3. Use as data.
  • the third threshold value K3 is larger than the first threshold value K1.
  • the classification determination unit 38 assigns the candidate label having the maximum reliability to the object image P as an official label. And candidate labels are not used for learning data.
  • FIG. 13 is a diagram illustrating an example of a learned data table according to another example of the present embodiment.
  • FIG. 13 shows an example in which the candidate label having the maximum reliability of the object images P12, P13, and P16 is the candidate label F01, and the maximum reliability is not less than the first threshold K1 and smaller than the third threshold K3. Is shown.
  • the object images P12, P13, and P16 are associated with the candidate label F01 and added to the learned data table as learning data (supervised data). Therefore, the learned data table shown in FIG. 13 includes data that the learned images P12, P13, and P16 are associated with the label F01 in addition to the data shown in FIG. Therefore, the learning unit 62 can construct a learned model with higher classification accuracy using the learned images P12, P13, and P16.
  • the classification determination unit 38 associates the candidate label with the object image P when the reliability is smaller than the third threshold K3 having a value larger than the first threshold K1 and equal to or larger than the first threshold K1. Then, the learning data generation unit 42 generates learning data based on the object image P associated with the temporary label or the candidate label. As described above, the learning data generation unit 42 uses the candidate label having the reliability higher than the first threshold K1 and lower than the third threshold K3 higher than the first threshold K1, and the object image P for learning. It may be data. Then, the learning data generation unit 42 may not use the candidate labels whose reliability is the third threshold value K3 or more and the object image P as learning data.
  • the learning data generation device 10 When the reliability is sufficiently high as the third threshold value K3 or higher, the learning data generation device 10 does not use the learning data as unnecessary data for new learning, and the reliability is sufficient but the third threshold value K3 is high. If not, it is determined that it is suitable for improving the accuracy of the learning model and is used as learning data. Therefore, the learning data generation apparatus 10 can appropriately generate learning data suitable for an object to be classified from now on by using only appropriate data as learning data.
  • the classification determination unit 38 may change at least one of the first threshold value K1 and the second threshold value K2 according to the number of images (learned images) used in the learned model. Furthermore, the classification determination unit 38 is at least one of the first threshold value K1, the second threshold value K2, the threshold value K2A, and the third threshold value K3 according to the number of images (learned images) used in the learned model. May be changed. By doing in this way, it becomes possible to change a threshold value appropriately according to the change of the number of images, and learning data suitable for an object to be classified can be generated appropriately.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Databases & Information Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

これから分類しようとするオブジェクトに適した学習用データを適切に収集する。学習用データ生成装置（１０）は、学習済みモデルに基づきオブジェクト画像を評価して信頼度を算出する分類評価部（３６）と、信頼度が、第１閾値より小さく、かつ、第１閾値より値が小さい第２閾値以上である場合に、候補ラベルとは異なる仮ラベルをオブジェクト画像に関連付ける分類判定部（３８）と、仮ラベルと関連付けられたオブジェクト画像に基づき学習用データを生成する学習用データ生成部（４２）と、を有する。

Description

学習用データ作成装置、学習用モデル作成システム、学習用データ作成方法、及びプログラム
　本発明は、学習用データ作成装置、学習用モデル作成システム、学習用データ作成方法、及びプログラムに関する。
　近年、ＧＰＵ（Graphics　Processing　Unit）などの実用化によって、ディープラーニングによる機械学習が注目されている。ディープラーニングは、多層化したニューラルネットワークを機械学習させる手法であり、大量の学習用データを、教師あり学習させることで、精度を向上させることができる。例えばこの学習用データを用いれば、画像などのオブジェクトにラベルを付与してオブジェクトを分類することができる。ここで、精度良く教師あり学習を行うためには、ラベルが付与された学習用データを大量に準備する必要がある。例えば、特許文献１では、検証用画像を誤検出した場合に、教師なし画像分類器で未学習画像データから類似画像を抽出して学習用データとして追加するシステムが開示されている。また、特許文献２では、動画像中の顔領域を追跡することで、学習用データを増加させる方法が開示されている。
特開２０１７－１１１７３１号公報 特開２００６－３４３７９１号公報
　しかし、特許文献１では、検証用画像の分類精度を向上させることはできるが、これから分類しようとするオブジェクトに適した学習用データの収集の観点からは、改善の余地がある。また、特許文献２では、既知のラベルに対する学習用データを増加させることはできるが、既知のラベルに分類されないオブジェクトに適した学習用データを増加させるためには、改善の余地がある。従って、これから分類しようとするオブジェクトに適した学習用データを適切に収集することが求められている。
　本発明は、上記課題を鑑み、これから分類しようとするオブジェクトに適した学習用データを適切に収集可能な学習用データ作成装置、学習用モデル作成システム、学習用データ作成方法、及びプログラムを提供することを目的とする。
　本発明の一態様にかかる学習用データ生成装置は、画像からオブジェクト画像を抽出するオブジェクト抽出部と、学習済みモデルに基づき前記オブジェクト画像を評価して、前記オブジェクト画像が候補ラベルに分類される可能性の高さを示す信頼度を算出する分類評価部と、前記信頼度が、第１閾値より小さく、かつ、前記第１閾値より値が小さい第２閾値以上である場合に、前記候補ラベルとは異なる仮ラベルを、前記オブジェクト画像に関連付ける分類判定部と、前記仮ラベルと関連付けられた前記オブジェクト画像に基づき学習用データを生成する学習用データ生成部と、を備える。
　本発明の一態様にかかる学習用データ生成方法は、画像からオブジェクト画像を抽出するオブジェクト抽出ステップと、学習済みモデルに基づき前記オブジェクト画像を評価して、前記オブジェクト画像が候補ラベルに分類される可能性の高さを示す信頼度を算出する分類評価ステップと、前記信頼度が、第１閾値より小さく、かつ、前記第１閾値より値が小さい第２閾値以上である場合に、前記候補ラベルとは異なる仮ラベルを、前記オブジェクト画像に関連付ける分類判定ステップと、前記仮ラベルと関連付けられた前記オブジェクト画像に基づき学習用データを生成する学習用データ生成ステップと、を有する。
　本発明の一態様にかかるプログラムは、画像からオブジェクト画像を抽出するオブジェクト抽出ステップと、学習済みモデルに基づき前記オブジェクト画像を評価して、前記オブジェクト画像が候補ラベルに分類される可能性の高さを示す信頼度を算出する分類評価ステップと、前記信頼度が、第１閾値より小さく、かつ、前記第１閾値より値が小さい第２閾値以上である場合に、前記候補ラベルとは異なる仮ラベルを、前記オブジェクト画像に関連付ける分類判定ステップと、前記仮ラベルと関連付けられた前記オブジェクト画像に基づき学習用データを生成する学習用データ生成ステップと、を有する、をコンピュータに実行させる。
　本発明によれば、これから分類しようとするオブジェクトに適した学習用データを適切に収集することができる。
図１は、本実施形態に係るオブジェクト分類システムの模式的なブロック図である。 図２は、学習済みモデルによる分類の概念を模式的に示した図である。 図３は、信頼度テーブルの一例を示す図である。 図４は、分類判定部による判定を説明するための図である。 図５は、ラベルテーブルの一例を示す図である。 図６は、仮ラベルテーブルの一例を示す図である。 図７は、ラベルテーブルの一例を示す図である。 図８は、学習済みデータテーブルの一例を示す図である。 図９は、学習済みデータテーブルの一例を示す図である。 図１０は、学習用データ生成装置の制御部による処理フローを説明するフローチャートである。 図１１は、本実施形態の他の例での分類判定部による判定を説明するための図である。 図１２は、本実施形態の他の例での分類判定部による判定を説明するための図である。 図１３は、本実施形態の他の例の学習済みデータテーブルの一例を示す図である。
　以下に、本発明の実施形態を図面に基づいて詳細に説明する。なお、以下に説明する実施形態により本発明が限定されるものではない。
　図１は、本実施形態に係るオブジェクト分類システムの模式的なブロック図である。本実施形態に係るオブジェクト分類システム１は、学習済みモデルに基づき、オブジェクト画像にラベルを付与することで、オブジェクト画像を分類するシステムである。また、オブジェクト分類システム１は、学習用データを生成して、学習済みモデルを更新することで、オブジェクト画像の分類精度を高くするものである。すなわち、オブジェクト分類システム１は、学習用モデル作成システムであるともいえる。
　図１に示すように、オブジェクト分類システム１は、学習用データ生成装置１０と、学習装置１２とを有する。学習用データ生成装置１０は、本実施形態では、所定の位置に設定された端末である。学習用データ生成装置１０は、撮像部２０と、記憶部２２と、通信部２４と、制御部２６とを有する。なお、学習用データ生成装置１０は、例えばユーザが入力可能な入力部、及び、情報を出力可能な出力部を備えていてもよい。この場合、入力部は、撮像部２０に撮像させるためのボタンなどの入力装置であってもよいし、マウスやキーボード、タッチパネルなどであってもよい。出力部は、例えばディスプレイであり、撮像した画像などが表示可能である。
　撮像部２０は、制御部２６の制御により画像を撮像する撮像素子である。本実施形態では、撮像部２０は、動画像を撮像するものであるが、静止画像を撮像するものであってもよい。このように、学習用データ生成装置１０は、本実施形態では、撮像部２０を有する撮像装置である。ただし、学習用データ生成装置１０は、必ずしも撮像部２０を有していなくてもよい。この場合、学習用データ生成装置１０は、外部装置から、画像を通信などによって画像を取得すればよい。撮像部２０は、画像解像度が（１９２０ｘ１０８０）でフレームレートが３０フレーム／秒で撮像を行うが、解像度及びフレームレートなど、撮像条件はこれに限られない。
　記憶部２２は、制御部２６の演算内容やプログラムの情報、及び撮像部２０が撮像した画像などを記憶するメモリである。記憶部２２は、例えば、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、及びフラッシュメモリ（Ｆｌａｓｈ　Ｍｅｍｏｒｙ）などの外部記憶装置を少なくとも１つ含む。
　通信部２４は、制御部２６の制御により、外部装置、ここでは学習装置１２と通信することでデータの送受信をする。通信部２４は、例えばアンテナであり、例えば無線ＬＡＮ、Ｗｉ-ｆｉ（登録商標）、ブルートゥース（登録商標）などの無線通信により学習装置１２とデータの送受信を行う。ただし、通信部２４は、学習装置１２とケーブルで接続されて、有線通信により情報を送受信するものであってもよい。
　制御部２６は、演算装置、すなわちＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）である。制御部２６は、画像取得部３０と、オブジェクト抽出部３２と、学習済みモデル取得部３４と、分類評価部３６と、分類判定部３８と、ラベル付与部４０と、学習用データ生成部４２と、学習用データ送信制御部４４とを有する。画像取得部３０と、オブジェクト抽出部３２と、学習済みモデル取得部３４と、分類評価部３６と、分類判定部３８と、ラベル付与部４０と、学習用データ生成部４２と、学習用データ送信制御部４４とは、記憶部２２に記憶されたソフトウェア（プログラム）を読み出すことで、後述する処理を実行する。
　画像取得部３０は、撮像部２０を制御して、撮像部２０に画像を撮像させる。画像取得部３０は、撮像部２０が撮像した画像を取得する。画像取得部３０は、取得した画像を記憶部２２に記憶させる。
　オブジェクト抽出部３２は、画像取得部３０が取得した画像から、オブジェクト画像Ｐを抽出する。オブジェクト画像Ｐは、画像内の一部の領域に含まれる画像であり、分類の対象となる画像である。例えば、オブジェクト画像Ｐは、画像内に写っている人の顔画像である。オブジェクト抽出部３２は、１つの画像から、複数のオブジェクト画像Ｐが抽出する。すなわち、画像に顔画像が複数存在する場合、オブジェクト抽出部３２は、その顔画像のそれぞれを、オブジェクト画像Ｐとして抽出する。なお、オブジェクト画像Ｐは、分類の対象となる画像であれば、人の顔画像に限られず任意の画像であってよい。オブジェクト画像Ｐとしては、例えば、動植物、建造物、及び自動車などの各種装置が挙げられる。
　オブジェクト抽出部３２は、画像の特徴量を検出することでオブジェクト画像Ｐを抽出する。オブジェクト抽出部３２は、例えば、Ｈａａｒ－ｌｉｋｅ特徴を用いて顔認識するもの（Ｈａａｒ－ｌｉｋｅ検出器）であるが、他の方法で顔認識が出来る特徴量検出器であってもよい。すなわち、オブジェクト抽出部３２は、オブジェクト画像Ｐを抽出できるものであれば、抽出の方法は任意である。オブジェクト抽出部３２が抽出したオブジェクト画像Ｐは、記憶部２２に記憶される。
　学習済みモデル取得部３４は、通信部２４を制御して、学習装置１２から学習済みモデルを取得する。学習済みモデル取得部３４は、取得した学習済みモデルを、記憶部２２に記憶させる。本実施形態に係る学習済みモデルは、ディープラーニングによって学習された分類器を構成するニューラルネットワークを定義するモデル（ニューラルネットワークの構成情報）と、変数とで構成される。学習済みモデルは、同一の入力データが入力されれば、同一の分類結果が得られるニューラルネットワークを再現できるものである。ディープラーニングは、ディープニューラルネットワークをバックプロパケーション（誤差逆伝搬法）で学習させる学習方法である。
　図２は、学習済みモデルによる分類の概念を模式的に示した図である。分類評価部３６は、記憶部２２から学習済みモデルを読み出し、学習済みモデルを用いて、オブジェクト画像Ｐを分類する。さらに言えば、分類評価部３６は、学習済みモデルを用いて、オブジェクト画像Ｐが、候補ラベルに分類される可能性（後述する信頼度）を、複数の候補ラベルのそれぞれについて算出する。分類評価部３６は、学習済みモデルに、オブジェクト画像Ｐを入力データとして入力する。これにより、学習済みモデルは、オブジェクト画像Ｐから複数種類の特徴量を抽出して、その特徴量に基づき、複数の候補ラベルのそれぞれについて、オブジェクト画像Ｐが分類される可能性の高さを算出する。さらに言えば、学習済みモデルは、複数階層のニューラルネットワークで構成されており、階層ごとに異なる特徴量を抽出することで、オブジェクト画像Ｐを分類する。すなわち、学習済みモデルにおいては、例えば、２つ候補ラベルに分類する場合には、図２に示すように、抽出したオブジェクト画像Ｐの特徴量が、設定された境界線Ｌ以上となるか以下となるかにより、オブジェクト画像Ｐがどちらの候補ラベルに分類されるかの判定を行う。本実施形態において、学習済みモデルに用いるモデルとしては、例えばＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）が用いられる。ＣＮＮでは、中間層に主に複数の畳み込み層と複数のプーリング層が設置されて、入力データの特徴量を抽出し、最終層に全結合層が設置されて、入力データを分類する。ただし、学習済みモデルは、オブジェクト画像Ｐの特徴量に基づきオブジェクト画像Ｐを分類するものであれば、分類するモデルや方法は任意である。ディープラーニングは、Tensor　Flowなどのディープラーニングのフレームワークを利用して、ＣＰＵやＧＰＵ等で動作するようにソフトウェアを実装することができる。
　本実施形態では、分類評価部３６は、学習済みモデルに基づきオブジェクト画像Ｐを評価（解析）して、候補ラベル毎の信頼度を算出する。信頼度とは、オブジェクト画像Ｐが候補ラベルに分類される可能性の高さを示す指標、ここでは値である。例えば、信頼度は０以上１以下の値であり、全てのラベルの信頼度を合計すると１になる。この場合、信頼度は事後確率として表すこともできる。また、候補ラベルとは、学習済みモデルに予め設定されているラベルである。それぞれのオブジェクト画像Ｐは、互いに異なる種類の顔画像である場合があり、候補ラベルは、そのオブジェクト画像Ｐの種類を指すラベルである。従って、分類評価部３６は、オブジェクト画像Ｐがどの種類の顔画像であるかの確率を、信頼度として算出するといえる。本実施形態では、候補ラベルは、個人（同一人）毎に設定される。すなわち、１つの候補ラベルは、ある個人の顔を指し、他の候補ラベルは、他の個人の顔を指す。ただし、候補ラベルは、オブジェクト画像Ｐの種類を示す指標であれば、個人に限られず任意に設定できる。例えば、候補ラベルは、人の年齢、性別、人種などであってもよい。また、候補ラベルは、動植物の種類、建造物の種類、自動車などの各種装置の種類などであってもよい。
　図３は、信頼度テーブルの一例を示す図である。分類評価部３６は、オブジェクト画像Ｐの信頼度を、候補ラベル毎に算出して、図３に示す信頼度テーブルを生成する。図３の例では、候補ラベルとして、候補ラベルＦ０１、Ｆ０２、Ｆ０３、Ｆ０４、Ｆ０５が設定されている。本実施形態では、候補ラベルＦ０１、Ｆ０２、Ｆ０３、Ｆ０４、Ｆ０５が、それぞれ互いに異なる個人を示しているといえる。図３の例では、信頼度が、候補ラベルＦ０１から候補ラベルＦ０５の順で、それぞれ、０．０５、０．０７、０，８６、０．０２、０．００となっている。信頼度は、全ての候補ラベルの信頼度の合計が１となるように設定される。従って、図３の例では、分類評価部３６は、オブジェクト画像Ｐが候補ラベルＦ０１に分類される可能性を、５％とし、候補ラベルＦ０２に分類される可能性を、７％とし、候補ラベルＦ０３に分類される可能性を、８６％とし、候補ラベルＦ０４に分類される可能性を２％とし、候補ラベルＦ０５に分類される可能性を、０％としている。
　分類評価部３６は、以上のように算出した信頼度を、オブジェクト画像Ｐに関連付けて、記憶部２２に記憶させる。分類評価部３６は、それぞれのオブジェクト画像Ｐについて、信頼度を算出する。
　図４は、分類判定部による判定を説明するための図である。分類判定部３８は、分類評価部３６が算出した信頼度に基づき、オブジェクト画像Ｐが候補ラベルに分類されるかを判定する。具体的には、分類判定部３８は、複数の候補ラベルのうち、信頼度が最も高い候補ラベルを抽出し、その候補ラベルにオブジェクト画像Ｐが分類されるかの判定を行う。以下、信頼度が最も高い候補ラベルの信頼度を、最大信頼度とする。図３の例では、信頼度が最も高い候補ラベルが、候補ラベルＦ０３であり、最大信頼度が、候補ラベルＦ０３の信頼度である０．８６である。
　図４に示すように、分類判定部３８は、最大信頼度が第１閾値Ｋ１以上である場合に、オブジェクト画像Ｐが、その最大信頼度とされた候補ラベルに分類されると判定する。第１閾値Ｋ１は、分類する数と学習済みモデルにおける学習済み画像の数に基づいて設定することが好ましいが、ここでは、０．８５であるとし、それに限られず任意に設定できる。例えば、分類する数が多い程、第１閾値Ｋ１を小さくし、学習済みモデルにおける学習済み画像の数が増える程、第１閾値Ｋ１を大きくするようにするのが好ましい。分類判定部３８は、オブジェクト画像Ｐがその候補ラベルに分類されるとの判定結果を、ラベル付与部４０に伝達する。ラベル付与部４０は、その候補ラベルを、オブジェクト画像Ｐのラベルとして付与する。すなわち、ラベル付与部４０は、その候補ラベルを正式のラベルとして、オブジェクト画像Ｐがそのラベルに分類されると決定する。例えば、第１閾値Ｋ１を０．８５とした場合、図３のオブジェクト画像Ｐ３は、候補ラベルＦ０３に分類されると判断される。ラベル付与部４０は、候補ラベルＦ０３を正式のラベルＦ０３として、オブジェクト画像Ｐに付与する。すなわち、オブジェクト画像Ｐは、候補ラベルＦ０３（ラベルＦ０３）という個人の顔画像であると分類される。
　一方、分類判定部３８は、最大信頼度が第１閾値Ｋ１より小さい場合、オブジェクト画像Ｐがその候補ラベルに分類されないと判断する。さらに、分類判定部３８は、最大信頼度が第１閾値Ｋ１より小さい場合、その最大信頼度が、第２閾値Ｋ２以上であるかを判定する。図４に示すように、第２閾値Ｋ２は、第１閾値Ｋ１より小さい値である。第２閾値Ｋ２は、分類する数と学習済みモデルにおける学習済み画像の数とに基づいて設定することが好ましいが、ここでは、０．７であるとし、第１閾値Ｋ１より小さい値として任意に設定可能である。なお、未知の新たな個人（分類）の数が多い程、第１閾値Ｋ１と第２閾値Ｋ２との間隔を小さくし、学習済みモデルにおける学習済み画像の数が増える程、第１閾値Ｋ１と第２閾値Ｋ２との間隔を大きくするようにするのが好ましい。なお、第１閾値Ｋ１と第２閾値Ｋ２とを同じ値にしてもよい。分類判定部３８は、最大信頼度が、第１閾値Ｋ１より小さく、かつ、第２閾値Ｋ２以上である場合に、仮ラベルをオブジェクト画像Ｐに関連付ける。仮ラベルは、それぞれの候補ラベルに対して設定されるものであるが、候補ラベルとは異なる種類のラベルである。すなわち、分類判定部３８は、最大信頼度が第１閾値Ｋ１より小さく第２閾値Ｋ２以上である場合、オブジェクト画像Ｐを、既存の候補ラベルに分類することなく、既存の候補ラベル以外の仮ラベルに関連付ける。言い換えれば、分類判定部３８は、オブジェクト画像Ｐを、候補ラベルとされていた各個人に分類することなく、それら以外の未知の新たな個人に、仮に関連付ける。例えば図３の候補ラベルＦ０３の信頼度（最大信頼度）が第１閾値Ｋ１より小さく第２閾値Ｋ２以上である場合、オブジェクト画像Ｐは、候補ラベルＦ０１からＦ０５とは別の仮ラベルに関連付けられる。
　分類判定部３８は、最大信頼度が第２閾値Ｋ２より小さい場合、そのオブジェクト画像Ｐに候補ラベルや仮ラベルを関連付けない。すなわち、分類判定部３８は、最大信頼度が第２閾値Ｋ２より小さい場合、オブジェクト画像Ｐを分類しない。さらに、分類判定部３８は、最大信頼度が第２閾値Ｋ２より小さい場合、そのオブジェクト画像Ｐを、後述する学習用データに用いない。ただし、分類判定部３８は、第２閾値Ｋ２を設定しないで第１閾値Ｋ１だけを設定して、そのオブジェクト画像Ｐを学習用データに用いてもよい。
　図５は、ラベルテーブルの一例を示す図である。分類判定部３８は、以上説明した判定を、オブジェクト画像Ｐ毎に行う。ラベル付与部４０は、正式のラベルとしたラベルとオブジェクト画像Ｐとを関連付けて、記憶部２２に記憶させる。図５は、ラベルとオブジェクト画像Ｐとの関連を示す情報であるラベルテーブルの一例である。図５は、オブジェクト画像Ｐ１からオブジェクト画像Ｐ２０までが判定された例を示している。図５の例では、候補ラベルＦ０１を正式のラベルＦ０１としたオブジェクト画像Ｐが、オブジェクト画像Ｐ１、Ｐ２、Ｐ１０、Ｐ１２、Ｐ１３、Ｐ１６である。また、候補ラベルＦ０２を正式のラベルＦ０２としたオブジェクト画像Ｐが、オブジェクト画像Ｐ３、Ｐ１９であり、候補ラベルＦ０３を正式のラベルＦ０３としたオブジェクト画像Ｐが、オブジェクト画像Ｐ１８である。そして、候補ラベルＦ０４を正式のラベルＦ０４としたオブジェクト画像Ｐが、オブジェクト画像Ｐ４、Ｐ９、Ｐ１７、Ｐ２０であり、候補ラベルＦ０５を正式のラベルＦ０５としたオブジェクト画像Ｐは、無い。このように、オブジェクト画像Ｐ１からオブジェクト画像Ｐ２０のうち、ラベルが付与されていないオブジェクト画像Ｐがある。
　図６は、仮ラベルテーブルの一例を示す図である。分類判定部３８は、仮ラベルとオブジェクト画像Ｐとを関連付けて、記憶部２２に記憶させる。ここで、最大信頼度となる候補ラベルは、オブジェクト画像Ｐ毎に異なる場合がある。この場合、分類判定部３８は、最大信頼度となった候補ラベル毎に、仮ラベルを設定する。図６は、仮ラベルとオブジェクト画像Ｐとを関連付けた情報である仮ラベルテーブルの一例である。例えば図６では、分類判定部３８は、候補ラベルＦ０１が最大信頼度となった場合の仮ラベルを仮ラベルＦ０６とし、候補ラベルＦ０２が最大信頼度となった場合の仮ラベルを、仮ラベルＦ０７とする。すなわち、分類判定部３８は、仮ラベルに関連付けを行う場合に、最大信頼度となる候補ラベルが異なる場合には、別の仮ラベル（別の個人）を関連付ける。そして、分類判定部３８は、仮ラベルに関連付けを行う場合に、最大信頼度となる候補ラベルが同じ場合には、同じ仮ラベルを関連付ける。図６の例では、仮ラベルＦ０６に関連付けられたオブジェクト画像Ｐが、オブジェクト画像Ｐ５、Ｐ８、Ｐ１１、Ｐ１４、Ｐ１５であり、仮ラベルＦ０７に関連付けられたオブジェクト画像Ｐが、オブジェクト画像Ｐ６である。
　分類判定部３８は、同じ仮ラベルに関連付けられたオブジェクト画像Ｐの数が所定数以上になった場合に、それらのオブジェクト画像Ｐが、その仮ラベルに分類されると判定する。そして、分類判定部３８は、オブジェクト画像Ｐがその仮ラベルに分類されるとの判定結果を、ラベル付与部４０に伝達する。ラベル付与部４０は、その仮ラベルを、オブジェクト画像Ｐのラベルとして付与する。すなわち、ラベル付与部４０は、その仮ラベルを正式のラベルとして、オブジェクト画像Ｐがそのラベルに分類されると決定する。このように、ラベル付与部４０は、仮ラベルに関連付けられたオブジェクト画像Ｐの数が所定数以上になった場合に、すでに設定されていた候補ラベルとは別のラベル（仮ラベル）を、それらのオブジェクト画像Ｐに付与する。なお、ここでの所定数は、例えば５であるが、それに限られず任意に設定可能である。
　図７は、ラベルテーブルの一例を示す図である。上述のように仮ラベルが正式なラベルとされると、ラベルテーブル中のラベルの数が増える。図７は、図５に対し、仮ラベルＦ０６が正式のラベルとして付与された場合のラベルテーブルを示している。図７に示すように、仮ラベルＦ０６が正式のラベルＦ０６として設定され、そのラベルＦ０６に分類されたオブジェクト画像Ｐが、オブジェクト画像Ｐ５、Ｐ８、Ｐ１１、Ｐ１４、Ｐ１５である。仮ラベルＦ０７は、関連付けられたオブジェクト画像Ｐの数が所定数より小さいため、正式のラベルとされていない。
　図１に戻り、学習用データ生成部４２は、分類判定部３８の判定結果に基づき、学習済みモデルを更新するための学習用データを生成する。学習用データ生成部４２は、分類判定部３８において仮ラベルに関連付けられたオブジェクト画像Ｐの数が、所定数以上となった場合に、それらのオブジェクト画像Ｐと仮ラベルとを、学習用データとする。すなわち、学習用データ生成部４２は、仮ラベルに関連付けられたオブジェクト画像Ｐの数が所定数以上となることで、仮ラベルに正式のラベルが付与される場合に、その仮ラベルとそれぞれのオブジェクト画像Ｐとを紐付けて、学習用データとする。ここでの学習用データとは、教師ありデータを指し、オブジェクト画像Ｐが、その仮ラベルに分類されるという情報を有したデータである。図６の例では、オブジェクト画像Ｐ５、Ｐ８、Ｐ１１、Ｐ１４、Ｐ１５が、それぞれ仮ラベルＦ０６と紐付けられ、学習用データとされる。
　図１に示す学習用データ送信制御部４４は、通信部２４を制御して、学習用データ生成部４２が作成した学習用データを、学習装置１２に送信する。学習用データ生成部４２は、学習用データとして利用されたオブジェクト画像Ｐを、記憶部２２が記憶している仮ラベルテーブルから削除する。すなわち、図６の例では、仮ラベルＦ０６に関連付けられて学習用データとされたオブジェクト画像Ｐ５、Ｐ８、Ｐ１１、Ｐ１４、Ｐ１５が、削除される。従って、仮ラベルテーブルには、仮ラベルＦ０７に関連付けられたオブジェクト画像Ｐ６だけが残る。ただし、学習用データ生成部４２は、学習用データとするオブジェクト画像Ｐが出てきた場合に仮ラベルテーブル内の全てのオブジェクト画像Ｐを削除してもよい。この場合、仮ラベルＦ０７に関連付けられたオブジェクト画像Ｐ６も削除される。この場合、次に分類を始める場合に、学習用データを反映した新しい学習済みモデルを用いて、より精度の高い分類や仮ラベルの設定ができる。一方、学習用データとして利用されたオブジェクト画像Ｐだけが削除された場合、他の仮ラベルにはオブジェクト画像Ｐが残る。従って、この場合、所定数まで達する数が少なくて済むため、より迅速な学習用データ生成が可能となる。
　学習用データ生成装置１０は、以上のような構成となっている。次に、学習装置１２について説明する。図１に示すように、学習装置１２は、学習用データ生成装置１０とは異なる位置に設けられた装置（サーバ）である。学習装置１２は、通信部５０と、記憶部５２と、制御部５４とを有する。なお、学習装置１２は、例えばユーザが入力可能な入力部、及び、情報を出力可能な出力部を備えていてもよい。この場合、入力部は、マウスやキーボード、タッチパネルなどである。出力部は、例えばディスプレイであり、撮像した画像などが表示可能である。
　通信部５０は、制御部５４の制御により、外部装置、ここでは学習用データ生成装置１０と通信することでデータの送受信をする。通信部５０は、例えばアンテナであり、例えば無線ＬＡＮ、Ｗｉ-ｆｉ、ブルートゥースなどの無線通信により学習用データ生成装置１０とデータの送受信を行う。ただし、通信部５０は、学習用データ生成装置１０とケーブルで接続されて、有線通信により情報を送受信するものであってもよい。
　記憶部５２は、制御部５４の演算内容やプログラムの情報などを記憶するメモリである。記憶部５２は、例えば、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、及びフラッシュメモリ（Ｆｌａｓｈ　Ｍｅｍｏｒｙ）などの外部記憶装置を少なくとも１つ含む。
　制御部５４は、演算装置、すなわちＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）である。制御部５４は、学習用データ取得部６０と、学習部６２と、学習済みモデル送信制御部６４とを有する。学習用データ取得部６０と、学習部６２と、学習済みモデル送信制御部６４とは、記憶部５２に記憶されたソフトウェア（プログラム）を読み出すことで、後述する処理を実行する。
　学習用データ取得部６０は、通信部５０を制御して、学習用データ生成装置１０の通信部２４から、学習用データ生成部４２が生成した学習用データを取得する。学習用データ取得部６０は、取得した学習用データを、記憶部５２に記憶させる。
　学習部６２は、学習済みモデルを学習により更新する。学習部６２は、記憶部５２から、予め記憶していた学習済みモデルと学習済みの学習用データとを読み出し、学習用データ取得部６０が取得した新たな学習用データとを読み出す。学習部６２は、学習済みの学習用データと新たな学習用データとを教師ありデータとして学習済みモデルに学習させることで、学習済みモデルを更新する。
　図８及び図９は、学習済みデータテーブルの一例である。図８は、更新前の学習済みデータテーブルの一例である。学習済みデータテーブルとは、記憶部５２が記憶している教師ありデータであり、学習済み画像がラベルに紐付けられた情報である。すなわち、学習済みデータテーブルとは、学習済み画像がどのラベルに分類されるかを示す教師データを複数含むデータ群である。学習済みモデルは、この学習済みデータテーブルの各データを教師データとして、学習されて構築される。
　図８は、学習用データ生成部４２からの学習用データによる更新前の学習済みデータテーブルの一例を示している。図８に示す学習済みデータテーブルにおいては、学習済み画像Ｐ１０１～Ｐ２００が、ラベルＦ０１に分類され、学習済み画像Ｐ２０１～Ｐ３００が、ラベルＦ０２に分類され、学習済み画像Ｐ３０１～Ｐ４００が、ラベルＦ０３に分類され、学習済み画像Ｐ４０１～Ｐ５００が、ラベルＦ０４に分類され、学習済み画像Ｐ５０１～Ｐ６００が、ラベルＦ０５に分類されている。これらの学習済み画像Ｐ１００～Ｐ６００は、予め抽出された顔画像であり、学習用データ生成装置１０が分類することなく、予めどのラベルに分類するかが設定された画像である。すなわち、学習済みモデルは、予め学習済み画像Ｐ１００～Ｐ６００が教師ありデータとして供給されることで、構築されている。
　図９は、学習用データ生成部４２からの学習用データによる更新後の学習済みデータテーブルの一例を示している。図９に示すように、学習部６２は、更新前の学習済みデータテーブルに、学習用データを追加して、学習済みデータテーブルを更新する。すなわち、学習部６２は、学習用データのオブジェクト画像Ｐを学習済み画像とし、仮ラベルを新たなラベルとして、学習済みデータテーブルを更新する。すなわち、学習用データは、オブジェクト画像Ｐがどの仮ラベルに付与されているかが示された教師ありデータとなる。図９の例では、学習済みデータテーブルに、学習用データに含まれた新たな学習済み画像（オブジェクト画像）Ｐ５、Ｐ８、Ｐ１１、Ｐ１４、Ｐ１５が追加され、それらの学習済み画像には、新たなラベルＦ０６が紐付けられている。学習部６２は、このように新たな学習用データが追加された学習済みデータテーブルにより、学習済みモデルを更新する。学習部６２は、更新された学習済みモデルを記憶部５２に記憶させる。
　図１に戻り、学習済みモデル送信制御部６４は、通信部５０を制御して、更新された学習済みモデルを、学習用データ生成装置１０に送信する。学習用データ生成装置１０は、学習済みモデル取得部３４が、この更新された学習済みモデルを読み出し、次のオブジェクト画像Ｐの分類と、学習用データの生成とを行う。
　学習装置１２は、上述のように、学習用データ生成装置１０から離れた位置に設けられるサーバである。ただし、学習装置１２は、学習用データ生成装置１０に組み込まれたものであってよい。すなわち、オブジェクト分類システム１は、学習装置１２を有さず、代わりに、学習用データ取得部６０及び学習部６２が、学習用データ生成装置１０の制御部２６に組み込まれていてもよい。この場合、学習用データ送信制御部４４も不要となる。また、本実施形態では、学習用データ生成装置１０が、分類判定部３８で判定を行っていたが、学習装置１２が分類判定部３８を有して判定を行ってもよい。また、学習装置１２が分類評価部３６を有して優先度の算出を行ってもよい。
　また、オブジェクト分類システム１は、ＣＰＵ、ＦＰＧＡ、ＡＳＩＣやメモリ等のハードウェアを用いた装置として実現することができるのは勿論のこと、ＲＯＭやフラッシュメモリ等に記憶されているファームウェアや、コンピュータ等のソフトウェアによっても実現することができる。そのファームウェアプログラム、ソフトウェアプログラムをコンピュータ等で読み取り可能な記録媒体に記録して提供することも、有線あるいは無線のネットワークを通してサーバと送受信することも、地上波あるいは衛星ディジタル放送のデータ放送として送受信することも可能である。
　以上説明したオブジェクト分類システム１の処理の処理フローを、フローチャートを用いて説明する。図１０は、学習用データ生成装置の制御部による処理フローを説明するフローチャートである。図１０に示すように、学習用データ生成装置１０の制御部２６は、画像取得部３０により、撮像部２０が撮像した画像を取得し（ステップＳ１０）、オブジェクト抽出部３２により、取得した画像からオブジェクト画像Ｐを１つ抽出する（ステップＳ１２）。
　制御部２６は、分類評価部３６により、学習済みモデルに基づき、オブジェクト画像Ｐの、候補ラベル毎の信頼度を算出する（ステップＳ１６）。そして、制御部２６は、分類判定部３８により、最大信頼度が第１閾値Ｋ１以上であるかを判定する（ステップＳ１８）。最大信頼度とは、それぞれの候補ラベルのうちで信頼度が最も高い候補ラベルの、信頼度である。最大信頼度が第１閾値Ｋ１以上である場合（ステップＳ１８；Ｙｅｓ）、分類判定部３８は、オブジェクト画像Ｐがその最大信頼度の候補ラベルに分類されると判定して、ラベル付与部４０が、最大信頼度の候補ラベルを、そのオブジェクト画像Ｐのラベルとして確定する（ステップＳ２０）。最大信頼度の候補ラベルをラベルとして確定した後は、後述するステップＳ３２に進む。
　最大信頼度が第１閾値Ｋ１以上でない場合（ステップＳ１８；Ｎｏ）、すなわち第１閾値Ｋ１より小さい場合、分類判定部３８は、最大信頼度が第２閾値Ｋ２以上であるかを判定し（ステップＳ２２）、第２閾値Ｋ２以上でない場合（ステップＳ２２；Ｎｏ）、すなわち第２閾値より小さい場合、ステップＳ３２に進む。最大信頼度が第２閾値Ｋ２以上である場合（ステップＳ２２；Ｙｅｓ）、分類判定部３８は、そのオブジェクト画像Ｐに仮ラベルを割り当てる（ステップＳ２４）。そして、分類判定部３８は、仮ラベルが割り当てられたオブジェクト画像Ｐが所定数以上あるかを判定し（ステップＳ２６）、所定数以上ない場合（ステップＳ２６；Ｎｏ）、ステップＳ３２に進む。一方、仮ラベルが割り当てられたオブジェクト画像Ｐが所定数以上ある場合（ステップＳ２６；Ｙｅｓ）、ラベル付与部４０がその仮ラベルをラベルとして確定し（ステップＳ２８）、学習用データ生成部４２が、その仮ラベルとオブジェクト画像Ｐとを、学習用データとする（ステップＳ３０）。その後、ステップＳ３１に移動し、オブジェクト抽出部３２は、その画像に、他のオブジェクト画像Ｐがあるかを判断し（ステップＳ３１）、他のオブジェクト画像Ｐがある場合（ステップＳ３１；Ｙｅｓ）、ステップＳ１２に戻って、他のオブジェクト画像Ｐを１つ抽出する。他のオブジェクト画像Ｐが無い場合（ステップＳ３１；Ｎｏ）、ステップＳ３２に移動し、制御部２６は、他の画像があるかを判断し（ステップＳ３２）、他の画像がある場合（ステップＳ３２；Ｙｅｓ）はステップＳ１０に戻り、他の画像が無い場合（ステップＳ３２；Ｎｏ）は本処理を終了する。その後、制御部２６は、学習用データ送信制御部４４により、学習用データを学習装置１２に送信し、学習装置１２が、学習用データに基づき学習済みモデルを更新する。制御部２６は、更新した学習済みモデルを用いて、次以降の上記処理を実行する。
　以上説明したように、本実施形態に係る学習用データ生成装置１０は、画像を取得する画像取得部３０と、画像からオブジェクト画像Ｐを抽出するオブジェクト抽出部３２と、分類評価部３６と、分類判定部３８と、学習用データ生成部４２とを有する。分類評価部３６は、学習済みモデルに基づきオブジェクト画像Ｐを評価して、オブジェクト画像Ｐが候補ラベルに分類される可能性の高さを示す信頼度を算出する。分類判定部３８は、信頼度が、第１閾値Ｋ１より小さく、かつ、第１閾値Ｋ１より値が小さい第２閾値Ｋ２以上である場合に、候補ラベルとは異なる仮ラベルを、オブジェクト画像Ｐに関連付ける。そして、学習用データ生成部４２は、仮ラベルと関連付けられた前記オブジェクト画像に基づき前記学習用データを生成する。また、分類判定部３８は、信頼度に基づき判定を行って、オブジェクト画像Ｐが候補ラベルに分類されるかを判定する。学習用データ生成部４２は、分類判定部３８の判定結果に基づき、学習済みモデルを更新するための学習用データを生成する。分類判定部３８は、信頼度が第１閾値Ｋ１以上である場合に、候補ラベルにオブジェクト画像Ｐが分類されると判定し、信頼度が第１閾値Ｋ１より低く、かつ、第２閾値Ｋ２以上である場合に、候補ラベルに対して設定される仮ラベルを、オブジェクト画像Ｐに関連付ける。学習用データ生成部４２は、仮ラベルと関連付けられたオブジェクト画像Ｐの数が所定数以上となった場合に、それぞれのオブジェクト画像Ｐと仮ラベルとを、学習用データとする。このような構成とすることにより、仮ラベルを付与して、学習用データの精度を高くすることができる。また、信頼度が第１閾値Ｋ１以上になった場合には、その候補ラベルとオブジェクト画像Ｐを学習用データとしないことで、機械学習の前提として、予め機械学習において用いられるような画像を除外することができ、機械学習の効率化を図ることができる。
　ここで、ディープラーニングなどの機械学習により学習済みモデルを構築する際には、解が分かっている教師ありデータを用いる場合がある。この場合、教師ありデータの数が多いほど精度が高くなるため、教師ありデータを適切に収集することが求められている。それに対し、本実施形態に係る学習用データ生成装置１０は、分類しようとするオブジェクト画像Ｐを解析して、仮ラベルを割り当てる。そして、オブジェクト画像Ｐが仮ラベルに分類されるとして、それを学習用データ（教師ありデータ）とする。従って、学習用データ生成装置１０は、これから分類しようとしている画像を用いて学習用データを生成するため、これから分類しようとするオブジェクトに適した学習用データを適切に生成することができる。
　また、学習用データ生成装置１０は、仮ラベルとして新たなラベルを付与することで、更新前の学習済みモデルでは分類できなかった画像を教師あり学習させることで、更新後（再学習後）の分類数を増加させることができる。なお、本実施形態では、学習済みモデルを更新しても、仮ラベルなどを付与するための第１閾値Ｋ１及び第２閾値Ｋ２の値を一定としていた。ただし、学習用データ生成装置１０は、学習済みモデルを更新したら、第１閾値Ｋ１及び第２閾値Ｋ２の値を変更してもよい。例えば、学習用データ生成装置１０は、学習済みモデルを更新して候補ラベルの数が所定の数より増えた場合に、第１閾値Ｋ１及び第２閾値Ｋ２の値を小さくしてもよい。これにより、分類数が増えた場合にも分類を好適に行うことができる。
　また、分類評価部３６は、複数種類の候補ラベルのそれぞれに対する信頼度を算出する。分類判定部３８は、候補ラベル毎に仮ラベルを設定し、オブジェクト画像Ｐを、信頼度が最も高い候補ラベルに対して設定された仮ラベルに関連付ける。この学習用データ生成装置１０は、複数の候補ラベルのうちから、信頼度が最も高い候補ラベルに対して設定された仮ラベルを関連付ける。従って、学習用データ生成装置１０によると、分類を適切に行うことができつつ、仮ラベルを適切に付与して、学習用データの精度を高くすることができる。
　また、学習用データ生成装置１０は、オブジェクト画像Ｐにラベルを付与するラベル付与部４０を有する。ラベル付与部４０は、候補ラベルにオブジェクト画像Ｐが分類されると判定された場合、候補ラベルを、オブジェクト画像Ｐのラベルとして付与する。ラベル付与部４０は、仮ラベルと関連付けられたオブジェクト画像Ｐの数が所定数以上となった場合に、仮ラベルを、オブジェクト画像のラベルとして付与する。この学習用データ生成装置１０は、信頼度が第１閾値Ｋ１以上のものはラベルとして決定し、信頼度がそれより低い第２閾値Ｋ２以上のものは、複数個データが蓄積されてからラベルとして決定するため、未知のラベルを設定する際の精度を高くすることができる。
　また、本実施形態に係る学習用モデル作成システム（オブジェクト分類システム１）は、学習用データ生成装置１０と、学習用データ生成部４２が作成した学習用データに基づき機械学習して、学習済みモデルを更新する学習部６２を有する。学習用モデル作成システムは、学習用データ生成装置１０が作成した学習用データに基づき、学習済みモデルを生成する。この学習用モデル作成システムは、学習用データに基づき学習用モデルを更新するので、これから分類しようとするオブジェクトに適した学習用モデルを構築することができる。
　また、学習部６２は、ディープラーニングで機械学習を行う。従って、この学習用モデル作成システムは、高精度の学習用モデルを構築することができる。
　また、本実施形態に係るオブジェクト分類システム１は、学習用データ生成装置１０を有し、学習済みモデルを用いてオブジェクト画像Ｐを分類する。従って、このオブジェクト分類システム１は、オブジェクト画像Ｐを適切に分類することができる。
　図１１は、本実施形態の他の例での分類判定部による判定を説明するための図である。本実施形態においては、分類判定部３８は、１つの候補ラベルに対し、１つの仮ラベルを設定していたが、１つの候補ラベルに対して複数の仮ラベルを設定することも可能である。図１１の例は、１つの候補ラベルに対して仮ラベルＡ、Ｂを割り当てる例を示している。図１１に示すように、分類判定部３８は、最大信頼度が、第１閾値Ｋ１より小さく、かつ、閾値Ｋ２Ａ以上である場合に、仮ラベルＢをオブジェクト画像Ｐに関連付ける。閾値Ｋ２Ａは、第１閾値Ｋ１より小さく第２閾値Ｋ２より大きい値である。また、分類判定部３８は、最大信頼度が、閾値Ｋ２Ａより小さく、かつ、第２閾値Ｋ２以上である場合に、仮ラベルＡをオブジェクト画像Ｐに関連付ける。このように、分類判定部３８は、１つの候補ラベルの最大信頼度が取り得る数値範囲を区分して、数値範囲毎に仮ラベルを設定してもよい。なお、第１閾値Ｋ１または第２閾値Ｋ２のいずれか一方を閾値Ｋ２Ａと同じ値にしてもよい。
　ここで、例えば、学習済みモデルにおける学習済み画像の数が所定数よりも小さい時などのように、第１閾値Ｋ１の信用度が必ずしも高くないと考えられる場合には、最大信頼度が、第１閾値Ｋ１より小さく、かつ、閾値Ｋ２Ａ以上である場合に、オブジェクト画像Ｐに仮ラベルを割り当てないようにしてもよい。
　このように、分類判定部３８は、信頼度が、第１閾値Ｋ１より小さく第２閾値Ｋ２よりも大きい中間閾値（閾値Ｋ２Ａ）以上であり、かつ、第１閾値Ｋ１より値が小さい場合に、候補ラベルとは異なる第１の仮ラベル（仮ラベルＢ）をオブジェクト画像Ｐに関連付ける。分類判定部３８は、信頼度が、第２閾値Ｋ２以上であり、かつ、中間閾値（閾値Ｋ２Ａ）より小さい場合に、第１の仮ラベルとは異なる第２の仮ラベル（仮ラベルＡ）を、オブジェクト画像Ｐに関連付ける。このように数値範囲毎に仮ラベルを設定することて、より高精度の分類が可能となる。
　図１２は、本実施形態の他の例での分類判定部による判定を説明するための図である。本実施形態においては、分類判定部３８は、最大信頼度が第１閾値Ｋ１より大きい場合には、ラベルを付与するが、学習用データには用いなかった。ただし、分類判定部３８は、ラベルを付与するものを学習用データとして用いてもよい。この場合、図１２に示すように、分類判定部３８は、最大信頼度が、第１閾値Ｋ１以上であり、かつ、第３閾値Ｋ３より小さい場合に、そのオブジェクト画像Ｐに、最大信頼度となった候補ラベルを正式のラベルとして付与する。さらに、分類判定部３８は、最大信頼度が、第１閾値Ｋ１以上であり、かつ、第３閾値Ｋ３より小さい場合に、そのオブジェクト画像Ｐと最大信頼度となった候補ラベルとを、学習用データとして用いる。第３閾値Ｋ３は、第１閾値Ｋ１より値が大きい。一方、分類判定部３８は、最大信頼度が、第３閾値Ｋ３以上である場合に、そのオブジェクト画像Ｐに、最大信頼度となった候補ラベルを正式のラベルとして付与するが、そのオブジェクト画像Ｐと候補ラベルとを、学習用データには用いない。
　図１３は、本実施形態の他の例の学習済みデータテーブルの一例を示す図である。図１３は、オブジェクト画像Ｐ１２、Ｐ１３、Ｐ１６の最大信頼度となる候補ラベルが候補ラベルＦ０１であり、かつ、最大信頼度が、第１閾値Ｋ１以上であって第３閾値Ｋ３より小さい場合の例を示している。この場合、オブジェクト画像Ｐ１２、Ｐ１３、Ｐ１６は、候補ラベルＦ０１と紐付けられて、学習用データ（教師ありデータ）として、学習済みデータテーブルに加えられる。従って、図１３に示す学習済みデータテーブルは、図１０に示すものに加え、学習済み画像Ｐ１２、Ｐ１３、Ｐ１６がラベルＦ０１に紐づいているというデータも含むこととなる。従って、学習部６２は、この学習済み画像Ｐ１２、Ｐ１３、Ｐ１６を用いて、さらに分類精度を高い学習済みモデルを構築することができる。
　このように、分類判定部３８は、信頼度が、第１閾値Ｋ１より値が大きい第３閾値Ｋ３より小さく、第１閾値Ｋ１以上である場合に、候補ラベルにオブジェクト画像Ｐに関連付ける。そして、学習用データ生成部４２は、仮ラベル又は候補ラベルが関連付けられたオブジェクト画像Ｐに基づき、学習用データを生成する。このように、学習用データ生成部４２は、信頼度が、第１閾値Ｋ１より高く、かつ、第１閾値Ｋ１より高い第３閾値Ｋ３よりも低い候補ラベルと、オブジェクト画像Ｐとを、学習用データとしてもよい。そして、学習用データ生成部４２は、信頼度が第３閾値Ｋ３以上である候補ラベルと、オブジェクト画像Ｐとを、学習用データとしなくてもよい。この学習用データ生成装置１０は、信頼度が第３閾値Ｋ３以上として十分に高い場合は、新たな学習には不要のデータとして学習用データとせず、信頼度が十分だが第３閾値Ｋ３まで高くない場合には、学習用モデルの精度向上に適していると判断して、学習用データに用いる。従って、この学習用データ生成装置１０は、適切なデータのみを学習用データとすることで、これから分類しようとするオブジェクトに適した学習用データを適切に生成することができる。
　また、分類判定部３８は、学習済みモデルに用いられた画像（学習済み画像）の数に応じて、第１閾値Ｋ１と第２閾値Ｋ２との少なくとも一方を変更してもよい。さらに言えば、分類判定部３８は、学習済みモデルに用いられた画像（学習済み画像）の数に応じて、第１閾値Ｋ１と第２閾値Ｋ２と閾値Ｋ２Ａと第３閾値Ｋ３との少なくともいずれかを、変更してもよい。このようにすることで、画像の数の変化に応じて、閾値を適切に変化させることが可能となり、これから分類しようとするオブジェクトに適した学習用データを適切に生成することができる。
　以上、本発明の実施形態を説明したが、これら実施形態の内容により実施形態が限定されるものではない。また、前述した構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。さらに、前述した構成要素は適宜組み合わせることが可能である。さらに、前述した実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換又は変更を行うことができる。
　１　オブジェクト分類システム（学習用モデル作成システム）
　１０　学習用データ生成装置
　１２　学習装置
　２６、５４　制御部
　３０　画像取得部
　３２　オブジェクト抽出部
　３４　学習済みモデル取得部
　３６　分類評価部
　３８　分類判定部
　４０　ラベル付与部
　４２　学習用データ生成部
　４４　学習用データ送信制御部
　６０　学習用データ取得部
　６２　学習部
　６４　学習済みモデル送信制御部
　Ｋ１　第１閾値
　Ｋ２　第２閾値
　Ｐ　オブジェクト画像

Claims (7)

  1. 　画像からオブジェクト画像を抽出するオブジェクト抽出部と、
    　学習済みモデルに基づき前記オブジェクト画像を評価して、前記オブジェクト画像が候補ラベルに分類される可能性の高さを示す信頼度を算出する分類評価部と、
    　前記信頼度が、第１閾値より小さく、かつ、前記第１閾値より値が小さい第２閾値以上である場合に、前記候補ラベルとは異なる仮ラベルを、前記オブジェクト画像に関連付ける分類判定部と、
    　前記仮ラベルと関連付けられた前記オブジェクト画像に基づき学習用データを生成する学習用データ生成部と、を備える、
    　学習用データ生成装置。
  2. 　前記分類判定部は、前記信頼度が、前記第１閾値より小さく前記第２閾値よりも大きい中間閾値以上であり、かつ、前記第１閾値より値が小さい場合に、前記候補ラベルとは異なる第１の仮ラベルを前記オブジェクト画像に関連付け、前記第２閾値以上であり、かつ、前記中間閾値より小さい場合に、前記第１の仮ラベルとは異なる第２の仮ラベルを、前記オブジェクト画像に関連付ける、請求項１に記載の学習用データ生成装置。
  3. 　前記分類判定部は、前記信頼度が、前記第１閾値より値が大きい第３閾値より小さく、かつ、前記第１閾値以上である場合に、前記候補ラベルに前記オブジェクト画像に関連付け、
    　前記学習用データ生成部は、仮ラベル又は候補ラベルが関連付けられた前記オブジェクト画像に基づき前記学習用データを生成する、請求項１又は請求項２に記載の学習用データ生成装置。
  4. 　前記分類判定部は、前記学習済みモデルに用いられた画像の数に応じて、前記第１閾値及び前記第２閾値の少なくとも一方を変更する、請求項１から請求項３のいずれか１項に記載の学習用データ生成装置。
  5. 　請求項１から請求項４のいずれか１項に記載の学習用データ生成装置が作成した前記学習用データに基づき、学習済みモデルを生成する、学習用モデル作成システム。
  6. 　画像からオブジェクト画像を抽出するオブジェクト抽出ステップと、
    　学習済みモデルに基づき前記オブジェクト画像を評価して、前記オブジェクト画像が候補ラベルに分類される可能性の高さを示す信頼度を算出する分類評価ステップと、
    　前記信頼度が、第１閾値より小さく、かつ、前記第１閾値より値が小さい第２閾値以上である場合に、前記候補ラベルとは異なる仮ラベルを、前記オブジェクト画像に関連付ける分類判定ステップと、
    　前記仮ラベルと関連付けられた前記オブジェクト画像に基づき学習用データを生成する学習用データ生成ステップと、を有する、
    　学習用データ生成方法。
  7. 　画像からオブジェクト画像を抽出するオブジェクト抽出ステップと、
    　学習済みモデルに基づき前記オブジェクト画像を評価して、前記オブジェクト画像が候補ラベルに分類される可能性の高さを示す信頼度を算出する分類評価ステップと、
    　前記信頼度が、第１閾値より小さく、かつ、前記第１閾値より値が小さい第２閾値以上である場合に、前記候補ラベルとは異なる仮ラベルを、前記オブジェクト画像に関連付ける分類判定ステップと、
    　前記仮ラベルと関連付けられた前記オブジェクト画像に基づき学習用データを生成する学習用データ生成ステップと、を有する、
    　をコンピュータに実行させる、プログラム。
PCT/JP2019/009536 2018-03-08 2019-03-08 学習用データ作成装置、学習用モデル作成システム、学習用データ作成方法、及びプログラム WO2019172451A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201980017058.8A CN111868780B (zh) 2018-03-08 2019-03-08 学习用数据生成装置及方法、模型生成系统以及程序
US17/001,716 US11922317B2 (en) 2018-03-08 2020-08-25 Learning data generation apparatus, learning model generation system, learning data generation method, and non-transitory storage medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-042291 2018-03-08
JP2018042291A JP6933164B2 (ja) 2018-03-08 2018-03-08 学習用データ作成装置、学習用モデル作成システム、学習用データ作成方法、及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/001,716 Continuation US11922317B2 (en) 2018-03-08 2020-08-25 Learning data generation apparatus, learning model generation system, learning data generation method, and non-transitory storage medium

Publications (1)

Publication Number Publication Date
WO2019172451A1 true WO2019172451A1 (ja) 2019-09-12

Family

ID=67847274

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/009536 WO2019172451A1 (ja) 2018-03-08 2019-03-08 学習用データ作成装置、学習用モデル作成システム、学習用データ作成方法、及びプログラム

Country Status (4)

Country Link
US (1) US11922317B2 (ja)
JP (3) JP6933164B2 (ja)
CN (1) CN111868780B (ja)
WO (1) WO2019172451A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220044147A1 (en) * 2018-10-05 2022-02-10 Nec Corporation Teaching data extending device, teaching data extending method, and program

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102349854B1 (ko) * 2019-12-30 2022-01-11 엘아이지넥스원 주식회사 표적 추적 시스템 및 방법
KR20210106814A (ko) * 2020-02-21 2021-08-31 삼성전자주식회사 뉴럴 네트워크 학습 방법 및 장치
JP2022546885A (ja) * 2020-08-01 2022-11-10 商▲湯▼国▲際▼私人有限公司 目標対象認識方法及び装置
JP7531364B2 (ja) 2020-10-29 2024-08-09 エヌ・ティ・ティ・コムウェア株式会社 学習装置、学習方法、およびプログラム
US20240249827A1 (en) * 2021-05-26 2024-07-25 Sony Group Corporation Image processing device, image processing method, and recording medium
US20220414368A1 (en) * 2021-06-25 2022-12-29 International Business Machines Corporation Emotional response evaluation for presented images
CA3230180A1 (en) * 2021-09-07 2023-03-16 Hiroshi Sekiya Defect classification system
EP4430579A1 (en) * 2021-11-14 2024-09-18 Bria Artificial Intelligence Ltd Facilitating generation and usage of visual content
TWI793865B (zh) 2021-11-18 2023-02-21 倍利科技股份有限公司 Ai自動輔助標記之系統及方法
WO2023145164A1 (ja) * 2022-01-28 2023-08-03 株式会社Ｊｖｃケンウッド 画像分類装置、画像分類方法、および画像分類プログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013125322A (ja) * 2011-12-13 2013-06-24 Olympus Corp 学習装置、プログラム及び学習方法
JP2015099467A (ja) * 2013-11-19 2015-05-28 日本電信電話株式会社 移動手段予測モデル生成装置、移動手段予測モデル生成方法及び移動手段予測モデル生成プログラム
JP2017167834A (ja) * 2016-03-16 2017-09-21 セコム株式会社 学習データ選択装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4591215B2 (ja) * 2005-06-07 2010-12-01 株式会社日立製作所 顔画像データベース作成方法及び装置
CN101295305B (zh) * 2007-04-25 2012-10-31 富士通株式会社 图像检索装置
JP4623387B2 (ja) * 2008-09-04 2011-02-02 ソニー株式会社 学習装置および方法、認識装置および方法、並びにプログラム
JP5406705B2 (ja) * 2009-12-28 2014-02-05 キヤノン株式会社 データ補正装置及び方法
JP2011181016A (ja) * 2010-03-04 2011-09-15 Fujifilm Corp 判別器生成装置および方法並びにプログラム
JP5214762B2 (ja) * 2011-03-25 2013-06-19 株式会社東芝 認識装置、方法及びプログラム
US8873813B2 (en) * 2012-09-17 2014-10-28 Z Advanced Computing, Inc. Application of Z-webs and Z-factors to analytics, search engine, learning, recognition, natural language, and other utilities
JP6188400B2 (ja) * 2013-04-26 2017-08-30 オリンパス株式会社 画像処理装置、プログラム及び画像処理方法
JP6339872B2 (ja) * 2014-06-24 2018-06-06 オリンパス株式会社 画像処理装置、内視鏡システム及び画像処理方法
JP2016099668A (ja) * 2014-11-18 2016-05-30 キヤノン株式会社 学習方法、学習装置、画像認識方法、画像認識装置及びプログラム
WO2016103651A1 (ja) * 2014-12-22 2016-06-30 日本電気株式会社 情報処理システム、情報処理方法、及び、記録媒体
US20170039469A1 (en) * 2015-08-04 2017-02-09 Qualcomm Incorporated Detection of unknown classes and initialization of classifiers for unknown classes
JP6489005B2 (ja) * 2015-12-18 2019-03-27 キヤノンマーケティングジャパン株式会社 情報処理システム、情報処理方法、プログラム
US10878286B2 (en) * 2016-02-24 2020-12-29 Nec Corporation Learning device, learning method, and recording medium
JP6789762B2 (ja) * 2016-11-02 2020-11-25 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
US11068751B2 (en) * 2017-03-21 2021-07-20 Nec Corporation Image processing device, image processing method, and storage medium
US11176589B2 (en) * 2018-04-10 2021-11-16 Ebay Inc. Dynamically generated machine learning models and visualization thereof

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013125322A (ja) * 2011-12-13 2013-06-24 Olympus Corp 学習装置、プログラム及び学習方法
JP2015099467A (ja) * 2013-11-19 2015-05-28 日本電信電話株式会社 移動手段予測モデル生成装置、移動手段予測モデル生成方法及び移動手段予測モデル生成プログラム
JP2017167834A (ja) * 2016-03-16 2017-09-21 セコム株式会社 学習データ選択装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
TAKEDA TAKAHISHI, ET AL.: "Self-training with unlabeled regions and its application to recognition of colorectal NBI endoscopic images", IEICE TECH REPORT, vol. 112, no. 38, 10 May 2012 (2012-05-10), pages 57 - 62 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220044147A1 (en) * 2018-10-05 2022-02-10 Nec Corporation Teaching data extending device, teaching data extending method, and program

Also Published As

Publication number Publication date
US11922317B2 (en) 2024-03-05
US20200387756A1 (en) 2020-12-10
CN111868780A (zh) 2020-10-30
CN111868780B (zh) 2023-07-28
JP2019159499A (ja) 2019-09-19
JP2023065548A (ja) 2023-05-12
JP2021184299A (ja) 2021-12-02
JP7239853B2 (ja) 2023-03-15
JP6933164B2 (ja) 2021-09-08

Similar Documents

Publication Publication Date Title
WO2019172451A1 (ja) 学習用データ作成装置、学習用モデル作成システム、学習用データ作成方法、及びプログラム
CN110046631B (zh) 用于自动推断时空图像的变化的系统和方法
US20210104021A1 (en) Method and apparatus for processing image noise
CN110163236B (zh) 模型的训练方法和装置、存储介质、电子装置
KR102641116B1 (ko) 데이터 증강에 기초한 인식 모델 트레이닝 방법 및 장치, 이미지 인식 방법 및 장치
CN106971152B (zh) 一种基于航拍图像的检测输电线路中鸟巢的方法
Swasono et al. Classification of tobacco leaf pests using VGG16 transfer learning
EP4035070B1 (en) Method and server for facilitating improved training of a supervised machine learning process
CN107239514A (zh) 一种基于卷积神经网络的植物识别方法及系统
JP2017111660A (ja) 映像パターン学習装置、方法、及びプログラム
WO2020194497A1 (ja) 情報処理装置、個人識別装置、情報処理方法及び記憶媒体
US11893727B2 (en) Rail feature identification system
CN111414946A (zh) 基于人工智能的医疗影像的噪声数据识别方法和相关装置
CN109376736A (zh) 一种基于深度卷积神经网络的视频小目标检测方法
US20240021019A1 (en) Action detection method based on human skeleton feature and storage medium
CN116959099B (zh) 一种基于时空图卷积神经网络的异常行为识别方法
CN112417974A (zh) 一种公共卫生监控方法
KR102230559B1 (ko) 데이터 프로그래밍에 기반한 레이블링 모델 생성 방법 및 장치
KR20210041328A (ko) 인공지능 기반 얼굴 인식 장치 및 방법
Zhang et al. Automatic construction and extraction of sports moment feature variables using artificial intelligence
CN118525283A (zh) 模型生成方法、模型生成装置、推理程序以及推理装置
CN112508135B (zh) 模型训练方法、行人属性预测方法、装置及设备
CN113705648B (zh) 一种数据处理方法、装置及设备
JP7559247B2 (ja) 下水管内異状診断支援システム、下水管内異状診断支援システム用のクライアントマシン、サーバマシン、及び関連する方法
CN110717422A (zh) 基于卷积神经网络的交互动作的识别方法和系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19764932

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19764932

Country of ref document: EP

Kind code of ref document: A1