WO2023058433A1 - 学習装置、学習方法、センシングデバイス及びデータ収集方法 - Google Patents

学習装置、学習方法、センシングデバイス及びデータ収集方法 Download PDF

Info

Publication number
WO2023058433A1
WO2023058433A1 PCT/JP2022/034670 JP2022034670W WO2023058433A1 WO 2023058433 A1 WO2023058433 A1 WO 2023058433A1 JP 2022034670 W JP2022034670 W JP 2022034670W WO 2023058433 A1 WO2023058433 A1 WO 2023058433A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
learning
model
unit
influence
Prior art date
Application number
PCT/JP2022/034670
Other languages
English (en)
French (fr)
Inventor
健二 鈴木
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to EP22878304.9A priority Critical patent/EP4414900A1/en
Priority to CN202280066530.9A priority patent/CN118043828A/zh
Priority to JP2023552781A priority patent/JPWO2023058433A1/ja
Publication of WO2023058433A1 publication Critical patent/WO2023058433A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06V10/7747—Organisation of the process, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Definitions

  • the present disclosure relates to learning devices, learning methods, sensing devices, and data collection methods.
  • teacher data is created by assigning a correct label to each of a plurality of data based on whether or not an evaluation button has been pressed by the user, and when the plurality of teacher data reaches a predetermined number, the teacher data is generated. Depending on the situation, machine learning is performed using multiple teacher data.
  • this disclosure proposes a learning device, a learning method, a sensing device, and a data collection method that can make a model generated using appropriate data available.
  • a learning device includes a calculation unit that calculates the degree of influence that data collected by a sensing device has on learning of a model by machine learning, and calculation by the calculation unit: a learning unit that generates a learned model by a small-label learning process of learning the model using the data whose degree of influence satisfies a condition.
  • FIG. 4 is a diagram illustrating an example of learning processing according to an embodiment of the present disclosure
  • FIG. 1 is a diagram illustrating a configuration example of an information processing system according to an embodiment of the present disclosure
  • FIG. 1 is a diagram illustrating a configuration example of a server device according to an embodiment of the present disclosure
  • FIG. 4 is a diagram illustrating an example of a data information storage unit according to an embodiment of the present disclosure
  • FIG. It is a figure showing an example of a model information storage part concerning an embodiment of this indication.
  • 4 is a diagram illustrating an example of a threshold information storage unit according to an embodiment of the present disclosure
  • FIG. 10 is a diagram of an example of a network corresponding to a model
  • 1 is a diagram showing a configuration example of a sensing device according to an embodiment of the present disclosure
  • FIG. It is a figure showing an example of a model information storage part concerning an embodiment of this indication.
  • 4 is a flowchart showing processing of the server device according to the embodiment of the present disclosure
  • FIG. 4 is a sequence diagram showing processing procedures of the information processing system according to the embodiment of the present disclosure
  • 1 is a hardware configuration diagram showing an example of a computer that realizes the functions of an information processing device such as a server device and a sensing device;
  • Embodiment 1-1 Outline of learning process according to embodiment of present disclosure 1-1-1. Background and Effects 1-1-2. Influence function 1-1-2-1. Examples of other methods 1-1-3. Capacity limit 1-1-4. Storage storage 1-1-5. Image correction 1-2. Configuration of information processing system according to embodiment 1-3. Configuration of learning device according to embodiment 1-3-1. Model (network) example 1-4. Configuration of Sensing Device According to Embodiment 1-5. Information processing procedure according to embodiment 1-5-1. Procedure of processing related to learning device 1-5-2. Procedure of processing related to information processing system2. Other Embodiments 2-1. Other configuration examples 2-2. Others 3. Effects of the present disclosure 4 . Hardware configuration
  • FIG. 1 is a diagram illustrating an example of a processing flow of an information processing system according to an embodiment of the present disclosure.
  • FIG. 2 is a diagram illustrating an example of learning processing according to an embodiment of the present disclosure.
  • FIG. 2 is a diagram illustrating an example of learning processing according to the embodiment of the present disclosure.
  • the learning process according to the embodiment of the present disclosure is realized by the information processing system 1 including the server device 100 and the sensing device 10, which are examples of learning devices.
  • FIG. 2 outlines the learning process implemented by the information processing system 1 .
  • model a discriminative model that is a deep neural network (DNN) that performs image recognition.
  • DNN deep neural network
  • any device included in the information processing system 1 may perform the processing described below where the information processing system 1 is the subject of the processing.
  • FIG. 1 the main body of processing is described as the information processing system 1, but each processing shown in FIG.
  • the information processing system 1 uses first data LDD, which is labeled data (also referred to as "labeled data") indicating the correct recognition result of the image, and second data collected by the sensing device 10.
  • first data LDD is data already used as a data set.
  • the label may be any information that indicates the correct recognition result for the data.
  • the label may be information indicating the category to which the image belongs, information indicating the object included in the image, information indicating the area of the object in the image, or the like.
  • the second data ULD is data without a label indicating the correct recognition result of the image (also referred to as "unlabeled data").
  • the small-label learning process by the information processing system 1 is a learning process performed using both labeled data and unlabeled data as described above.
  • the information processing system 1 learns a classifier using the first data LDD (step S1).
  • the information processing system 1 uses the first data LDD to learn a classifier that classifies images.
  • the information processing system 1 learns a classifier that receives an image as input and outputs information indicating the category to which the input image belongs.
  • the information processing system 1 learns a classifier using the image data included in the first data LDD and the labels of the image data.
  • the information processing system 1 calculates the degree of influence of each data of the second data ULD (step S2).
  • the degree of influence of data is information indicating the degree of influence of the data on learning of the model, and the details will be described later.
  • the information processing system 1 then compares the calculated degree of influence of the data with the threshold value S (step S3).
  • step S4 the information processing system 1 deletes the data (step S4). For example, the information processing system 1 determines that data having a degree of influence equal to or less than the threshold value S among the second data ULD is data having a low degree of influence on learning (low influence data), and deletes the data. do.
  • step S5 the information processing system 1 predicts the label of that data (step S5). For example, the information processing system 1 determines that data having a degree of influence greater than the threshold value S is data having a high degree of influence on learning (high-influence data), and predicts the label of the data.
  • the information processing system 1 uses a classifier to predict the label of data that is unlabeled data and high-impact data in the second data ULD.
  • the information processing system 1 assigns the predicted label (predicted label) to the prediction target data (prediction target data).
  • the third data NLD is data added with a predictive label among the second data ULD. That is, the third data NLD is unlabeled data, but becomes labeled data by adding a predicted label.
  • the information processing system 1 generates a data set NDS, which is a new data set, from the labeled third data NLD and the first data LDD.
  • the information processing system 1 generates the data set NDS by adding the labeled third data NLD to the first data LDD. Note that the above is only an example. For example, when the label is used to calculate the degree of influence, the information processing system 1 predicts the label of data before calculating the degree of influence, and uses the predicted label to calculate the degree of influence. may be calculated.
  • the information processing system 1 uses the data set NDS to learn the model. (Step S6). For example, the information processing system 1 learns a model using the image data included in the data set NDS and the labels of the image data.
  • the information processing system 1 distributes the model to the edge device (step S7).
  • the server device 100 of the information processing system 1 transmits the learned model to the sensing device 10, which is an edge device.
  • the information processing system 1 repeats the processing of steps S1 to S7 using the data collected from the model distributed by the sensing device 10 as the second data ULD.
  • the information processing system 1 uses the data set NDS of the previous process as the first data LDD.
  • the information processing system 1 can update the model and improve the performance of the model by repeating the above-described processing (loop) at regular intervals (regularly).
  • model M1 is a neural network used for image recognition.
  • the server device 100 shown in FIG. 2 is an information processing device that calculates the degree of influence of data collected by the sensing device 10 on model learning by machine learning, and learns the model using data whose degree of influence satisfies a condition. be.
  • the sensing device 10 shown in FIG. 2 is a device that collects image data.
  • the sensing device 10 may be any device as long as it can collect desired data by sensing and transmit it to the server device 100 .
  • the sensing device 10 may be a UAV (Unmanned Aerial Vehicle) such as a drone, a moving object such as a vehicle such as an automobile, a camera, or an image sensor (imager), which will be described later in detail. .
  • UAV Unmanned Aerial Vehicle
  • the sensing device 10 collects data by sensing (step S1).
  • the sensing device 10 transmits the collected data (collected data TG) to the server device 100 (step S2).
  • the collected data TG includes data DT11, data DT12, etc. collected by the sensing device 10 .
  • data DT11 and data DT12 are unlabeled data (unlabeled data).
  • the server device 100 Upon receiving the collected data TG from the sensing device 10, the server device 100 calculates the degree of influence of the data (also referred to as "candidate data") in the collected data TG on the learning of the model M1. For example, when each candidate data in the collected data TG is added to the data set DS1, the server device 100 calculates the degree of influence of the added candidate data on the learning of the model M1. The server device 100 calculates the degree of influence of each candidate data in the data set DS1 on the learning of the model M1 using the method of calculating the degree of influence (calculation method MT1). The degree of influence here indicates that the larger the value, the higher the degree (contribution) of the data to the learning of the model M1.
  • a larger value of the degree of influence that is, a higher degree of influence, contributes to an improvement in the accuracy of identifying the model M1.
  • the higher the degree of influence the more necessary the data is for learning the model M1.
  • the higher the degree of influence the more useful the data is for learning the model M1.
  • the smaller the value of the influence the lower the degree (contribution) of the data to the learning of the model M1.
  • a smaller value of the degree of influence indicates that the model M1 does not contribute to an improvement in the accuracy of identification.
  • the lower the degree of influence the more unnecessary the data is for learning the model M1.
  • the lower the degree of influence the more harmful the data is to the learning of the model M1.
  • FIG. 2 shows a case where the influence function (Influence functions) is used as an example of the calculation method MM1, but the influence function will be described later.
  • the calculation method MM1 used by the server device 100 to calculate the degree of influence is not limited to influence function, and any method may be used as long as a value indicating the degree of influence of each data can be obtained.
  • the server device 100 may calculate the degree of influence of the image data as a value larger than a predetermined threshold.
  • the server device 100 may calculate the degree of influence of the image data as a value equal to or less than a predetermined threshold.
  • the server device 100 may calculate the degree of influence of data using a predetermined function.
  • the server device 100 may calculate the degree of influence of data using a function that outputs the degree of influence of the image data with a value indicating whether or not the recognition target is included in the image data.
  • the server device 100 outputs a value larger than a predetermined threshold when the image data includes the recognition target, and outputs a value equal to or less than the predetermined threshold when the image data does not include the recognition target. may be used to calculate the degree of influence of the data.
  • the server device 100 performs the following processing using the calculation method MM1 using the data DT11 and the data DT12 in the collected data TG as candidate data.
  • the server device 100 calculates the degree of influence of the data DT11 in the collected data TG on the learning of the model M1 (step S3).
  • the server device 100 calculates the degree of influence of the data DT11 on the learning of the model M1 as the degree of influence IV11, as shown in the calculation result RS1.
  • the degree of influence IV11 is assumed to be a specific value (for example, 0.3).
  • the server device 100 predicts the label of the data DT11 using a classifier.
  • the server device 100 predicts the label of the data DT11 using the classifier model M2.
  • the server device 100 calculates the influence IV11 of the data DT11 using the data set DS1 to which the predicted labeled data DT11 is added.
  • the server device 100 determines the data DT11 based on the degree of influence IV11 of the data DT11 (step S4).
  • Server device 100 determines whether data DT11 is necessary for learning model M1 based on influence IV11 of data DT11 and threshold TH1.
  • the server device 100 uses the threshold TH1 stored in the threshold information storage unit 123 (see FIG. 7) to determine whether the data DT11 is necessary for learning the model M1.
  • the server device 100 compares the degree of influence IV11 of the data DT11 and the threshold TH1, and determines that the data DT11 is unnecessary for learning the model M1 when the degree of influence IV11 is equal to or less than the threshold TH1.
  • the server apparatus 100 determines that the data DT11 is unnecessary for learning the model M1 because the influence IV11 of the data DT11 is equal to or less than the threshold TH1. Therefore, as shown in the determination information DR1, the server device 100 determines that the degree of influence of the data DT11 on the learning of the model M1 is low, and deletes the data DT11 (step S5).
  • the server device 100 also calculates the degree of influence of the data DT12 in the collected data TG on the learning of the model M1 (step S6).
  • the server apparatus 100 calculates the degree of influence of the data DT12 on the learning of the model M1 as the degree of influence IV12, as shown in the calculation result RS2.
  • the degree of influence IV12 is assumed to be a specific value (for example, 0.8).
  • the server device 100 predicts the label of the data DT12 using a classifier.
  • the server device 100 predicts the label of the data DT12 using the model M2, which is a classifier.
  • the server device 100 calculates the degree of influence IV12 of the data DT12 using the data set DS1 to which the predicted labeled data DT12 is added.
  • the server device 100 determines the data DT12 based on the degree of influence IV12 of the data DT12 (step S7).
  • Server device 100 determines whether data DT12 is necessary for learning model M1 based on degree of influence IV12 of data DT12. For example, the server device 100 determines whether the data DT12 is necessary for learning the model M1 based on the influence IV12 of the data DT12 and the threshold TH1.
  • the server device 100 compares the degree of influence IV12 of the data DT12 and the threshold TH1, and determines that the data DT12 is necessary for learning the model M1 when the degree of influence IV12 is greater than the threshold TH1. In FIG. 2, the server device 100 determines that the data DT12 is necessary for learning the model M1 because the influence IV12 of the data DT12 is greater than the threshold TH1.
  • the server device 100 determines that the degree of influence of the data DT12 on the learning of the model M1 is high, as indicated by the determination information DR2, and adds the data DT12 to the data set DS1 (step S8).
  • the server device 100 adds the labeled data DT12 predicted using the model M2 to the data set DS1.
  • the server device 100 generates a model using the data set DS1 (step S9).
  • the server device 100 generates the model M1 using the data set DS1 including the data DT12 and the like with the prediction label.
  • the server device 100 generates the model M1 by small-label learning using the data set DS1 including the data DT12 that was originally unlabeled data in addition to the labeled data.
  • the server device 100 designs the structure of a network (neural network, etc.) corresponding to the model M1 stored in the model information storage unit 122 (see FIG. 6).
  • the server device 100 designs the network structure (network structure) of the model M1 used for image recognition.
  • the server device 100 may generate the network structure of the model M1 used for image recognition based on the information about the network structure corresponding to each application stored in advance in the storage unit 120 (see FIG. 4). .
  • the server device 100 may acquire network structure information of the model M1 used for image recognition from an external device.
  • the server device 100 learns the model M1 using a data set DS1 in which each data (image) is associated with a label (correct label) indicating the presence or absence of a person.
  • the server device 100 uses the data set DS1 to perform learning processing so as to minimize the set loss function (loss function) to learn the model M1.
  • the server device 100 learns the model M1 by updating parameters such as weights and biases so that the output layer has correct values for data input. For example, in the error backpropagation method, a loss function that indicates how far the value of the output layer is from the correct state (correct label) is used for the neural network. The weights and biases are updated so that is minimized.
  • the server device 100 gives an input value (data) to a neural network (model M1), and the neural network (model M1) calculates a predicted value based on the input value. are compared to evaluate the error.
  • the server device 100 executes learning and construction of the model M1 by successively correcting the values of connection weights (synapse coefficients) in the neural network (model M1) based on the obtained error.
  • the server apparatus 100 may perform the learning process of the model M1 by various methods.
  • the server device 100 may use the model generated at the time of calculating the degree of influence in step S6 as the model M1 learned from the data set DS1 including the data DT12.
  • the server device 100 transmits the generated model M1 to the sensing device 10 (step S10).
  • the information processing system 1 repeats data collection and model update by repeating the processes of steps S1 to S10.
  • the sensing device 10 collects data by sensing using the model M1 received from the server device 100 (step S11).
  • the sensing device 10 performs sensing (recognition of a person, etc.) using the model M1, and performs processing such as automatic driving.
  • the sensing device 10 transmits data collected by sensing using the model M1 to the server device 100 .
  • the server device 100 generates a trained model through a small-label learning process using unlabeled data whose influence is greater than the threshold TH1. That is, the low-label learning process is learning performed using a data group that is not all pre-labeled.
  • the small-label learning process uses unlabeled data collected by the sensing device 10 to predict the label of the unlabeled data, attaches the predicted label to the unlabeled data, and treats the unlabeled data as labeled data. This is the learning process to be used.
  • the information processing system 1 generates a model using data whose degree of influence is greater than the threshold among the data collected by the sensing device 10 .
  • the server device 100 can generate a model using appropriate data by using data with a high degree of influence. Therefore, server device 100 can make available a model generated using appropriate data.
  • the information processing system 1 uploads data collected by a sensor device such as the sensing device 10 to the server device 100 .
  • the information processing system 1 learns the model and distributes the learned model to sensor devices such as the sensing device 10 .
  • the sensor device such as the sensing device 10 performs sensing using the updated trained model.
  • the information processing system 1 can update the model and improve the performance of the model by repeating the above-described processing loop at regular intervals.
  • the workflow collects new data in the operating environment of the edge device. Upload the data to the server and re-learn. At that time, without learning all the data, the data having a large influence on the model is extracted and learned. Also, since it is based on small-label learning, labels are not required for the data.
  • the original model is updated with additional data by transfer learning and delivered to the edge device.
  • the information processing system 1 can learn only a small amount of data necessary for learning without labels.
  • models that are efficiently calculated and re-learned by the server device 100 are distributed to edge devices such as the sensing device 10 and can be used immediately.
  • the model can be automatically grown by repeating the loop at regular time intervals.
  • the information processing system 1 can automatically update the trained model. For example, the information processing system 1 uploads images collected by sensing to the server device 100, calculates the degree of influence of the data, and extracts data with a high degree of influence. The information processing system 1 performs transfer learning using the data to update the model. After that, the information processing system 1 distributes the model to the sensing device 10 and updates the learned model. In addition, the information processing system 1 can perform learning in the server device 100 without labels by small-label learning.
  • the information processing system 1 calculates the degree of influence of data and learns only data having a high degree of influence on the model.
  • the information processing system 1 does not require labels for data due to small-label learning.
  • the information processing system 1 can learn only a small amount of data necessary for learning without labels.
  • the information processing system 1 uses an influence function (influence function) to formulate the influence of the presence or absence of certain (learning) data on the accuracy (output result) of the model. For example, the information processing system 1 calculates the degree of influence of the added data on learning using a model trained using a data set to which data whose influence is to be calculated is added. Below, the calculation of the degree of influence using the influence function will be described using formulas.
  • Influence functions are also used, for example, as a way to explain black-box models of machine learning.
  • the influence function is disclosed, for example, in the following documents. ⁇ Understanding Black-box Predictions via Influence Functions, Pang Wei Kho and Percy Liang ⁇ https://arxiv.org/abs/1703.04730>
  • the information processing system 1 can calculate the degree of influence of data on machine learning, and can calculate (know) how much positive or negative influence certain data has. can. For example, the information processing system 1 calculates (measures) the degree of impact using an algorithm, data, or the like, as described below. A case where an image is used as input data will be described below as an example.
  • each image is labeled, that is, the image is associated with the correct label.
  • each labeled image z (sometimes simply referred to as "image z") can be expressed by the following equation ( 1).
  • the information processing system 1 uses Equation (3) to calculate a parameter ((the left side of Equation (3))) that minimizes the loss.
  • the empirical loss is assumed to be second-differentiable and convex with respect to the parameter ⁇ .
  • parameters (variables) with a letter above them such as the parameters (variables) with a hat above " ⁇ " shown on the left side of Equation (3) indicates a predicted value, for example.
  • a parameter (variable) with " ⁇ " above " ⁇ ” shown on the left side of Equation (3) in a sentence " ⁇ ”.
  • the information processing system 1 calculates parameters (the left side of Equation (4)) when learning is performed using Equation (4) without using certain learning data (image z).
  • the impact is the difference (difference) between when training point z (image z) is removed and when there are all data points including training point z. This difference is shown as the following equation (5).
  • the information processing system 1 uses the influence functions to perform calculations for the case where the image z is removed by effective approximation, as shown below.
  • Equation (7) shows an influence function corresponding to a certain image z.
  • equation (7) expresses the amount of change in the parameter with respect to minute ⁇ .
  • the information processing system 1 can calculate (determine) the degree of influence when the data point z (image z) is removed.
  • the information processing system 1 uses Equations (10-1) to (10-3) below to calculate (determine) the impact on the loss at a test point z test .
  • the information processing system 1 can calculate (determine) the degree of influence of data in the machine learning model by this calculation.
  • the right side of equation (10-3) consists of a gradient for a certain data loss (loss), an inverse Hessian matrix, a certain learning data loss gradient, and the like.
  • the influence of certain data on the prediction (loss) of the model can be obtained by equation (10-3). Note that the above is just an example, and the information processing system 1 may perform various calculations as appropriate to calculate the degree of influence each image has on learning.
  • the information processing system 1 may calculate the degree of impact using a technique related to stochastic gradient descent (SGD).
  • SGD stochastic gradient descent
  • the information processing system 1 may calculate the degree of impact using various methods related to stochastic gradient descent (SGD) disclosed in the following document.
  • the information processing system 1 may also calculate the degree of impact using the method disclosed in the following literature.
  • the information processing system 1 may also calculate the degree of impact using the method disclosed in the following literature.
  • the information processing system 1 may calculate the degree of influence by any method as long as the degree of influence can be calculated.
  • the information processing system 1 may reduce the amount of data by arbitrarily adopting a cache reduction method.
  • the information processing system 1 may perform cache reduction based on the technique disclosed in the following document. ⁇ Data Cleansing for Deep Neural Networks with Storage-efficient Approximation of Influence Functions, Kenji Suzuki, Yoshiyuki Kobayashi, and Takuya Narihira Wei Kho and Percy Liang ⁇ https://arxiv.org/abs/2103.11807>
  • the information processing system 1 calculates the degree of impact of data within the limited HDD capacity. It should be noted that although the system configuration can be achieved without using this cache reduction technique, the amount that can be calculated is limited. Therefore, in this cache reduction, a reduction of 1/1,000 or more can be achieved, and many data influence degrees can be calculated at the time of practical implementation. In the cache reduction method described above, after the calculation, the cache files are reduced, and the data influence degree is calculated one after another. In other words, the above cache reduction technique can calculate more data impact. As a result, the information processing system 1 can efficiently use the finite HDD capacity and calculate the degree of influence of more data.
  • the information processing system 1 records learning data logs in the server device 100 . Specifically, the information processing system 1 uses data determined to be necessary for learning after calculating the degree of influence, and stores the data in the server device 100 . In addition, the information processing system 1 also records in the server device 100 which update date and time was used for learning.
  • the information processing system 1 adjusts the brightness, contrast, chromaticity, etc. of the image in the edge device in the learning process in the server device 100 .
  • the information processing system 1 is provided with a GUI (Graphical User Interface) switch or the like in the device so that the image can be adjusted. Then, the information processing system 1 can generate a more optimized model by calculating the degree of influence of the processed data and performing re-learning by transfer learning.
  • GUI Graphic User Interface
  • the information processing system 1 shown in FIG. 3 will be described.
  • the information processing system 1 is an information processing system that implements adjustment processing for adjusting learning data.
  • the information processing system 1 includes a server device 100 and multiple sensing devices 10a, 10b, 10c, and 10d.
  • the sensing devices 10a, 10b, 10c, 10d, etc. may be referred to as the sensing device 10 when not distinguished.
  • 3 shows four sensing devices 10a, 10b, 10c, and 10d, the information processing system 1 includes more than four sensing devices 10 (for example, 20 or 100 or more).
  • the sensing device 10 and the server device 100 are communicably connected by wire or wirelessly via a predetermined communication network (network N).
  • FIG. 3 is a diagram illustrating a configuration example of an information processing system according to the embodiment; Note that the information processing system 1 shown in FIG. 3 may include a plurality of server devices 100 .
  • the server device 100 is an information processing device (learning) that calculates the degree of influence that data contained in a data set used for learning a model by machine learning has on learning, and learns a model using data whose degree of influence satisfies a condition. equipment).
  • the server device 100 also provides the sensing device 10 with a model.
  • the sensing device 10 is a computer that provides data to the server device 100 .
  • the sensing device 10a is a moving object such as a UAV such as a drone or a vehicle such as an automobile.
  • the sensing device 10 a may have a function of communicating with the server device 100 and may move in response to a request from the server device 100 .
  • the sensing device 10a has an imaging function such as an image sensor (imager), moves to a position according to a request from the server device 100, captures an image or moving image at that position, and transmits the captured image or moving image to the server device. Send to 100.
  • the sensing device 10a and the moving body may be separate bodies.
  • the sensing device 10a may be a device mounted on a moving object such as a UAV such as a drone or a vehicle such as an automobile.
  • the sensing device 10b is a camera having an imaging function.
  • the sensing device 10b is a camera that captures moving images and images and stores captured data.
  • the sensing device 10c is an image sensor (imager) having an imaging function.
  • the sensing device 10 c has a function of communicating with the server device 100 and has a function of transmitting captured images and moving images to the server device 100 .
  • the sensing device 10 c captures an image or moving image in response to a request from the server device 100 and transmits the captured image or moving image to the server device 100 .
  • the sensing device 10d is a moving object such as a UAV such as a drone or a vehicle such as an automobile, like the sensing device 10a.
  • the information processing system 1 may include a plurality of sensing devices 10 of the same type.
  • the information processing system 1 may generate a model based on data collected for each sensing device 10 and provide the model for each sensing device 10 .
  • the information processing system 1 may also generate a common model for multiple sensing devices 10 of the same type and provide the common model to multiple sensing devices 10 of the same type.
  • the communication function, configuration, etc. of the sensing device 10d are the same as those of the sensing device 10a, so description thereof will be omitted.
  • the sensing device 10 may be any device as long as it can implement the processing in the embodiment.
  • the sensing device 10 may be, for example, a smartphone, a tablet terminal, a notebook PC (Personal Computer), a desktop PC, a mobile phone, a PDA (Personal Digital Assistant), or other device.
  • the sensing device 10 may be a wearable device worn by the user, or the like.
  • the sensing device 10 may be a wristwatch-type terminal, a glasses-type terminal, or the like.
  • the sensing device 10 may be a so-called home appliance such as a television or a refrigerator.
  • the sensing device 10 may be a robot that interacts with humans (users), such as smart speakers, entertainment robots, and household robots.
  • the sensing device 10 may be a device such as a digital signage that is placed at a predetermined position.
  • FIG. 4 is a diagram showing a configuration example of the server device 100 according to the embodiment of the present disclosure.
  • the server device 100 has a communication section 110, a storage section 120, and a control section .
  • the server device 100 has an input unit (for example, a keyboard, a mouse, etc.) for receiving various operations from the administrator of the server device 100, and a display unit (for example, a liquid crystal display, etc.) for displaying various information.
  • an input unit for example, a keyboard, a mouse, etc.
  • a display unit for example, a liquid crystal display, etc.
  • the communication unit 110 is implemented by, for example, a NIC (Network Interface Card) or the like.
  • the communication unit 110 is connected to the network N (see FIG. 3) by wire or wirelessly, and transmits and receives information to and from other information processing devices such as the sensing device 10 . Also, the communication unit 110 may transmit and receive information to and from the sensing device 10 .
  • the storage unit 120 is implemented by, for example, a semiconductor memory device such as RAM (Random Access Memory) or flash memory, or a storage device such as a hard disk or optical disk.
  • the storage unit 120 according to the embodiment has a data information storage unit 121, a model information storage unit 122, a threshold information storage unit 123, and a knowledge information storage unit 125, as shown in FIG.
  • the data information storage unit 121 stores various information related to data used for learning.
  • the data information storage unit 121 stores data sets used for learning.
  • FIG. 5 is a diagram illustrating an example of a data information storage unit according to an embodiment of the present disclosure;
  • the data information storage unit 121 stores various information related to various data such as learning data used for learning and evaluation data used for accuracy evaluation (calculation).
  • FIG. 5 shows an example of the data information storage unit 121 according to the embodiment.
  • the data information storage unit 121 includes items such as "data set ID", "data ID”, "data”, “label”, and "date and time”.
  • Dataset ID indicates identification information for identifying a dataset.
  • Data ID indicates identification information for identifying data.
  • Data indicates data identified by a data ID.
  • Label indicates the label (correct label) attached to the corresponding data.
  • the “label” may be information (correct answer information) indicating the classification (category) of the corresponding data.
  • the “label” is correct information (correct label) indicating what kind of object is included in the data (image).
  • the label is stored in association with the data.
  • a label predicted for that data is stored in association with that data.
  • labels shown in parentheses are predicted labels
  • labels LB4 to LB8 are predicted labels.
  • the server device 100 predicts labels not only for a small number of labeled data, but also for a large number of unlabeled data, and applies the predicted labels to the data. By attaching it, it is used for learning as labeled data.
  • “Date and time” indicates the time (date and time) related to the corresponding data.
  • “DA1” or the like is shown, but the "date and time” may be a specific date and time such as "15:22:35 on August 1, 2021".
  • Information indicating from which model learning the data started to be used may be stored, such as "use started from model learning of version XX”.
  • the data set (data set DS1) identified by the data set ID "DS1" includes a plurality of data identified by the data IDs "DID1", “DID2", “DID3”, etc. indicates that For example, each data (learning data) identified by data IDs "DID1", “DID2", “DID3”, etc. is image information or the like used for model learning.
  • the data DT1 identified by the data ID "DID1” is labeled data with the label LB1 attached, and indicates that use started from model learning at date and time DA1.
  • data DT4 identified by the data ID "DID4" is data collected as unlabeled data and attached with the label LB4, which is a prediction label, and is used starting from model learning at date and time DA4. indicates that the
  • the data information storage unit 121 may store various types of information, not limited to the above, depending on the purpose.
  • the data information storage unit 121 may store data such as whether each data is learning data or evaluation data so as to be identifiable.
  • the data information storage unit 121 stores learning data and evaluation data in a distinguishable manner.
  • the data information storage unit 121 may store information identifying whether each data is learning data or evaluation data.
  • the server device 100 learns a model based on each data used as learning data and the correct answer information.
  • the server device 100 calculates the accuracy of the model based on each data used as the evaluation data and the correct answer information.
  • the server device 100 calculates the accuracy of the model by collecting the result of comparing the output result output by the model when the evaluation data is input with the correct answer information.
  • the model information storage unit 122 stores information about models.
  • the model information storage unit 122 stores information (model data) indicating the structure of a model (network).
  • FIG. 6 is a diagram illustrating an example of a model information storage unit according to an embodiment of the present disclosure; FIG. 6 shows an example of the model information storage unit 122 according to the embodiment.
  • the model information storage unit 122 includes items such as "model ID", "usage", and "model data”.
  • Model ID indicates identification information for identifying a model.
  • User indicates the use of the corresponding model.
  • Model data indicates model data.
  • FIG. 6 shows an example in which conceptual information such as “MDT1" is stored in “model data”, but in reality, various types of information that make up the model, such as network information and functions included in the model, are stored. included.
  • model M1 identified by the model ID "M1" indicates that the application is "image recognition”.
  • Model M1 indicates that it is a model used for image recognition. It also indicates that the model data of the model M1 is the model data MDT1.
  • model M2 identified by the model ID "M2" indicates that the application is "label prediction”.
  • Model M2 indicates that it is a model used for label prediction.
  • model M2 is a classifier to predict labels for unlabeled data. It also indicates that the model data of the model M2 is the model data MDT2.
  • model information storage unit 122 may store various types of information, not limited to the above, depending on the purpose.
  • the model information storage unit 122 stores parameter information of the model learned (generated) by the learning process.
  • the threshold information storage unit 123 stores various information regarding thresholds.
  • the threshold information storage unit 123 stores various information regarding thresholds used for comparison with scores.
  • 7 is a diagram illustrating an example of a threshold information storage unit according to the embodiment; FIG.
  • the threshold information storage unit 123 shown in FIG. 7 includes items such as "threshold ID", "usage”, and "threshold”.
  • Threshold ID indicates identification information for identifying the threshold.
  • User indicates the usage of the threshold.
  • Threshold indicates a specific value of the threshold identified by the corresponding threshold ID.
  • the threshold (threshold TH1) identified by the threshold ID "TH1" is stored in association with information indicating that it is used to determine the degree of impact. That is, the threshold TH1 is used to determine whether or not the target data has a high degree of influence. Data determined to have a high degree of influence are added to the data set, and data determined to have a low degree of influence are deleted. Also, the value of the threshold TH1 indicates that it is "VL1". In the example of FIG. 7, the value of the threshold TH1 is a specific numerical value (for example, 0.6), although it is indicated by an abstract code such as "VL1".
  • the threshold information storage unit 123 may store various types of information, not limited to the above, depending on the purpose.
  • the control unit 130 stores a program (for example, an information processing program such as a learning processing program according to the present disclosure) stored inside the server device 100 by, for example, a CPU (Central Processing Unit) or an MPU (Micro Processing Unit). (Random Access Memory) etc. are executed as a work area. Also, the control unit 130 is a controller, and is implemented by an integrated circuit such as an ASIC (Application Specific Integrated Circuit) or an FPGA (Field Programmable Gate Array).
  • ASIC Application Specific Integrated Circuit
  • FPGA Field Programmable Gate Array
  • the control unit 130 has an acquisition unit 131, a calculation unit 132, a data management unit 133, a compensation unit 134, a prediction unit 135, a learning unit 136, and a transmission unit 137. , implements or performs the information processing functions and actions described below.
  • the internal configuration of the control unit 130 is not limited to the configuration shown in FIG. 4, and may be another configuration as long as it performs information processing to be described later.
  • the connection relationship of each processing unit of the control unit 130 is not limited to the connection relationship shown in FIG. 4, and may be another connection relationship.
  • the acquisition unit 131 acquires various types of information. Acquisition unit 131 acquires various types of information from storage unit 120 . The acquisition unit 131 acquires various types of information from the data information storage unit 121 , the model information storage unit 122 and the threshold information storage unit 123 .
  • the acquisition unit 131 receives various information from an external information processing device.
  • the acquisition unit 131 receives various information from the sensing device 10 .
  • the acquisition unit 131 acquires various information calculated by the calculation unit 132 .
  • the acquisition unit 131 acquires various types of information corrected by the correction unit 134 .
  • the acquisition unit 131 acquires various information predicted by the prediction unit 135 .
  • the acquisition unit 131 acquires various information learned by the learning unit 136 .
  • the calculation unit 132 calculates various processes.
  • the calculation unit 132 calculates the degree of influence of learning data used for learning of the neural network on learning.
  • the calculator 132 calculates various processes based on information from an external information processing device.
  • the calculation unit 132 calculates various processes based on information stored in the storage unit 120 .
  • the calculation unit 132 calculates various processes based on information stored in the data information storage unit 121, the model information storage unit 122, and the threshold information storage unit 123.
  • FIG. The calculator 132 generates various types of information by calculating the processing.
  • the calculation unit 132 calculates various processes based on various information acquired by the acquisition unit 131 .
  • the calculation unit 132 calculates the degree of influence of the data collected by the sensing device 10 on model learning by machine learning.
  • the calculator 132 calculates the degree of impact based on the loss function.
  • the calculation unit 132 calculates the degree of influence using the influence function.
  • the calculator 132 calculates the degree of influence of image data collected by the image sensor.
  • the calculation unit 132 calculates the degree of influence of data collected by the sensing device 10, which is an external device, using the learned model.
  • the data management unit 133 executes various processes related to data management.
  • the data management unit 133 determines data.
  • the data management unit 133 makes judgments on data collected by the sensing device 10 .
  • the data management unit 133 determines the necessity of each data based on the degree of influence of each data.
  • the data management unit 133 deletes data whose degree of influence does not satisfy the conditions.
  • the data management unit 133 stores the data whose degree of influence satisfies the condition as a log in the storage unit 120 .
  • the data management unit 133 adds data to the data set based on the calculation results of the calculation unit 132.
  • the data management unit 133 adds data determined to have a high degree of influence to the data set.
  • the data management unit 133 adds the target data with the prediction labels predicted by the prediction unit 135 to the data set, with the data determined to have a high degree of influence as the target data.
  • the data management unit 133 associates the data determined to have a high degree of influence with the predicted label of the data and adds them to the data set.
  • the compensation unit 134 compensates various data.
  • the compensator 134 compensates the data collected by the sensing device 10 .
  • the compensator 134 compensates the image data collected by the sensing device 10 .
  • the compensation unit 134 compensates the image data by adjusting the brightness of the image data.
  • the compensation unit 134 compensates the image data by adjusting the contrast of the image data.
  • the compensation unit 134 compensates the image data by adjusting the chromaticity of the image data.
  • the compensator 134 compensates the image data according to the image sensor of the sensing device 10 .
  • the correction unit 134 corrects the image data according to the correction content corresponding to the image sensor of the sensing device 10 in the list information, using the list information indicating the correction content for each image sensor.
  • the prediction unit 135 predicts various information.
  • the prediction unit 135 predicts labels of data.
  • the prediction unit 135 predicts the label of unlabeled data, which is unlabeled data.
  • the prediction unit 135 predicts the predicted label of the unlabeled data using a classifier that has been trained on the labeled data set.
  • the prediction unit 135 predicts the predicted label of data using the model M2, which is a classifier used for label prediction.
  • the prediction unit 135 inputs data to be predicted (prediction target data) to the model M2, and uses the output of the model M2 to predict the prediction label of the prediction target data.
  • the prediction unit 135 predicts the classification result of the prediction target data output by the model M2 as the prediction label of the prediction target data.
  • the learning unit 136 learns various types of information.
  • the learning unit 136 learns various types of information based on information from an external information processing device and information stored in the storage unit 120 .
  • the learning section 136 learns various types of information based on the information stored in the data information storage section 121 .
  • the learning unit 136 stores the model generated by learning in the model information storage unit 122 .
  • the learning unit 136 stores the model updated by learning in the model information storage unit 122 .
  • the learning unit 136 performs learning processing.
  • the learning unit 136 performs various types of learning.
  • the learning unit 136 learns various types of information based on the information acquired by the acquisition unit 131 .
  • the learning unit 136 learns (generates) a model.
  • the learning unit 136 learns various information such as models.
  • the learning unit 136 generates a model through learning.
  • the learning unit 136 learns the model using various machine learning techniques. For example, the learning unit 136 learns model (network) parameters.
  • the learning unit 136 learns the model using various machine learning techniques.
  • the learning unit 136 generates a model M1. Also, the learning unit 136 generates a model M2. The learning unit 136 learns network parameters. For example, the learning unit 136 learns network parameters of the model M1. Also, the learning unit 136 learns parameters of the network of the model M2.
  • the learning unit 136 performs learning processing based on the learning data (teacher data) stored in the data information storage unit 121.
  • the learning unit 136 generates the model M1 by performing learning processing using the learning data stored in the data information storage unit 121 .
  • the learning unit 136 generates models used for image recognition.
  • the learning unit 136 generates the model M1 by learning the parameters of the network of the model M1.
  • the learning unit 136 generates the model M2 by learning the network parameters of the model M2.
  • the method of learning by the learning unit 136 is not particularly limited. You can learn. Also, for example, a technique based on DNN (Deep Neural Network) such as CNN (Convolutional Neural Network) and 3D-CNN may be used.
  • the learning unit 136 uses a recurrent neural network (RNN) or LSTM (Long Short-Term Memory units), which is an extension of RNN, when targeting time-series data such as moving images (moving images) such as videos. You may use the method based on.
  • RNN recurrent neural network
  • LSTM Long Short-Term Memory units
  • the learning unit 136 generates a trained model through a small-label learning process in which the model is learned using data whose degree of influence calculated by the calculation unit 132 satisfies the conditions.
  • the learning unit 136 performs a small-label learning process using data whose degree of influence is greater than a predetermined threshold.
  • the learning unit 136 performs a small-label learning process using the predicted label predicted by the prediction unit 135 and the target data, with the unlabeled data whose influence degree satisfies the condition as the target data.
  • the learning unit 136 generates a trained model using the data set to which the predicted labeled target data is added.
  • the learning unit 136 executes learning processing using the data set.
  • the learning unit 136 performs small-label learning processing using image data whose degree of influence satisfies the conditions.
  • the learning unit 136 performs a small-label learning process using corrected image data obtained by correcting the image data whose degree of influence satisfies the condition.
  • the learning unit 136 updates the learned model using data whose degree of influence calculated by the calculation unit 132 satisfies the condition.
  • the transmission unit 137 transmits various types of information.
  • the transmission unit 137 transmits various types of information to an external information processing device.
  • the transmission unit 137 provides various types of information to an external information processing device.
  • the transmission unit 137 transmits various information to other information processing apparatuses such as the sensing device 10 .
  • the transmitter 137 provides information stored in the storage 120 .
  • Transmitter 137 transmits information stored in storage 120 .
  • the transmission unit 137 provides various information based on information from other information processing devices such as the sensing device 10 .
  • the transmitting section 137 provides various information based on the information stored in the storage section 120 .
  • the transmission unit 137 provides various information based on the information stored in the data information storage unit 121, the model information storage unit 122, and the threshold information storage unit 123. FIG.
  • the transmission unit 137 transmits the trained model generated by the learning unit 136 to the sensing device 10.
  • the transmission unit 137 transmits the model M ⁇ b>1 that is the generated trained model to the sensing device 10 .
  • the transmission unit 137 transmits the trained model updated by the learning unit 136 to the sensing device 10 .
  • the transmitter 137 transmits the updated model M1 to the sensing device 10 .
  • the server device 100 may use a model (network) in the form of a neural network (NN) such as a deep neural network (DNN).
  • NN neural network
  • DNN deep neural network
  • the server device 100 is not limited to a neural network, and may use various types of models (functions) such as regression models such as SVM (Support Vector Machine).
  • the server device 100 may use any type of model (function).
  • the server device 100 may use various regression models such as a nonlinear regression model and a linear regression model.
  • FIG. 8 is a diagram of an example of a network corresponding to the model.
  • a network NW1 shown in FIG. 8 represents a neural network including a plurality of (multilayer) intermediate layers between an input layer INL and an output layer OUTL.
  • a network NW1 shown in FIG. 8 corresponds to the neural network NN in FIG.
  • the server device 100 may learn the parameters of the network NW1 shown in FIG.
  • a network NW1 shown in FIG. 8 corresponds to the network of model M1 and is a conceptual diagram showing a neural network (model) used for image recognition. For example, when an image is input from the input layer INL side, the network NW1 outputs the recognition result from the output layer OUTL. For example, the server device 100 outputs recognition results corresponding to the input from the output layer OUTL by inputting information to the input layer INL in the network NW1.
  • FIG. 8 shows the network NW1 as an example of a model (network)
  • the network NW1 may be of various types depending on the application.
  • the server device 100 learns the model M1 by learning the parameters (weights) of the model M1 having the structure of the network NW1 shown in FIG.
  • FIG. 9 is a diagram illustrating a configuration example of a sensing device according to an embodiment of the present disclosure.
  • the sensing device 10 has a communication section 11, an input section 12, an output section 13, a storage section 14, a control section 15, and a sensor section 16.
  • the sensing device 10 may have any device configuration as long as it can collect data and provide it to the server device 100 .
  • the sensing device 10 may have any other configuration as long as it has a communication unit 11 that communicates with the server device 100 and a control unit 15 that performs processing for collecting data.
  • the sensing device 10 may not have any of the input section 12 , the output section 13 , the storage section 14 , and the sensor section 16 .
  • the sensing device 10 may be configured to have only the communication section 11, the control section 15, and the sensor section 16.
  • an imaging device used in an image sensor (imager) is a CMOS (Complementary Metal Oxide Semiconductor).
  • the imaging element used in the image sensor (imager) is not limited to CMOS, and may be various imaging elements such as CCD (Charge Coupled Device).
  • the sensing device 10 when the sensing device 10 is a data server, the sensing device 10 may be configured to have only the communication unit 11 , the storage unit 14 and the control unit 15 .
  • the sensing device 10 when the sensing device 10 is a moving body, the sensing device 10 may be configured to have a mechanism for realizing movement, such as a drive section (motor).
  • the communication unit 11 is implemented by, for example, a NIC, a communication circuit, or the like.
  • the communication unit 11 is connected to a network N (Internet or the like) by wire or wirelessly, and transmits and receives information to and from other devices such as the server device 100 via the network N.
  • a network N Internet or the like
  • the input unit 12 accepts various inputs.
  • the input unit 12 receives a user's operation.
  • the input unit 12 may accept an operation (user operation) to the sensing device 10 used by the user as an operation input by the user.
  • the input unit 12 may receive, via the communication unit 11, information regarding user operations using a remote controller (remote controller).
  • the input unit 12 may also have buttons provided on the sensing device 10 and a keyboard and mouse connected to the sensing device 10 .
  • the input unit 12 may have a touch panel capable of realizing functions equivalent to those of a remote controller, keyboard, or mouse.
  • various information is input to the input unit 12 via the display (output unit 13).
  • the input unit 12 receives various operations from the user via the display screen using a touch panel function realized by various sensors. That is, the input unit 12 receives various operations from the user via the display (output unit 13) of the sensing device 10.
  • FIG. For example, the input unit 12 receives a user's operation via the display (output unit 13) of the sensing device 10.
  • the output unit 13 outputs various information.
  • the output unit 13 has a function of displaying information.
  • the output unit 13 is provided in the sensing device 10 and displays various information.
  • the output unit 13 is realized by, for example, a liquid crystal display or an organic EL (Electro-Luminescence) display.
  • the output unit 13 may have a function of outputting sound.
  • the output unit 13 has a speaker that outputs audio.
  • the storage unit 14 is implemented, for example, by a semiconductor memory device such as a RAM or flash memory, or a storage device such as a hard disk or optical disk.
  • the storage unit 14 stores various information necessary for collecting data.
  • the storage unit 14 has a model information storage unit 141 .
  • the model information storage unit 141 stores information (model data) indicating the structure of the model (network).
  • FIG. 10 is a diagram illustrating an example of a model information storage unit according to an embodiment of the present disclosure; FIG. 10 shows an example of the model information storage unit 141 according to the embodiment.
  • the model information storage unit 141 includes items such as "model ID", "usage", and "model data”.
  • Model ID indicates identification information for identifying a model.
  • User indicates the use of the corresponding model.
  • Model data indicates model data.
  • FIG. 10 shows an example in which conceptual information such as “MDT1" is stored in “model data”, but in reality, various types of information that make up the model, such as network information and functions included in the model, are stored. included.
  • model M1 identified by the model ID "M1" indicates that the application is "image recognition”.
  • Model M1 indicates that it is a model used for image recognition. It also indicates that the model data of the model M1 is the model data MDT1.
  • model information storage unit 141 may store various types of information, not limited to the above, depending on the purpose.
  • the model information storage unit 141 stores parameter information of the model learned (generated) by the learning process.
  • the control unit 15 executes, for example, a program stored inside the sensing device 10 (for example, an information processing program such as a data providing program according to the present disclosure) using a RAM or the like as a work area by a CPU, an MPU, or the like. Realized. Also, the control unit 15 is a controller, and may be realized by an integrated circuit such as an ASIC or FPGA, for example.
  • control unit 15 has a receiving unit 151, a collecting unit 152, and a transmitting unit 153, and implements or executes the information processing functions and actions described below.
  • the internal configuration of the control unit 15 is not limited to the configuration shown in FIG. 9, and may be another configuration as long as it performs the information processing described later.
  • the receiving unit 151 receives various information.
  • the receiving unit 151 receives various information from an external information processing device.
  • the receiving unit 151 receives various information from other information processing devices such as the server device 100 .
  • the receiving unit 151 receives from the server device 100 the trained model learned by the server device 100 .
  • the receiving unit 151 receives from the server device 100 a learned model updated using data collected by the sensing device 10 through sensing using the learned model.
  • the receiving unit 151 receives from the server device 100 a trained model that has been trained by the server device 100 using image data.
  • the collection unit 152 collects various types of information.
  • the collection unit 152 determines collection of various information.
  • the collection unit 152 collects various types of information based on information from an external information processing device.
  • the collection unit 152 collects various types of information based on the information stored in the storage unit 14 .
  • the collection unit 152 collects data by sensing using the model M1 stored in the model information storage unit 141 .
  • the collection unit 152 collects data by sensing using the trained model.
  • the collection unit 152 collects data by sensing using the trained model updated by the server device 100 .
  • the collection unit 152 collects image data detected by the sensor unit 16 .
  • the collection unit 152 collects image data by sensing using the learned model.
  • the transmission unit 153 transmits various types of information to an external information processing device. For example, the transmission unit 153 transmits various information to other information processing devices such as the server device 100 . The transmission unit 153 transmits information stored in the storage unit 14 .
  • the transmission unit 153 transmits various information based on information from other information processing devices such as the server device 100 .
  • the transmission unit 153 transmits various information based on the information stored in the storage unit 14 .
  • the transmission unit 153 generates a trained model by a small label learning process of learning a model using data collected by sensing when the degree of influence of the data on model learning by machine learning satisfies a condition. It transmits to the server device 100 .
  • the transmission unit 153 transmits data collected by the collection unit 152 through sensing using the learned model to the server device 100 .
  • the transmission unit 153 transmits image data collected by sensing to the server device 100 .
  • the transmission unit 153 transmits image data detected by the image sensor (image sensor) of the sensor unit 16 to the server device 100 .
  • the sensor unit 16 detects various sensor information.
  • the sensor unit 16 has a function as an imaging unit that captures an image.
  • the sensor unit 16 has the function of an image sensor and detects image information.
  • the sensor unit 16 functions as an image input unit that receives an image as an input.
  • the sensor unit 16 is not limited to the above, and may have various sensors.
  • the sensor unit 16 includes a sound sensor, a position sensor, an acceleration sensor, a gyro sensor, a temperature sensor, a humidity sensor, an illuminance sensor, a pressure sensor, a proximity sensor, and sensors for receiving biological information such as odor, sweat, heartbeat, pulse, and brain waves. It may have various sensors such as sensors. Further, the sensors for detecting the above various information in the sensor unit 16 may be a common sensor, or may be implemented by different sensors.
  • FIG. 11 is a flow chart showing processing of the learning device according to the embodiment of the present disclosure. Specifically, FIG. 11 is a flowchart showing the procedure of information processing by the server device 100, which is an example of the learning device.
  • the server device 100 performs processing using the data ULD collected by the sensing device 10 .
  • the server device 100 receives data ULD from the sensing device 10 .
  • the server device 100 calculates the degree of influence of data (step S101). For example, the server device 100 calculates the degree of influence of each piece of data in the data ULD.
  • the server device 100 generates a trained model through a small-label learning process using data with a high degree of data influence (step S102). For example, the server device 100 generates a trained model by a small label learning process using data having a high degree of data influence among the data ULD. The server device 100 predicts the label of data with a high degree of influence, and uses the predicted label and the data with a high degree of influence to generate a trained model.
  • FIG. 12 is a sequence diagram showing processing procedures of the information processing system according to the embodiment of the present disclosure.
  • the sensing device 10 collects data by sensing (step S201). The sensing device 10 then transmits the collected data to the server device 100 (step S202).
  • the server device 100 calculates the degree of influence of each data collected by the sensing device 10 (step S203).
  • the server device 100 deletes data with a low degree of influence (step S204). For example, the server device 100 deletes data whose degree of influence is equal to or less than a threshold among the data collected by the sensing device 10 and does not store the data in the storage unit 120 .
  • the server device 100 adds data with a high degree of influence to the data set (step S205).
  • the server device 100 adds data with a degree of influence greater than the threshold to the data set used for learning.
  • the server device 100 generates a model through a small-label learning process using a data set to which data with a high degree of influence have been added. (Step S206). For example, the server device 100 predicts a label for data with a high degree of influence as target data, attaches the predicted label to the target data, and generates a model using a data set to which the target data is added.
  • the server device 100 transmits the generated model to the sensing device 10 (step S207). Then, the sensing device 10 updates the model in its own device to the model received from the server device 100 (step S208).
  • the sensing device 10 collects data by sensing using the updated model (step S209).
  • the sensing device 10 then transmits the collected data to the server device 100 (step S210).
  • the information processing system 1 repeats data collection and model update by repeating the processes of steps S203 to S210.
  • the server device 100 calculates the degree of impact of collected data using a model updated by the sensing device 10 .
  • the server device 100 updates the model using data whose degree of influence satisfies the condition.
  • Server device 100 transmits the updated model to sensing device 10 .
  • the sensing device 10 then collects data by sensing using the updated model.
  • the server device 100 and the sensing device 10 are separate units, that is, the learning device for learning the model and the device for sensing data are separate units.
  • the sensing device 10 may be a learning device (information processing device) having a function of collecting data by sensing and a function of learning a model.
  • the sensing device 10 has various configurations (for example, the calculation unit 132, the learning unit 136, etc.) for learning the model of the server device 100 described above, and generates the model using the data collected by the device itself.
  • the sensing device 10 may be a camera, smartphone, television, automobile, drone, robot, or the like. In this way, the sensing device 10 may be a terminal device (computer) that autonomously collects highly influential learning data and generates a model.
  • each component of each device illustrated is functionally conceptual and does not necessarily need to be physically configured as illustrated.
  • the specific form of distribution and integration of each device is not limited to the one shown in the figure, and all or part of them can be functionally or physically distributed and integrated in arbitrary units according to various loads and usage conditions. Can be integrated and configured.
  • the learning device (the server device 100 in the embodiment) according to the present disclosure includes the calculation unit (the calculation unit 132 in the embodiment) and the learning unit (the learning unit 136 in the embodiment).
  • the calculation unit calculates the degree of influence of data collected by the sensing device (sensing device 10 in the embodiment) on model learning by machine learning.
  • the learning unit generates a trained model through a small-label learning process of learning the model using data whose degree of influence calculated by the calculation unit satisfies a condition.
  • the learning device executes the small-label learning process using the data that satisfies the condition of the degree of influence on model learning among the data collected by the sensing device, and generates the model.
  • the learning device can generate a model using appropriate data by using data whose degree of influence satisfies the condition. Therefore, the learning device can make available the model generated using the appropriate data.
  • the calculation unit performs small-label learning processing using data whose degree of influence is greater than a predetermined threshold.
  • the learning device executes the small-label learning process using data with a degree of influence greater than a predetermined threshold, ie, data with a high degree of influence, and generates a model.
  • the learning device can generate a model using appropriate data by using data with a high degree of influence.
  • the calculation unit calculates the degree of impact based on the loss function. In this way, the learning device can accurately calculate the influence of each data by calculating the influence based on the loss function. Therefore, the learning device can generate a model using appropriate data.
  • the calculation unit calculates the degree of influence using the influence function. In this way, the learning device can accurately calculate the influence of each data by calculating the influence using the influence function. Therefore, the learning device can generate a model using appropriate data.
  • the learning device includes a prediction unit (the prediction unit 135 in the embodiment).
  • the predictor predicts the label of unlabeled data, which is unlabeled data.
  • the learning unit performs a small-label learning process using the predicted label predicted by the prediction unit and the target data, with the unlabeled data whose influence degree satisfies the condition as the target data.
  • the learning device uses unlabeled data whose influence degree satisfies the condition as target data, and performs the low-label learning process using the target data and predicted labels predicted, thereby using unlabeled data as well. can be used to generate the model.
  • the prediction unit predicts the predicted label of the target data using a classifier learned from the labeled data set.
  • the learning unit generates a trained model using the data set to which the predicted labeled target data is added. In this way, the learning device adds the data set to which the target data with the prediction label is added, and generates the trained model using the data, thereby generating the model using appropriate data. can be done.
  • the learning device includes a data management unit (data management unit 133 in the embodiment).
  • the data management unit deletes data whose influence degree does not satisfy the condition, and stores data whose influence degree satisfies the condition as a log in the storage unit. In this way, the learning device can reduce the amount of data to be stored in the storage unit by deleting data whose degree of influence does not satisfy the condition.
  • the learning device manages the data used for learning by storing the data whose degree of influence satisfies the conditions as a log in the storage unit (storage unit 120 in the embodiment), and uses the data for model generation as necessary. It can be possible to explain the model, such as presenting the data obtained.
  • the calculation unit calculates the degree of influence of the image data collected by the image sensor.
  • the learning unit performs a small-label learning process using image data whose degree of influence satisfies a condition.
  • the learning device executes the small-label learning process using image data that satisfies the condition of the degree of influence on model learning among the image data collected by the sensing device, and generates a model.
  • the learning device can generate a model using appropriate image data by using image data whose degree of influence satisfies the condition.
  • the learning unit performs a small-label learning process using the corrected image data obtained by correcting the image data whose degree of influence satisfies the condition.
  • the learning device can generate a model using appropriate image data by generating a model using the corrected image data.
  • the learning device includes a transmission unit (transmission unit 137 in the embodiment).
  • the transmission unit transmits the trained model generated by the learning unit to an external device (sensing device 10 in the embodiment). In this way, the learning device can make available the model generated using appropriate data by transmitting the generated model to the external device.
  • the calculation unit calculates the degree of influence of the data collected by the sensing device, which is an external device, using the trained model.
  • the learning unit updates the learned model using data whose degree of influence calculated by the calculation unit satisfies the condition. In this way, the learning device can appropriately update the model using the data collected using the generated model. As a result, the learning device can update the model and improve the accuracy (performance) of the model by repeating this loop at regular intervals.
  • the transmission unit transmits the learned model updated by the learning unit to the sensing device.
  • the learning device can cause the sensing device to perform processing using the updated model by transmitting the updated model to the sensing device. Therefore, the learning device can make available the model generated using the appropriate data.
  • the learning device is a server device that provides a model to the sensing device.
  • the learning device can make available a model generated using appropriate data. can.
  • the sensing device (the sensing device 10 in the embodiment) according to the present disclosure includes a transmitter (the transmitter 153 in the embodiment), a receiver (the receiver 151 in the embodiment), and a collector (the Then, a collection unit 152) is provided.
  • the transmission unit uses the data collected by sensing to generate a trained model through a small-label learning process that trains a model using the data when the degree of influence of the data on the learning of the model by machine learning satisfies the conditions. It transmits to the device (the server device 100 in the embodiment).
  • the receiving unit receives the trained model trained by the learning device from the learning device.
  • the collecting unit collects data by sensing using the trained model.
  • the sensing device transmits collected data to the learning device, performs the small-label learning process using the data that satisfies the condition of the degree of influence exerted by the learning device on the model learning, and generates the generated data. receive the model. Then, the sensing device collects data by sensing using the model. Thereby, the sensing device can collect data using a model generated using the data collected by the sensing device. Thus, the sensing device can make available the model generated with the appropriate data.
  • the transmission unit transmits data collected by the collection unit through sensing using the trained model to the learning device.
  • the sensing device provides the learning device with data collected using the model generated by the learning device, thereby enabling the learning device to update the model using the data. .
  • the sensing device can make available the model generated with the appropriate data.
  • the receiving unit receives from the learning device the learned model updated using the data collected by the sensing device through sensing using the learned model.
  • the collecting unit collects data by sensing using the trained model updated by the learning device.
  • the sensing device can collect data using a model updated using the data collected by the sensing device.
  • the sensing device can make available the model generated with the appropriate data.
  • the collection unit also collects image data detected by the sensor unit (sensor unit 16 in the embodiment).
  • the sensing device can collect image data to enable the learning device to update the model using the image data.
  • the sensing device can make available the model generated with the appropriate data.
  • the transmission unit transmits image data collected by sensing to the learning device.
  • the receiving unit receives, from the learning device, a trained model trained by the learning device using the image data.
  • the collection unit collects image data by sensing using the trained model.
  • the sensing device transmits collected image data to the learning device and receives a model generated by the learning device using the image data. Then, the sensing device collects image data by sensing using the model. Thereby, the sensing device can collect image data using a model generated using the image data collected by the sensing device. Thus, the sensing device can make available the model generated with the appropriate data.
  • FIG. 13 is a hardware configuration diagram showing an example of a computer 1000 that realizes functions of information processing apparatuses such as the server apparatus 100 and the sensing device 10.
  • the computer 1000 has a CPU 1100 , a RAM 1200 , a ROM (Read Only Memory) 1300 , a HDD (Hard Disk Drive) 1400 , a communication interface 1500 and an input/output interface 1600 .
  • Each part of computer 1000 is connected by bus 1050 .
  • the CPU 1100 operates based on programs stored in the ROM 1300 or HDD 1400 and controls each section. For example, the CPU 1100 loads programs stored in the ROM 1300 or HDD 1400 into the RAM 1200 and executes processes corresponding to various programs.
  • the ROM 1300 stores a boot program such as BIOS (Basic Input Output System) executed by the CPU 1100 when the computer 1000 is started, and programs dependent on the hardware of the computer 1000.
  • BIOS Basic Input Output System
  • the HDD 1400 is a computer-readable recording medium that non-temporarily records programs executed by the CPU 1100 and data used by such programs.
  • HDD 1400 is a recording medium that records an information processing program according to the present disclosure, which is an example of program data 1450 .
  • a communication interface 1500 is an interface for connecting the computer 1000 to an external network 1550 (for example, the Internet).
  • CPU 1100 receives data from another device via communication interface 1500, and transmits data generated by CPU 1100 to another device.
  • the input/output interface 1600 is an interface for connecting the input/output device 1650 and the computer 1000 .
  • the CPU 1100 receives data from input devices such as a keyboard and mouse via the input/output interface 1600 .
  • the CPU 1100 also transmits data to an output device such as a display, speaker, or printer via the input/output interface 1600 .
  • the input/output interface 1600 may function as a media interface for reading a program or the like recorded on a predetermined recording medium.
  • Media include, for example, optical recording media such as DVD (Digital Versatile Disc) and PD (Phase change rewritable disk), magneto-optical recording media such as MO (Magneto-Optical disk), tape media, magnetic recording media, semiconductor memories, etc. is.
  • the CPU 1100 of the computer 1000 implements the functions of the control unit 130 and the like by executing the information processing program loaded on the RAM 1200.
  • the HDD 1400 also stores an information processing program according to the present disclosure and data in the storage unit 120 .
  • CPU 1100 reads and executes program data 1450 from HDD 1400 , as another example, these programs may be obtained from another device via external network 1550 .
  • the present technology can also take the following configuration.
  • a calculation unit that calculates the degree of influence of the data collected by the sensing device on model learning by machine learning; a learning unit that generates a trained model by a small-label learning process of learning the model using data that satisfies the condition of the degree of influence calculated by the calculation unit;
  • a learning device with (2) The learning unit The learning device according to (1), wherein the low-label learning process is performed using data having the degree of influence greater than a predetermined threshold.
  • the calculation unit The learning device according to (1) or (2), wherein the degree of influence is calculated based on a loss function.
  • the calculation unit The learning device according to any one of (1) to (3), wherein the degree of influence is calculated by influence functions.
  • a prediction unit that predicts the label of unlabeled data that is unlabeled data; further comprising The learning unit any one of (1) to (4), wherein the small label learning process is performed using the predicted labels predicted by the prediction unit and the target data, with unlabeled data satisfying the influence degree satisfying the condition as target data; A learning device as described.
  • the prediction unit Predicting the predicted label of the target data using a classifier learned from a dataset of labeled data that has been labeled;
  • the learning unit The learning device according to (5), wherein the trained model is generated using a data set to which the target data with the prediction label is added.
  • a data management unit that deletes data whose influence degree does not satisfy the condition and stores data whose influence degree satisfies the condition as a log in a storage unit;
  • the learning device according to any one of (1) to (6), further comprising: (8) The calculation unit calculating the degree of influence of image data collected by an image sensor; The learning unit The learning device according to any one of (1) to (7), wherein the low-label learning process is performed using image data whose degree of influence satisfies a condition. (9) The learning unit The learning device according to (8), wherein the low-label learning process is performed using corrected image data obtained by correcting the image data satisfying the influence degree condition.
  • (10) a transmitting unit that transmits the trained model generated by the learning unit to an external device;
  • the learning device according to any one of (1) to (9), further comprising: (11) The calculation unit calculating the degree of influence of data collected by the sensing device, which is the external device, using the trained model; The learning unit The learning device according to (10), wherein the learned model is updated using data whose degree of influence calculated by the calculator satisfies a condition. (12) The transmission unit (11), wherein the learned model updated by the learning unit is transmitted to the sensing device. (13) The learning device according to (11) or (12), which is a server device that provides a model to the sensing device.
  • a transmitter for transmitting a receiving unit that receives the trained model learned by the learning device from the learning device; a collection unit that collects data by sensing using the trained model; Sensing device with (16) The transmission unit (15) The sensing device according to (15), wherein the collection unit transmits data collected by sensing using the trained model to the learning device. (17) The receiving unit the sensing device receives the learned model updated using data collected by sensing using the learned model from the learning device; The collection unit is (16), wherein data is collected by sensing using the learned model updated by the learning device. (18) The collection unit is The sensing device according to any one of (15) to (17), which collects image data detected by the sensor unit.
  • the transmission unit transmits image data collected by sensing to the learning device, The receiving unit receiving the trained model trained by the learning device using image data from the learning device; The collection unit is (18), wherein image data is collected by sensing using the trained model.
  • a learning device that generates a trained model by a small label learning process that uses data collected by sensing to learn the model when the degree of influence of the data on the learning of the model by machine learning satisfies a condition. send and receiving the learned model learned by the learning device from the learning device; collecting data by sensing using the trained model; The data collection method that performs the processing.
  • 1 information processing system 100 server device (learning device) 110 communication unit 120 storage unit 121 data information storage unit 122 model information storage unit 123 threshold information storage unit 130 control unit 131 acquisition unit 132 calculation unit 133 data management unit 134 correction unit 136 learning unit 137 transmission unit 10 sensing device 11 communication unit 12 Input unit 13 Output unit 14 Storage unit 141 Model information storage unit 15 Control unit 151 Reception unit 152 Collection unit 153 Transmission unit 16 Sensor unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本開示に係る学習装置は、センシングデバイスにより収集されたデータが機械学習によるモデルの学習に与える影響度を算出する算出部と、前記算出部により算出された前記影響度が条件を満たすデータを用いて前記モデルを学習する少ラベル学習処理により、学習済みモデルを生成する学習部と、を備える。

Description

学習装置、学習方法、センシングデバイス及びデータ収集方法
　本開示は、学習装置、学習方法、センシングデバイス及びデータ収集方法に関する。
　様々な技術分野において、機械学習（単に「学習」ともいう）を利用した情報処理が活用されており、ニューラルネットワーク等のモデルを学習する技術が提供されてきている。このような学習においては、取得したデータに正解ラベル（ラベル）を付与して複数の教師データを作成し、作成した複数の教師データを用いて学習を行う技術が提供されている（例えば、特許文献１参照）。
特開２０２１－０２６５０５号公報
　従来技術によれば、ユーザによる評価ボタンの押下の有無に基づいて、複数のデータに対してそれぞれ正解ラベルを付与することによって教師データを作成し、複数の教師データが所定数に達したことに応じて、複数の教師データを用いた機械学習を行う。
　しかしながら、従来技術は、改善の余地がある。例えば、従来技術では、複数のデータに対してそれぞれ正解ラベルを付与したデータを学習に用いているに過ぎず、各データがモデルの学習に与える影響については考慮されていない。そのため、取得されたデータが適切でない場合、生成されたモデルが精度の低いモデルになる等、適切なモデルの生成が難しい場合がある。このような場合、適切なモデルを利用することが難しい。そのため、適切なデータを用いて生成されたモデルを利用可能にすることが望まれている。
　そこで、本開示では、適切なデータを用いて生成されたモデルを利用可能にすることができる学習装置、学習方法、センシングデバイス及びデータ収集方法を提案する。
　上記の課題を解決するために、本開示に係る一形態の学習装置は、センシングデバイスにより収集されたデータが機械学習によるモデルの学習に与える影響度を算出する算出部と、前記算出部により算出された前記影響度が条件を満たすデータを用いて前記モデルを学習する少ラベル学習処理により、学習済みモデルを生成する学習部と、を備える。
本開示の実施形態に係る情報処理システムの処理フローの一例を示す図である。 本開示の実施形態に係る学習処理の一例を示す図である。 本開示の実施形態に係る情報処理システムの構成例を示す図である。 本開示の実施形態に係るサーバ装置の構成例を示す図である。 本開示の実施形態に係るデータ情報記憶部の一例を示す図である。 本開示の実施形態に係るモデル情報記憶部の一例を示す図である。 本開示の実施形態に係る閾値情報記憶部の一例を示す図である。 モデルに対応するネットワークの一例を図である。 本開示の実施形態に係るセンシングデバイスの構成例を示す図である。 本開示の実施形態に係るモデル情報記憶部の一例を示す図である。 本開示の実施形態に係るサーバ装置の処理を示すフローチャートである。 本開示の実施形態に係る情報処理システムの処理手順を示すシーケンス図である。 サーバ装置やセンシングデバイス等の情報処理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。
　以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、この実施形態により本願にかかる学習装置、学習方法、センシングデバイス及びデータ収集方法が限定されるものではない。また、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
　以下に示す項目順序に従って本開示を説明する。
　　１．実施形態
　　　１－１．本開示の実施形態に係る学習処理の概要
　　　　１－１－１．背景及び効果等
　　　　１－１－２．Influence　function（影響関数）
　　　　　１－１－２－１．その他の手法例
　　　　１－１－３．容量制限
　　　　１－１－４．保管ストレージ
　　　　１－１－５．画像補整
　　　１－２．実施形態に係る情報処理システムの構成
　　　１－３．実施形態に係る学習装置の構成
　　　　１－３－１．モデル（ネットワーク）例
　　　１－４．実施形態に係るセンシングデバイスの構成
　　　１－５．実施形態に係る情報処理の手順
　　　　１－５－１．学習装置に係る処理の手順
　　　　１－５－２．情報処理システムに係る処理の手順
　　２．その他の実施形態
　　　２－１．その他の構成例
　　　２－２．その他
　　３．本開示に係る効果
　　４．ハードウェア構成
［１．実施形態］
［１－１．本開示の実施形態に係る学習処理の概要］
　以下、図１及び図２を用いて、情報処理システム１が行う処理の概要について説明する。図１は、本開示の実施形態に係る情報処理システムの処理フローの一例を示す図である。図２は、本開示の実施形態に係る学習処理の一例を示す図である。また、図２は、本開示の実施形態に係る学習処理の一例を示す図である。本開示の実施形態に係る学習処理は、学習装置の一例であるサーバ装置１００やセンシングデバイス１０を含む情報処理システム１によって実現される。図２では、情報処理システム１によって実現される学習処理の概要を説明する。
　以下では、情報処理システム１が画像認識に用いるモデルを学習する場合を一例として説明する。例えば、情報処理システム１は、画像認識を行う、ディープニューラルネットワーク（ＤＮＮ：Deep　Neural　Network）である識別モデル（以下、単に「モデル」ともいう）を学習する。なお、情報処理システム１が学習するモデルの用途は画像認識に限らず、情報処理システム１は、学習するモデルの目的や用途に応じて種々の用途に用いられるモデルを学習する。また、以下ではデータが画像データである場合を一例として示すが、データの種別は画像に限らず、学習するモデルの目的や用途に応じて様々な種別のデータが用いられてもよい。
　まず、図１を用いて、処理フローの概要について説明する。なお、以下に示す情報処理システム１が処理の主体として記載されている処理については、情報処理システム１に含まれるいずれの装置が行ってもよい。例えば、図１では、処理主体を情報処理システム１として記載するが、図１に示す各処理は、情報処理システム１のサーバ装置１００及びセンシングデバイス１０のいずれの装置が行ってもよい。
　図１では、情報処理システム１がその画像の認識結果の正解を示すラベルが付されたデータ（「ラベル有りデータ」ともいう）である第１データＬＤＤと、センシングデバイス１０により収集した第２データＵＬＤとの２つのデータを用いて処理を行う場合を示す。第１データＬＤＤは、既にデータセットとして使用しているデータである。ラベルは、そのデータについての認識結果の正解を示すものであればどのような情報であってもよい。例えば、ラベルは、その画像が属するカテゴリを示す情報や、その画像に含まれる物体を示す情報や、その画像中での物体の領域を示す情報等であってもよい。また、第２データＵＬＤは、その画像の認識結果の正解を示すラベルが付されていないデータ（「ラベル無しデータ」ともいう）である。例えば情報処理システム１による少ラベル学習処理は、上記のようなラベル有りデータとラベル無しデータとの両方を用いて行われる学習処理である。
　情報処理システム１は、第１データＬＤＤを用いて分類器を学習する（ステップＳ１）。情報処理システム１は、第１データＬＤＤを用いて、画像を分類する分類器を学習する。例えば、情報処理システム１は、画像を入力として、入力された画像が属するカテゴリを示す情報を出力する分類器を学習する。情報処理システム１は、第１データＬＤＤに含まれる画像データとその画像データのラベルとを用いて、分類器を学習する。
　情報処理システム１は、第２データＵＬＤの各データの影響度を算出する（ステップＳ２）。データの影響度とは、そのデータがモデルの学習に与える影響の度合いを示す情報であるが、詳細は後述する。そして、情報処理システム１は、算出したデータの影響度と閾値Ｓとを比較する（ステップＳ３）。
　情報処理システム１は、データの影響度が閾値Ｓよりも大きくない（ステップＳ３：Ｎｏ）場合、そのデータを削除する（ステップＳ４）。例えば、情報処理システム１は、第２データＵＬＤのうち、影響度が閾値Ｓ以下であるデータを学習に与える影響の度合いが低いデータ（影響度低データ）であると判定し、そのデータを削除する。
　一方、情報処理システム１は、データの影響度が閾値Ｓよりも大きい（ステップＳ３：Ｙｅｓ）場合、そのデータのラベルを予測する（ステップＳ５）。例えば、情報処理システム１は、影響度が閾値Ｓよりも大きいデータを学習に与える影響の度合いが高いデータ（影響度高データ）であると判定し、そのデータのラベルを予測する。情報処理システム１は、第２データＵＬＤのうち、ラベル無しデータであり影響度高データであるデータのラベルを、分類器を用いて予測する。
　そして、情報処理システム１は、予測したラベル（予測ラベル）を予測の対象となったデータ（予測対象データ）に付与する。第３データＮＬＤは、第２データＵＬＤのうち、予測ラベルが付与された追加されたデータである。すなわち、第３データＮＬＤは、ラベル無しデータであったが、予測ラベルが付与されることにより、ラベル有りデータとなったデータである。情報処理システム１は、ラベル有りデータとなった第３データＮＬＤと、第１データＬＤＤとから新たなデータセットであるデータセットＮＤＳを生成する。情報処理システム１は、第１データＬＤＤにラベル有りデータとなった第３データＮＬＤを追加することにより、データセットＮＤＳを生成する。なお、上記は一例に過ぎず、例えば、情報処理システム１は、影響度の算出にラベルを用いる場合は、影響度の算出前にデータのラベルを予測して、予測したラベルを用いて影響度を算出してもよい。
　そして、情報処理システム１は、データセットＮＤＳを用いて、モデルを学習する。（ステップＳ６）。例えば、情報処理システム１は、データセットＮＤＳに含まれる画像データとその画像データのラベルとを用いて、モデルを学習する。
　情報処理システム１は、モデルをエッジデバイスへ配信する（ステップＳ７）。例えば、情報処理システム１のサーバ装置１００は、学習したモデルをエッジデバイスであるセンシングデバイス１０へ送信する。
　そして、情報処理システム１は、センシングデバイス１０が配信したモデルにより収集したデータを第２データＵＬＤとしてステップＳ１～７の処理を繰り返す。なお、繰り返し処理において、情報処理システム１は、直前の処理のデータセットＮＤＳを第１データＬＤＤとして用いる。
　情報処理システム１は、上述した処理（ループ）を一定時間（定期的）ごとに繰り返すことによって、モデルを更新し、モデルの性能を向上させることができる。
　ここから、図２を用いて、情報処理システム１の各装置での情報処理の概要を説明する。なお、以下では、図２で学習されるモデルを、画像認識に用いるニューラルネットワークであるモデルＭ１として説明する。
　図２に示すサーバ装置１００は、センシングデバイス１０により収集されたデータが機械学習によるモデルの学習に与える影響度を算出し、影響度が条件を満たすデータを用いてモデルを学習する情報処理装置である。また、図２に示すセンシングデバイス１０は、画像データを収集する装置である。なお、センシングデバイス１０は、所望のデータをセンシングにより収集し、サーバ装置１００へ送信可能であればどのような装置であってもよい。例えば、センシングデバイス１０は、ドローン等のＵＡＶ（Unmanned　Aerial　Vehicle）や自動車等の車両等である移動体や、カメラ、イメージセンサ（イメージャ）であってもよいが、この点についての詳細は後述する。
　ここから、図２に示す処理の概要を説明する。まず、センシングデバイス１０は、センシングによりデータを収集する（ステップＳ１）。そして、センシングデバイス１０は、収集したデータ（収集データＴＧ）をサーバ装置１００へ送信する（ステップＳ２）。収集データＴＧには、センシングデバイス１０により収集されたデータＤＴ１１、データＤＴ１２等が含まれる。例えば、データＤＴ１１、データＤＴ１２は、ラベルが付されていないデータ（ラベル無しデータ）である。
　センシングデバイス１０から収集データＴＧを受信したサーバ装置１００は、収集データＴＧ中のデータ（「候補データ」ともいう）がモデルＭ１の学習に与える影響度を算出する。例えば、サーバ装置１００は、収集データＴＧ中の各候補データをデータセットＤＳ１に追加した場合に、追加した候補データがモデルＭ１の学習に与える影響度を算出する。サーバ装置１００は、影響度を算出する手法（算出手法ＭＴ１）を用いて、データセットＤＳ１中の各候補データがモデルＭ１の学習に与える影響度を算出する。ここでいう影響度は、値が大きいほど、そのデータがモデルＭ１の学習に寄与する度合い（寄与度）が高いことを示す。影響度の値が大きい、すなわち影響度が高いほど、モデルＭ１の識別精度の向上に寄与することを示す。このように、影響度が高いほど、そのデータがモデルＭ１の学習に必要なデータであることを示す。例えば、影響度が高いほど、そのデータがモデルＭ１の学習に有益なデータであることを示す。
　また、影響度は、値が小さいほど、そのデータがモデルＭ１の学習に寄与する度合い（寄与度）が低いことを示す。影響度の値が小さい、すなわち影響度が低いほど、モデルＭ１の識別精度の向上に寄与しないことを示す。このように、影響度が低いほど、そのデータがモデルＭ１の学習に不要なデータであることを示す。例えば、影響度が低いほど、そのデータがモデルＭ１の学習に有害なデータであることを示す。
　図２では、算出手法ＭＭ１の一例として、Influence　function（Influence　functions）が用いられる場合を示すが、Influence　functionについては後述する。なお、サーバ装置１００が影響度の算出に用いる算出手法ＭＭ１は、各データの影響度を示す値が取得可能であれば、Influence　functionに限らずどのような手法が用いられてもよい。例えば、サーバ装置１００は、画像データに認識対象が含まれる場合、その画像データの影響度を所定の閾値よりも大きい値として算出してもよい。また、例えば、サーバ装置１００は、画像データに認識対象が含まれない場合、その画像データの影響度を所定の閾値以下の値として算出してもよい。例えば、サーバ装置１００は、所定の関数を用いてデータの影響度を算出してもよい。例えば、サーバ装置１００は、画像データに認識対象が含まれるか否かを示す値を入力として、その画像データの影響度を出力する関数を用いてデータの影響度を算出してもよい。例えば、サーバ装置１００は、画像データに認識対象が含まれる場合は所定の閾値よりも大きい値を出力し、画像データに認識対象が含まれない場合は所定の閾値以下の値を出力する関数を用いてデータの影響度を算出してもよい。サーバ装置１００は、収集データＴＧ中のデータＤＴ１１、データＤＴ１２を候補データとして算出手法ＭＭ１を用いて以下の処理を行う。
　サーバ装置１００は、収集データＴＧ中のデータＤＴ１１がモデルＭ１の学習に与える影響度を算出する（ステップＳ３）。サーバ装置１００は、算出結果ＲＳ１に示すように、データＤＴ１１がモデルＭ１の学習に与える影響度を影響度ＩＶ１１と算出する。なお、影響度ＩＶ１１は、具体的な値（例えば０．３等）であるものとする。例えば、サーバ装置１００は、分類器を用いてデータＤＴ１１のラベルを予測する、例えば、サーバ装置１００は、データＤＴ１１のラベルを、分類器であるモデルＭ２を用いて予測する。例えば、サーバ装置１００は、予測したラベルが付されたデータＤＴ１１を追加した場合のデータセットＤＳ１を用いてデータＤＴ１１の影響度ＩＶ１１と算出する。
　そして、サーバ装置１００は、データＤＴ１１の影響度ＩＶ１１に基づいて、データＤＴ１１を判定する（ステップＳ４）。サーバ装置１００は、データＤＴ１１の影響度ＩＶ１１と閾値ＴＨ１とに基づいて、データＤＴ１１がモデルＭ１の学習に必要であるかを判定する。例えば、サーバ装置１００は、閾値情報記憶部１２３（図７参照）に記憶された閾値ＴＨ１を用いて、データＤＴ１１がモデルＭ１の学習に必要であるかを判定する。
　例えば、サーバ装置１００は、データＤＴ１１の影響度ＩＶ１１と、閾値ＴＨ１とを比較し、影響度ＩＶ１１が閾値ＴＨ１以下である場合、データＤＴ１１がモデルＭ１の学習に不要であると判定する。図２では、サーバ装置１００は、データＤＴ１１の影響度ＩＶ１１が閾値ＴＨ１以下であるため、データＤＴ１１がモデルＭ１の学習に不要であると判定する。そのため、サーバ装置１００は、判定情報ＤＲ１に示すように、データＤＴ１１のモデルＭ１の学習への影響度が低いと判定して、データＤＴ１１を削除する（ステップＳ５）。
　また、図２では、サーバ装置１００は、収集データＴＧ中のデータＤＴ１２がモデルＭ１の学習に与える影響度を算出する（ステップＳ６）。サーバ装置１００は、算出結果ＲＳ２に示すように、データＤＴ１２がモデルＭ１の学習に与える影響度を影響度ＩＶ１２と算出する。なお、影響度ＩＶ１２は、具体的な値（例えば０．８等）であるものとする。例えば、サーバ装置１００は、分類器を用いてデータＤＴ１２のラベルを予測する、例えば、サーバ装置１００は、データＤＴ１２のラベルを、分類器であるモデルＭ２を用いて予測する。例えば、サーバ装置１００は、予測したラベルが付されたデータＤＴ１２を追加した場合のデータセットＤＳ１を用いてデータＤＴ１２の影響度ＩＶ１２と算出する。
　そして、サーバ装置１００は、データＤＴ１２の影響度ＩＶ１２に基づいて、データＤＴ１２を判定する（ステップＳ７）。サーバ装置１００は、データＤＴ１２の影響度ＩＶ１２に基づいて、データＤＴ１２がモデルＭ１の学習に必要であるかを判定する。例えば、サーバ装置１００は、データＤＴ１２の影響度ＩＶ１２と閾値ＴＨ１とに基づいて、データＤＴ１２がモデルＭ１の学習に必要であるかを判定する。
　例えば、サーバ装置１００は、データＤＴ１２の影響度ＩＶ１２と、閾値ＴＨ１とを比較し、影響度ＩＶ１２が閾値ＴＨ１よりも大きい場合、データＤＴ１２がモデルＭ１の学習に必要であると判定する。図２では、サーバ装置１００は、データＤＴ１２の影響度ＩＶ１２が閾値ＴＨ１よりも大きいため、データＤＴ１２がモデルＭ１の学習に必要であると判定する。
　そのため、サーバ装置１００は、判定情報ＤＲ２に示すように、データＤＴ１２のモデルＭ１の学習への影響度が高いと判定して、データＤＴ１２をデータセットＤＳ１に追加する（ステップＳ８）。サーバ装置１００は、モデルＭ２を用いて予測したラベルを付したデータＤＴ１２をデータセットＤＳ１に追加する。
　そして、サーバ装置１００は、データセットＤＳ１を用いてモデルを生成する（ステップＳ９）。図２の例では、サーバ装置１００は、予測ラベルが付されたデータＤＴ１２等を含むデータセットＤＳ１を用いて、モデルＭ１を生成する。このように、サーバ装置１００は、ラベル有りデータに加えて、元々はラベル無しデータであったデータＤＴ１２を含むデータセットＤＳ１を用いる少ラベル学習によりモデルＭ１を生成する。
　図２の例では、サーバ装置１００は、モデル情報記憶部１２２（図６参照）に記憶されたモデルＭ１に対応するネットワーク（ニューラルネットワーク等）の構造を設計する。サーバ装置１００は、画像認識に用いるモデルＭ１のネットワークの構造（ネットワーク構造）を設計する。例えば、サーバ装置１００は、予め記憶部１２０（図４参照）に記憶された各用途に対応するネットワークの構造に関する情報を基に、画像認識に用いるモデルＭ１のネットワークの構造を生成してもよい。例えば、サーバ装置１００は、画像認識に用いるモデルＭ１のネットワークの構造情報を、外部装置から取得してもよい。
　例えば、サーバ装置１００は、各データ（画像）に人の有無を示すラベル（正解ラベル）が対応付けられたデータセットＤＳ１を用いて、モデルＭ１を学習する。サーバ装置１００は、データセットＤＳ１を用いて、設定した損失関数（ロス関数）を最小化するように学習処理を行い、モデルＭ１を学習する。
　例えば、サーバ装置１００は、データの入力に対して出力層が正しい値となるように、重みとバイアス等のパラメータを更新することにより、モデルＭ１を学習する。例えば、誤差逆伝播法においては、ニューラルネットワークに対して、出力層の値がどれだけ正しい状態（正解ラベル）から離れているかを示す損失関数を用いて、最急降下法等を用いて、損失関数が最小化するように、重みやバイアスの更新が行われる。例えば、サーバ装置１００は、入力値（データ）をニューラルネットワーク（モデルＭ１）に与え、その入力値を基にニューラルネットワーク（モデルＭ１）が予測値を計算し、予測値と教師データ（正解ラベル）を比較して誤差を評価する。そして、サーバ装置１００は、得られた誤差を基にニューラルネットワーク（モデルＭ１）内の結合荷重（シナプス係数）の値を逐次修正することにより、モデルＭ１の学習および構築を実行する。なお、上記は一例であり、サーバ装置１００は、種々の方法によりモデルＭ１の学習処理を行ってもよい。また、サーバ装置１００は、ステップＳ６で影響度算出時に生成したモデルを、データＤＴ１２を含むデータセットＤＳ１により学習したモデルＭ１としてもよい。
　そして、サーバ装置１００は、生成したモデルＭ１をセンシングデバイス１０に送信する（ステップＳ１０）。そして、情報処理システム１は、ステップＳ１～Ｓ１０の処理を繰り返すことにより、データの収集、モデルのアップデートを繰り返す。例えば、センシングデバイス１０は、サーバ装置１００から受信したモデルＭ１を用いたセンシングによりデータを収集する（ステップＳ１１）。例えばセンシングデバイス１０が移動体である場合、センシングデバイス１０は、モデルＭ１を用いてセンシング（人の認識等）を行い自動走行等の処理を行う。そして、センシングデバイス１０は、モデルＭ１を用いたセンシングにより収集したデータをサーバ装置１００へ送信する。
　上述の例では、サーバ装置１００は、影響度が閾値ＴＨ１よりも大きいラベル無しデータを用いた少ラベル学習処理により、学習済みモデルを生成する。すなわち、少ラベル学習処理は、予め全てにラベルが付されているわけではないデータ群を用いて行う学習である。例えば少ラベル学習処理は、センシングデバイス１０により収集したラベル無しデータを用いて、そのラベル無しデータのラベルを予測し、予測したラベルをラベル無しデータに付すことで、ラベル無しデータをラベル有りデータとして用いる学習処理である。上述した処理により、情報処理システム１は、センシングデバイス１０により収集されたデータのうち、影響度が閾値よりも大きいデータを用いてモデルを生成する。これにより、サーバ装置１００は、影響度が高いデータを用いることで、適切なデータを用いてモデルを生成することができる。したがって、サーバ装置１００は、適切なデータを用いて生成されたモデルを利用可能にすることができる。例えば、情報処理システム１は、センシングデバイス１０等のセンサーデバイスで収集したデータをサーバ装置１００へアップする。そして、情報処理システム１は、モデルを学習し、学習済みモデルをセンシングデバイス１０等のセンサーデバイスへ配信する。そして、センシングデバイス１０等のセンサーデバイスは、更新された学習済みモデルにてセンシングをする。情報処理システム１は、上述した処理ループを一定時間ごとに繰り返すことによって、モデルを更新し、モデルの性能を向上させることができる。
［１－１－１．背景及び効果等］
　ここで、上述した情報処理システム１の背景や効果等について説明する。ディープラーニングの進化により、人間を超える物体認識が実現されている。しかしながら、エッジデバイスで利用されているモデルは、開発者が学習したモデルを利用しており、現実的な世界でのデータの変化に対応していない。大量なデータを必要とするディープラーニングでは、状況の変化に応じた新たなデータを必要とする。だが、現状では、開発者が作製したモデルを利用し続けているのが現状である。
　従来まで、開発者が収集したデータをもとに学習をしてモデルを構築する。だが、現実的な世界に学習済みモデルをリリースした後はアップデートをすることができない。その理由は、エッジデバイスのある環境にて再学習をすることができないこと、追加のデータをリアルタイムに取集していないことなどが考えられる。
　エッジデバイスの環境のみならず、サーバでの学習との連携システムにより解決できる。そのワークフローは、エッジデバイスの動作環境にて、新たなデータを収集していく。そのデータをサーバへアップして、再学習を行う。その際に全てのデータを学習することなく、モデルへの影響度の大きいデータを抽出して、学習をする。また、少ラベル学習によるので、データにはラベルは必要としない。転移学習によって元のモデルに追加データによるモデル更新を行い、エッジデバイスに配信する。
　上述した処理により、情報処理システム１は、学習に必要な少量のデータだけをラベルなしで学習することができる。また、サーバ装置１００で効率良く計算され再学習されたモデルは、センシングデバイス１０等のエッジデバイスへ配信され、直ぐに利用ができる。例えば、情報処理システム１においては、一定時間置きにループを繰り返すことでモデルが自動的に成長させることができる。
　情報処理システム１は、学習済みモデルを自動的にアップデートすることができる。例えば、情報処理システム１は、センシングにて収集した画像をサーバ装置１００へアップし、そのデータの影響度を演算して影響度の高いデータを抽出する。情報処理システム１は、そのデータを用いて転移学習を行い、モデルを更新する。その後、情報処理システム１は、モデルをセンシングデバイス１０へ配信し、学習済みモデルをアップデートする。また、情報処理システム１は、少ラベル学習によって、ラベルは無くともサーバ装置１００で学習をすることができる。
　例えば、センシングデバイスよって収集したデータの全てを学習することは計算が膨大なので非現実的である。そこで、情報処理システム１は、データの影響度を算出して、モデルに対して影響度の高いデータのみを学習する。また、情報処理システム１は、少ラベル学習によって、データのラベルは不要である。情報処理システム１は、学習に必要な少量のデータだけをラベルなしで学習することができる。
［１－１－２．Influence　function（影響関数）］
　ここから、情報処理システム１における各手法について記載する。まず、Influence　functionについて記載する。情報処理システム１は、Influence　functionにより、データが生成するモデル（パラメータ）に与える影響を定量的に解析する。
　例えば、情報処理システム１は、Influence　function（影響関数）を用いて、ある（学習）データの有無がモデルの精度（出力結果）に与える影響を定式化する。例えば、情報処理システム１は、影響の算出対象となるデータを追加したデータセットを用いて学習したモデルを用いて、追加したデータが学習に与える影響度を算出する。以下、Influence　function（影響関数）を用いた影響度の算出について、数式などを用いて記載する。
　Influence　functionは、例えば、機械学習のブラックボックスモデルを説明する方法としても用いられる。
　なお、Influence　functionについては例えば下記の文献に開示されている。
　・Understanding　Black-box　Predictions　via　Influence　Functions,　　Pang　Wei　Kho　and　Percy　Liang　<https://arxiv.org/abs/1703.04730>
　情報処理システム１は、Influence　functionを用いることで、機械学習へのデータの影響度を計算することができ、あるデータがどのくらいの好影響又は悪影響を与えているのかを算出する（知る）ことができる。例えば、情報処理システム１は、以下に示すように、アルゴリズムやデータ等によって影響度を算出（測定）する。以下では、画像を入力データとする場合を一例として説明する。
　例えば、入力ｘ（画像）、を出力ｙ（ラベル）による機械学習における予測問題として捉える。各画像にはラベルが振られている、すなわち画像と正解ラベルとが対応付けられている。例えばｎ個（ｎは任意の自然数）の画像とラベルのセット（データセット）があるとすると、それぞれのラベル付き画像ｚ（単に「画像ｚ」と記載する場合がある）は、以下の式（１）のようになる。
Figure JPOXMLDOC01-appb-M000001
　ここで、ある点ｚ（画像ｚ）におけるモデルのパラメータθ∈Θでの損失をＬ（ｚ，θ）とすると、全てのｎ個データでの経験損失は、以下の式（２）のように表すことができる。
Figure JPOXMLDOC01-appb-M000002
　そして、この経験損失の最小化は、損失を最小化するパラメータを見つける（決定する）ことを意味するので、以下の式（３）のように表せる。
Figure JPOXMLDOC01-appb-M000003
　例えば、情報処理システム１は、式（３）を用いて損失を最小化するパラメータ（（式（３）の左辺））を算出する。ここで、経験損失は、二階微分が可能であり、パラメータθに対して凸関数であると仮定する。以下、機械学習モデルのトレーニングポイントであるデータの影響度を理解することを目標として、どのように計算をするのかを示していく。仮に、あるトレーニングポイントのデータが無い場合、機械学習モデルにどのような影響を与えるのかを考えていく。
　なお、式（３）の左辺に示す「θ」の上に「＾」（ハット）が付されたパラメータ（変数）のように、ある文字の上に「＾」が付されたパラメータ（変数）は、例えば予測値を示す。以下、式（３）の左辺に示す「θ」の上に「＾」が付されたパラメータ（変数）について文章中で言及する場合、「θ」に続けて「＾」を記載した「θ＾」で表記する。あるトレーニングポイントｚ（画像ｚ）を機械学習モデルから取り除いた場合は、以下の式（４）のように表すことができる。
Figure JPOXMLDOC01-appb-M000004
　例えば、情報処理システム１は、式（４）を用いてある学習データ（画像ｚ）を用いずに学習を行った場合のパラメータ（式（４）の左辺）を算出する。例えば、影響度は、トレーニングポイントｚ（画像ｚ）を取り除いたときと、トレーニングポイントｚを含めて全てのデータポイントがあるときとの差（差分）である。この差分は、以下の式（５）のように示される。
Figure JPOXMLDOC01-appb-M000005
　そして、情報処理システム１は、Influence　functionsを用いて、以下に示すように、効果的な近似よって、画像ｚを取り除いた場合について演算をする。
　この考え方は、画像ｚが微小なεによって重みづけられたとして、パラメータの変化を計算していく方法である。ここで、以下の式（６）を用いて、新たなパラメータ（式（６）の左辺）を定義する。
Figure JPOXMLDOC01-appb-M000006
　１９８２年のCookとWeisbergによる先行研究の結果を利用することによって、パラメータθ＾（（式（３）の左辺））での重みづけられた画像ｚの影響度は、以下の式（７）、（８）のように書き表すことができる。
Figure JPOXMLDOC01-appb-M000007
Figure JPOXMLDOC01-appb-M000008
　なお、CookとWeisbergによる先行研究については例えば下記の文献に開示されている。
　・Residuals　and　Influence　in　Regression,　　Cook,　R.D.　and　Weisberg,　S　<https://conservancy.umn.edu/handle/11299/37076>
　例えば、式（７）は、ある画像ｚに対応する影響関数を示す。例えば、式（７）は、微小なεに対するパラメータの変化量を表す。また、例えば、式（８）は、ヘッシアン（ヘッセ行列）を示す。ここで、正定値を持つヘッセ行列であると仮定し、逆行列も存在する。ある点であるデータポイントｚ（画像ｚ）を取り除くことは、「ε＝－１／ｎ」によって重みづけられることと同じであると仮定すると、画像ｚを取り除いたときのパラメータ変化は近似的に、以下の式（９）のように表すことができる。
Figure JPOXMLDOC01-appb-M000009
　これにより、情報処理システム１は、データポイントｚ（画像ｚ）を取り除いたときの影響度を算出する（求める）ことができる。
　次に、情報処理システム１は、以下の式（１０－１）～式（１０－３）を用いて、あるテストポイントｚｔｅｓｔでの損失への影響度を算出する（求める）。
Figure JPOXMLDOC01-appb-M000010
　このように、あるテストポイントｚｔｅｓｔでの重みづけられた画像ｚの影響度を定式化できる。そのため、情報処理システム１は、この演算によって、機械学習モデルにおけるデータの影響度を算出する（求める）ことができる。例えば、式（１０－３）の右辺は、あるデータのロス（損失）に対する勾配、ヘッシアンの逆行列、ある学習データのロスの勾配等からなる。例えば、あるデータがモデルの予測（ロス）に与える影響は、式（１０－３）により求めることができる。なお、上記は一例であり、情報処理システム１は、種々の演算を適宜実行し各画像が学習に与える影響度を算出してもよい。
［１－１－２－１．その他の手法例］
　上述したInfluence　functionは一例に過ぎず、影響度の算出に用いる手法は、Influence　functionに限られない。この点についての例示を以下記載する。
　例えば、情報処理システム１は、確率的勾配降下法（stochastic　gradient　descent：SGD）関する手法を用いて、影響度を算出してもよい。例えば、情報処理システム１は、下記の文献に開示されている確率的勾配降下法（SGD）に関する各種手法を用いて、影響度を算出してもよい。
　・Data　Cleansing　for　Models　Trained　with　SGD,　Satoshi　Hara,　Atsushi　Nitanda　and　　Takanori　Maehara　<https://proceedings.neurips.cc/paper/2019/file/5f14615696649541a025d3d0f8e0447f-Paper.pdf>
　・Data　Cleansing　for　Deep　Neural　Networks　with　Storage-efficient　Approximation　of　Influence　Functions,　Kenji　Suzuki,　Yoshiyuki　Kobayashi　and　Takuya　Narihira　<https://arxiv.org/abs/2103.11807v2>
　・Data　Cleansing,　Kenji　Suzuki　<https://github.com/sony/nnabla-examples/tree/master/responsible_ai/data_cleansing>
　また、情報処理システム１は、以下の文献に開示されている手法を用いて、影響度を算出してもよい。
　・Estimating　Training　Data　Influence　by　Tracing　Gradient　Descent,　Garima　Pruthi,　Frederick　Liu,　Mukund　Sundararajan　and　Satyen　Kale　<https://arxiv.org/pdf/2002.08484.pdf>
　・TracIn,　Yukio　Oobuchi　<https://github.com/sony/nnabla-examples/tree/master/responsible_ai/tracin>
　また、情報処理システム１は、以下の文献に開示されている手法を用いて、影響度を算出してもよい。
　・Representer　Point　Selection　for　Explaining　Deep　Neural　Networks,　Chih-Kuan　Yeh,　Joon　Sik　Kim,　Ian　E.H.　Yen　and　Pradeep　Ravikumar　<https://arxiv.org/abs/1811.09720>
　なお、上記は一例に過ぎず、情報処理システム１は、影響度の算出が可能であれば、どのような手法により影響度を算出してもよい。
［１－１－３．容量制限］
　次に、データ量に関する点について記載する。データの影響度の計算において、膨大なＨＤＤキャッシュ容量を必要とする。仮に無限大にＨＤＤがあれば、問題ないが、現実的には有限の容量である。
　そこで、情報処理システム１は、任意にキャッシュ削減手法を採用することにより、データ量を削減してもよい。例えば、情報処理システム１は、下記の文献に開示されている手法に基づいて、キャッシュ削減を行ってもよい。
　・Data　Cleansing　for　Deep　Neural　Networks　with　Storage-efficient　Approximation　of　Influence　Functions,　　Kenji　Suzuki,　Yoshiyuki　Kobayashi,　and　Takuya　Narihira　Wei　Kho　and　Percy　Liang　<https://arxiv.org/abs/2103.11807>
　この場合、情報処理システム１は、有限のＨＤＤ容量に入る範囲にて、データの影響度を計算する。なお、このキャッシュ削減手法を用いなくともシステム構成上は成り立つが、計算できる量が限られる。そこで、本キャッシュ削減では、１／１，０００以上の削減ができ、現実的な実装時において、多くのデータ影響度を計算することができる。上記のキャッシュ削減手法では、計算後に、キャッシュファイルは削減し、次々とデータ影響度を計算する。つまり、上記のキャッシュ削減手法は、より多くのデータ影響度を計算することができる。これにより、情報処理システム１は、有限なＨＤＤ容量を効率良くつかうことができ、より多くのデータの影響度を計算することができる。
［１－１－４．保管ストレージ］
　次に、データの保管ストレージに関する点について記載する。自動アップデートを繰り返していると、大量のデータが次々と計算される。どのデータを使ったのかが分からなくなる問題が生じ、ＡＩ（Artificial　Intelligence）の透明性が確保できない。
　そこで、情報処理システム１は、サーバ装置１００に学習データのログを記録するようにする。具体的には、情報処理システム１は、影響度計算後に学習に必要と判断したデータを学習に利用するとともに、サーバ装置１００内に保管していく。また、情報処理システム１は、どの日時のアップデートで学習に利用したのかもサーバ装置１００内に記録しておく。
［１－１－５．画像補整］
　次に、画像データの補整に関する点について記載する。センシングデバイス１０等のエッジデバイスでの現実的世界から集めたデータは、最初のモデルの学習時に利用したデータとの画像の明暗、コントラスト、色度などが異なることがある。これは、カメラや撮影条件などで差異が生じることによる。その場合、学習モデルは、適切なパフォーマンスが発揮できない場合がある。
　そこで、情報処理システム１は、サーバ装置１００での学習処理において、エッジデバイスでの画像の明暗、コントラスト、色度など調整する。例えば、情報処理システム１は、ＧＵＩ（Graphical　User　Interface）のスイッチなどを装置に設け、画像調整ができるようにする。そして、情報処理システム１は、その加工済みデータの影響度を計算して、転移学習で再学習をすることによって、より最適化したモデルを生成することができる。
［１－２．実施形態に係る情報処理システムの構成］
　図３に示す情報処理システム１について説明する。情報処理システム１は、学習データを調整する調整処理を実現する情報処理システムである。図３に示すように、情報処理システム１は、サーバ装置１００と、複数のセンシングデバイス１０ａ、１０ｂ、１０ｃ、１０ｄとが含まれる。なお、センシングデバイス１０ａ、１０ｂ、１０ｃ、１０ｄ等を区別しない場合、センシングデバイス１０と記載する場合がある。また、図３では、４個のセンシングデバイス１０ａ、１０ｂ、１０ｃ、１０ｄを図示するが、情報処理システム１には、４個より多い数（例えば２０個や１００個以上）のセンシングデバイス１０が含まれてもよい。センシングデバイス１０と、サーバ装置１００とは所定の通信網（ネットワークＮ）を介して、有線または無線により通信可能に接続される。図３は、実施形態に係る情報処理システムの構成例を示す図である。なお、図３に示した情報処理システム１には、複数台のサーバ装置１００が含まれてもよい。
　サーバ装置１００は、機械学習によるモデルの学習に用いられたデータセットに含まれるデータが学習に与える影響度を算出し、影響度が条件を満たすデータを用いてモデルを学習する情報処理装置（学習装置）である。また、サーバ装置１００は、センシングデバイス１０にモデルを提供する。
　センシングデバイス１０は、サーバ装置１００にデータを提供するコンピュータである。図３の例では、センシングデバイス１０ａは、ドローン等のＵＡＶや自動車等の車両等の移動体である。例えば、センシングデバイス１０ａは、サーバ装置１００と通信する機能を有し、サーバ装置１００からの要求に応じた移動を行ってもよい。センシングデバイス１０ａは、イメージセンサ（イメージャ）等の撮像機能を有し、サーバ装置１００からの要求に応じた位置まで移動し、その位置で画像や動画を撮像し、撮像した画像や動画をサーバ装置１００に送信する。なお、センシングデバイス１０ａと移動体とは別体であってもよい。この場合、センシングデバイス１０ａは、ドローン等のＵＡＶや自動車等の車両等の移動体に搭載される装置であってもよい。
　また、図３の例では、センシングデバイス１０ｂは、撮像機能を有するカメラである。センシングデバイス１０ｂは、動画や画像を撮像し、撮像したデータを保有するカメラである。
　図３の例では、センシングデバイス１０ｃは、撮像機能を有するイメージセンサ（イメージャ）である。例えば、センシングデバイス１０ｃは、サーバ装置１００と通信する機能を有し、撮像した画像や動画をサーバ装置１００に送信する機能を有する。例えば、センシングデバイス１０ｃは、サーバ装置１００からの要求に応じて、画像や動画を撮像し、撮像した画像や動画をサーバ装置１００に送信する。
　図３の例では、センシングデバイス１０ｄは、センシングデバイス１０ａと同様に、ドローン等のＵＡＶや自動車等の車両等の移動体である。このように、情報処理システム１には、同じ種別のセンシングデバイス１０が複数含まれてもよい。この場合、情報処理システム１は、センシングデバイス１０ごとに収集したデータを基にモデルを生成し、センシングデバイス１０ごとのモデルを提供してもよい。また、情報処理システム１は、同じ種別の複数のセンシングデバイス１０に共通したモデルを生成し、同じ種別の複数のセンシングデバイス１０に共通のモデルを提供してもよい。なお、通信機能、構成等については、センシングデバイス１０ｄは、センシングデバイス１０ａと同様であるために説明を省略する。
　なお、センシングデバイス１０は、実施形態における処理を実現可能であれば、どのような装置であってもよい。センシングデバイス１０は、例えば、スマートフォンや、タブレット型端末や、ノート型ＰＣ（Personal　Computer）や、デスクトップＰＣや、携帯電話機や、ＰＤＡ（Personal　Digital　Assistant）等の装置であってもよい。センシングデバイス１０は、ユーザが身に着けるウェアラブル端末（Wearable　Device）等であってもよい。例えば、センシングデバイス１０は、腕時計型端末やメガネ型端末等であってもよい。また、センシングデバイス１０は、テレビや冷蔵庫等のいわゆる家電製品であってもよい。例えば、センシングデバイス１０は、スマートスピーカやエンタテインメントロボットや家庭用ロボットと称されるような、人間（ユーザ）と対話するロボットであってもよい。また、センシングデバイス１０は、デジタルサイネージ等の所定の位置に配置される装置であってもよい。
［１－３．実施形態に係る学習装置の構成］
　次に、実施形態に係る学習処理を実行する学習装置の一例であるサーバ装置１００の構成について説明する。図４は、本開示の実施形態に係るサーバ装置１００の構成例を示す図である。
　図４に示すように、サーバ装置１００は、通信部１１０と、記憶部１２０と、制御部１３０とを有する。なお、サーバ装置１００は、サーバ装置１００の管理者等から各種操作を受け付ける入力部（例えば、キーボードやマウス等）や、各種情報を表示するための表示部（例えば、液晶ディスプレイ等）を有してもよい。
　通信部１１０は、例えば、ＮＩＣ（Network　Interface　Card）等によって実現される。そして、通信部１１０は、ネットワークＮ（図３参照）と有線または無線で接続され、センシングデバイス１０等の他の情報処理装置との間で情報の送受信を行う。また、通信部１１０は、センシングデバイス１０との間で情報の送受信を行ってもよい。
　記憶部１２０は、例えば、ＲＡＭ（Random　Access　Memory）、フラッシュメモリ（Flash　Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。実施形態に係る記憶部１２０は、図４に示すように、データ情報記憶部１２１と、モデル情報記憶部１２２と、閾値情報記憶部１２３と、知識情報記憶部１２５とを有する。
　実施形態に係るデータ情報記憶部１２１は、学習に用いるデータに関する各種情報を記憶する。データ情報記憶部１２１は、学習に用いるデータセットを記憶する。図５は、本開示の実施形態に係るデータ情報記憶部の一例を示す図である。例えば、データ情報記憶部１２１は、学習に用いる学習用データや精度評価（算出）に用いる評価用データ等の種々のデータに関する各種情報を記憶する。図５に、実施形態に係るデータ情報記憶部１２１の一例を示す。図５の例では、データ情報記憶部１２１は、「データセットＩＤ」、「データＩＤ」、「データ」、「ラベル」、「日時」といった項目が含まれる。
　「データセットＩＤ」は、データセットを識別するための識別情報を示す。「データＩＤ」は、データを識別するための識別情報を示す。また、「データ」は、データＩＤにより識別されるデータを示す。
　「ラベル」は、対応するデータに付されるラベル（正解ラベル）を示す。例えば、「ラベル」は、対応するデータの分類（カテゴリ）を示す情報（正解情報）であってもよい。例えば、「ラベル」は、データ（画像）にどのような物体が含まれるかを示す正解情報（正解ラベル）である。例えば、データにラベルが有る場合、そのラベルがそのデータに対応付けて記憶される。また、データにラベルが無い場合、そのデータについて予測されたラベル（予測ラベル）がそのデータに対応付けて記憶される。図５では、括弧を付して示すラベルが予測ラベルである場合を示し、ラベルＬＢ４～ＬＢ８が予測ラベルである場合を示す。図５の例のように、サーバ装置１００はラベルが付されている少数のラベル有りデータのみではなく、ラベルが付されていない多数のデータについてもラベルを予測し、予測したラベルをそのデータに付すことにより、ラベル有りデータとして学習に用いる。
　また、「日時」は、対応するデータに関する時間（日時）を示す。なお、図５の例では、「ＤＡ１」等で図示するが、「日時」には、「２０２１年８月１日１５時２２分３５秒」等の具体的な日時であってもよいし、「バージョンＸＸのモデル学習から使用開始」等、そのデータがどのモデルの学習から使用が開始されたかを示す情報が記憶されてもよい。
　図５の例では、データセットＩＤ「ＤＳ１」により識別されるデータセット（データセットＤＳ１）には、データＩＤ「ＤＩＤ１」、「ＤＩＤ２」、「ＤＩＤ３」等により識別される複数のデータが含まれることを示す。例えば、データＩＤ「ＤＩＤ１」、「ＤＩＤ２」、「ＤＩＤ３」等により識別される各データ（学習用データ）は、モデルの学習に用いられる画像情報等である。
　例えば、データＩＤ「ＤＩＤ１」により識別されるデータＤＴ１は、ラベルＬＢ１が付されたラベル有りデータであり、日時ＤＡ１でのモデルの学習から使用が開始されたことを示す。また、例えば、データＩＤ「ＤＩＤ４」により識別されるデータＤＴ４は、ラベル無しデータとして取集され、予測ラベルであるラベルＬＢ４が付されたデータであり、日時ＤＡ４でのモデルの学習から使用が開始されたことを示す。
　なお、データ情報記憶部１２１は、上記に限らず、目的に応じて種々の情報を記憶してもよい。例えば、データ情報記憶部１２１は、各データが学習用データであるか、評価用データであるか等を特定可能に記憶してもよい。例えば、データ情報記憶部１２１は、学習用データと評価用データとを区別可能に記憶する。データ情報記憶部１２１は、各データが学習用データや評価用データであるかを識別する情報を記憶してもよい。サーバ装置１００は、学習用データとして用いられる各データと正解情報とに基づいて、モデルを学習する。サーバ装置１００は、評価用データとして用いられる各データと正解情報とに基づいて、モデルの精度を算出する。サーバ装置１００は、評価用データを入力した場合にモデルが出力する出力結果と、正解情報とを比較した結果を収集することにより、モデルの精度を算出する。
　実施形態に係るモデル情報記憶部１２２は、モデルに関する情報を記憶する。例えば、モデル情報記憶部１２２は、モデル（ネットワーク）の構造を示す情報（モデルデータ）を記憶する。図６は、本開示の実施形態に係るモデル情報記憶部の一例を示す図である。図６に、実施形態に係るモデル情報記憶部１２２の一例を示す。図６に示した例では、モデル情報記憶部１２２は、「モデルＩＤ」、「用途」、「モデルデータ」といった項目が含まれる。
　「モデルＩＤ」は、モデルを識別するための識別情報を示す。「用途」は、対応するモデルの用途を示す。「モデルデータ」は、モデルのデータを示す。図６では「モデルデータ」に「ＭＤＴ１」といった概念的な情報が格納される例を示したが、実際には、モデルに含まれるネットワークに関する情報や関数等、そのモデルを構成する種々の情報が含まれる。
　図６に示す例では、モデルＩＤ「Ｍ１」により識別されるモデル（モデルＭ１）は、用途が「画像認識」であることを示す。モデルＭ１は、画像認識に用いられるモデルであることを示す。また、モデルＭ１のモデルデータは、モデルデータＭＤＴ１であることを示す。
　また、モデルＩＤ「Ｍ２」により識別されるモデル（モデルＭ２）は、用途が「ラベル予測」であることを示す。モデルＭ２は、ラベル予測に用いられるモデルであることを示す。例えば、モデルＭ２は、ラベル無しデータのラベルを予測するために分類器である。また、モデルＭ２のモデルデータは、モデルデータＭＤＴ２であることを示す。
　なお、モデル情報記憶部１２２は、上記に限らず、目的に応じて種々の情報を記憶してもよい。例えば、モデル情報記憶部１２２は、学習処理により学習（生成）されたモデルのパラメータ情報を記憶する。
　実施形態に係る閾値情報記憶部１２３は、閾値に関する各種情報を記憶する。閾値情報記憶部１２３は、スコアとの比較に用いる閾値に関する各種情報を記憶する。図７は、実施形態に係る閾値情報記憶部の一例を示す図である。図７に示す閾値情報記憶部１２３には、「閾値ＩＤ」、「用途」、「閾値」といった項目が含まれる。
　「閾値ＩＤ」は、閾値を識別するための識別情報を示す。「用途」は、閾値の用途を示す。また、「閾値」は、対応する閾値ＩＤにより識別される閾値の具体的な値を示す。
　図７の例では、閾値ＩＤ「ＴＨ１」により識別される閾値（閾値ＴＨ１）は、影響度の判定に用いられることを示す情報が対応付けて記憶される。すなわち、閾値ＴＨ１は、対象とするデータの影響度が高いか否かを判定するために用いられる。そして、影響度が高いと判定されたデータは、データセットに追加され、影響度が低いと判定されたデータは削除される。また、閾値ＴＨ１の値は、「ＶＬ１」であることを示す。なお、図７の例では、「ＶＬ１」といった抽象的な符号で示すが、閾値ＴＨ１の値は具体的な数値（例えば０．６等）である。
　なお、閾値情報記憶部１２３は、上記に限らず、目的に応じて種々の情報を記憶してもよい。
　図４に戻り、説明を続ける。制御部１３０は、例えば、ＣＰＵ（Central　Processing　Unit）やＭＰＵ（Micro　Processing　Unit）等によって、サーバ装置１００内部に記憶されたプログラム（例えば、本開示に係る学習処理プログラム等の情報処理プログラム）がＲＡＭ（Random　Access　Memory）等を作業領域として実行されることにより実現される。また、制御部１３０は、コントローラ（controller）であり、例えば、ＡＳＩＣ（Application　Specific　Integrated　Circuit）やＦＰＧＡ（Field　Programmable　Gate　Array）等の集積回路により実現される。
　図４に示すように、制御部１３０は、取得部１３１と、算出部１３２と、データ管理部１３３と、補整部１３４と、予測部１３５と、学習部１３６と、送信部１３７とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部１３０の内部構成は、図４に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。また、制御部１３０が有する各処理部の接続関係は、図４に示した接続関係に限られず、他の接続関係であってもよい。
　取得部１３１は、各種情報を取得する。取得部１３１は、記憶部１２０から各種情報を取得する。取得部１３１は、データ情報記憶部１２１やモデル情報記憶部１２２や閾値情報記憶部１２３から各種情報を取得する。
　取得部１３１は、外部の情報処理装置から各種情報を受信する。取得部１３１は、センシングデバイス１０から各種情報を受信する。
　取得部１３１は、算出部１３２が算出した各種情報を取得する。取得部１３１は、補整部１３４が補整した各種情報を取得する。取得部１３１は、予測部１３５が予測した各種情報を取得する。取得部１３１は、学習部１３６が学習した各種情報を取得する。
　算出部１３２は、各種処理を算出する。算出部１３２は、ニューラルネットワークの学習に用いられた学習データが学習に与える影響度を算出する。算出部１３２は、外部の情報処理装置からの情報に基づいて、各種処理を算出する。算出部１３２は、記憶部１２０に記憶された情報に基づいて、各種処理を算出する。算出部１３２は、データ情報記憶部１２１やモデル情報記憶部１２２や閾値情報記憶部１２３に記憶された情報に基づいて、各種処理を算出する。算出部１３２は、処理の算出により各種情報を生成する。
　算出部１３２は、取得部１３１により取得された各種情報に基づいて、各種処理を算出する。算出部１３２は、センシングデバイス１０により収集されたデータが機械学習によるモデルの学習に与える影響度を算出する。算出部１３２は、損失関数に基づいて影響度を算出する。算出部１３２は、Influence　functionにより影響度を算出する。算出部１３２は、イメージセンサにより収集した画像データの影響度を算出する。算出部１３２は、外部装置であるセンシングデバイス１０が学習済みモデルを用いて収集したデータの影響度を算出する。
　データ管理部１３３は、データの管理に関する各種処理を実行する。データ管理部１３３は、データを判定する。データ管理部１３３は、センシングデバイス１０により収集されたデータについて判定を行う。データ管理部１３３は、各データの影響度に基づいて、各データの要不要を判定する。データ管理部１３３は、影響度が条件を満たさないデータを削除する。データ管理部１３３は、影響度が条件を満たすデータをログとして記憶部１２０に格納する。
　データ管理部１３３は、算出部１３２による算出結果に基づいて、データセットにデータを追加する。データ管理部１３３は、影響度が高いと判定したデータをデータセットに追加する。データ管理部１３３は、影響度が高いと判定したデータを対象データとして、予測部１３５により予測された予測ラベルを付した対象データをデータセットに追加する。データ管理部１３３は、影響度が高いと判定したデータと、そのデータの予測ラベルを対応付けてデータセットに追加する。
　補整部１３４は、各種データを補整する。補整部１３４は、センシングデバイス１０により収集されたデータを補整する。補整部１３４は、センシングデバイス１０により収集された画像データを補整する。補整部１３４は、画像データの明暗を調整することにより、画像データを補整する。補整部１３４は、画像データのコントラストを調整することにより、画像データを補整する。補整部１３４は、画像データの色度を調整することにより、画像データを補整する。補整部１３４は、センシングデバイス１０のイメージセンサに応じて、画像データを補整する。例えば、補整部１３４は、イメージセンサごとの補整内容を示す一覧情報を用いて、一覧情報のうちセンシングデバイス１０のイメージセンサに対応する補正内容に応じた画像データの補整を行う。
　予測部１３５は、各種情報を予測する。予測部１３５は、データのラベルを予測する。予測部１３５は、ラベルが付されていないデータであるラベル無しデータのラベルを予測する。予測部１３５は、ラベルが付されたラベル有りデータのデータセットにより学習された分類器を用いて、ラベル無しデータの予測ラベルを予測する。
　予測部１３５は、ラベル予測に用いる分類器であるモデルＭ２を用いて、データの予測ラベルを予測する。予測部１３５は、予測の対象となるデータ（予測対象データ）をモデルＭ２に入力し、モデルＭ２の出力を用いて、予測対象データの予測ラベルを予測する。予測部１３５は、モデルＭ２が出力した予測対象データの分類結果を、予測対象データの予測ラベルとして予測する。
　学習部１３６は、各種情報を学習する。学習部１３６は、外部の情報処理装置からの情報や記憶部１２０に記憶された情報に基づいて、各種情報を学習する。学習部１３６は、データ情報記憶部１２１に記憶された情報に基づいて、各種情報を学習する。学習部１３６は、学習により生成したモデルをモデル情報記憶部１２２に格納する。学習部１３６は、学習により更新したモデルをモデル情報記憶部１２２に格納する。
　学習部１３６は、学習処理を行う。学習部１３６は、各種学習を行う。学習部１３６は、取得部１３１により取得された情報に基づいて、各種情報を学習する。学習部１３６は、モデルを学習（生成）する。学習部１３６は、モデル等の各種情報を学習する。学習部１３６は、学習によりモデルを生成する。学習部１３６は、種々の機械学習に関する技術を用いて、モデルを学習する。例えば、学習部１３６は、モデル（ネットワーク）のパラメータを学習する。学習部１３６は、種々の機械学習に関する技術を用いて、モデルを学習する。
　学習部１３６は、モデルＭ１を生成する。また、学習部１３６は、モデルＭ２を生成する。学習部１３６は、ネットワークのパラメータを学習する。例えば、学習部１３６は、モデルＭ１のネットワークのパラメータを学習する。また、学習部１３６は、モデルＭ２のネットワークのパラメータを学習する。
　学習部１３６は、データ情報記憶部１２１に記憶された学習用データ（教師データ）に基づいて、学習処理を行う。学習部１３６は、データ情報記憶部１２１に記憶された学習用データを用いて、学習処理を行うことにより、モデルＭ１を生成する。例えば、学習部１３６は、画像認識に用いられるモデルを生成する。学習部１３６は、モデルＭ１のネットワークのパラメータを学習することにより、モデルＭ１を生成する。学習部１３６は、モデルＭ２のネットワークのパラメータを学習することにより、モデルＭ２を生成する。
　学習部１３６による学習の手法は特に限定されないが、例えば、ラベルとデータ（画像）とを紐づけた学習用データを用意し、その学習用データを多層ニューラルネットワークに基づいた計算モデルに入力して学習してもよい。また、例えばＣＮＮ（Convolutional　Neural　Network）、３Ｄ－ＣＮＮ等のＤＮＮ（Deep　Neural　Network）に基づく手法が用いられてもよい。学習部１３６は、映像等の動画像（動画）のような時系列データを対象とする場合、再帰型ニューラルネットワーク（Recurrent　Neural　Network：ＲＮＮ）やＲＮＮを拡張したＬＳＴＭ（Long　Short-Term　Memory　units）に基づく手法を用いてもよい。
　学習部１３６は、算出部１３２により算出された影響度が条件を満たすデータを用いてモデルを学習する少ラベル学習処理により、学習済みモデルを生成する。学習部１３６は、影響度が所定の閾値よりも大きいデータを用いて少ラベル学習処理を行う。学習部１３６は、影響度が条件を満たすラベル無しデータを対象データとして予測部１３５が予測した予測ラベルと対象データとを用いて少ラベル学習処理を行う。学習部１３６は、予測ラベルを付した対象データが追加されたデータセットを用いて学習済みモデルを生成する。学習部１３６は、データセットを用いて学習処理を実行する。
　学習部１３６は、影響度が条件を満たす画像データを用いて少ラベル学習処理を行う。学習部１３６は、影響度が条件を満たす画像データが補整された補整後の画像データを用いて少ラベル学習処理を行う。学習部１３６は、算出部１３２により算出された影響度が条件を満たすデータを用いて学習済みモデルを更新する。
　送信部１３７は、各種情報を送信する。送信部１３７は、外部の情報処理装置へ各種情報を送信する。送信部１３７は、外部の情報処理装置へ各種情報を提供する。例えば、送信部１３７は、センシングデバイス１０等の他の情報処理装置へ各種情報を送信する。送信部１３７は、記憶部１２０に記憶された情報を提供する。送信部１３７は、記憶部１２０に記憶された情報を送信する。
　送信部１３７は、センシングデバイス１０等の他の情報処理装置からの情報に基づいて、各種情報を提供する。送信部１３７は、記憶部１２０に記憶された情報に基づいて、各種情報を提供する。送信部１３７は、データ情報記憶部１２１やモデル情報記憶部１２２や閾値情報記憶部１２３に記憶された情報に基づいて、各種情報を提供する。
　送信部１３７は、学習部１３６により生成された学習済みモデルをセンシングデバイス１０へ送信する。送信部１３７は、生成された学習済みモデルであるモデルＭ１をセンシングデバイス１０へ送信する。送信部１３７は、学習部１３６により更新された学習済みモデルをセンシングデバイス１０へ送信する。送信部１３７は、更新されたモデルＭ１をセンシングデバイス１０へ送信する。
［１－３－１．モデル（ネットワーク）例］
　上述したように、サーバ装置１００は、ディープニューラルネットワーク（ＤＮＮ）等のニューラルネットワーク（ＮＮ）の形式のモデル（ネットワーク）を用いてもよい。なお、サーバ装置１００は、ニューラルネットワークに限らず、ＳＶＭ（Support　Vector　Machine）等の回帰モデルや等の種々の形式のモデル（関数）を用いてもよい。このように、サーバ装置１００は、任意の形式のモデル（関数）を用いてもよい。サーバ装置１００は、非線形の回帰モデルや線形の回帰モデル等、種々の回帰モデルを用いてもよい。
　この点について、図８を用いて、モデルのネットワーク構造の一例を説明する。図８は、モデルに対応するネットワークの一例を図である。図８に示すネットワークＮＷ１は、入力層ＩＮＬと出力層ＯＵＴＬとの間に複数（多層）の中間層を含むニューラルネットワークを示す。図８に示すネットワークＮＷ１は、図２中のニューラルネットワークＮＮに対応する。例えば、サーバ装置１００は、図８に示すネットワークＮＷ１のパラメータを学習してもよい。
　図８に示すネットワークＮＷ１は、モデルＭ１のネットワークに対応し、画像認識に用いられるニューラルネットワーク（モデル）を示す概念的な図である。例えば、ネットワークＮＷ１は、入力層ＩＮＬ側から例えば画像が入力された場合に、出力層ＯＵＴＬからその認識結果を出力する。例えば、サーバ装置１００は、ネットワークＮＷ１中の入力層ＩＮＬに情報を入力することにより、出力層ＯＵＴＬから入力に対応する認識結果を出力させる。
　なお、図８では、モデル（ネットワーク）の一例としてネットワークＮＷ１を示すが、ネットワークＮＷ１は、用途等に応じて種々の形式であってもよい。例えば、サーバ装置１００は、図８に示すネットワークＮＷ１の構造を有するモデルＭ１のパラメータ（重み）を学習することにより、モデルＭ１を学習する。
［１－４．実施形態に係るセンシングデバイスの構成］
　次に、実施形態に係る情報処理を実行するセンシングデバイスの一例であるセンシングデバイス１０の構成について説明する。図９は、本開示の実施形態に係るセンシングデバイスの構成例を示す図である。
　図９に示すように、センシングデバイス１０は、通信部１１と、入力部１２と、出力部１３と、記憶部１４と、制御部１５と、センサ部１６とを有する。なお、センシングデバイス１０は、データを収集し、サーバ装置１００へ提供可能な構成であれば、どのような装置構成であってもよい。例えば、センシングデバイス１０は、サーバ装置１００と通信する通信部１１と、データを収集する処理を行う制御部１５とを有すれば、その他の構成は任意であってもよい。センシングデバイス１０の種別によっては、例えば、センシングデバイス１０は、入力部１２や出力部１３や記憶部１４やセンサ部１６のいずれかを有しなくてもよい。
　例えば、センシングデバイス１０がイメージセンサ（イメージャ）である場合、センシングデバイス１０は、通信部１１と制御部１５とセンサ部１６のみを有する構成であってもよい。例えば、イメージセンサ（イメージャ）に用いられる撮像素子は、ＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor：相補型金属酸化膜半導体）である。なお、イメージセンサ（イメージャ）に用いられる撮像素子は、ＣＭＯＳに限らず、ＣＣＤ（Charge　Coupled　Device：電荷結合素子）等、種々の撮像素子であってもよい。また、例えば、センシングデバイス１０がデータサーバである場合、センシングデバイス１０は、通信部１１と記憶部１４と制御部１５のみを有する構成であってもよい。また、例えば、センシングデバイス１０が移動体である場合、センシングデバイス１０は、駆動部（モータ）等の移動を実現するための機構を有する構成であってもよい。
　通信部１１は、例えば、ＮＩＣや通信回路等によって実現される。通信部１１は、ネットワークＮ（インターネット等）と有線又は無線で接続され、ネットワークＮを介して、サーバ装置１００等の他の装置等との間で情報の送受信を行う。
　入力部１２は、各種入力を受け付ける。入力部１２は、ユーザの操作を受け付ける。入力部１２は、ユーザが利用するセンシングデバイス１０への操作（ユーザ操作）をユーザによる操作入力として受け付けてもよい。入力部１２は、通信部１１を介して、リモコン（リモートコントローラー：remote　controller）を用いたユーザの操作に関する情報を受け付けてもよい。また、入力部１２は、センシングデバイス１０に設けられたボタンや、センシングデバイス１０に接続されたキーボードやマウスを有してもよい。
　例えば、入力部１２は、リモコンやキーボードやマウスと同等の機能を実現できるタッチパネルを有してもよい。この場合、入力部１２は、ディスプレイ（出力部１３）を介して各種情報が入力される。入力部１２は、各種センサにより実現されるタッチパネルの機能により、表示画面を介してユーザから各種操作を受け付ける。すなわち、入力部１２は、センシングデバイス１０のディスプレイ（出力部１３）を介してユーザから各種操作を受け付ける。例えば、入力部１２は、センシングデバイス１０のディスプレイ（出力部１３）を介してユーザの操作を受け付ける。
　出力部１３は、各種情報を出力する。出力部１３は、情報を表示する機能を有する。出力部１３は、センシングデバイス１０に設けられ各種情報を表示する。出力部１３は、例えば液晶ディスプレイや有機ＥＬ（Electro-Luminescence）ディスプレイ等によって実現される。出力部１３は、音声を出力する機能を有してもよい。例えば、出力部１３は、音声を出力するスピーカーを有する。
　記憶部１４は、例えば、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部１４は、データの収集に必要な各種情報を記憶する。記憶部１４は、モデル情報記憶部１４１を有する。
　例えば、モデル情報記憶部１４１は、モデル（ネットワーク）の構造を示す情報（モデルデータ）を記憶する。図１０は、本開示の実施形態に係るモデル情報記憶部の一例を示す図である。図１０に、実施形態に係るモデル情報記憶部１４１の一例を示す。図１０に示した例では、モデル情報記憶部１４１は、「モデルＩＤ」、「用途」、「モデルデータ」といった項目が含まれる。
　「モデルＩＤ」は、モデルを識別するための識別情報を示す。「用途」は、対応するモデルの用途を示す。「モデルデータ」は、モデルのデータを示す。図１０では「モデルデータ」に「ＭＤＴ１」といった概念的な情報が格納される例を示したが、実際には、モデルに含まれるネットワークに関する情報や関数等、そのモデルを構成する種々の情報が含まれる。
　図１０に示す例では、モデルＩＤ「Ｍ１」により識別されるモデル（モデルＭ１）は、用途が「画像認識」であることを示す。モデルＭ１は、画像認識に用いられるモデルであることを示す。また、モデルＭ１のモデルデータは、モデルデータＭＤＴ１であることを示す。
　なお、モデル情報記憶部１４１は、上記に限らず、目的に応じて種々の情報を記憶してもよい。例えば、モデル情報記憶部１４１は、学習処理により学習（生成）されたモデルのパラメータ情報を記憶する。
　図９に戻り、説明を続ける。制御部１５は、例えば、ＣＰＵやＭＰＵ等によって、センシングデバイス１０内部に記憶されたプログラム（例えば、本開示に係るデータ提供プログラム等の情報処理プログラム）がＲＡＭ等を作業領域として実行されることにより実現される。また、制御部１５は、コントローラであり、例えば、ＡＳＩＣやＦＰＧＡ等の集積回路により実現されてもよい。
　図９に示すように、制御部１５は、受信部１５１と、収集部１５２と、送信部１５３とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部１５の内部構成は、図９に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。
　受信部１５１は、各種情報を受信する。受信部１５１は、外部の情報処理装置から各種情報を受信する。受信部１５１は、サーバ装置１００等の他の情報処理装置から各種情報を受信する。
　受信部１５１は、サーバ装置１００が学習した学習済みモデルをサーバ装置１００から受信する。受信部１５１は、センシングデバイス１０が学習済みモデルを用いたセンシングにより収集したデータを用いて更新された学習済みモデルをサーバ装置１００から受信する。受信部１５１は、サーバ装置１００が画像データを用いて学習した学習済みモデルをサーバ装置１００から受信する。
　収集部１５２は、各種情報を収集する。収集部１５２は、各種情報の収集を決定する。収集部１５２は、外部の情報処理装置からの情報に基づいて、各種情報を収集する。収集部１５２は、記憶部１４に記憶された情報に基づいて、各種情報を収集する。収集部１５２は、モデル情報記憶部１４１に記憶されたモデルＭ１を用いたセンシングによりデータを収集する。
　収集部１５２は、学習済みモデルを用いたセンシングによりデータを収集する。収集部１５２は、サーバ装置１００により更新された学習済みモデルを用いたセンシングによりデータを収集する。収集部１５２は、センサ部１６により検知された画像データを収集する。収集部１５２は、学習済みモデルを用いたセンシングにより画像データを収集する。
　送信部１５３は、外部の情報処理装置へ各種情報を送信する。例えば、送信部１５３は、サーバ装置１００等の他の情報処理装置へ各種情報を送信する。送信部１５３は、記憶部１４に記憶された情報を送信する。
　送信部１５３は、サーバ装置１００等の他の情報処理装置からの情報に基づいて、各種情報を送信する。送信部１５３は、記憶部１４に記憶された情報に基づいて、各種情報を送信する。
　送信部１５３はセンシングにより収集したデータを、当該データが機械学習によるモデルの学習に与える影響度が条件を満たす場合に当該データを用いてモデルを学習する少ラベル学習処理により学習済みモデルを生成するサーバ装置１００に送信する。送信部１５３は、収集部１５２が学習済みモデルを用いたセンシングにより収集したデータをサーバ装置１００へ送信する。
　送信部１５３は、センシングにより収集した画像データを、サーバ装置１００に送信する。送信部１５３は、センサ部１６の画像センサ（イメージセンサ）により検知された画像データをサーバ装置１００へ送信する。
　センサ部１６は、種々のセンサ情報を検知する。センサ部１６は、画像を撮像する撮像部としての機能を有する。センサ部１６は、画像センサの機能を有し、画像情報を検知する。センサ部１６は、画像を入力として受け付ける画像入力部として機能する。
　なお、センサ部１６は、上記に限らず、種々のセンサを有してもよい。センサ部１６は、音センサ、位置センサ、加速度センサ、ジャイロセンサ、温度センサ、湿度センサ、照度センサ、圧力センサ、近接センサ、ニオイや汗や心拍や脈拍や脳波等の生体情報を受信のためのセンサ等の種々のセンサを有してもよい。また、センサ部１６における上記の各種情報を検知するセンサは共通のセンサであってもよいし、各々異なるセンサにより実現されてもよい。
［１－５．実施形態に係る情報処理の手順］
　次に、図１１及び図１２を用いて、実施形態に係る各種情報処理の手順について説明する。
［１－５－１．学習装置に係る処理の手順］
　まず、図１１を用いて、本開示の実施形態に係る学習装置に係る処理の流れについて説明する。図１１は、本開示の実施形態に係る学習装置の処理を示すフローチャートである。具体的には、図１１は、学習装置の一例であるサーバ装置１００による情報処理の手順を示すフローチャートである。
　図１１に示すように、サーバ装置１００は、センシングデバイス１０により収集したデータＵＬＤを用いて処理を行う。例えば、サーバ装置１００は、センシングデバイス１０からデータＵＬＤを受信する。
　サーバ装置１００は、データの影響度を算出する（ステップＳ１０１）。例えば、サーバ装置１００は、データＵＬＤの各データについて、データの影響度を算出する。
　そして、サーバ装置１００は、データ影響度の高いデータを用いた少ラベル学習処理により、学習済みモデルを生成する（ステップＳ１０２）。例えば、サーバ装置１００は、データＵＬＤのうち、データ影響度の高いデータを用いた少ラベル学習処理により、学習済みモデルを生成する。サーバ装置１００は、影響度の高いデータのラベルを予測し、予測したラベルと影響度の高いデータとを用いて、学習済みモデルを生成する。
［１－５－２．情報処理システムに係る処理の手順］
　次に、図１２を用いて、情報処理システムに係る具体的な処理の一例について説明する。図１２は、本開示の実施形態に係る情報処理システムの処理手順を示すシーケンス図である。
　図１２に示すように、センシングデバイス１０は、センシングによりデータを収集する（ステップＳ２０１）。そして、センシングデバイス１０は、収集したデータをサーバ装置１００へ送信する（ステップＳ２０２）。
　サーバ装置１００は、センシングデバイス１０により収集された各データの影響度を算出する（ステップＳ２０３）。サーバ装置１００は、影響度が低いデータを削除する（ステップＳ２０４）。例えば、サーバ装置１００は、センシングデバイス１０により収集されたデータのうち、影響度が閾値以下であるデータを削除し、記憶部１２０に記憶しない。
　また、サーバ装置１００は、影響度が高いデータをデータセットに追加する（ステップＳ２０５）。サーバ装置１００は、影響度が閾値よりも大きいデータを、学習に用いるデータセットに追加する。
　サーバ装置１００は、影響度が高いデータが追加されたデータセットを用いた少ラベル学習処理により、モデルを生成する。（ステップＳ２０６）。例えば、サーバ装置１００は、影響度の高いデータを対象データとしてラベルを予測して、予測したラベルを対象データに付して、対象データを追加したデータセットを用いてモデルを生成する。
　サーバ装置１００は、生成したモデルをセンシングデバイス１０に送信する（ステップＳ２０７）。そして、センシングデバイス１０は、サーバ装置１００から受信したモデルに、自装置内のモデルを更新する（ステップＳ２０８）。
　そして、センシングデバイス１０は、更新したモデルを用いたセンシングによりデータを収集する（ステップＳ２０９）。そして、センシングデバイス１０は、収集したデータをサーバ装置１００へ送信する（ステップＳ２１０）。そして、情報処理システム１は、ステップＳ２０３～Ｓ２１０の処理を繰り返すことにより、データの収集、モデルのアップデートを繰り返す。例えば、サーバ装置１００は、センシングデバイス１０が更新したモデルを用いて収集したデータの影響度を算出する。そして、サーバ装置１００は、影響度が条件を満たすデータを用いてモデルを更新する。そして、サーバ装置１００は、更新したモデルをセンシングデバイス１０へ送信する。そして、センシングデバイス１０は、更新されたモデルを用いたセンシングによりデータを収集する。
［２．その他の実施形態］
　上述した各実施形態に係る処理は、上記各実施形態や変形例以外にも種々の異なる形態（変形例）にて実施されてよい。
［２－１．その他の構成例］
　なお、上記の例では、サーバ装置１００とセンシングデバイス１０とが別体、すなわちモデルを学習する学習装置とデータをセンシングする装置が別体である場合を示したが、これらの装置は一体であってもよい。例えば、センシングデバイス１０は、センシングによりデータを収集する機能と、モデルを学習する機能とを有する学習装置（情報処理装置）であってもよい。この場合、センシングデバイス１０は、上述したサーバ装置１００のモデルを学習するための各種構成（例えば算出部１３２、学習部１３６等）を有し、自装置で収集したデータを用いてモデルを生成する。センシングデバイス１０は、カメラ、スマホ、テレビ、自動車、ドローン、ロボット等であってもよい。このように、センシングデバイス１０は、自律的に影響度の高い学習データを収集し、モデルを生成する端末装置（コンピュータ）であってもよい。
［２－２．その他］
　また、上記各実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
　また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
　また、上述してきた各実施形態及び変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
　また、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、他の効果があってもよい。
［３．本開示に係る効果］
　上述のように、本開示に係る学習装置（実施形態ではサーバ装置１００）は、算出部（実施形態では算出部１３２）と、学習部（実施形態では学習部１３６）とを備える。算出部は、センシングデバイス（実施形態ではセンシングデバイス１０）により収集されたデータが機械学習によるモデルの学習に与える影響度を算出する。学習部は、算出部により算出された影響度が条件を満たすデータを用いてモデルを学習する少ラベル学習処理により、学習済みモデルを生成する。
　このように、本開示に係る学習装置は、センシングデバイスにより収集されたデータのうち、モデルの学習に与える影響度が条件を満たすデータを用いて少ラベル学習処理を実行し、モデルを生成する。これにより、学習装置は、影響度が条件を満たすデータを用いることで、適切なデータを用いてモデルを生成することができる。したがって、学習装置は、適切なデータを用いて生成されたモデルを利用可能にすることができる。
　また、算出部は、影響度が所定の閾値よりも大きいデータを用いて少ラベル学習処理を行う。このように、学習装置は、影響度が所定の閾値よりも大きいデータ、すなわち影響度が高いデータを用いて少ラベル学習処理を実行し、モデルを生成する。これにより、学習装置は、影響度が高いデータを用いることで、適切なデータを用いてモデルを生成することができる。
　また、算出部は、損失関数に基づいて影響度を算出する。このように、学習装置は、損失関数に基づいて影響度を算出することで、各データの影響度を精度よく算出することができる。したがって、学習装置は、適切なデータを用いてモデルを生成することができる。
　また、算出部は、Influence　functionにより影響度を算出する。このように、学習装置は、Influence　functionにより影響度を算出することで、各データの影響度を精度よく算出することができる。したがって、学習装置は、適切なデータを用いてモデルを生成することができる。
　また、本開示に係る学習装置は、予測部（実施形態では予測部１３５）を備える。予測部は、ラベルが付されていないデータであるラベル無しデータのラベルを予測する。学習部は、影響度が条件を満たすラベル無しデータを対象データとして予測部が予測した予測ラベルと対象データとを用いて少ラベル学習処理を行う。このように、学習装置は、影響度が条件を満たすラベル無しデータを対象データとして予測した予測ラベルと対象データとを用いて少ラベル学習処理を行うことで、ラベルが付されていないデータも用いてモデルを生成することができる。
　また、予測部は、ラベルが付されたラベル有りデータのデータセットにより学習された分類器を用いて、対象データの予測ラベルを予測する。学習部は、予測ラベルを付した対象データが追加されたデータセットを用いて学習済みモデルを生成する。このように、学習装置は、予測ラベルを付した対象データが追加されたデータセット追加して、そのデータを用いて学習済みモデルを生成することで、適切なデータを用いてモデルを生成することができる。
　また、本開示に係る学習装置は、データ管理部（実施形態ではデータ管理部１３３）を備える。データ管理部は、影響度が条件を満たさないデータを削除し、影響度が条件を満たすデータをログとして記憶部に格納する。このように、学習装置は、影響度が条件を満たさないデータを削除することで、記憶部に記憶するデータ量を削減することができる。また、学習装置は、影響度が条件を満たすデータをログとして記憶部（実施形態では記憶部１２０）に格納することで、学習に用いたデータを管理し、必要に応じてモデルの生成に用いられたデータを提示する等、モデルについての説明を可能にすることができる。
　また、算出部は、イメージセンサにより収集した画像データの影響度を算出する。学習部は、影響度が条件を満たす画像データを用いて少ラベル学習処理を行う。このように、学習装置は、センシングデバイスにより収集された画像データのうち、モデルの学習に与える影響度が条件を満たす画像データを用いて少ラベル学習処理を実行し、モデルを生成する。これにより、学習装置は、影響度が条件を満たす画像データを用いることで、適切な画像データを用いてモデルを生成することができる。
　また、学習部は、影響度が条件を満たす画像データが補整された補整後の画像データを用いて少ラベル学習処理を行う。このように、学習装置は、補整画像データを用いてモデルを生成することで、適切な画像データを用いてモデルを生成することができる。
　また、本開示に係る学習装置は、送信部（実施形態では送信部１３７）を備える。送信部は、学習部により生成された学習済みモデルを外部装置（実施形態ではセンシングデバイス１０）へ送信する。このように、学習装置は、生成したモデルを外部装置へ送信することで、適切なデータを用いて生成されたモデルを利用可能にすることができる。
　また、算出部は、外部装置であるセンシングデバイスが学習済みモデルを用いて収集したデータの影響度を算出する。学習部は、算出部により算出された影響度が条件を満たすデータを用いて学習済みモデルを更新する。このように、学習装置は、生成したモデルを用いて収集されたデータを用いて、適切にモデルを更新することができる。これにより、学習装置は、このループを一定時間ごとに繰り返すことによって、モデルを更新し、モデルの精度（性能）を向上させることができる。
　また、送信部は、学習部により更新された学習済みモデルをセンシングデバイスへ送信する。このように、学習装置は、更新したモデルをセンシングデバイスへ送信することで、センシングデバイスに更新したモデルを用いた処理を行わせることができる。したがって、学習装置は、適切なデータを用いて生成されたモデルを利用可能にすることができる。
　また、学習装置は、センシングデバイスにモデルを提供するサーバ装置である。このように、サーバ装置である学習装置と、センシングデバイスとを含むシステム（実施形態では情報処理システム１）において、学習装置は、適切なデータを用いて生成されたモデルを利用可能にすることができる。
　上述のように、本開示に係るセンシングデバイス（実施形態ではセンシングデバイス１０）は、送信部（実施形態では送信部１５３）と、受信部（実施形態では受信部１５１）と、収集部（実施形態では収集部１５２）とを備える。送信部はセンシングにより収集したデータを、当該データが機械学習によるモデルの学習に与える影響度が条件を満たす場合に当該データを用いてモデルを学習する少ラベル学習処理により学習済みモデルを生成する学習装置（実施形態ではサーバ装置１００）に送信する。受信部は、学習装置が学習した学習済みモデルを学習装置から受信する。収集部は、学習済みモデルを用いたセンシングによりデータを収集する。
　このように、本開示に係るセンシングデバイスは、収集したデータを学習装置に送信し、学習装置がモデルの学習に与える影響度が条件を満たすデータを用いて少ラベル学習処理を実行し、生成したモデルを受信する。そして、センシングデバイスは、モデルを用いたセンシングによりデータを収集する。これにより、センシングデバイスは、自装置が収集したデータを用いて生成されたモデルを利用して、データを収集することができる。したがって、センシングデバイスは、適切なデータを用いて生成されたモデルを利用可能にすることができる。
　また、送信部は、収集部が学習済みモデルを用いたセンシングにより収集したデータを学習装置へ送信する。このように、センシングデバイスは、学習装置が生成したモデルを利用して収集したデータを学習装置へ提供することで、そのデータを用いて学習装置がモデルを更新することを可能にすることができる。したがって、センシングデバイスは、適切なデータを用いて生成されたモデルを利用可能にすることができる。
　また、受信部は、センシングデバイスが学習済みモデルを用いたセンシングにより収集したデータを用いて更新された学習済みモデルを学習装置から受信する。収集部は、学習装置により更新された学習済みモデルを用いたセンシングによりデータを収集する。このように、センシングデバイスは、自装置が収集したデータを用いて更新されたモデルを利用して、データを収集することができる。したがって、センシングデバイスは、適切なデータを用いて生成されたモデルを利用可能にすることができる。
　また、収集部は、センサ部（実施形態ではセンサ部１６）により検知された画像データを収集する。このように、センシングデバイスは、画像データを収集することで、画像データを用いて学習装置がモデルを更新することを可能にすることができる。したがって、センシングデバイスは、適切なデータを用いて生成されたモデルを利用可能にすることができる。
　また、送信部は、センシングにより収集した画像データを、学習装置に送信する。受信部は、学習装置が画像データを用いて学習した学習済みモデルを学習装置から受信する。収集部は、学習済みモデルを用いたセンシングにより画像データを収集する。このように、センシングデバイスは、収集した画像データを学習装置に送信し、学習装置が画像データを用いて生成したモデルを受信する。そして、センシングデバイスは、モデルを用いたセンシングにより画像データを収集する。これにより、センシングデバイスは、自装置が収集した画像データを用いて生成されたモデルを利用して、画像データを収集することができる。したがって、センシングデバイスは、適切なデータを用いて生成されたモデルを利用可能にすることができる。
［４．ハードウェア構成］
　上述してきた各実施形態や変形例に係るサーバ装置１００やセンシングデバイス１０等の情報機器は、例えば図１３に示すような構成のコンピュータ１０００によって実現される。図１３は、サーバ装置１００やセンシングデバイス１０等の情報処理装置の機能を実現するコンピュータ１０００の一例を示すハードウェア構成図である。以下、実施形態に係るサーバ装置１００を例に挙げて説明する。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ（Read　Only　Memory）１３００、ＨＤＤ（Hard　Disk　Drive）１４００、通信インターフェイス１５００、及び入出力インターフェイス１６００を有する。コンピュータ１０００の各部は、バス１０５０によって接続される。
　ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。例えば、ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムをＲＡＭ１２００に展開し、各種プログラムに対応した処理を実行する。
　ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるＢＩＯＳ（Basic　Input　Output　System）等のブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。
　ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を非一時的に記録する、コンピュータが読み取り可能な記録媒体である。具体的には、ＨＤＤ１４００は、プログラムデータ１４５０の一例である本開示に係る情報処理プログラムを記録する記録媒体である。
　通信インターフェイス１５００は、コンピュータ１０００が外部ネットワーク１５５０（例えばインターネット）と接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、通信インターフェイス１５００を介して、他の機器からデータを受信したり、ＣＰＵ１１００が生成したデータを他の機器へ送信したりする。
　入出力インターフェイス１６００は、入出力デバイス１６５０とコンピュータ１０００とを接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、キーボードやマウス等の入力デバイスからデータを受信する。また、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやスピーカーやプリンタ等の出力デバイスにデータを送信する。また、入出力インターフェイス１６００は、所定の記録媒体（メディア）に記録されたプログラム等を読み取るメディアインターフェイスとして機能してもよい。メディアとは、例えばＤＶＤ（Digital　Versatile　Disc）、ＰＤ（Phase　change　rewritable　Disk）等の光学記録媒体、ＭＯ（Magneto-Optical　disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
　例えば、コンピュータ１０００が実施形態に係るサーバ装置１００として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされた情報処理プログラムを実行することにより、制御部１３０等の機能を実現する。また、ＨＤＤ１４００には、本開示に係る情報処理プログラムや、記憶部１２０内のデータが格納される。なお、ＣＰＵ１１００は、プログラムデータ１４５０をＨＤＤ１４００から読み取って実行するが、他の例として、外部ネットワーク１５５０を介して、他の装置からこれらのプログラムを取得してもよい。
　なお、本技術は以下のような構成も取ることができる。
（１）
　センシングデバイスにより収集されたデータが機械学習によるモデルの学習に与える影響度を算出する算出部と、
　前記算出部により算出された前記影響度が条件を満たすデータを用いて前記モデルを学習する少ラベル学習処理により、学習済みモデルを生成する学習部と、
　を備える学習装置。
（２）
　前記学習部は、
　前記影響度が所定の閾値よりも大きいデータを用いて前記少ラベル学習処理を行う
　（１）に記載の学習装置。
（３）
　前記算出部は、
　損失関数に基づいて前記影響度を算出する
　（１）または（２）に記載の学習装置。
（４）
　前記算出部は、
　Influence　functionsにより前記影響度を算出する
　（１）～（３）のいずれか１つに記載の学習装置。
（５）
　ラベルが付されていないデータであるラベル無しデータのラベルを予測する予測部、
　をさらに備え、
　前記学習部は、
　前記影響度が条件を満たすラベル無しデータを対象データとして前記予測部が予測した予測ラベルと前記対象データとを用いて前記少ラベル学習処理を行う
　（１）～（４）のいずれか１つに記載の学習装置。
（６）
　前記予測部は、
　ラベルが付されたラベル有りデータのデータセットにより学習された分類器を用いて、前記対象データの前記予測ラベルを予測し、
　前記学習部は、
　前記予測ラベルを付した前記対象データが追加されたデータセットを用いて前記学習済みモデルを生成する
　（５）に記載の学習装置。
（７）
　前記影響度が条件を満たさないデータを削除し、前記影響度が条件を満たすデータをログとして記憶部に格納するデータ管理部、
　をさらに備える（１）～（６）のいずれか１つに記載の学習装置。
（８）
　前記算出部は、
　イメージセンサにより収集した画像データの前記影響度を算出し、
　前記学習部は、
　前記影響度が条件を満たす画像データを用いて前記少ラベル学習処理を行う
　（１）～（７）のいずれか１つに記載の学習装置。
（９）
　前記学習部は、
　前記影響度が条件を満たす画像データが補整された補整後の画像データを用いて前記少ラベル学習処理を行う
　（８）に記載の学習装置。
（１０）
　前記学習部により生成された前記学習済みモデルを外部装置へ送信する送信部、
　をさらに備える（１）～（９）のいずれか１つに記載の学習装置。
（１１）
　前記算出部は、
　前記外部装置であるセンシングデバイスが前記学習済みモデルを用いて収集したデータの前記影響度を算出し、
　前記学習部は、
　前記算出部により算出された前記影響度が条件を満たすデータを用いて前記学習済みモデルを更新する
　（１０）に記載の学習装置。
（１２）
　前記送信部は、
　前記学習部により更新された前記学習済みモデルを前記センシングデバイスへ送信する
　（１１）に記載の学習装置。
（１３）
　前記センシングデバイスにモデルを提供するサーバ装置である
　（１１）または（１２）に記載の学習装置。
（１４）
　センシングデバイスにより収集されたデータが機械学習によるモデルの学習に与える影響度を算出し、
　算出した前記影響度が条件を満たすデータを用いて前記モデルを学習する少ラベル学習処理により、学習済みモデルを生成する、
　処理を実行する学習方法。
（１５）
　センシングにより収集したデータを、当該データが機械学習によるモデルの学習に与える影響度が条件を満たす場合に当該データを用いて前記モデルを学習する少ラベル学習処理により学習済みモデルを生成する学習装置に送信する送信部と、
　前記学習装置が学習した前記学習済みモデルを前記学習装置から受信する受信部と、
　前記学習済みモデルを用いたセンシングによりデータを収集する収集部と、
　を備えるセンシングデバイス。
（１６）
　前記送信部は、
　前記収集部が前記学習済みモデルを用いたセンシングにより収集したデータを前記学習装置へ送信する
　（１５）に記載のセンシングデバイス。
（１７）
　前記受信部は、
　前記センシングデバイスが前記学習済みモデルを用いたセンシングにより収集したデータを用いて更新された前記学習済みモデルを前記学習装置から受信し、
　前記収集部は、
　前記学習装置により更新された前記学習済みモデルを用いたセンシングによりデータを収集する
　（１６）に記載のセンシングデバイス。
（１８）
　前記収集部は、
　センサ部により検知された画像データを収集する
　（１５）～（１７）のいずれか１つに記載のセンシングデバイス。
（１９）
　前記送信部は
　センシングにより収集した画像データを、前記学習装置に送信し、
　前記受信部は、
　前記学習装置が画像データを用いて学習した前記学習済みモデルを前記学習装置から受信し、
　前記収集部は、
　前記学習済みモデルを用いたセンシングにより画像データを収集する
　（１８）に記載のセンシングデバイス。
（２０）
　センシングにより収集したデータを、当該データが機械学習によるモデルの学習に与える影響度が条件を満たす場合に当該データを用いて前記モデルを学習する少ラベル学習処理により学習済みモデルを生成する学習装置に送信し、
　前記学習装置が学習した前記学習済みモデルを前記学習装置から受信し、
　前記学習済みモデルを用いたセンシングによりデータを収集する、
　処理を実行するデータ収集方法。
　１　情報処理システム
　１００　サーバ装置（学習装置）
　１１０　通信部
　１２０　記憶部
　１２１　データ情報記憶部
　１２２　モデル情報記憶部
　１２３　閾値情報記憶部
　１３０　制御部
　１３１　取得部
　１３２　算出部
　１３３　データ管理部
　１３４　補整部
　１３６　学習部
　１３７　送信部
　１０　センシングデバイス
　１１　通信部
　１２　入力部
　１３　出力部
　１４　記憶部
　１４１　モデル情報記憶部
　１５　制御部
　１５１　受信部
　１５２　収集部
　１５３　送信部
　１６　センサ部

Claims (20)

  1. 　センシングデバイスにより収集されたデータが機械学習によるモデルの学習に与える影響度を算出する算出部と、
    　前記算出部により算出された前記影響度が条件を満たすデータを用いて前記モデルを学習する少ラベル学習処理により、学習済みモデルを生成する学習部と、
    　を備える学習装置。
  2. 　前記学習部は、
    　前記影響度が所定の閾値よりも大きいデータを用いて前記少ラベル学習処理を行う
    　請求項１に記載の学習装置。
  3. 　前記算出部は、
    　損失関数に基づいて前記影響度を算出する
    　請求項１に記載の学習装置。
  4. 　前記算出部は、
    　Influence　functionsにより前記影響度を算出する
    　請求項１に記載の学習装置。
  5. 　ラベルが付されていないデータであるラベル無しデータのラベルを予測する予測部、
    　をさらに備え、
    　前記学習部は、
    　前記影響度が条件を満たすラベル無しデータを対象データとして前記予測部が予測した予測ラベルと前記対象データとを用いて前記少ラベル学習処理を行う
    　請求項１に記載の学習装置。
  6. 　前記予測部は、
    　ラベルが付されたラベル有りデータのデータセットにより学習された分類器を用いて、前記対象データの前記予測ラベルを予測し、
    　前記学習部は、
    　前記予測ラベルを付した前記対象データが追加されたデータセットを用いて前記学習済みモデルを生成する
    　請求項５に記載の学習装置。
  7. 　前記影響度が条件を満たさないデータを削除し、前記影響度が条件を満たすデータをログとして記憶部に格納するデータ管理部、
    　をさらに備える請求項１に記載の学習装置。
  8. 　前記算出部は、
    　イメージセンサにより収集した画像データの前記影響度を算出し、
    　前記学習部は、
    　前記影響度が条件を満たす画像データを用いて前記少ラベル学習処理を行う
    　請求項１に記載の学習装置。
  9. 　前記学習部は、
    　前記影響度が条件を満たす画像データが補整された補整後の画像データを用いて前記少ラベル学習処理を行う
    　請求項８に記載の学習装置。
  10. 　前記学習部により生成された前記学習済みモデルを外部装置へ送信する送信部、
    　をさらに備える請求項１に記載の学習装置。
  11. 　前記算出部は、
    　前記外部装置であるセンシングデバイスが前記学習済みモデルを用いて収集したデータの前記影響度を算出し、
    　前記学習部は、
    　前記算出部により算出された前記影響度が条件を満たすデータを用いて前記学習済みモデルを更新する
    　請求項１０に記載の学習装置。
  12. 　前記送信部は、
    　前記学習部により更新された前記学習済みモデルを前記センシングデバイスへ送信する
    　請求項１１に記載の学習装置。
  13. 　前記センシングデバイスにモデルを提供するサーバ装置である
    　請求項１１に記載の学習装置。
  14. 　センシングデバイスにより収集されたデータが機械学習によるモデルの学習に与える影響度を算出し、
    　算出した前記影響度が条件を満たすデータを用いて前記モデルを学習する少ラベル学習処理により、学習済みモデルを生成する、
    　処理を実行する学習方法。
  15. 　センシングにより収集したデータを、当該データが機械学習によるモデルの学習に与える影響度が条件を満たす場合に当該データを用いて前記モデルを学習する少ラベル学習処理により学習済みモデルを生成する学習装置に送信する送信部と、
    　前記学習装置が学習した前記学習済みモデルを前記学習装置から受信する受信部と、
    　前記学習済みモデルを用いたセンシングによりデータを収集する収集部と、
    　を備えるセンシングデバイス。
  16. 　前記送信部は、
    　前記収集部が前記学習済みモデルを用いたセンシングにより収集したデータを前記学習装置へ送信する
    　請求項１５に記載のセンシングデバイス。
  17. 　前記受信部は、
    　前記センシングデバイスが前記学習済みモデルを用いたセンシングにより収集したデータを用いて更新された前記学習済みモデルを前記学習装置から受信し、
    　前記収集部は、
    　前記学習装置により更新された前記学習済みモデルを用いたセンシングによりデータを収集する
    　請求項１６に記載のセンシングデバイス。
  18. 　前記収集部は、
    　センサ部により検知された画像データを収集する
    　請求項１５に記載のセンシングデバイス。
  19. 　前記送信部は
    　センシングにより収集した画像データを、前記学習装置に送信し、
    　前記受信部は、
    　前記学習装置が画像データを用いて学習した前記学習済みモデルを前記学習装置から受信し、
    　前記収集部は、
    　前記学習済みモデルを用いたセンシングにより画像データを収集する
    　請求項１８に記載のセンシングデバイス。
  20. 　センシングにより収集したデータを、当該データが機械学習によるモデルの学習に与える影響度が条件を満たす場合に当該データを用いて前記モデルを学習する少ラベル学習処理により学習済みモデルを生成する学習装置に送信し、
    　前記学習装置が学習した前記学習済みモデルを前記学習装置から受信し、
    　前記学習済みモデルを用いたセンシングによりデータを収集する、
    　処理を実行するデータ収集方法。
PCT/JP2022/034670 2021-10-06 2022-09-16 学習装置、学習方法、センシングデバイス及びデータ収集方法 WO2023058433A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP22878304.9A EP4414900A1 (en) 2021-10-06 2022-09-16 Learning device, learning method, sensing device, and data collection method
CN202280066530.9A CN118043828A (zh) 2021-10-06 2022-09-16 学习装置、学习方法、感测装置及数据收集方法
JP2023552781A JPWO2023058433A1 (ja) 2021-10-06 2022-09-16

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-164984 2021-10-06
JP2021164984 2021-10-06

Publications (1)

Publication Number Publication Date
WO2023058433A1 true WO2023058433A1 (ja) 2023-04-13

Family

ID=85804202

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/034670 WO2023058433A1 (ja) 2021-10-06 2022-09-16 学習装置、学習方法、センシングデバイス及びデータ収集方法

Country Status (4)

Country Link
EP (1) EP4414900A1 (ja)
JP (1) JPWO2023058433A1 (ja)
CN (1) CN118043828A (ja)
WO (1) WO2023058433A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018513490A (ja) * 2015-04-16 2018-05-24 シーメンス アクチエンゲゼルシヤフトＳｉｅｍｅｎｓ Ａｋｔｉｅｎｇｅｓｅｌｌｓｃｈａｆｔ 自動化システムを動作させる方法及び装置
JP2020009141A (ja) * 2018-07-06 2020-01-16 株式会社 日立産業制御ソリューションズ 機械学習装置及び方法
JP2020177344A (ja) * 2019-04-16 2020-10-29 富士通株式会社 学習方法、学習プログラムおよび学習装置
JP2020204800A (ja) * 2019-06-14 2020-12-24 Ａｗｌ株式会社 学習用データセット生成システム、学習サーバ、及び学習用データセット生成プログラム
JP2021026505A (ja) 2019-08-05 2021-02-22 ギリア株式会社 情報処理装置および情報処理用プログラム
JP2021196921A (ja) * 2020-06-16 2021-12-27 株式会社日立製作所 モデル運用支援システム及び方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018513490A (ja) * 2015-04-16 2018-05-24 シーメンス アクチエンゲゼルシヤフトＳｉｅｍｅｎｓ Ａｋｔｉｅｎｇｅｓｅｌｌｓｃｈａｆｔ 自動化システムを動作させる方法及び装置
JP2020009141A (ja) * 2018-07-06 2020-01-16 株式会社 日立産業制御ソリューションズ 機械学習装置及び方法
JP2020177344A (ja) * 2019-04-16 2020-10-29 富士通株式会社 学習方法、学習プログラムおよび学習装置
JP2020204800A (ja) * 2019-06-14 2020-12-24 Ａｗｌ株式会社 学習用データセット生成システム、学習サーバ、及び学習用データセット生成プログラム
JP2021026505A (ja) 2019-08-05 2021-02-22 ギリア株式会社 情報処理装置および情報処理用プログラム
JP2021196921A (ja) * 2020-06-16 2021-12-27 株式会社日立製作所 モデル運用支援システム及び方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SOKI TAGUCHI: "AS-1-3 Proposal of XAI Utilization in DNN Lightweight Implementation", PROCEEDINGS OF THE IEICE ENGINEERING SCIENCES SOCIETY/NOLTA SOCIETY CONFERENCE, IEICE, JP, vol. 2021, 31 August 2021 (2021-08-31) - 17 September 2021 (2021-09-17), JP , pages S5 - S6, XP009546267, ISSN: 2189-700X *

Also Published As

Publication number Publication date
JPWO2023058433A1 (ja) 2023-04-13
CN118043828A (zh) 2024-05-14
EP4414900A1 (en) 2024-08-14

Similar Documents

Publication Publication Date Title
Hossain et al. Active learning enabled activity recognition
CN108182394B (zh) 卷积神经网络的训练方法、人脸识别方法及装置
KR102557956B1 (ko) 딥 러닝 모델들의 분산 훈련을 위한 시스템들 및 방법들
EP3555815B1 (en) Unsupervised learning techniques for temporal difference models
CN110826453B (zh) 一种通过提取人体关节点坐标的行为识别方法
US9111375B2 (en) Evaluation of three-dimensional scenes using two-dimensional representations
US10671895B2 (en) Automated selection of subjectively best image frames from burst captured image sequences
JP6972389B2 (ja) システム状態を解析及び修正するための時系列の検索
US20230115987A1 (en) Data adjustment system, data adjustment device, data adjustment method, terminal device, and information processing apparatus
CN113284142A (zh) 图像检测方法、装置、计算机可读存储介质及计算机设备
WO2019097784A1 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2019018533A1 (en) NEURO-BAYESIAN ARCHITECTURE FOR THE IMPLEMENTATION OF GENERAL ARTIFICIAL INTELLIGENCE
US20240070449A1 (en) Systems and methods for expert guided semi-supervision with contrastive loss for machine learning models
JP2018528511A (ja) 生産システムにおける出力効率の最適化
US11989939B2 (en) System and method for enhancing machine learning model for audio/video understanding using gated multi-level attention and temporal adversarial training
Deng et al. Few-shot human activity recognition on noisy wearable sensor data
JP6981428B2 (ja) 情報処理装置および情報処理方法
Nikpour et al. Deep Reinforcement Learning in Human Activity Recognition: A Survey and Outlook
Nikpour et al. Deep reinforcement learning in human activity recognition: A survey
WO2023058433A1 (ja) 学習装置、学習方法、センシングデバイス及びデータ収集方法
Jiang et al. CMCI: A Robust Multimodal Fusion Method for Spiking Neural Networks
CN116958041A (zh) 一种产品缺陷检测方法、装置、电子设备和存储介质
KR101893290B1 (ko) 딥 러닝 기반 교육용 비디오 학습 및 평가 시스템
JP2024507765A (ja) エッジデバイスに展開されたモデルによる機械学習への自己教師あり共同アプローチ
Manolova et al. Human activity recognition with semantically guided graph-convolutional network

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22878304

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023552781

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 18692848

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 202280066530.9

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2022878304

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2022878304

Country of ref document: EP

Effective date: 20240506